WO2018011892A1 - 機器制御システム - Google Patents
機器制御システム Download PDFInfo
- Publication number
- WO2018011892A1 WO2018011892A1 PCT/JP2016/070570 JP2016070570W WO2018011892A1 WO 2018011892 A1 WO2018011892 A1 WO 2018011892A1 JP 2016070570 W JP2016070570 W JP 2016070570W WO 2018011892 A1 WO2018011892 A1 WO 2018011892A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- recommended
- unit
- control system
- device control
- Prior art date
Links
- 238000012545 processing Methods 0.000 claims description 39
- 230000036760 body temperature Effects 0.000 claims description 6
- 230000005611 electricity Effects 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 4
- 239000004984 smart glass Substances 0.000 abstract description 55
- 238000004891 communication Methods 0.000 abstract description 47
- 238000010586 diagram Methods 0.000 description 46
- 238000007726 management method Methods 0.000 description 40
- 238000013500 data storage Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 15
- 230000001133 acceleration Effects 0.000 description 13
- 238000000034 method Methods 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000001816 cooling Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/30—User interface
- G08C2201/32—Remote control based on movements, attitude of remote control device
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/70—Device selection
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/90—Additional features
- G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop
Definitions
- the present invention relates to a device control system capable of easily operating a device.
- wearable sensors wearable devices
- the wearable sensor is worn by a user and can detect, for example, operation information such as acceleration and biological information such as a pulse. Information detected by the wearable sensor is utilized for user behavior management and health management.
- Patent Literature 1 discloses an invention of an action state monitoring device
- Patent Literature 2 discloses an invention of an action pattern analysis system. Yes.
- Patent Document 1 a wristwatch-type behavior situation monitoring device is used, and the behavior of the user (wearer) is analyzed from the temperature data detected by the behavior situation monitoring device, and instructions and warnings are given to the user. Can be given. Further, in the invention of Patent Document 2, a motion sensor and a position sensor are used, and a user's action and situation are specified based on movement information detected by the motion sensor and position information detected by the position sensor. In addition, necessary information can be provided to the mobile terminal.
- the present invention has been made to solve the above-described problems, and an object of the present invention is to provide a device control system capable of easily operating a device.
- a device control system includes: A device control system that controls a device according to device selection for selecting a device from a device candidate group and operation selection for selecting an operation from a candidate group of operations for the device selected by the device selection. , A sensor unit that is mounted on a user and detects information including any of image information, operation information, biological information, and environmental information; A display unit that displays a recommended operation based on information detected by the sensor unit together with a candidate group of the device; Is provided.
- recommended operations recommended to the user are displayed together with a candidate group for selecting a device. At that time, when the user selects a recommended operation, the selection of the device and the selection of the operation content can be performed together, and the operation of the device can be easily performed.
- FIG. 1 is a schematic diagram illustrating an example of the overall configuration of a device control system 1 according to the first embodiment of the present invention.
- the device control system 1 is a system in which a user wears the smart glass 10 and can easily operate the home appliance 30 by a gesture (for example, a gesture by a fingertip movement).
- a smart glass 10, a controller 20, and a plurality of home appliances 30 are arranged in a house H (home).
- the controller 20 and the home appliance 30 are communicably connected via a home network 80 including a wired LAN (Local Area Network) or a wireless LAN.
- the smart glass 10 and the controller 20 are connected to be communicable, for example, by short-range wireless communication represented by Bluetooth (registered trademark).
- the smart glass 10 is an example of a wearable sensor (wearable device).
- the user wears the smart glasses 10 in the manner of wearing glasses, and as will be described later, visually confirms displayed images (a device selection screen G1 and an operation selection screen G2 described later), and an operation input (selection) by a gesture. I do.
- the smart glass 10 is not restricted to 1 unit
- the smart glass 10 includes a communication unit 11, a display unit 12, a sensor unit 13, a data storage unit 14, and a control unit 15.
- the communication unit 11 is a communication unit that adopts a short-range wireless communication method represented by Bluetooth (registered trademark), and receives information necessary for the controller 20 under the control of the control unit 15. Send and receive.
- the communication unit 11 may be a wireless LAN communication unit.
- the communication unit 11 transmits sensor information (image information, operation information, biological information, or environment information described later) detected by the sensor unit 13 to the controller 20. Further, the communication unit 11 receives display information sent from the controller 20.
- the smart glass 10 is provided with a start button to be pressed when the user starts a gesture, and when the start button is pressed, the communication unit 11 notifies the start of the gesture (operation input).
- the start information to be transmitted is transmitted to the controller 20.
- the display unit 12 is a color liquid crystal panel as an example, and displays an image based on the display information received by the communication unit 11. That is, the display unit 12 displays an image based on the display information sent from the controller 20. For example, the display unit 12 displays a device selection screen G1 as shown in FIG. 3A. On this device selection screen G1, a candidate group of devices (home appliances 30) is displayed according to the room. The user selects one of the devices to be operated from the device candidate group displayed on the device selection screen G1.
- the device selection screen G1 also includes recommended settings RM.
- the recommended setting RM is recommended information recommended for a user wearing the smart glass 10, and indicates recommended operation content for a recommended device.
- the recommended setting RM also includes the content of gestures (gestures that the user should make to select). When the user selects the recommended setting RM, the device selection and the operation content selection can be performed together according to the recommendation information.
- the display unit 12 displays an operation selection screen G2 as shown in FIG. 3B.
- the operation selection screen G2 is displayed when a device is selected on the device selection screen G1.
- a candidate group of operation contents (setting contents) for the selected device is displayed.
- the user selects the operation content to be instructed (setting content to be changed) from the operation content candidate group displayed on the operation selection screen G2.
- the operation selection screen G2 also includes a recommended setting RM. Therefore, even after selecting a device to be operated, it is possible to select a recommended operation recommended for a user (a recommended operation for a recommended device).
- the sensor unit 13 detects, for example, operation information, biological information, or environment information of the user wearing the smart glass 10.
- the sensor part 13 may detect multiple types of information.
- the sensor unit 13 includes a three-axis acceleration sensor and a three-axis gyro sensor, and detects user operation information (for example, acceleration and angular velocity values).
- the smart glass 10 includes a camera (a lens or an image sensor), and this camera also functions as the sensor unit 13.
- the camera as the sensor unit 13 sequentially generates (detects) image information tracking the movement of the fingertip when the user performs a gesture of moving the fingertip.
- the sensor unit 13 includes, for example, a heart rate sensor, a pulse sensor, a body temperature sensor, or a body surface temperature sensor, and the user's biological information (for example, heart rate, pulse, body temperature, or body surface temperature Value).
- the sensor unit 13 includes, for example, a temperature sensor and an illuminance sensor, and detects environmental information (for example, room temperature and illuminance values) of the user.
- the sensor unit 13 transmits sensor information (image information, operation information, biological information, or environment information) to the controller 20 through the communication unit 11.
- the sensor unit 13 also supplies the image information and the operation information to the control unit 15 (a gesture analysis unit 151 described later).
- the data storage unit 14 is configured by a non-volatile semiconductor memory as an example, and stores various information necessary for the operation of the smart glass 10. For example, the data storage unit 14 stores a correct model of a gesture to be performed by the user when the above-described device selection screen G1 in FIG. 3A or the operation selection screen G2 in FIG. 3B is displayed. That is, the data storage unit 14 stores a gesture associated with the candidate group to select one of the candidate groups and a correct model of the gesture associated with the selection of the recommended setting RM.
- the control unit 15 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and controls the entire smart glass 10.
- the control unit 15 functions as a gesture analysis unit 151. This function is realized by the CPU using the RAM as a work memory and appropriately executing a program stored in the ROM.
- the gesture analysis unit 151 analyzes the gesture performed by the user according to the image information detected by the sensor unit 13. For example, the gesture analysis unit 151 tracks the movement of the user's fingertip based on the sequentially updated image information, and identifies the gesture performed by the user. Then, when the identified gesture matches any gesture (correct model) stored in the data storage unit 14, the gesture analysis unit 151 also includes a candidate (recommended setting RM) associated with the matched gesture. ) Is transmitted to the controller 20 through the communication unit 11.
- a candidate recommended setting RM
- the gesture analysis unit 151 analyzes the gesture based on the image information in this way is an example when the smart glass 10 is used as a wearable sensor. Therefore, as described later, when another type of wearable sensor is used, the gesture analysis unit 151 analyzes the gesture based on the operation information detected by the sensor unit 13. For example, the gesture analysis unit 151 tracks the fingertip or arm displacement from the motion information (acceleration and angular velocity values) detected by the sensor unit 13 and identifies the gesture performed by the user.
- the controller 20 determines recommendation information for recommending the user wearing the smart glass 10 according to the sensor information sent from the smart glass 10. Then, the controller 20 transmits display information including the determined recommended information to the smart glass 10. Further, the controller 20 controls the home appliance 30 according to the instruction information sent from the smart glass 10.
- the controller 20 includes a communication unit 21, a data storage unit 22, and a control unit 23.
- the communication unit 21 is a composite communication unit that employs a short-range wireless communication method represented by Bluetooth (registered trademark) and a wired LAN or wireless LAN communication method, and is controlled by the control unit 23. Necessary information is transmitted / received between the smart glass 10 and the home appliance 30. For example, the communication unit 21 receives sensor information, start information, and instruction information sent from the smart glass 10. Further, the communication unit 21 transmits display information to the smart glass 10. Furthermore, the communication unit 21 receives operation information and power information transmitted from the home appliance 30 via the home network 80, and transmits a control command to the home appliance 30.
- a short-range wireless communication method represented by Bluetooth (registered trademark) and a wired LAN or wireless LAN communication method
- the data storage unit 22 is composed of, for example, a non-volatile semiconductor memory, and stores various information necessary for the operation of the controller 20.
- the data storage unit 22 stores device information 221 for managing information on the home appliance 30 and definition information 222 (222a, 222b) that defines conditions and contents of recommended information.
- the device information 221 in FIG. 5 includes an identification number, a device (home appliance 30), an arrangement location, an operating state, and an electric energy. Such device information 221 is used, for example, when generating display information.
- the definition information 222a in FIG. 6A includes a priority, a device (home appliance 30), a condition (condition 1, condition 2,...), And a recommended operation.
- the priority order indicates the priority of the item (device, condition, and recommended operation), and is defined as levels A, B, C,.
- an item of level B can be a target when the condition of each item of level A is not satisfied.
- the item of level C can be a target when the conditions of items up to each level B are not satisfied.
- the recommended operation for the item that first satisfies the condition is the recommended information.
- the definition information 222b in FIG. 6B is used to adjust the recommended operation according to the personnel configuration when multiple users are present in the room. For example, when a plurality of smart glasses 10 are used, or when only one smart glass 10 is used and it is detected from the image information that another user is present, this definition information 222b is used. That is, the recommended information (recommended operation) determined by the definition information 222a described above is adjusted based on the definition information 222b. When the user is alone in the room, the recommended information (recommended operation) determined by the definition information 222a is used as it is.
- the definition information 222b in FIG. 6B includes a configuration pattern (personnel configuration), a device (home appliance 30), and adjustment details.
- the adjustment content indicates the content to be adjusted for the recommended information (recommended operation) determined by the definition information 222a.
- the definition information 222a and the definition information 222b define recommended operations (recommended information) having different contents depending on the personnel configuration of the user.
- the data storage unit 22 stores preference information (for example, an air conditioner (at the time of cooling) that has a low temperature and a preference for light breeze or lighting. Power information such as color preference) or the amount of power used by the home appliance 30 or the electricity charge may be stored.
- preference information for example, an air conditioner (at the time of cooling) that has a low temperature and a preference for light breeze or lighting.
- Power information such as color preference
- the amount of power used by the home appliance 30 or the electricity charge may be stored.
- control unit 23 includes a CPU, a ROM, a RAM, and the like, and controls the entire controller 20. Functionally, the control unit 23 includes a recommendation processing unit 231, a management unit 232, and a device control unit 233. These functions are realized by the CPU using the RAM as a work memory and appropriately executing a program stored in the ROM, for example.
- the recommendation processing unit 231 determines recommended information for recommending to the user based on the sensor information received by the communication unit 21 (sensor information relayed from the management unit 232). That is, the recommendation processing unit 231 determines a recommended operation defined by the definition information 222 (definition information 222a and 222b) from the image information, operation information, biological information, or environment information sent from the smart glass 10.
- the recommended processing unit 231 determines a recommended operation that satisfies the condition in the item of the definition information 222 based on the biological information (for example, values of heart rate, pulse, body temperature, or body surface temperature). Also.
- the recommendation processing unit 231 determines a recommended operation that satisfies the conditions in the items of the definition information 222 based on environment information (for example, room temperature and illuminance values). As described above, when a plurality of users are present, the recommendation processing unit 231 further uses the definition information 222b to adjust the recommended operation determined by the definition information 222a.
- the recommended processing unit 231 may determine a recommended operation based on the operation state (current operation state) of the device information 221.
- the recommendation processing unit 231 may determine recommended information for recommending to the user based on the preference information.
- the recommended processing unit 231 uses the power information based on a comparison between a predetermined target power amount or a target electricity rate. A recommended operation for recommending the user may be determined.
- the management unit 232 appropriately stores start information and instruction information received by the communication unit 21, and performs sequence management during operation. For example, when start information is sent from the smart glass 10 in response to pressing of the above-described disclosure button (start button pressed by the user at the start of a gesture), the management unit 232 sets the sequence to the first stage (device selection stage). ). In this first stage, if the instruction information is sent and the instruction content is device selection, the management unit 232 moves the sequence to the second stage (operation selection stage), while the instruction content is recommended. If the operation (recommended setting RM) is selected, the sequence is shifted to the final stage (device control stage). In the second stage, if the instruction information is transmitted and the instruction content is an operation selection or a recommended operation selection, the management unit 232 moves the sequence to the final stage.
- start information is sent from the smart glass 10 in response to pressing of the above-described disclosure button (start button pressed by the user at the start of a gesture)
- the management unit 232 sets the sequence to the first stage (dev
- the management unit 232 appropriately stores the sensor information received by the communication unit 21, and passes (relays) the sensor information to the recommendation processing unit 231. Then, display information including recommended information (recommended operation) determined by the recommendation processing unit 231 is generated. For example, if the sequence is the first stage, the management unit 232 generates display information representing the above-described device selection screen G1. If the sequence is the second stage, the management unit 232 generates display information representing the above-described operation selection screen G2.
- the management unit 232 notifies the device control unit 233 of control information corresponding to the instruction information.
- the management unit 232 updates the device information 221 stored in the data storage unit 22 according to the operation information and power information of the home appliance 30 notified from the device control unit 233.
- the device control unit 233 When the control information is notified from the management unit 232, the device control unit 233 generates a control command corresponding to the target home appliance 30. Then, the device control unit 233 transmits the generated control command to the target home appliance 30 through the communication unit 21. In addition, for example, when the information collection timing specified in advance is reached, the device control unit 233 requests information from the home appliance 30 and receives operation information and power information transmitted in response. Then, the device control unit 233 notifies the management unit 232 of the received operation information and power information.
- the home appliance 30 is various electric appliances used in each room in the residence H, and includes, as an example, an air conditioner, floor heating, lighting, and a television set.
- the kind of household appliances 30 is not restricted to these,
- the home appliance 30 includes a communication unit 31, a data storage unit 32, a main function unit 33, and a control unit 34.
- the communication unit 31 is, for example, a communication adapter for connecting to the home network 80, and communicates with the controller 20 via the home network 80 under the control of the control unit 34.
- you may comprise the communication part 31 with the external communication adapter which can be attached or detached.
- the data storage unit 32 is composed of, for example, a non-volatile semiconductor memory, and stores information indicating the state of the home appliance 30 (for example, an operation state, an operation mode, and an electric energy).
- the main function unit 33 is a configuration for realizing the original function of the home appliance 30 (for example, if it is an air conditioner, an air conditioning function of cooling or heating), and is controlled by the control unit 34.
- the control unit 34 includes a CPU, a RAM, a ROM, and the like, and controls the entire home appliance 30.
- the control unit 34 functionally includes a data processing unit 341 and a control execution unit 342. These functions are realized by the CPU appropriately executing programs stored in the ROM or the data storage unit 32 using the RAM as a work memory.
- the data processing unit 341 sequentially updates information stored in the data storage unit 32 based on, for example, a measurement value obtained by a sensor included in the home appliance 30 or a monitoring result of an operation state or a setting state. Then, the data processing unit 341 transmits information stored in the data storage unit 32 to the controller 20 in response to a request from the controller 20.
- control execution unit 342 causes the main function unit 33 to execute control based on the received control command.
- FIG. 8 is a flowchart illustrating an example of the device control process.
- This device control process is started, for example, when the start button of the smart glass 10 is pressed by the user. It is assumed that start information associated with pressing of the start button is transmitted from the smart glass 10 to the controller 20.
- the smart glass 10 transmits sensor information to the controller 20 (step S401). That is, the sensor unit 13 detects operation information, biological information, or environment information of the user wearing the smart glass 10. Then, the communication unit 11 transmits this sensor information to the controller 20.
- Controller 20 determines recommended operation based on the sent sensor information (step S402). That is, the recommendation processing unit 231 determines recommended information for recommending to the user based on the sensor information. That is, the recommendation processing unit 231 determines a recommended operation defined by the definition information 222 (definition information 222a and 222b) from the image information, operation information, biological information, or environment information sent from the smart glass 10.
- the recommended processing unit 231 determines a recommended operation that satisfies the condition in the item of the definition information 222 based on the biological information (for example, values of heart rate, pulse, body temperature, or body surface temperature). Also. The recommendation processing unit 231 determines a recommended operation that satisfies the conditions in the items of the definition information 222 based on environment information (for example, room temperature and illuminance values). When a plurality of users are present, the recommendation processing unit 231 further uses the definition information 222b to adjust the recommended operation determined by the definition information 222a. In addition, when the data storage unit 22 stores preference information, the recommendation processing unit 231 may determine recommendation information for recommending to the user based on the preference information. Good. In addition, when the data storage unit 22 stores power information, the recommendation processing unit 231 gives the user information based on the comparison between the power information and a predetermined target power amount or target electricity rate. A recommended operation for making a recommendation may be determined.
- the biological information for example, values of heart rate, pulse, body temperature,
- the controller 20 generates display information and transmits it to the smart glass 10 (step S403). That is, the management unit 232 generates display information including the recommended operation determined in step S402.
- the management unit 232 performs sequence management. For example, if the sequence is the first stage, the management unit 232 generates display information representing the device selection screen G1, while if the sequence is the second stage, the operation selection is performed. Display information representing the screen G2 is generated. Then, the communication unit 21 transmits this display information to the smart glass 10.
- the smart glass 10 displays a screen based on the sent display information (step S404). That is, the display unit 12 displays a device selection screen G1 as shown in FIG. 3A and an operation selection screen G2 as shown in FIG. 3B.
- the smart glass 10 analyzes the gesture (step S405). That is, the gesture analysis unit 151 analyzes the gesture performed by the user according to the image information detected by the sensor unit 13. For example, the gesture analysis unit 151 tracks the movement of the user's fingertip based on the sequentially updated image information, and identifies the gesture performed by the user. The gesture analysis unit 151 analyzes the gesture based on the image information in this way is an example in the case where the smart glass 10 is used as a wearable sensor. Therefore, as described later, when another type of wearable sensor is used, the gesture analysis unit 151 analyzes the gesture based on the operation information detected by the sensor unit 13. For example, the gesture analysis unit 151 tracks the fingertip or arm displacement from the motion information (acceleration and angular velocity values) detected by the sensor unit 13 and identifies the gesture performed by the user.
- the gesture analysis unit 151 tracks the fingertip or arm displacement from the motion information (acceleration and angular velocity values) detected by the sensor unit 13 and identifies the gesture performed by the user.
- the smart glass 10 transmits instruction information to the controller 20 (step S406).
- the gesture analysis unit 151 includes a candidate (recommended setting RM) associated with the matched gesture when the identified gesture matches any of the gestures (correct models) stored in the data storage unit 14. ) Is transmitted to the controller 20 through the communication unit 11.
- the controller 20 determines whether or not the sent instruction information is an operation decision (step S407). That is, the management unit 232 that performs sequence management, when the sequence is in the first stage and the instruction information is selection of a recommended operation (recommended setting RM), and when the sequence is in the second stage, the instruction information is the operation If it is a selection or a recommended operation, it is determined that the operation is determined.
- the management unit 232 that performs sequence management, when the sequence is in the first stage and the instruction information is selection of a recommended operation (recommended setting RM), and when the sequence is in the second stage, the instruction information is the operation If it is a selection or a recommended operation, it is determined that the operation is determined.
- step S407 If the controller 20 determines that the sent instruction information is not an operation decision (step S407; No), the controller 20 returns the process to step S403 described above. In step S403, a display image corresponding to the sequence management is generated and transmitted to the smart glass 10 again.
- step S407 when it is determined that the sent instruction information is an operation decision (step S407; Yes), the controller 20 generates an operation command and transmits it to the home appliance 30 (step S408). That is, when the control information is notified from the management unit 232, the device control unit 233 generates a control command according to the target home appliance 30. Then, the communication unit 21 transmits this operation command to the target home appliance 30.
- the household electrical appliance 30 executes the sent control command (step S409). That is, when the control command sent from the controller 20 is received by the communication unit 31, the control execution unit 342 causes the main function unit 33 to execute control based on the received control command.
- the recommended operation recommended to the user is displayed on the display unit 12 of the smart glass 10 together with a candidate group for selecting a device based on the sensor information detected by the sensor unit 13. Is done. At that time, when the user selects a recommended operation, the selection of the device and the selection of the operation content can be performed together, and the operation of the device can be easily performed.
- sensor information image information, operation information, biological information, or environment information
- sensor information detected by the sensor unit 13
- the sensor information transmitted to the management unit 232 is transmitted to the recommendation processing unit 231.
- the recommendation processing unit 231 generates recommendation information (recommended operation) based on the sensor information and transmits it to the management unit 232. Then, the management unit 232 transmits display information including recommended information to the display unit 12.
- sensor information image information and operation information detected by the sensor unit 13 is also transmitted to the gesture analysis unit 151.
- the gesture analysis unit 151 analyzes a gesture made by the user based on the sensor information. When the gesture performed by the user matches the correct model, the instruction information is transmitted to the management unit 232.
- the management unit 232 transmits control information to the device control unit 233.
- the device control unit 233 generates a control command based on the sent control information and transmits the control command to the target home appliance 30.
- the device control unit 233 transmits the operation information transmitted from the home appliance 30 to the management unit 232.
- the device control system 1 can be realized by different device configurations.
- FIG. 10 is a schematic diagram illustrating an example of the overall configuration of the device control system 2 according to the second embodiment of the present invention.
- the device control system 2 is different from the device control system 1 of FIG. 1 in that a ring-type sensor terminal 16 is added as an example.
- the sensor terminal 16 is an example of a wearable sensor. The user wears the sensor terminal 16 on the finger performing the gesture.
- the sensor terminal 16 includes the sensor unit 13 in the related diagram of FIG. 9 described above.
- the sensor unit 13 includes a three-axis acceleration sensor and a three-axis gyro sensor, and detects user operation information (for example, acceleration and angular velocity values).
- the sensor terminal 16 also includes a communication unit that employs a short-range wireless communication system represented by Bluetooth (registered trademark) as an example, and transmits operation information detected by the sensor unit 13 to the smart glass 10. .
- the smart glass 10 includes a gesture analysis unit 151 in the related diagram of FIG. 9, and is performed by a user based on operation information sent from the sensor terminal 16 (that is, operation information detected by the sensor unit 13). Perform gesture analysis. For example, the gesture analysis unit 151 tracks the fingertip or arm displacement from the motion information (acceleration and angular velocity values) detected by the sensor unit 13 and identifies the gesture performed by the user. Then, when the identified gesture matches any gesture (correct model) stored in the data storage unit 14, the gesture analysis unit 151 also includes a candidate (recommended setting RM) associated with the matched gesture. ) Is transmitted to the controller 20 through the communication unit 11.
- a candidate recommended setting RM
- the smart glass 10 includes the display unit 12 in the related diagram of FIG. 9 and displays a screen (for example, the device selection screen G1 or the operation selection screen G2) based on the display information sent from the controller 20.
- a screen for example, the device selection screen G1 or the operation selection screen G2
- the controller 20 is the same as the controller 20 in the device control system 1 of FIG. That is, the recommendation processing unit 231, the management unit 232, and the device control unit 233 in the related diagram of FIG. 9 are provided.
- FIG. 11 is a schematic diagram illustrating an example of the overall configuration of the device control system 3 according to the third embodiment of the present invention.
- This device control system 3 is different from the device control system 2 of FIG. 10 in that a smartphone 17 is added as an example.
- the sensor terminal 16 is the same as the sensor terminal 16 in the device control system 2 of FIG. That is, the sensor unit 13 in the related diagram of FIG. 9 is provided.
- the sensor terminal 16 in the device control system 3 transmits the operation information detected by the sensor unit 13 to the smartphone 17.
- the smartphone 17 includes the gesture analysis unit 151 in the related diagram of FIG. 9, and the gesture performed by the user based on the operation information transmitted from the sensor terminal 16 (that is, the operation information detected by the sensor unit 13). Analyze For example, the gesture analysis unit 151 tracks the fingertip or arm displacement from the motion information (acceleration and angular velocity values) detected by the sensor unit 13 and identifies the gesture performed by the user. Then, when the identified gesture matches any of the gestures (correct models) stored in its own data storage unit, the gesture analysis unit 151 can select a candidate (recommended setting RM is also associated with the matched gesture). Instruction information indicating "including" is transmitted to the controller 20 through the communication unit.
- the gesture analysis unit 151 tracks the fingertip or arm displacement from the motion information (acceleration and angular velocity values) detected by the sensor unit 13 and identifies the gesture performed by the user. Then, when the identified gesture matches any of the gestures (correct models) stored in its own data storage unit, the gesture analysis unit 151 can select a candidate
- the smart glass 10 includes the display unit 12 in the related diagram of FIG. 9 and displays a screen (for example, a device selection screen G1 or an operation selection screen G2) based on the display information sent from the controller 20.
- a screen for example, a device selection screen G1 or an operation selection screen G2
- the controller 20 is the same as the device control system 1 of FIG. That is, the recommendation processing unit 231, the management unit 232, and the device control unit 233 in the related diagram of FIG. 9 are provided.
- FIG. 12 is a schematic diagram illustrating an example of the overall configuration of the device control system 4 according to the fourth embodiment of the present invention.
- This device control system 4 is different from the device control system 2 of FIG. 10 in that a smartphone 17 is provided instead of the smart glass 10.
- the sensor terminal 16 is the same as the sensor terminal 16 in the device control system 2 of FIG. That is, the sensor unit 13 in the related diagram of FIG. 9 is provided.
- the sensor terminal 16 in the device control system 4 transmits the operation information detected by the sensor unit 13 to the smartphone 17.
- the smartphone 17 includes the gesture analysis unit 151 in the related diagram of FIG. 9, and the gesture performed by the user based on the operation information transmitted from the sensor terminal 16 (that is, the operation information detected by the sensor unit 13). Perform analysis. For example, the gesture analysis unit 151 tracks the fingertip or arm displacement from the motion information (acceleration and angular velocity values) detected by the sensor unit 13 and identifies the gesture performed by the user. Then, when the identified gesture matches any of the gestures (correct models) stored in its own data storage unit, the gesture analysis unit 151 can select a candidate (recommended setting RM is also associated with the matched gesture). Instruction information indicating "including" is transmitted to the controller 20 through the communication unit.
- the gesture analysis unit 151 tracks the fingertip or arm displacement from the motion information (acceleration and angular velocity values) detected by the sensor unit 13 and identifies the gesture performed by the user. Then, when the identified gesture matches any of the gestures (correct models) stored in its own data storage unit, the gesture analysis unit 151 can select a candidate
- the smartphone 17 includes the display unit 12 in the related diagram of FIG. 9 and displays a screen (for example, the device selection screen G1 or the operation selection screen G2) based on the display information transmitted from the controller 20.
- a screen for example, the device selection screen G1 or the operation selection screen G2
- the controller 20 is the same as the controller 20 in the device control system 1 of FIG. That is, the recommendation processing unit 231, the management unit 232, and the device control unit 233 in the related diagram of FIG. 9 are provided.
- the management unit 232 transmits the generated display information to the smartphone 17.
- FIG. 13 is a schematic diagram illustrating an example of the overall configuration of the device control system 5 according to the fifth embodiment of the present invention.
- the device control system 5 is different from the device control system 1 of FIG. 1 in that a smart watch 18 is provided as an example instead of the smart glass 10.
- the smart watch 18 is an example of a wearable sensor.
- the user wears the smart watch 18 on the hand (arm) that performs the gesture.
- the smart watch 18 includes the sensor unit 13 in the related diagram of FIG. 9 described above.
- the sensor unit 13 includes a three-axis acceleration sensor and a three-axis gyro sensor, and detects user operation information (for example, acceleration and angular velocity values).
- the smart watch 18 includes a gesture analysis unit 151 in the related diagram of FIG. 9, and analyzes a gesture made by the user based on the operation information detected by the sensor unit 13. For example, the gesture analysis unit 151 tracks the fingertip or arm displacement from the motion information (acceleration and angular velocity values) detected by the sensor unit 13 and identifies the gesture performed by the user. Then, when the identified gesture matches any of the gestures (correct models) stored in its own data storage unit, the gesture analysis unit 151 can select a candidate (recommended setting RM is also associated with the matched gesture). Instruction information indicating "including" is transmitted to the controller 20 through the communication unit.
- the gesture analysis unit 151 tracks the fingertip or arm displacement from the motion information (acceleration and angular velocity values) detected by the sensor unit 13 and identifies the gesture performed by the user. Then, when the identified gesture matches any of the gestures (correct models) stored in its own data storage unit, the gesture analysis unit 151 can select a candidate (recommended setting RM is also associated with the
- the smart watch 18 includes the display unit 12 in the related diagram of FIG. 9 and displays a screen (for example, the device selection screen G1 or the operation selection screen G2) based on the display information sent from the controller 20.
- a screen for example, the device selection screen G1 or the operation selection screen G2
- the controller 20 is the same as the controller 20 in the device control system 1 of FIG. That is, the recommendation processing unit 231, the management unit 232, and the device control unit 233 in the related diagram of FIG. 9 are provided. Note that the management unit 232 transmits the generated display information to the smart watch 18.
- the main control relationships in the related diagram of FIG. 9 are also maintained by the device control systems 1 to 5 having different device configurations. Note that even if the device configurations in the device control systems 1 to 5 are the same, a part of the main configuration in FIG. 9 may be provided in another device.
- the gesture analysis unit 151 in the related diagram of FIG. 9 is provided in the smart glass 10 has been described, but it is provided in another device. It may be.
- the gesture analysis unit 151 is provided in the controller 20, if the relationship of the main configuration in the related diagram of FIG. 9 is maintained, the user similarly operates the home appliance 30. It can be done easily.
- a router 50 is arranged in the house H instead of the controller 20.
- a server 60 that functions as the controller 20 described above is arranged on the outside network 90. In this case, the router 50 and the server 60 cooperate to play the role of the controller 20.
- the dedicated controller 20 is used has been described.
- an operation program that defines the operation of the controller 20 to an existing personal computer, information terminal device, or the like, the personal computer or the like can be used. It is also possible to function as the controller 20 according to the present invention.
- Such a program distribution method is arbitrary.
- a CD-ROM Compact Disk Read-Only Memory
- DVD Digital Versatile Disk
- MO Magnetic Optical Disc
- a memory card or the like can be read by a computer. It may be distributed by storing in a recording medium, or distributed via a communication network such as the Internet.
- the present invention can be employed in a device control system that can easily operate a device.
- 1 to 6 device control system 10 smart glasses, 11, 21, 31 communication unit, 12 display unit, 13 sensor unit, 14, 22, 32 data storage unit, 15, 23, 34 control unit, 151 gesture analysis unit, 16 Sensor terminal, 17 smart phone, 18 smart watch, 20 controller, 221 device information, 222 (222a, 222b) definition information, 231 recommended processing unit, 232 management unit, 233 device control unit, 30 home appliances, 33 main function unit, 341 Data processing unit, 342 control execution unit, 50 routers, 60 servers, 80 in-home network, 90 out-of-home network
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
Abstract
機器制御システムは、利用者に装着されるスマートグラス(10)、制御対象となる家電機器、及び、家電機器を管理するコントローラから構成されている。スマートグラス(10)において、センサ部(13)は、画像情報、動作情報、生体情報、及び、環境情報の何れかを含む情報を検出する。通信部(11)は、センサ部(13)が検出した情報をコントローラに送信する。コントローラは、センサ部(13)が検出した情報に基づいて、推奨される機器への推奨される操作内容を示す推奨操作を決定し、決定した推奨操作を、スマートグラス(10)に送信する。通信部(11)は、コントローラから送られる推奨操作を受信する。表示部(12)は、家電機器を選択するための候補群と共に、通信部(11)が受信した推奨操作を表示する。
Description
本発明は、機器の操作を容易に行うことのできる機器制御システムに関する。
近年、ウェアラブルセンサ(ウェアラブルデバイス)が普及してきている。ウェアラブルセンサは、利用者に装着され、例えば、加速度といった動作情報や、脈拍といった生体情報を検出することができる。ウェアラブルセンサにより検出された情報は、利用者の行動管理や健康管理に活用されている。
このようなウェアラブルセンサに関連する先行技術の一例として、特許文献1には、行動状況モニター装置の発明が開示されており、また、特許文献2には、行動パターン解析システムの発明が開示されている。
特許文献1の発明では、腕時計型の行動状況モニター装置が用いられており、行動状況モニター装置が検出した温度データから、利用者(装着者)の行動を解析し、利用者に指示や警告を与えることができる。また、特許文献2の発明では、モーションセンサ及び位置センサが用いられており、モーションセンサが検出した動きの情報と、位置センサが検出した位置情報とに基づいて、利用者の行動や状況を特定し、必要な情報を携帯端末に提供することができる。
上述した特許文献1,2の発明に代表されるように、従来では、ウェアラブルセンサを、利用者の行動管理や健康管理に活用している。
最近では、ウェアラブルセンサを、利用者のより身近な生活に活用しようとする試みがなされている。例えば、家庭内には、様々な家電機器が配置されているが、これらは、それぞれのリモコンや操作パネルを、利用者が個々に操作する必要があった。そこで、これらの家電機器を、ウェアラブルセンサを用いて操作することができれば、利用者の利便性が向上すると考えられる。
しかしながら、ウェアラブルセンサを用いて家電機器を操作することについて、未だ有用な提案がなされていないのが実情であった。
本発明は、上記のような問題点を解決するためになされたもので、機器の操作を容易に行うことのできる機器制御システムを提供することを目的とする。
上記目的を達成するために、本発明に係る機器制御システムは、
機器の候補群から機器を選択する機器選択と、当該機器選択にて選択された機器への操作の候補群から操作を選択する操作選択とに応じて、機器を制御する機器制御システムであって、
利用者に装着され、画像情報、動作情報、生体情報、及び、環境情報の何れかを含む情報を検出するセンサ部と、
前記センサ部が検出した情報に基づいた推奨操作を、前記機器の候補群と共に表示する表示部と、
を備える。
機器の候補群から機器を選択する機器選択と、当該機器選択にて選択された機器への操作の候補群から操作を選択する操作選択とに応じて、機器を制御する機器制御システムであって、
利用者に装着され、画像情報、動作情報、生体情報、及び、環境情報の何れかを含む情報を検出するセンサ部と、
前記センサ部が検出した情報に基づいた推奨操作を、前記機器の候補群と共に表示する表示部と、
を備える。
本発明によれば、センサ部が検出した情報に基づいて、利用者に推奨される推奨操作が、機器を選択するための候補群と共に表示される。その際、利用者が推奨操作を選択することで、機器の選択と操作内容の選択とをまとめて行えることとなり、機器の操作を容易に行うことができる。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、図中同一又は相当部分には同一符号を付す。以下では、具体例として、本発明が住居内における機器制御システムに適用される場合について説明するが、後述するように、ビル内や施設内における機器制御システムにおいても同様に本発明を適用することができる。すなわち、以下に説明する実施形態は説明のためのものであり、本発明の範囲を制限するものではない。従って、当業者であればこれらの各要素又は全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
(実施形態1)
図1は、本発明の実施形態1に係る機器制御システム1の全体構成の一例を示す模式図である。この機器制御システム1は、利用者がスマートグラス10を装着し、ジェスチャ(一例として、指先の動きによるジェスチャ)によって容易に家電機器30を操作可能とするシステムである。図示するように、機器制御システム1には、住居H内(宅内)にスマートグラス10と、コントローラ20と、複数の家電機器30とが配置されている。コントローラ20と家電機器30とは、例えば、有線LAN(Local Area Network)や無線LANからなる宅内ネットワーク80を介して通信可能に接続されている。また、スマートグラス10とコントローラ20とは、例えば、Bluetooth(登録商標)に代表される近距離無線通信により、通信可能に接続されている。
図1は、本発明の実施形態1に係る機器制御システム1の全体構成の一例を示す模式図である。この機器制御システム1は、利用者がスマートグラス10を装着し、ジェスチャ(一例として、指先の動きによるジェスチャ)によって容易に家電機器30を操作可能とするシステムである。図示するように、機器制御システム1には、住居H内(宅内)にスマートグラス10と、コントローラ20と、複数の家電機器30とが配置されている。コントローラ20と家電機器30とは、例えば、有線LAN(Local Area Network)や無線LANからなる宅内ネットワーク80を介して通信可能に接続されている。また、スマートグラス10とコントローラ20とは、例えば、Bluetooth(登録商標)に代表される近距離無線通信により、通信可能に接続されている。
スマートグラス10は、ウェアラブルセンサ(ウェアラブルデバイス)の一例である。利用者は、眼鏡をかける要領でスマートグラス10を装着し、後述するように、表示される画像(後述する機器選択画面G1や操作選択画面G2)を視認して、ジェスチャによる操作入力(選択)を行う。なお、スマートグラス10は、1台に限られず、複数台でもよい。例えば、親子4人がそれぞれ自分のスマートグラス10を所有していてもよく、また、両親(父、母)が自分のスマートグラス10を所有し、2人の子供が何れかのスマートグラス10を使用できるようにしてもよい。
このスマートグラス10の構成の一例について、以下、図2のブロック図を参照して説明する。図示するように、スマートグラス10は、通信部11と、表示部12と、センサ部13と、データ記憶部14と、制御部15とを備える。
通信部11は、一例として、Bluetooth(登録商標)に代表される近距離無線通信方式が採用された通信ユニットであり、制御部15による制御の下、コントローラ20との間で必要となる情報を送受信する。なお、宅内ネットワーク80が無線LANである場合に、通信部11は、無線LANの通信ユニットであってもよい。通信部11は、センサ部13が検出したセンサ情報(後述する画像情報、動作情報、生体情報、又は、環境情報)を、コントローラ20に送信する。また、通信部11は、コントローラ20から送られる表示情報を受信する。
なお、スマートグラス10には、利用者がジェスチャを開始する際に押下すべき開始ボタンが配置されており、この開始ボタンが押されると、通信部11は、ジェスチャ(操作入力)の開始を通知する開始情報をコントローラ20に送信する。
表示部12は、一例として、カラー液晶パネルであり、通信部11が受信した表示情報に基づいた画像を表示する。つまり、表示部12は、コントローラ20から送られた表示情報に基づいた画像を表示する。例えば、表示部12は、図3Aに示すような機器選択画面G1を表示する。この機器選択画面G1には、部屋に応じて、機器(家電機器30)の候補群が表示されるようになっている。利用者は、この機器選択画面G1に表示される機器の候補群の中から、操作しようとする何れかの機器を選択する。なお、機器選択画面G1には、おすすめ設定RMも含まれている。このおすすめ設定RMは、スマートグラス10を装着した利用者に推奨される推奨情報であり、推奨される機器への推奨される操作内容を示している。また、おすすめ設定RMには、ジェスチャ(選択するために利用者が行うべきジェスチャ)の内容も含まれている。そして、利用者が、おすすめ設定RMを選んだ場合には、推奨情報に従って、機器の選択と操作内容の選択とをまとめて行うことができる。
この他にも、表示部12は、図3Bに示すような操作選択画面G2を表示する。操作選択画面G2は、機器選択画面G1において機器が選択された場合に表示される。この操作選択画面G2には、選択された機器に対する操作内容(設定内容)の候補群が表示されるようになっている。利用者は、この操作選択画面G2に表示される操作内容の候補群の中から、指示しようとする操作内容(変更しようとする設定内容)を選択する。なお、操作選択画面G2にも、おすすめ設定RMが含まれている。そのため、操作しようとする機器を選択した後にも、利用者に推奨される推奨操作(推奨される機器への推奨される操作)を選択することも可能となっている。
図2に戻って、センサ部13は、一例として、スマートグラス10を装着した利用者の動作情報、生体情報、又は、環境情報を検出する。なお、何れか1種類の情報に限られず、センサ部13は、複数種類の情報を検出してもよい。例えば、センサ部13は、3軸の加速度センサや3軸のジャイロセンサを備えており、利用者の動作情報(一例として、加速度や角速度の値)を検出する。なお、スマートグラス10は、カメラ(レンズや撮像素子)を備えており、このカメラもセンサ部13として機能する。例えば、センサ部13としてのカメラは、利用者が指先を動かすジェスチャを行った際に、指先の動きをトラッキングした画像情報を順次生成(検出)する。
また、センサ部13は、例えば、心拍センサ、脈拍センサ、体温センサ、又は、体表温センサを備えており、利用者の生体情報(一例として、心拍、脈拍、体温、又は、体表温の値)を検出する。この他にも、センサ部13は、例えば、温度センサや照度センサを備えており、利用者の環境情報(一例として、室温や照度の値)を検出する。
センサ部13は、センサ情報(画像情報、動作情報、生体情報、又は、環境情報)を、通信部11を通じてコントローラ20に送信する。なお、センサ部13は、画像情報や動作情報を、制御部15(後述するジェスチャ解析部151)にも供給する。
データ記憶部14は、一例として、不揮発性の半導体メモリから構成され、スマートグラス10の動作に必要な種々の情報を記憶する。例えば、データ記憶部14は、上述した図3Aの機器選択画面G1や図3Bの操作選択画面G2が表示された際に、利用者がすべきジェスチャの正解モデルを記憶する。つまり、データ記憶部14は、候補群中から何れかを選択するために対応付けられたジェスチャや、おすすめ設定RMを選択するために対応付けられたジェスチャの正解モデルを記憶する。
制御部15は、CPU(Central Processing Unit),ROM(Read Only Memory),RAM(Random Access Memory)などを備え、スマートグラス10全体を制御する。制御部15は、例えば、ジェスチャ解析部151として機能する。この機能は、CPUが、RAMをワークメモリとして用い、ROMに記憶されているプログラムを適宜実行することにより実現される。
ジェスチャ解析部151は、センサ部13が検出した画像情報に従って、利用者が行ったジェスチャを解析する。例えば、ジェスチャ解析部151は、順次更新される画像情報を基に、利用者の指先の動きをトラッキングし、利用者が行ったジェスチャを特定する。そして、ジェスチャ解析部151は、特定したジェスチャがデータ記憶部14に記憶された何れかのジェスチャ(正解モデル)と一致する場合に、一致したジェスチャが対応付けられている候補(おすすめ設定RMも含む)を示す指示情報を、通信部11を通じてコントローラ20に送信する。
なお、ジェスチャ解析部151が、このように画像情報を基にジェスチャを解析するのは、ウェアラブルセンサとして、スマートグラス10が用いられている場合の一例である。そのため、後述するように、他の種類のウェアラブルセンサが用いられる場合において、ジェスチャ解析部151は、センサ部13が検出した動作情報を基にジェスチャを解析する。例えば、ジェスチャ解析部151は、センサ部13が検出した動作情報(加速度や角速度の値)から指先や腕の変位をトラッキングし、利用者が行ったジェスチャを特定する。
図1に戻って、コントローラ20は、スマートグラス10から送られるセンサ情報に従って、スマートグラス10を装着した利用者に対して推奨するための推奨情報を決定する。そして、コントローラ20は、決定した推奨情報を含む表示情報をスマートグラス10に送信する。また、コントローラ20は、スマートグラス10から送られる指示情報に従って、家電機器30を制御する。
このコントローラ20の構成の一例について、以下、図4のブロック図を参照して説明する。図示するように、コントローラ20は、通信部21と、データ記憶部22と、制御部23とを備える。
通信部21は、一例として、Bluetooth(登録商標)に代表される近距離無線通信方式と、有線LANや無線LANの通信方式とが採用された複合通信ユニットであり、制御部23による制御の下、スマートグラス10との間、及び、家電機器30との間で、必要となる情報を送受信する。例えば、通信部21は、スマートグラス10から送られるセンサ情報、開始情報、及び、指示情報を受信する。また、通信部21は、表示情報をスマートグラス10に送信する。更に、通信部21は、宅内ネットワーク80を介して、家電機器30から送られる動作情報や電力情報を受信し、また、制御コマンドを家電機器30に送信する。
データ記憶部22は、例えば、不揮発性の半導体メモリから構成され、コントローラ20の動作に必要な種々の情報を記憶する。例えば、データ記憶部22は、家電機器30の情報を管理するための機器情報221や、推奨情報の条件と内容とを定めた定義情報222(222a,222b)を記憶する。
具体的な機器情報221の一例を図5に示す。図5の機器情報221には、識別番号、機器(家電機器30)、配置場所、動作状態、及び、電力量が含まれている。このような機器情報221は、例えば、表示情報を生成する際に使用される。
具体的な定義情報222(222a,222b)の一例を図6A,6Bに示す。図6Aの定義情報222aには、優先順位、機器(家電機器30)、条件(条件1,条件2,・・・)、及び、推奨操作が含まれている。なお、優先順位は、その項目(機器、条件、及び、推奨操作)の優先度を示しており、高い順に、レベルA,B,C,・・・と規定されている。例えば、レベルBの項目は、各レベルAの項目の条件を満たしていない場合に、対象となり得る。また、レベルCの項目は、更に各レベルBまでの項目の条件を満たしていない場合に、対象となり得る。そして、条件を最初に満たした項目の推奨操作が推奨情報となる。
図6Bの定義情報222bは、複数人の利用者が在室している場合に、その人員構成に応じて推奨操作を調整するために用いられる。例えば、スマートグラス10が複数台使用されている場合や、1台のスマートグラス10の使用だけでも、画像情報から他の利用者が在室していることが検出された場合に、この定義情報222bが用いられる。つまり、上述した定義情報222aで決定された推奨情報(推奨操作)が、定義情報222bを元に調整される。なお、利用者が単独で在室している場合には、定義情報222aで決定された推奨情報(推奨操作)がそのまま採用される。
図6Bの定義情報222bには、構成パターン(人員構成)、機器(家電機器30)、及び、調整内容が含まれている。なお、調整内容は、定義情報222aで決定された推奨情報(推奨操作)について調整する内容を示している。すなわち、定義情報222aと定義情報222bとにより、利用者の人員構成に応じて異なる内容の推奨操作(推奨情報)が定められていることになる。
この他にも、データ記憶部22は、利用者の嗜好を収集した嗜好情報(例えば、エアコン(冷房時)であれば、温度が低めで、微風が好みであるとか、照明であれば、電球色が好みであるとか)や、家電機器30が使用した電力量又は電気料金を集計した電力情報を記憶してもよい。
図4に戻って、制御部23は、CPU,ROM,RAMなどを備え、コントローラ20全体を制御する。制御部23は、機能的には、推奨処理部231と、管理部232と、機器制御部233とを備える。これらの機能は、CPUが、RAMをワークメモリとして用い、例えば、ROMに記憶されているプログラムを適宜実行することにより実現される。
推奨処理部231は、通信部21が受信したセンサ情報(管理部232から中継されたセンサ情報)に基づいて、利用者に対して推奨するための推奨情報を決定する。すなわち、推奨処理部231は、スマートグラス10から送られた画像情報、動作情報、生体情報、又は、環境情報から、定義情報222(定義情報222a,222b)により定められた推奨操作を決定する。
例えば、推奨処理部231は、生体情報(一例として、心拍、脈拍、体温、又は、体表温の値)を基に、定義情報222の項目における条件を満たした推奨操作を決定する。また。推奨処理部231は、環境情報(一例として、室温や照度の値)を基に、定義情報222の項目における条件を満たした推奨操作を決定する。なお、上述したように、複数人の利用者が在室している場合に、推奨処理部231は、定義情報222bを更に用いて、定義情報222aで決定された推奨操作を調整する。
この他にも、推奨処理部231は、機器情報221の動作状態(現在の動作状態)に基づいて、推奨操作を決定してもよい。また、データ記憶部22が、上述した嗜好情報を記憶している場合に、推奨処理部231は、この嗜好情報に基づいて、利用者に対して推奨するための推奨情報を決定してもよい。更に、データ記憶部22が、上述した電力情報を記憶している場合に、推奨処理部231は、この電力情報と、予め定められた目標電力量又は目標電気料金との比較に基づいて、利用者に対して推奨するための推奨操作を決定してもよい。
管理部232は、通信部21が受信した開始情報や指示情報を適宜保持して、操作時のシーケンス管理を行う。例えば、上述した開示ボタン(ジェスチャの開始時に利用者に押下される開始ボタン)の押下に伴いスマートグラス10から開始情報が送られると、管理部232は、シーケンスを第1段階(機器の選択段階)に移行する。この第1段階において、指示情報が送られ、その指示内容が機器の選択であれば、管理部232は、シーケンスを第2段階(操作の選択段階)に移行し、一方、その指示内容が推奨操作(おすすめ設定RM)の選択であれば、シーケンスを最終段階(機器の制御段階)に移行する。また、第2段階において、指示情報が送られ、その指示内容が操作の選択や推奨操作の選択であれば、管理部232は、シーケンスを最終段階に移行する。
また、管理部232は、通信部21が受信したセンサ情報を適宜保持し、推奨処理部231にセンサ情報を渡す(中継する)。そして、推奨処理部231が決定した推奨情報(推奨操作)を含めた表示情報を生成する。例えば、シーケンスが第1段階であれば、管理部232は、上述した機器選択画面G1を表す表示情報を生成する。また、シーケンスが第2段階であれば、管理部232は、上述した操作選択画面G2を表す表示情報を生成する。
更に、管理部232は、シーケンスが最終段階に移行すると、指示情報に応じた制御情報を、機器制御部233に通知する。また、管理部232は、機器制御部233から通知される家電機器30の動作情報や電力情報に応じて、データ記憶部22に記憶される機器情報221を更新する。
機器制御部233は、管理部232から制御情報が通知されると、対象となる家電機器30に応じた制御コマンドを生成する。そして、機器制御部233は、生成した制御コマンドを、通信部21を通じて対象の家電機器30に送信する。また、機器制御部233は、例えば、予め規定された情報収集タイミングになると、家電機器30に対して情報を要求し、応答して送信される動作情報や電力情報を受信する。そして、機器制御部233は、受信した動作情報や電力情報を管理部232に通知する。
図1に戻って、家電機器30は、住居H内の各部屋で使用される各種電化製品であり、一例として、エアコン、床暖房、照明、及び、テレビが含まれる。なお、家電機器30の種類は、これらに限られず、他に、IH調理器、空気清浄機、換気扇、及び、冷蔵庫を含んでもよい。
このような家電機器30の構成の一例について、以下、図7のブロック図を参照して説明する。図示するように、家電機器30は、通信部31と、データ記憶部32と、主機能部33と、制御部34と、を備える。
通信部31は、例えば、宅内ネットワーク80と接続するための通信アダプタであり、制御部34の制御の下、宅内ネットワーク80を介して、コントローラ20と通信を行う。なお、通信部31を、着脱可能な外付けの通信アダプタで構成してもよい。
データ記憶部32は、例えば、不揮発性の半導体メモリから構成され、家電機器30の状態を示す情報(一例として、動作状態、運転モード、及び、電力量)を記憶する。
主機能部33は、家電機器30本来の機能(例えば、エアコンであれば、冷房や暖房の空調機能)を実現するための構成であり、制御部34により制御される。
制御部34は、CPU,RAM,ROMなどを備え、家電機器30全体を制御する。制御部34は、機能的には、データ処理部341と、制御実行部342とを備える。これらの機能は、CPUが、RAMをワークメモリとして用い、ROMやデータ記憶部32に記憶されているプログラムを適宜実行することにより実現される。
データ処理部341は、例えば、家電機器30が備えるセンサによる計測値や、動作状態や設定状態の監視結果から、逐次、データ記憶部32に記憶される情報を更新する。そして、データ処理部341は、コントローラ20からの要求に応じて、データ記憶部32に記憶される情報をコントローラ20に送信する。
制御実行部342は、コントローラ20から送られた制御コマンドを通信部31にて受信すると、受信した制御コマンドに基づいた制御を、主機能部33に実行させる。
以下、本発明の実施形態1に係る機器制御システム1の動作について、図8を参照して説明する。図8は、機器制御処理の一例を示すフローチャートである。この機器制御処理は、例えば、スマートグラス10の開始ボタンが利用者に押下された際に開始される。なお、開始ボタンの押下に伴う開始情報は、スマートグラス10からコントローラ20に送信されているものとする。
まず、スマートグラス10は、センサ情報をコントローラ20に送信する(ステップS401)。つまり、センサ部13は、スマートグラス10を装着した利用者の動作情報、生体情報、又は、環境情報を検出する。そして、通信部11は、このセンサ情報をコントローラ20に送信する。
コントローラ20は、送られたセンサ情報を基に、推奨操作を決定する(ステップS402)。つまり、推奨処理部231は、センサ情報に基づいて、利用者に対して推奨するための推奨情報を決定する。すなわち、推奨処理部231は、スマートグラス10から送られた画像情報、動作情報、生体情報、又は、環境情報から、定義情報222(定義情報222a,222b)により定められた推奨操作を決定する。
例えば、推奨処理部231は、生体情報(一例として、心拍、脈拍、体温、又は、体表温の値)を基に、定義情報222の項目における条件を満たした推奨操作を決定する。また。推奨処理部231は、環境情報(一例として、室温や照度の値)を基に、定義情報222の項目における条件を満たした推奨操作を決定する。なお、複数人の利用者が在室している場合に、推奨処理部231は、定義情報222bを更に用いて、定義情報222aで決定された推奨操作を調整する。この他にも、データ記憶部22が、嗜好情報を記憶している場合に、推奨処理部231は、この嗜好情報に基づいて、利用者に対して推奨するための推奨情報を決定してもよい。また、データ記憶部22が、電力情報を記憶している場合に、推奨処理部231は、この電力情報と、予め定められた目標電力量又は目標電気料金との比較に基づいて、利用者に対して推奨するための推奨操作を決定してもよい。
コントローラ20は、表示情報を生成して、スマートグラス10に送信する(ステップS403)。つまり、管理部232は、ステップS402にて決定された推奨操作を含めた表示情報を生成する。なお、管理部232は、シーケンス管理を行っており、例えば、シーケンスが第1段階であれば、機器選択画面G1を表す表示情報を生成し、一方、シーケンスが第2段階であれば、操作選択画面G2を表す表示情報を生成する。そして、通信部21は、この表示情報をスマートグラス10に送信する。
スマートグラス10は、送られた表示情報に基づいた画面を表示する(ステップS404)。すなわち、表示部12は、図3Aに示すような機器選択画面G1や、図3Bに示すような操作選択画面G2を表示する。
このような画面を視認した利用者が、ジェスチャを行うと、スマートグラス10は、そのジェスチャを解析する(ステップS405)。つまり、ジェスチャ解析部151は、センサ部13が検出した画像情報に従って、利用者が行ったジェスチャを解析する。例えば、ジェスチャ解析部151は、順次更新される画像情報を基に、利用者の指先の動きをトラッキングし、利用者が行ったジェスチャを特定する。なお、ジェスチャ解析部151が、このように画像情報を基にジェスチャを解析するのは、ウェアラブルセンサとして、スマートグラス10が用いられている場合の一例である。そのため、後述するように、他の種類のウェアラブルセンサが用いられる場合において、ジェスチャ解析部151は、センサ部13が検出した動作情報を基にジェスチャを解析する。例えば、ジェスチャ解析部151は、センサ部13が検出した動作情報(加速度や角速度の値)から指先や腕の変位をトラッキングし、利用者が行ったジェスチャを特定する。
ステップS405にて解析された利用者のジェスチャが、正解モデルと一致する場合に、スマートグラス10は、指示情報をコントローラ20に送信する(ステップS406)。つまり、ジェスチャ解析部151は、特定したジェスチャがデータ記憶部14に記憶された何れかのジェスチャ(正解モデル)と一致する場合に、一致したジェスチャが対応付けられている候補(おすすめ設定RMも含む)を示す指示情報を、通信部11を通じてコントローラ20に送信する。
コントローラ20は、送られた指示情報が操作決定であるか否かを判別する(ステップS407)。つまり、シーケンス管理を行っている管理部232は、シーケンスが第1段階において、指示情報が推奨操作(おすすめ設定RM)の選択である場合、及び、シーケンスが第2段階において、指示情報が操作の選択や推奨操作の選択である場合に、操作決定であると判別する。
コントローラ20は、送られた指示情報が操作決定でないと判別すると(ステップS407;No)、上述したステップS403に処理を戻す。このステップS403では、シーケンス管理に応じた表示画像が生成され、再度、スマートグラス10に送信される。
一方、送られた指示情報が操作決定であると判別した場合に(ステップS407;Yes)、コントローラ20は、操作コマンドを生成して家電機器30に送信する(ステップS408)。つまり、機器制御部233は、管理部232から制御情報が通知されると、対象となる家電機器30に応じた制御コマンドを生成する。そして、通信部21は、この操作コマンドを対象の家電機器30に送信する。
家電機器30は、送られた制御コマンドを実行する(ステップS409)。つまり、制御実行部342は、コントローラ20から送られた制御コマンドを通信部31にて受信すると、受信した制御コマンドに基づいた制御を、主機能部33に実行させる。
このような機器制御処理において、スマートグラス10の表示部12には、センサ部13が検出したセンサ情報に基づいて、利用者に推奨される推奨操作が、機器を選択するための候補群と共に表示される。その際、利用者が推奨操作を選択することで、機器の選択と操作内容の選択とをまとめて行えることとなり、機器の操作を容易に行うことができる。
このような機器制御システム1(より詳細には、スマートグラス10、及び、コントローラ20)における主要な構成の関連を図9を参照して説明する。
図9の関連図に示すように、センサ部13にて検出されたセンサ情報(画像情報、動作情報、生体情報、又は、環境情報)は、管理部232に送信される。管理部232に送信されたセンサ情報は、推奨処理部231に送信される。推奨処理部231は、センサ情報を基に推奨情報(推奨操作)を生成して、管理部232に送信する。そして、管理部232は、推奨情報を含んだ表示情報を表示部12に送信する。
また、センサ部13にて検出されたセンサ情報(画像情報や動作情報)は、ジェスチャ解析部151にも送信される。ジェスチャ解析部151は、センサ情報を基に利用者が行ったジェスチャを解析する。そして、利用者が行ったジェスチャが正解モデルと一致すると、指示情報が管理部232に送信される。
送信された指示情報が操作決定であれば、管理部232は、制御情報を機器制御部233に送信する。なお、機器制御部233は、送られた制御情報を基に、制御コマンドを生成して、対象の家電機器30に送信する。また、機器制御部233は、家電機器30から送られた動作情報を、管理部232に送信する。
このように、主要な構成の関連が維持されるのであれば、これら主要な構成がどのデバイスに存在していても、上述した動作が可能となる。そのため、以下に説明するように、機器制御システム1は、異なるデバイス構成によっても実現可能である。
(実施形態2)
図10は、本発明の実施形態2に係る機器制御システム2の全体構成の一例を示す模式図である。この機器制御システム2は、一例として、指輪型のセンサ端末16が加えられている点で、図1の機器制御システム1と異なる。
図10は、本発明の実施形態2に係る機器制御システム2の全体構成の一例を示す模式図である。この機器制御システム2は、一例として、指輪型のセンサ端末16が加えられている点で、図1の機器制御システム1と異なる。
センサ端末16は、ウェアラブルセンサの一例である。利用者は、ジェスチャを行う指に、センサ端末16を装着する。このセンサ端末16は、上述した図9の関連図におけるセンサ部13を備えている。例えば、センサ部13は、3軸の加速度センサや3軸のジャイロセンサを備えており、利用者の動作情報(一例として、加速度や角速度の値)を検出する。また、センサ端末16は、一例として、Bluetooth(登録商標)に代表される近距離無線通信方式が採用された通信ユニットも備えており、センサ部13が検出した動作情報をスマートグラス10に送信する。
スマートグラス10は、図9の関連図におけるジェスチャ解析部151を備えており、センサ端末16から送られた動作情報(つまり、センサ部13が検出した動作情報)を基に、利用者が行ったジェスチャの解析を行う。例えば、ジェスチャ解析部151は、センサ部13が検出した動作情報(加速度や角速度の値)から指先や腕の変位をトラッキングし、利用者が行ったジェスチャを特定する。そして、ジェスチャ解析部151は、特定したジェスチャがデータ記憶部14に記憶された何れかのジェスチャ(正解モデル)と一致する場合に、一致したジェスチャが対応付けられている候補(おすすめ設定RMも含む)を示す指示情報を、通信部11を通じてコントローラ20に送信する。
また、スマートグラス10は、図9の関連図における表示部12を備えており、コントローラ20から送られた表示情報に基づいた画面(例えば、機器選択画面G1や操作選択画面G2)を表示する。
コントローラ20は、図1の機器制御システム1におけるコントローラ20と同様である。つまり、図9の関連図における推奨処理部231、管理部232、及び、機器制御部233を備えている。
すなわち、このような機器制御システム2においても、図9の関連図における主要な構成の関連が維持されており、利用者は、家電機器30の操作を容易に行うことができる。
(実施形態3)
図11は、本発明の実施形態3に係る機器制御システム3の全体構成の一例を示す模式図である。この機器制御システム3は、一例として、スマートフォン17が加えられている点で、図10の機器制御システム2と異なる。
図11は、本発明の実施形態3に係る機器制御システム3の全体構成の一例を示す模式図である。この機器制御システム3は、一例として、スマートフォン17が加えられている点で、図10の機器制御システム2と異なる。
センサ端末16は、図10の機器制御システム2におけるセンサ端末16と同様である。つまり、図9の関連図におけるセンサ部13を備えている。なお、機器制御システム3におけるセンサ端末16は、センサ部13が検出した動作情報をスマートフォン17に送信する。
スマートフォン17は、図9の関連図におけるジェスチャ解析部151を備えており、センサ端末16から送られた動作情報(つまり、センサ部13が検出した動作情報)を基に、利用者が行ったジェスチャの解析を行う。例えば、ジェスチャ解析部151は、センサ部13が検出した動作情報(加速度や角速度の値)から指先や腕の変位をトラッキングし、利用者が行ったジェスチャを特定する。そして、ジェスチャ解析部151は、特定したジェスチャが自身のデータ記憶部に記憶された何れかのジェスチャ(正解モデル)と一致する場合に、一致したジェスチャが対応付けられている候補(おすすめ設定RMも含む)を示す指示情報を、通信ユニットを通じてコントローラ20に送信する。
スマートグラス10は、図9の関連図における表示部12を備えており、コントローラ20から送られた表示情報に基づいた画面(例えば、機器選択画面G1や操作選択画面G2)を表示する。
コントローラ20は、図1の機器制御システム1と同様である。つまり、図9の関連図における推奨処理部231、管理部232、及び、機器制御部233を備えている。
すなわち、このような機器制御システム3においても、図9の関連図における主要な構成の関連が維持されており、利用者は、家電機器30の操作を容易に行うことができる。
(実施形態4)
図12は、本発明の実施形態4に係る機器制御システム4の全体構成の一例を示す模式図である。この機器制御システム4は、スマートグラス10の代わりにスマートフォン17を備えている点で、図10の機器制御システム2と異なる。
図12は、本発明の実施形態4に係る機器制御システム4の全体構成の一例を示す模式図である。この機器制御システム4は、スマートグラス10の代わりにスマートフォン17を備えている点で、図10の機器制御システム2と異なる。
センサ端末16は、図10の機器制御システム2におけるセンサ端末16と同様である。つまり、図9の関連図におけるセンサ部13を備えている。なお、機器制御システム4におけるセンサ端末16は、センサ部13が検出した動作情報をスマートフォン17に送信する。
スマートフォン17は、図9の関連図におけるジェスチャ解析部151を備えており、センサ端末16から送られた動作情報(つまり、センサ部13が検出した動作情報)を基に、利用者が行ったジェスチャの解析を行う。例えば、ジェスチャ解析部151は、センサ部13が検出した動作情報(加速度や角速度の値)から指先や腕の変位をトラッキングし、利用者が行ったジェスチャを特定する。そして、ジェスチャ解析部151は、特定したジェスチャが自身のデータ記憶部に記憶された何れかのジェスチャ(正解モデル)と一致する場合に、一致したジェスチャが対応付けられている候補(おすすめ設定RMも含む)を示す指示情報を、通信ユニットを通じてコントローラ20に送信する。
また、スマートフォン17は、図9の関連図における表示部12を備えており、コントローラ20から送られた表示情報に基づいた画面(例えば、機器選択画面G1や操作選択画面G2)を表示する。
コントローラ20は、図1の機器制御システム1におけるコントローラ20と同様である。つまり、図9の関連図における推奨処理部231、管理部232、及び、機器制御部233を備えている。なお、管理部232は、生成した表示情報を、スマートフォン17に送信する。
すなわち、このような機器制御システム4においても、図9の関連図における主要な構成の関連が維持されており、利用者は、家電機器30の操作を容易に行うことができる。
(実施形態5)
図13は、本発明の実施形態5に係る機器制御システム5の全体構成の一例を示す模式図である。この機器制御システム5は、スマートグラス10の代わりに一例としてスマートウォッチ18を備えている点で、図1の機器制御システム1と異なる。
図13は、本発明の実施形態5に係る機器制御システム5の全体構成の一例を示す模式図である。この機器制御システム5は、スマートグラス10の代わりに一例としてスマートウォッチ18を備えている点で、図1の機器制御システム1と異なる。
スマートウォッチ18は、ウェアラブルセンサの一例である。利用者は、スマートウォッチ18をジェスチャを行う手(腕)に装着する。スマートウォッチ18は、上述した図9の関連図におけるセンサ部13を備えている。例えば、センサ部13は、3軸の加速度センサや3軸のジャイロセンサを備えており、利用者の動作情報(一例として、加速度や角速度の値)を検出する。
また、スマートウォッチ18は、図9の関連図におけるジェスチャ解析部151を備えており、センサ部13が検出した動作情報を基に、利用者が行ったジェスチャの解析を行う。例えば、ジェスチャ解析部151は、センサ部13が検出した動作情報(加速度や角速度の値)から指先や腕の変位をトラッキングし、利用者が行ったジェスチャを特定する。そして、ジェスチャ解析部151は、特定したジェスチャが自身のデータ記憶部に記憶された何れかのジェスチャ(正解モデル)と一致する場合に、一致したジェスチャが対応付けられている候補(おすすめ設定RMも含む)を示す指示情報を、通信ユニットを通じてコントローラ20に送信する。
また、スマートウォッチ18は、図9の関連図における表示部12を備えており、コントローラ20から送られた表示情報に基づいた画面(例えば、機器選択画面G1や操作選択画面G2)を表示する。
コントローラ20は、図1の機器制御システム1におけるコントローラ20と同様である。つまり、図9の関連図における推奨処理部231、管理部232、及び、機器制御部233を備えている。なお、管理部232は、生成した表示情報を、スマートウォッチ18に送信する。
すなわち、このような機器制御システム5においても、図9の関連図における主要な構成の関連が維持されており、利用者は、家電機器30の操作を容易に行うことができる。
このように、異なるデバイス構成の機器制御システム1~5によっても、図9の関連図における主要な構成の関連が維持される。なお、機器制御システム1~5におけるデバイス構成が同じでも、図9の主要な構成の一部が別のデバイスに備えられていてもよい。
例えば、上述した本発明の実施形態2に係る機器制御システム2では、図9の関連図におけるジェスチャ解析部151が、スマートグラス10に備えられている場合について説明したが、他のデバイスに備えられていてもよい。一例として、ジェスチャ解析部151が、コントローラ20に備えられていても、図9の関連図における主要な構成の関連が維持されるのであれば、同様に、利用者は、家電機器30の操作を容易に行うことができる。
(実施形態の変形例)
上記の実施形態1~5に係る機器制御システム1~5では、住宅H内にコントローラ20を配置する場合について説明したが、このコントローラ20に相当する装置を住宅H外に配置するようにしてもよい。例えば、インターネット上のサーバ60をコントローラ20として機能させてもよい。
上記の実施形態1~5に係る機器制御システム1~5では、住宅H内にコントローラ20を配置する場合について説明したが、このコントローラ20に相当する装置を住宅H外に配置するようにしてもよい。例えば、インターネット上のサーバ60をコントローラ20として機能させてもよい。
一例として、図14に示す機器制御システム6では、住宅H内に、コントローラ20の代わりに、ルータ50が配置されている。一方、宅外ネットワーク90上には、上述したコントローラ20として機能させるサーバ60が配置されている。この場合、ルータ50とサーバ60とが協業してコントローラ20の役割を果たす。
この場合も、図9の関連図における主要な構成の関連が維持され、利用者は、家電機器30の操作を容易に行うことができる。
(他の実施形態)
上記の実施形態では、住居H内における機器制御システム1~6について説明したが、本願発明は、ビル内や施設内における機器制御システム1~6においても同様に適用することができる。
上記の実施形態では、住居H内における機器制御システム1~6について説明したが、本願発明は、ビル内や施設内における機器制御システム1~6においても同様に適用することができる。
また、上記の実施形態では、専用のコントローラ20を用いる場合について説明したが、コントローラ20の動作を規定する動作プログラムを既存のパーソナルコンピュータや情報端末機器などに適用することで、当該パーソナルコンピュータなどを本発明に係るコントローラ20として機能させることも可能である。
また、このようなプログラムの配布方法は任意であり、例えば、CD-ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disc)、MO(Magneto Optical Disc)、メモリカードなどのコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネットなどの通信ネットワークを介して配布してもよい。
本発明は、広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
本発明は、機器の操作を容易に行うことのできる機器制御システムに採用され得る。
1~6 機器制御システム、10 スマートグラス、11,21,31 通信部、12 表示部、13 センサ部、14,22,32 データ記憶部、15,23,34 制御部、151 ジェスチャ解析部、16 センサ端末、17 スマートフォン、18 スマートウォッチ、20 コントローラ、221 機器情報、222(222a,222b) 定義情報、231 推奨処理部、232 管理部、233 機器制御部、30 家電機器、33 主機能部、341 データ処理部、342 制御実行部、50 ルータ、60 サーバ、80 宅内ネットワーク、90 宅外ネットワーク
Claims (9)
- 機器の候補群から機器を選択する機器選択と、当該機器選択にて選択された機器への操作の候補群から操作を選択する操作選択とに応じて、機器を制御する機器制御システムであって、
利用者に装着され、画像情報、動作情報、生体情報、及び、環境情報の何れかを含む情報を検出するセンサ部と、
前記センサ部が検出した情報に基づいた推奨操作を、前記機器の候補群と共に表示する表示部と、
を備える機器制御システム。 - 前記センサ部が検出した情報に基づいて、推奨される機器への推奨される操作内容を示す推奨操作を決定する推奨処理部を更に備え、
前記表示部は、前記推奨処理部が決定した推奨操作を表示する、
請求項1に記載の機器制御システム。 - 利用者の人員構成に応じて異なる内容の推奨操作を定めた定義情報を記憶する記憶部を更に備え、
前記推奨処理部は、前記センサ部が検出した情報に基づいて、在室している人員構成を特定し、特定した人員構成と前記定義情報とに従って、推奨操作を決定する、
請求項2に記載の機器制御システム。 - 前記表示部に表示される前記推奨操作には、予め定められたジェスチャが対応付けられており、
前記センサ部が検出した画像情報又は動作情報に基づいて、利用者が行ったジェスチャを解析するジェスチャ解析部と、
前記解析されたジェスチャが前記推奨操作に対応付けられているジェスチャと一致した場合に、前記推奨操作に応じた動作を対象となる機器に実行させる機器制御部と、を更に備える、
請求項2に記載の機器制御システム。 - 前記センサ部は、前記生体情報として、脈拍、心拍、体温、及び、体表温の何れかを検出し、
前記推奨処理部は、前記センサ部が検出した脈拍、心拍、体温、及び、体表温の何れかに基づいて、空調機器に対して推奨される操作内容を示す推奨操作を決定する、
請求項2に記載の機器制御システム。 - 前記センサ部は、前記環境情報として、照度を検出し、
前記推奨処理部は、前記センサ部が検出した照度に基づいて、照明機器に対して推奨される操作内容を示す推奨操作を決定する、
請求項2に記載の機器制御システム。 - 利用者に応じて異なる嗜好を収集した嗜好情報を記憶する記憶部を更に備え、
前記推奨処理部は、前記嗜好情報に基づいて、前記センサ部を装着した利用者に推奨される推奨操作を決定する、
請求項2に記載の機器制御システム。 - 前記機器の動作状況を収集した機器情報を記憶する記憶部を更に備え、
前記推奨処理部は、前記機器情報に応じた現在の動作状態に基づいて、推奨操作を決定する、
請求項2に記載の機器制御システム。 - 前記機器が使用した電力量又は電気料金を集計した電力情報を記憶する記憶部を更に備え、
前記推奨処理部は、前記電力情報と、予め定められた目標電力量又は目標電気料金との比較に基づいて、推奨操作を決定する、
請求項2に記載の機器制御システム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/070570 WO2018011892A1 (ja) | 2016-07-12 | 2016-07-12 | 機器制御システム |
EP16908796.2A EP3486746B1 (en) | 2016-07-12 | 2016-07-12 | Apparatus control system |
CN201680087249.8A CN109416573B (zh) | 2016-07-12 | 2016-07-12 | 设备控制系统 |
JP2018527291A JP6685397B2 (ja) | 2016-07-12 | 2016-07-12 | 機器制御システム |
US16/094,927 US10754161B2 (en) | 2016-07-12 | 2016-07-12 | Apparatus control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/070570 WO2018011892A1 (ja) | 2016-07-12 | 2016-07-12 | 機器制御システム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018011892A1 true WO2018011892A1 (ja) | 2018-01-18 |
Family
ID=60952919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/070570 WO2018011892A1 (ja) | 2016-07-12 | 2016-07-12 | 機器制御システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10754161B2 (ja) |
EP (1) | EP3486746B1 (ja) |
JP (1) | JP6685397B2 (ja) |
CN (1) | CN109416573B (ja) |
WO (1) | WO2018011892A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190106887A (ko) * | 2019-08-28 | 2019-09-18 | 엘지전자 주식회사 | 정보 제공 방법 및 정보 제공 장치 |
JP2021034758A (ja) * | 2019-08-15 | 2021-03-01 | 三菱電機株式会社 | 設備機器システム及び設備機器制御方法 |
JP7514747B2 (ja) | 2020-12-02 | 2024-07-11 | 東芝ライフスタイル株式会社 | 情報処理システム、機器コントローラ、およびプログラム |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019213855A1 (zh) * | 2018-05-09 | 2019-11-14 | Fang Chao | 设备控制方法和系统 |
CN111427287B (zh) * | 2020-02-20 | 2021-11-16 | 珠海格力电器股份有限公司 | 一种智能厨房控制方法、装置、电子设备及存储介质 |
EP3876025A1 (de) * | 2020-03-02 | 2021-09-08 | Siemens Aktiengesellschaft | Anordnung zur hinderniserkennung und kollisionswarnung |
WO2021200981A1 (ja) * | 2020-04-02 | 2021-10-07 | パナソニックIpマネジメント株式会社 | 環境制御システム、及び、環境制御方法 |
CN112181152B (zh) * | 2020-11-13 | 2023-05-26 | 幻蝎科技(武汉)有限公司 | 基于mr眼镜的广告推送管理方法、设备及应用 |
KR20220169330A (ko) * | 2021-06-18 | 2022-12-27 | 삼성전자주식회사 | 웨어러블 장치 및 그 제어 방법 |
KR20240035251A (ko) * | 2022-09-08 | 2024-03-15 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004008471A (ja) | 2002-06-06 | 2004-01-15 | Seiko Instruments Inc | 行動状況モニター装置、行動状況解析装置および行動状況解析システム |
JP2007266772A (ja) * | 2006-03-27 | 2007-10-11 | Toshiba Corp | 機器操作装置および機器操作方法 |
JP2010267220A (ja) * | 2009-05-18 | 2010-11-25 | Nara Institute Of Science & Technology | ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法 |
JP2011081431A (ja) | 2009-10-02 | 2011-04-21 | Sony Corp | 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム |
JP2013092811A (ja) * | 2011-09-30 | 2013-05-16 | Toshiba Corp | 電子機器およびプログラム |
JP2014216884A (ja) * | 2013-04-26 | 2014-11-17 | 三菱電機株式会社 | コントローラ、エネルギーマネジメントシステム、遠隔制御方法、及び、プログラム |
JP2015504616A (ja) * | 2011-09-26 | 2015-02-12 | マイクロソフト コーポレーション | 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正 |
US20150346834A1 (en) * | 2014-06-02 | 2015-12-03 | Samsung Electronics Co., Ltd. | Wearable device and control method using gestures |
JP2016038904A (ja) * | 2014-08-06 | 2016-03-22 | パナソニックIpマネジメント株式会社 | 手首装着型の入力装置 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7036094B1 (en) * | 1998-08-10 | 2006-04-25 | Cybernet Systems Corporation | Behavior recognition system |
JP4961914B2 (ja) * | 2006-09-08 | 2012-06-27 | ソニー株式会社 | 撮像表示装置、撮像表示方法 |
US8555207B2 (en) * | 2008-02-27 | 2013-10-08 | Qualcomm Incorporated | Enhanced input using recognized gestures |
JP2010262510A (ja) * | 2009-05-08 | 2010-11-18 | Nippon Telegr & Teleph Corp <Ntt> | センサネットワークシステム、データ処理装置、およびデータ処理方法 |
JP2011155957A (ja) * | 2010-02-04 | 2011-08-18 | Nippon Telegr & Teleph Corp <Ntt> | 状態測定システムおよび方法 |
US9575561B2 (en) * | 2010-12-23 | 2017-02-21 | Intel Corporation | Method, apparatus and system for interacting with content on web browsers |
JP2012146216A (ja) * | 2011-01-13 | 2012-08-02 | Nikon Corp | 電子機器および電子機器の制御プログラム |
US9183588B2 (en) * | 2011-01-20 | 2015-11-10 | Ebay, Inc. | Three dimensional proximity recommendation system |
JP2013069224A (ja) * | 2011-09-26 | 2013-04-18 | Sony Corp | 動作認識装置、動作認識方法、操作装置、電子機器、及び、プログラム |
US20130211843A1 (en) * | 2012-02-13 | 2013-08-15 | Qualcomm Incorporated | Engagement-dependent gesture recognition |
JP5938977B2 (ja) * | 2012-03-23 | 2016-06-22 | ソニー株式会社 | ヘッドマウントディスプレイ及び手術システム |
US8948832B2 (en) * | 2012-06-22 | 2015-02-03 | Fitbit, Inc. | Wearable heart rate monitor |
KR20140094125A (ko) * | 2013-01-21 | 2014-07-30 | 삼성전자주식회사 | 디스플레이 장치 및 이를 이용한 사용자 맞춤형 정보 제공방법 |
JP6108926B2 (ja) * | 2013-04-15 | 2017-04-05 | オリンパス株式会社 | ウェアラブル装置、プログラム及びウェアラブル装置の表示制御方法 |
KR20140127527A (ko) * | 2013-04-25 | 2014-11-04 | 삼성전자주식회사 | 디스플레이장치 및 디스플레이장치를 이용한 추천정보 제공 방법 |
JP6210272B2 (ja) * | 2013-06-26 | 2017-10-11 | セイコーエプソン株式会社 | 入力装置、脈拍数算出装置および入力方法 |
JP6373849B2 (ja) * | 2013-08-28 | 2018-08-15 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | プログラム、端末装置及び情報提供システムにおける情報提供方法 |
KR102231092B1 (ko) * | 2013-09-05 | 2021-03-24 | 삼성전자주식회사 | 제어 장치 |
JP2015122023A (ja) * | 2013-12-25 | 2015-07-02 | セイコーエプソン株式会社 | ウェアラブル機器及びウェアラブル機器の制御方法 |
KR102135586B1 (ko) * | 2014-01-24 | 2020-07-20 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
KR20150101703A (ko) * | 2014-02-27 | 2015-09-04 | 삼성전자주식회사 | 디스플레이 장치 및 제스처 입력 처리 방법 |
US10409382B2 (en) * | 2014-04-03 | 2019-09-10 | Honda Motor Co., Ltd. | Smart tutorial for gesture control system |
US9467795B2 (en) * | 2014-09-11 | 2016-10-11 | Motorola Solutions, Inc. | Method and apparatus for application optimization and collaboration of wearable devices |
CN105607253B (zh) * | 2014-11-17 | 2020-05-12 | 精工爱普生株式会社 | 头部佩戴型显示装置以及控制方法、显示系统 |
CN104867311A (zh) * | 2015-05-14 | 2015-08-26 | 连宁 | 通过第三方终端配置无线遥控终端的方法和装置 |
-
2016
- 2016-07-12 WO PCT/JP2016/070570 patent/WO2018011892A1/ja unknown
- 2016-07-12 US US16/094,927 patent/US10754161B2/en active Active
- 2016-07-12 EP EP16908796.2A patent/EP3486746B1/en active Active
- 2016-07-12 JP JP2018527291A patent/JP6685397B2/ja active Active
- 2016-07-12 CN CN201680087249.8A patent/CN109416573B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004008471A (ja) | 2002-06-06 | 2004-01-15 | Seiko Instruments Inc | 行動状況モニター装置、行動状況解析装置および行動状況解析システム |
JP2007266772A (ja) * | 2006-03-27 | 2007-10-11 | Toshiba Corp | 機器操作装置および機器操作方法 |
JP2010267220A (ja) * | 2009-05-18 | 2010-11-25 | Nara Institute Of Science & Technology | ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法 |
JP2011081431A (ja) | 2009-10-02 | 2011-04-21 | Sony Corp | 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム |
JP2015504616A (ja) * | 2011-09-26 | 2015-02-12 | マイクロソフト コーポレーション | 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正 |
JP2013092811A (ja) * | 2011-09-30 | 2013-05-16 | Toshiba Corp | 電子機器およびプログラム |
JP2014216884A (ja) * | 2013-04-26 | 2014-11-17 | 三菱電機株式会社 | コントローラ、エネルギーマネジメントシステム、遠隔制御方法、及び、プログラム |
US20150346834A1 (en) * | 2014-06-02 | 2015-12-03 | Samsung Electronics Co., Ltd. | Wearable device and control method using gestures |
JP2016038904A (ja) * | 2014-08-06 | 2016-03-22 | パナソニックIpマネジメント株式会社 | 手首装着型の入力装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3486746A4 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021034758A (ja) * | 2019-08-15 | 2021-03-01 | 三菱電機株式会社 | 設備機器システム及び設備機器制御方法 |
JP7496674B2 (ja) | 2019-08-15 | 2024-06-07 | 三菱電機株式会社 | 設備機器システム及び設備機器制御方法 |
KR20190106887A (ko) * | 2019-08-28 | 2019-09-18 | 엘지전자 주식회사 | 정보 제공 방법 및 정보 제공 장치 |
KR102658691B1 (ko) * | 2019-08-28 | 2024-04-17 | 엘지전자 주식회사 | 정보 제공 방법 및 정보 제공 장치 |
JP7514747B2 (ja) | 2020-12-02 | 2024-07-11 | 東芝ライフスタイル株式会社 | 情報処理システム、機器コントローラ、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US10754161B2 (en) | 2020-08-25 |
JPWO2018011892A1 (ja) | 2018-09-06 |
US20190129176A1 (en) | 2019-05-02 |
CN109416573B (zh) | 2022-04-12 |
EP3486746A4 (en) | 2019-06-26 |
EP3486746B1 (en) | 2024-01-03 |
JP6685397B2 (ja) | 2020-04-22 |
EP3486746A1 (en) | 2019-05-22 |
CN109416573A (zh) | 2019-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018011892A1 (ja) | 機器制御システム | |
JP6903713B2 (ja) | ネットワーク接続されたサーモスタットを管理するための方法 | |
CN110168485B (zh) | 对物联网装置的增强现实控制 | |
KR102487902B1 (ko) | 전자기기를 제어하는 방법 및 장치 | |
KR102037416B1 (ko) | 외부 기기 관리 방법, 외부 기기의 동작 방법, 호스트 단말, 관리 서버 및 외부 기기 | |
EP3021564A1 (en) | Energy-management system, controller, remote-control method, and program | |
US20130204408A1 (en) | System for controlling home automation system using body movements | |
US20160363944A1 (en) | Method and apparatus for controlling indoor device | |
US10318121B2 (en) | Control method | |
CN109672720A (zh) | 用于控制IoT装置的电子装置及其操作方法 | |
CN103201710A (zh) | 图像处理系统、图像处理方法以及存储图像处理程序的存储介质 | |
WO2016001974A1 (ja) | 空調システム | |
KR20160075079A (ko) | 다른 전자 장치를 제어하는 전자 장치 및 제어 방법 | |
JP6707141B2 (ja) | 機器制御装置、機器制御システム、機器制御方法及びプログラム | |
WO2016157675A1 (ja) | 制御システム、制御方法及び制御プログラム | |
JP6603609B2 (ja) | 操作者推定方法、操作者推定装置及び操作者推定プログラム | |
JP6362677B2 (ja) | コントローラ、ホームシステム、環境制御方法、及び、プログラム | |
JP2016031220A (ja) | 空調最適化装置及び空調制御システム | |
JP2014230123A (ja) | 制御システム、端末装置、コントローラ、制御方法、および、プログラム | |
WO2019186993A1 (ja) | 端末装置、機器制御システム、機器制御方法及びプログラム | |
KR20210041904A (ko) | 네트워크 연결을 관리하는 전자 장치 및 그의 제어 방법 | |
KR20160115457A (ko) | 사물 인터넷을 활용한 스마트 빌딩 시스템 및 제어 방법 | |
JP6419328B2 (ja) | 状態表示装置、コントローラ、状態表示方法、及び、プログラム | |
KR101666488B1 (ko) | 로봇의 자율 이동을 위한 행동블록 운영 시스템 및 그 방법 | |
JP5820090B2 (ja) | 情報提供方法、情報管理システム及び情報端末機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2018527291 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16908796 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2016908796 Country of ref document: EP Effective date: 20190212 |