WO2012141093A1 - ネットワークシステム、機器の制御方法、およびコントローラ - Google Patents

ネットワークシステム、機器の制御方法、およびコントローラ Download PDF

Info

Publication number
WO2012141093A1
WO2012141093A1 PCT/JP2012/059507 JP2012059507W WO2012141093A1 WO 2012141093 A1 WO2012141093 A1 WO 2012141093A1 JP 2012059507 W JP2012059507 W JP 2012059507W WO 2012141093 A1 WO2012141093 A1 WO 2012141093A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
controller
control command
camera
devices
Prior art date
Application number
PCT/JP2012/059507
Other languages
English (en)
French (fr)
Inventor
直 大倉
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2012141093A1 publication Critical patent/WO2012141093A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2823Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality

Definitions

  • the present invention relates to a network system including a controller and devices controlled by the controller, a device control method, and a controller.
  • the present invention relates to a controller technique for controlling a plurality of devices based on an image obtained from at least one camera.
  • Controllers for controlling multiple devices are known. Some of these controllers control devices according to the user's recognition result.
  • Japanese Patent Laid-Open No. 2006-243849 discloses a device control apparatus and a method thereof.
  • the device control apparatus includes a face recognition processing unit, a device setting unit, and a dialogue processing unit, and acquires and acquires personal data related to a user's face image.
  • the personal data is compared with the registered personal dictionary data, the person corresponding to the acquired personal data is recognized, and the registered face image corresponding to the recognized person is based on the registered personal dictionary data.
  • the confirmation information as to whether the displayed person matches the user is received from the user, and is set in the device environment parameter corresponding to the confirmed person.
  • the present invention has been made to solve such a problem, and an object of the present invention is to provide a network system and a device that can appropriately control both a device that is highly necessary to avoid erroneous recognition by a user and a device that is low in necessity.
  • a control method and a controller are provided.
  • a network system including at least one camera for photographing a person, a plurality of devices that operate in response to a control command, and a controller.
  • the controller stores a communication interface for communicating with at least one camera and a plurality of devices, information for specifying a person, and stores an accuracy and a first control command in association with each of the plurality of devices.
  • the processor receives an image including a person from at least one camera via a communication interface, and the accuracy that the person included in the image is specified by information is greater than or equal to the accuracy corresponding to the device for each of the plurality of devices.
  • a first control command corresponding to the device is transmitted to the device via the communication interface.
  • the memory stores the first control command in association with information for specifying a person.
  • the processor for each of a plurality of devices, information for identifying a device and a person via a communication interface when the accuracy that the person included in the image is a person identified by the information is greater than or equal to the accuracy corresponding to the device.
  • a first control command corresponding to is transmitted to the device.
  • At least one camera includes a plurality of cameras.
  • the memory stores a correspondence relationship between the plurality of cameras and the plurality of devices.
  • the processor for each device corresponding to a camera that has transmitted an image including a person among a plurality of devices, when the probability that the person included in the image is a person specified by the information is greater than or equal to the accuracy corresponding to the device.
  • the first control command corresponding to the device is transmitted to the device via the communication interface.
  • the information for specifying a person includes feature amounts created from a plurality of images obtained from a plurality of cameras.
  • the memory stores the second control command in association with at least one of the plurality of devices.
  • the processor for each of the plurality of devices, when the accuracy that the person included in the image is a person specified by the information is less than the accuracy corresponding to the device, a second control command corresponding to the device via the communication interface To the device.
  • At least one camera, a plurality of devices, information for specifying a person is stored, and an accuracy and a first control command are stored in association with each of the plurality of devices.
  • a controller for controlling a device in a network system In the device control method, at least one camera captures a person, a controller receives an image including the person from at least one camera, and a controller is included in the image for each of the plurality of devices.
  • a communication interface for communicating with at least one camera and a plurality of devices, information for specifying a person are stored, and the accuracy and the first are associated with each of the plurality of devices.
  • a controller is provided that includes a memory for storing the control instructions and a processor.
  • the processor receives an image including a person from at least one camera via a communication interface, and the accuracy that the person included in the image is specified by information is greater than or equal to the accuracy corresponding to the device for each of the plurality of devices.
  • a first control command corresponding to the device is transmitted to the device via the communication interface.
  • a communication interface a memory that stores information for specifying a person and stores accuracy and a first control instruction in association with each of a plurality of devices, a processor
  • a method of controlling a device executed by a controller including: The device control method includes a step in which a processor receives an image including a person from at least one camera via a communication interface, and a person in which a person included in the image is specified by information for each of a plurality of devices. Transmitting the first control command corresponding to the device to the device via the communication interface when the certain accuracy is equal to or higher than the accuracy corresponding to the device.
  • the present invention it is possible to provide a network system, a device control method, and a controller that can appropriately control both a device that is highly necessary to avoid erroneous recognition by a user and a device that is low in necessity.
  • FIG. 6 is a flowchart illustrating a processing procedure of control processing in a controller 100 according to Embodiment 2.
  • FIG. 1 is an image diagram showing an overall configuration of a network system 1 according to the present embodiment.
  • network system 1 is installed in, for example, a house or an office.
  • the network system 1 includes a key 200A and an illumination 200B arranged at the entrance, a television 200C and an illumination 200D and an air conditioner 200E arranged in a living room, and a key 200F and an illumination 200G arranged in a bath.
  • the key 200A, the lighting 200B, the television 200C, the lighting 200D, the air conditioner 200E, the key 200F, the lighting 200G, and other home appliances are collectively referred to as the device 200.
  • the network system 1 includes cameras 300A and 300B arranged at the entrance, a camera 300C arranged in the living room, and a camera 300D arranged in the bath.
  • the cameras 300A, 300B, 300C, and 300D are collectively referred to as the camera 300.
  • the network system 1 includes a controller 100 for controlling a key 200A, an illumination 200B, a television 200C, an illumination 200D, an air conditioner 200E, a key 200F, an illumination 200G, and other devices.
  • the controller 100 can perform data communication with the key 200A, the lighting 200B, the television 200C, the lighting 200D, the air conditioner 200E, the key 200F, the lighting 200G, and other devices via the wired or wireless network 400.
  • the controller 100 uses, for example, a wired LAN (Local Area Network), a wireless LAN, a PLC (Power Line Communications), Bluetooth (registered trademark), or the like as the network 400.
  • the controller 100 stores data for specifying a user in advance for each user.
  • the data for specifying the user includes data of the user's face image itself obtained from the camera 300 or feature amount data obtained from the user's face image.
  • the data for specifying the user may include data of a plurality of face images of the user obtained from each of a plurality of cameras, feature amount data obtained from the plurality of face images of the user, or the like.
  • storage specifying data data for specifying a user stored in advance.
  • the controller 100 stores a correspondence relationship between the device 200 and the camera 300. More specifically, the cameras 300A and 300B for photographing a person outside the door of the entrance, the key 200A arranged at the entrance, and the illumination 200B are associated with each other. A camera 300C for photographing a person in the living room, a television 200C, an illumination 200D, and an air conditioner 200E arranged in the living room are associated with each other. A camera 300D for photographing a person in the bath or a person outside the bath, a key 200F arranged in the bath, and an illumination 200G are associated with each other.
  • the controller 100 stores the accuracy for each device 200 in advance.
  • high accuracy is associated with a device that is highly necessary to avoid misrecognition of a user
  • low accuracy is associated with a device that is less necessary to avoid misrecognition of a user.
  • the controller 100 stores a user and a control command in association with each other, and stores a guest (person other than the user) and a control command in association with each other.
  • the camera 300 transmits periodically captured images to the controller 100.
  • the camera 300 may take a picture of the person and transmit the photographed image to the controller 100.
  • the controller 100 creates specific data (acquired specific data) based on the face image of the person included in the image received from the camera 300.
  • the controller 100 calculates the degree of similarity between the storage specific data and the acquired specific data (the probability that the detected person is a registered user) for each of a plurality of storage specific data stored in advance.
  • the controller 100 specifies the user (specific user) by specifying the storage specifying data that is most similar to the acquired specifying data.
  • the controller 100 specifies at least one device 200 corresponding to the camera 300.
  • the controller 100 executes the following operation for each at least one device 200 corresponding to the camera 300.
  • the controller 100 determines whether the similarity between the storage specific data most similar to the acquired specific data and the acquired specific data is equal to or higher than the accuracy of the device 200. When the similarity is equal to or higher than the accuracy of the device 200, the controller 100 transmits a control command corresponding to the specific user to the device 200.
  • the controller 100 transmits a control command corresponding to the guest to the device 200.
  • the controller 100 may not transmit a control command to the device 200. That is, the controller 100 may ignore the captured image from the camera 300 regarding the device 200.
  • the network system 1 it is possible to appropriately control both devices that are highly necessary to avoid erroneous recognition by the user and devices that are low in necessity.
  • misrecognizing a user regarding automatic control of a device using personal recognition based on an image from a camera (sensor). And control which a user does not intend based on the result of misrecognition may be performed.
  • the magnitude of the influence of misrecognition differs for each device to be controlled.
  • the network system 1 according to the present embodiment can achieve the effects that cannot be achieved as described above.
  • FIG. 2 is a block diagram showing a hardware configuration of controller 100 according to the present embodiment.
  • the controller 100 includes a memory 101, a display 102, a tablet 103, a button 104, a communication interface 105, a speaker 107, a clock 108, and a CPU (Central Processing Unit) 110 that is a processor.
  • a memory 101 a memory 101, a display 102, a tablet 103, a button 104, a communication interface 105, a speaker 107, a clock 108, and a CPU (Central Processing Unit) 110 that is a processor.
  • CPU Central Processing Unit
  • the memory 101 is realized by various types of RAM (Random Access Memory), ROM (Read-Only Memory), a hard disk, and the like.
  • the memory 101 stores a control program executed by the CPU 110, storage specific data 101A, a device database 101B, a user database 101C, and the like.
  • the storage specifying data 101A is data for specifying a user for each user.
  • the storage specific data 101A includes, for each user, data of the user's face image itself obtained from the camera 300 and / or feature amount data obtained from the user's face image.
  • the storage specifying data 101A also includes data of a plurality of face images of the user obtained from each of a plurality of cameras or feature amount data obtained from the plurality of face images of the user.
  • the memory 101 stores storage specific data 101A for each of various types corresponding to the type of the camera 300 used for recognition and the number of the cameras 300 used for recognition. In other words, the memory 101 stores the storage specific data 101A in association with the type of specific data and the user ID (or user name).
  • FIG. 3 is an image diagram showing a data structure of device database 101B according to the present embodiment.
  • device database 101B includes, for each device, device ID, device name, accuracy for executing a control command corresponding to the user, corresponding camera ID, specific data type, or specific data address. Is stored.
  • the corresponding accuracy is set high.
  • the living room lighting 200 ⁇ / b> D has a higher merit that it is easier to recognize the user than a demerit that misrecognizes the user, so the corresponding accuracy is set low.
  • FIG. 4 is an image diagram showing a data structure of the user database 101C according to the present embodiment.
  • user database 101C stores a user ID, a user name, and a control command for each device for each user.
  • a control command for each device corresponding to “guest” is stored as a command to be executed when the similarity between the storage specific data and the acquired specific data is less than the accuracy.
  • the user database 101C may store NULL as a control command. That is, for the device 200 corresponding to NULL, the controller 100 may not transmit a control command when the similarity between the storage specific data and the acquired specific data is less than the accuracy.
  • the display 102 displays various types of information under the control of the CPU 110.
  • the tablet 103 detects a touch operation with a user's finger and inputs touch coordinates or the like to the CPU 110.
  • the CPU 110 receives a command from the user via the tablet 103.
  • the tablet 103 is laid on the surface of the display 102. That is, in the present embodiment, display 102 and tablet 103 constitute touch panel 106.
  • the button 104 is disposed on the surface of the controller 100.
  • a plurality of buttons such as a numeric keypad may be arranged on the controller 100.
  • the button 104 receives a command from the user.
  • the button 104 inputs a command from the user to the CPU 110.
  • the communication interface 105 is controlled by the CPU 110 to transmit / receive data to / from the key 200A, the lighting 200B, the television 200C, the lighting 200D, the air conditioner 200E, the key 200F, the lighting 200G, and other home appliances via the network 400.
  • the speaker 107 outputs sound by being controlled by the CPU 110.
  • the CPU 110 notifies that when transmitting a control command to the device 200.
  • the clock 108 measures the current time and the current date.
  • the CPU 110 can acquire the current time and date based on the data from the clock 108.
  • the CPU 110 implements the processing shown in FIG. 7 (FIG. 9) by executing various programs stored in the memory 101.
  • the processing in the controller 100 is realized by each hardware and software executed by the CPU 110.
  • Such software may be stored in the memory 101 in advance.
  • the software may be stored in a storage medium and distributed as a program product.
  • the software may be provided as a program product that can be downloaded by an information provider connected to the so-called Internet.
  • Such software is read from the storage medium by using a reading device (not shown), or downloaded by using the communication interface 105 and temporarily stored in the memory 101.
  • the CPU 110 stores the software in the form of an executable program in the memory 101 and then executes the program.
  • CD-ROM Compact Disc-Read Only Memory
  • DVD-ROM Digital Versatile Disk-Read Only Memory
  • USB Universal Serial Bus
  • memory card memory card
  • FD Flexible Disk
  • hard disk Magnetic tape, cassette tape, MO (Magnetic Optical Disc), MD (Mini Disc), IC (Integrated Circuit) card (excluding memory card), optical card, mask ROM, EPROM, EEPROM (Electronically Erasable Programmable Read-Only Memory) And the like, for example, a medium for storing the program in a nonvolatile manner.
  • the program here includes not only a program directly executable by the CPU but also a program in a source program format, a compressed program, an encrypted program, and the like.
  • CPU 110 receives a captured image from camera 300 via communication interface 105.
  • the CPU 110 creates feature amount data (acquisition specific data) based on a person's face image included in the captured image.
  • CPU110 reads the feature-value data (memory
  • FIG. CPU110 calculates the similarity (accuracy) of storage specific data and acquisition specific data for every user.
  • CPU110 specifies a user (specific user) by specifying the memory
  • the CPU 110 refers to the device database 101B and identifies at least one device 200 corresponding to the camera 300 and the accuracy corresponding to the device 200. CPU110 performs the following operation
  • CPU 110 determines whether or not the similarity between the storage specific data most similar to the acquired specific data and the acquired specific data is equal to or higher than the accuracy corresponding to the device 200. When the similarity is equal to or higher than the accuracy of the device 200, the CPU 110 reads a control command corresponding to the specific user and the device 200 from the user database 101C. The CPU 110 transmits a control command corresponding to the specific user to the device 200 via the communication interface 105.
  • the CPU 110 reads out a control command corresponding to the guest and the device 200 from the user database 101C.
  • the CPU 110 transmits a control command corresponding to the guest to the device 200 via the communication interface 105.
  • the CPU 110 may not transmit a control command to the device 200. That is, the CPU 110 may ignore the data from the camera 300 regarding the device 200. That is, the user database 101C does not have to store data related to guests.
  • FIG. 5 is a block diagram showing a configuration of television 200C according to the present embodiment.
  • television 200 ⁇ / b> C includes a memory 201, a display 202, buttons 204, a communication interface 205, a speaker 207, a remote control receiving unit 209, and a CPU 210.
  • the memory 201 can be realized in the same manner as the memory 101 of the controller 100.
  • the memory 201 stores a control program executed by the CPU 210, data received from the controller 100, and the like.
  • the display 202 is controlled by the CPU 210. More specifically, the display 202 displays a still image or a moving image based on data from a TV tuner or VRAM (Video RAM) (not shown).
  • VRAM Video RAM
  • the button 204 is disposed on the surface of the television 200C.
  • the television 200C may include a plurality of buttons 204 such as a determination key, a direction key, and a numeric keypad.
  • the button 204 receives a command from the user and inputs the command to the CPU 210.
  • the communication interface 205 transmits / receives data to / from the controller 100 via the network 400 under the control of the CPU 210.
  • the communication interface 205 transmits and receives data to and from the controller 100 by using a wireless LAN, ZigBee (registered trademark), Bluetooth (registered trademark), wired LAN (Local Area Network), PLC (Power Line Communications), or the like.
  • the communication interface 205 inputs a control command received from the controller 100 to the CPU 210.
  • Speaker 207 outputs sound based on a command from CPU 210.
  • the CPU 210 causes the speaker 207 to output sound based on the sound data.
  • the remote control receiving unit 209 receives a control signal from the controller 100.
  • the remote control receiving unit 209 receives a signal from the controller 100 by using infrared rays, a wireless LAN, ZigBee (registered trademark), Bluetooth (registered trademark), or the like.
  • the CPU 210 executes various types of information processing by executing various programs stored in the memory 201.
  • CPU 110 controls each unit of television 200 ⁇ / b> C based on a control command input via button 204, communication interface 205, or remote control receiving unit 209.
  • buttons 204 or remote control reception unit 209 or touch panel for receiving a control command from the user
  • controller 100 as in television 200C shown in FIG. It is only necessary to have a communication interface 205 for receiving a control command and a CPU 210 for executing a control command from the button 204, the remote control receiving unit 209, or the controller 100.
  • FIG. 6 is a block diagram showing a configuration of camera 300 according to the present embodiment.
  • camera 300 includes a memory 301, a sensor 302, a communication interface 305, and a CPU 310.
  • the CPU 310 periodically photographs a person using the sensor 302.
  • the CPU 310 sequentially transmits captured images to the controller 100 via the communication interface 305.
  • the CPU 310 may transmit data of the captured image itself to the controller 100 via the communication interface 305, or may extract face image data from the captured image and transmit the face image data to the controller 100. Also good.
  • the camera 300 may be equipped with a human sensor.
  • the CPU 310 operates (photographs) the sensor 302 when a person is detected by the human sensor.
  • the CPU 310 can also temporarily store the captured image in the memory 301.
  • FIG. 7 is a flowchart showing a processing procedure of control processing in the controller 100 according to the present embodiment.
  • CPU 110 determines whether or not a captured image has been received from camera 300 via communication interface 105 (step S102). CPU110 performs the process of step S102, when the picked-up image is not received (when it is NO in step S102).
  • step S102 CPU 110 determines whether or not at least one face is included in the captured image (whether facial image data can be created from the captured image). (Step S104). If the captured image does not include a face (NO in step S104), the processing from step S102 is executed.
  • CPU110 specifies the apparatus 200 corresponding to the camera 300 with reference to the apparatus database 101B, when a face is contained in a picked-up image (when it is YES in step S104) (step S106).
  • the CPU 110 enters the number of devices 200 corresponding to the camera in the variable N of the memory 101 (step S108).
  • CPU 110 creates acquisition specific data from the captured image.
  • the CPU 110 compares the storage specific data 101A in the memory 101 with the acquired specific data for each user.
  • the CPU 110 temporarily stores the user ID corresponding to the storage specific data having the highest similarity with the acquired specific data and the similarity in the memory 101 (step S110).
  • CPU110 puts 1 into the variable n of the memory 101 (step S112).
  • the CPU 110 reads the accuracy of the nth device 200 among the devices 200 corresponding to the camera 300 from the device database 101B.
  • CPU110 judges whether the highest similarity is more than the accuracy of the nth device (step S114). When the highest similarity is not equal to or higher than the accuracy of the nth device (NO in step S114), CPU 110 determines that camera 300 has photographed the guest (step S116). That is, the CPU 110 specifies a guest ID for the nth device 200.
  • CPU110 performs the process from step S120.
  • CPU 110 captures the user corresponding to the stored specific data having the highest similarity with the acquired specific data. It is determined that it has been done (step S118). That is, the CPU 110 specifies the user ID of the user corresponding to the storage specific data having the highest similarity to the acquired specific data for the nth device 200.
  • the CPU 110 reads out the control command corresponding to the specified guest ID or user ID and the nth device 200 from the user database 101C.
  • CPU 110 transmits the control command via communication interface 105 (step S120).
  • CPU110 increments the variable n (step S122).
  • CPU110 determines whether the variable n is larger than N (step S124).
  • CPU110 repeats the process from step S114, when the variable n is N or less (when it is NO in step S124). On the other hand, when variable n is larger than N (YES in step S124), CPU 110 repeats the processing from step S102.
  • a control command is set for each device and for each user.
  • the control command does not need to be associated with the user ID.
  • a control command is associated with each device.
  • the controller 100 for each device, the first control command transmitted when the similarity is greater than or equal to the accuracy, and the second control command transmitted when the similarity is less than the accuracy.
  • the controller is different from the controller according to the first embodiment in that it stores the control command in association with each other. That is, in the present embodiment, the controller 100 does not store the user and the control command in association with each other.
  • the camera 300 transmits periodically captured images to the controller 100.
  • the camera 300 may capture a person and send the captured image to the controller 100.
  • the controller 100 creates acquisition specific data based on the face image of the person included in the image received from the camera 300.
  • the controller 100 calculates the similarity between the storage specific data and the acquired specific data for each of the plurality of storage specific data stored in advance.
  • the controller 100 specifies at least one device 200 corresponding to the camera 300.
  • the controller 100 executes the following operation for each at least one device 200 corresponding to the camera 300.
  • the controller 100 determines whether the similarity between the storage specific data most similar to the acquired specific data and the acquired specific data is equal to or higher than the accuracy of the device 200.
  • the controller 100 transmits a first control command to the device 200. If the similarity is less than the accuracy of the device 200, the controller 100 transmits a second control command to the device 200. However, if the degree of similarity is less than the accuracy of the device 200, the controller 100 may not transmit a control command to the device 200. That is, the controller 100 may ignore the captured image from the camera 300 regarding the device 200.
  • controller 100 The configuration of controller 100 according to the present embodiment is similar to that of the first embodiment shown in FIG. 2, and therefore description thereof will not be repeated here. However, the data stored in the memory 101 according to the present embodiment and the operation of the CPU 110 are different from those of the first embodiment. Hereinafter, data stored in the memory 101 according to the present embodiment and the operation of the CPU 110 will be described.
  • the memory 101 stores a control program executed by the CPU 110, storage specific data 101A, a device database 101D, and the like. That is, the memory 101 according to the present embodiment does not store the device database 101B and the user database 101C according to the first embodiment.
  • the storage specifying data 101A is data for specifying a user for each user.
  • the storage specific data 101A includes, for each user, data of the user's face image itself obtained from the camera 300 and / or feature amount data obtained from the user's face image.
  • the storage specifying data 101A also includes data of a plurality of face images of the user obtained from each of a plurality of cameras or feature amount data obtained from the plurality of face images of the user.
  • the memory 101 stores storage specific data 101A for each of various types corresponding to the type of the camera 300 used for recognition and the number of the cameras 300 used for recognition. In other words, the memory 101 stores the storage specific data 101A in association with the type of specific data and the user ID (or user name).
  • FIG. 8 is an image diagram showing a data structure of the device database 101D according to the present embodiment.
  • the device database 101D includes, for each device, a device ID, a device name, an accuracy for executing the first control command, a corresponding camera ID, a specific data type or a specific data address, A first control command that is employed when the similarity is greater than or equal to the accuracy and a second control command that is employed when the similarity is less than the accuracy are stored.
  • the corresponding accuracy is set high.
  • the living room lighting 200 ⁇ / b> D has a higher merit that it is easier to recognize the user than a demerit that misrecognizes the user, so the corresponding accuracy is set low.
  • the CPU 110 operates as follows according to the control program stored in the memory 101.
  • CPU 110 receives a captured image from camera 300 via communication interface 105.
  • the CPU 110 creates feature amount data (acquisition specific data) based on a person's face image included in the captured image.
  • CPU110 reads the feature-value data (memory
  • FIG. CPU110 calculates the similarity (accuracy) of storage specific data and acquisition specific data for every user.
  • the CPU 110 refers to the device database 101D to identify at least one device 200 corresponding to the camera 300 and the accuracy corresponding to the device 200.
  • CPU110 performs the following operation
  • CPU 110 determines whether or not the similarity between the storage specific data most similar to the acquired specific data and the acquired specific data is equal to or higher than the accuracy corresponding to the device 200. When the similarity is equal to or higher than the accuracy of the device 200, the CPU 110 reads the first control command corresponding to the device 200 from the device database 101D. The CPU 110 transmits a first control command to the device 200 via the communication interface 105.
  • the CPU 110 reads a second control command corresponding to the device 200 from the device database 101D.
  • the CPU 110 transmits a second control command to the device 200 via the communication interface 105.
  • the CPU 110 may not transmit a control command to the device 200. That is, the CPU 110 may ignore the data from the camera 300 regarding the device 200. That is, the device database 101D does not have to store the second control command.
  • FIG. 9 is a flowchart showing a processing procedure of control processing in the controller 100 according to the present embodiment.
  • CPU 110 determines whether or not a photographed image has been received from camera 300 via communication interface 105 (step S202). CPU110 performs the process of step S202, when the picked-up image is not received (when it is NO in step S202).
  • step S202 CPU 110 determines whether or not at least one face is included in the captured image (whether facial image data can be created from the captured image). (Step S204). If the photographed image does not include a face (NO in step S204), the processing from step S202 is executed.
  • CPU 110 refers to device database 101D and identifies device 200 corresponding to camera 300 (step S206). CPU 110 enters the number of devices 200 corresponding to the camera in variable N of memory 101 (step S208).
  • CPU 110 creates acquisition specific data from the captured image.
  • the CPU 110 compares the acquired specific data with the stored specific data 101A for each user.
  • the CPU 110 temporarily stores the user ID corresponding to the stored specific data having the highest similarity with the acquired specific data and the similarity in the memory 101 (step S210).
  • CPU110 puts 1 into the variable n of the memory 101 (step S212).
  • the CPU 110 reads the accuracy of the nth device 200 among the devices 200 corresponding to the camera 300 from the device database 101D.
  • CPU 110 determines whether or not the highest similarity is equal to or higher than the accuracy of the n-th device (step S214). If the highest similarity is not equal to or higher than the accuracy of the nth device (NO in step S214), CPU 110 reads a second control command corresponding to nth device 200 from device database 101D.
  • CPU 110 transmits the second control command via communication interface 105 (step S216).
  • CPU110 performs the process from step S220.
  • the CPU 110 When the highest similarity is equal to or higher than the accuracy of the n-th device, the CPU 110 reads the first control command corresponding to the n-th device 200 from the device database 101D. CPU 110 transmits the first control command via communication interface 105 (step S218). CPU110 increments the variable n (step S222). CPU110 determines whether the variable n is larger than N (step S224).
  • CPU110 repeats the process from step S214, when the variable n is N or less (when it is NO in step S224). On the other hand, when variable n is larger than N (when YES in step S224), CPU 110 repeats the processing from step S202.
  • the present invention can also be applied to a case where the controller 100 is achieved by supplying a program to a mobile phone, a device-dedicated terminal, or the like. Then, a storage medium storing a program represented by software for achieving the present invention is supplied to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores the program code stored in the storage medium It is possible to enjoy the effects of the present invention also by reading and executing.
  • the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the storage medium storing the program code constitutes the present invention.
  • the function expansion is performed based on the instruction of the program code. It goes without saying that the CPU or the like provided in the board or the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
  • 1 network system 100 controller, 101, 201, 301 memory, 101A storage specific data, 101B, 101D device database, 101C user database, 102, 202 display, 103 tablet, 104, 204 buttons, 105, 205, 305 communication interface, 106 touch panel, 107, 207 speaker, 108 clock, 110, 210, 310 CPU, 200 equipment, 200A, 200F key, 200B, 200D, 200G lighting, 200C television, 200E air conditioner, 209 remote control receiver, 300, 300A, 300B, 300C, 300D camera, 302 sensor, 400 network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Telephonic Communication Services (AREA)

Abstract

 コントローラ(100)は、カメラ(300A~300D)から人物を含む画像を受信し、当該画像に含まれる人物が、予め記憶された情報によって特定される人物である確度を算出する。そして、算出された確度が、機器(200A~200H)毎に対応付けられた確度以上である場合には、コントローラ(100)は、当該確度以上となった機器(200A~200H)に、第1の制御命令を送信する。

Description

ネットワークシステム、機器の制御方法、およびコントローラ
 本発明は、コントローラと当該コントローラによって制御される機器とを含むネットワークシステム、機器の制御方法、およびコントローラに関する。特に、本発明は、少なくとも1つのカメラから得られる画像に基づいて、複数の機器を制御するためのコントローラの技術に関する。
 複数の機器を制御するためのコントローラが知られている。そのようなコントローラの中には、ユーザの認識結果に応じて機器を制御するものがある。
 たとえば、特開2006-243849号公報(特許文献1)には、機器制御装置及びその方法が開示されている。特開2006-243849号公報(特許文献1)によると、機器制御装置は、顔認識処理部、機器設定部、対話処理部とから構成され、ユーザの顔画像に関する個人データを取得し、取得した個人データと、登録された個人辞書データと比較して、取得した個人データに対応する人物を認識し、認識した人物に対応する登録時の顔画像を、前記登録されている個人辞書データに基づいて表示し、表示した人物が前記ユーザに一致するか否かの確認情報を前記ユーザから受け、確認された人物に対応する前記機器環境パラメータに設定する。
特開2006-243849号公報
 しかしながら、カメラからの画像を利用する場合、ユーザを誤認識する可能性がある。コントローラが制御する機器の中には誤認識を避ける必要性が高い機器と低い機器とが存在するが、従来のコントローラではその点が考慮されていない。
 本発明は、かかる問題を解決するためになされたものであり、その目的は、ユーザの誤認識を避ける必要性が高い機器と低い機器の双方を適切に制御することができるネットワークシステム、機器の制御方法、およびコントローラを提供することである。
 この発明のある局面に従うと、人物を撮影するための少なくとも1つのカメラと、制御命令に応じて動作する複数の機器と、コントローラとを備えるネットワークシステムが提供される。コントローラは、少なくとも1つのカメラおよび複数の機器と通信するための通信インターフェイスと、人物を特定するための情報を記憶し、複数の機器の各々に対応付けて確度と第1の制御命令とを記憶するメモリと、プロセッサとを含む。プロセッサは、通信インターフェイスを介して少なくとも1つのカメラから人物を含む画像を受信し、複数の機器毎に、画像に含まれる人物が情報によって特定される人物である確度が機器に対応する確度以上である場合に、通信インターフェイスを介して機器に対応する第1の制御命令を機器へと送信する。
 好ましくは、メモリは、第1の制御命令を人物を特定するための情報に対応付けて記憶する。プロセッサは、複数の機器毎に、画像に含まれる人物が情報によって特定される人物である確度が機器に対応する確度以上である場合に、通信インターフェイスを介して機器と人物を特定するための情報とに対応する第1の制御命令を機器へと送信する。
 好ましくは、少なくとも1つのカメラは複数のカメラを含む。メモリは、複数のカメラと複数の機器との対応関係を記憶する。プロセッサは、複数の機器のうちの人物を含む画像を送信したカメラに対応する機器毎に、画像に含まれる人物が情報によって特定される人物である確度が機器に対応する確度以上である場合に、通信インターフェイスを介して機器に対応する第1の制御命令を機器へと送信する。
 好ましくは、人物を特定するための情報は、複数のカメラから得られる複数の画像から作成される特徴量を含む。
 好ましくは、メモリは、複数の機器の少なくともいずれかに対応付けて第2の制御命令を記憶する。プロセッサは、複数の機器毎に、画像に含まれる人物が情報によって特定される人物である確度が機器に対応する確度未満である場合に、通信インターフェイスを介して機器に対応する第2の制御命令を機器へと送信する。
 この発明の別の局面に従うと、少なくとも1つのカメラと、複数の機器と、人物を特定するための情報を記憶するとともに複数の機器の各々に対応付けて確度と第1の制御命令とを記憶するコントローラと、を含むネットワークシステムにおける機器の制御方法が提供される。機器の制御方法は、少なくとも1つのカメラが、人物を撮影するステップと、コントローラが、少なくとも1つのカメラから人物を含む画像を受信するステップと、コントローラが、複数の機器毎に、画像に含まれる人物が情報によって特定される人物である確度が機器に対応する確度以上である場合に、機器に対応する第1の制御命令を機器へと送信するステップと、機器が、第1の制御命令に応じて動作するステップとを含む。
 この発明の別の局面に従うと、少なくとも1つのカメラおよび複数の機器と通信するための通信インターフェイスと、人物を特定するための情報を記憶するとともに複数の機器の各々に対応付けて確度と第1の制御命令とを記憶するメモリと、プロセッサとを含むコントローラが提供される。プロセッサは、通信インターフェイスを介して少なくとも1つのカメラから人物を含む画像を受信し、複数の機器毎に、画像に含まれる人物が情報によって特定される人物である確度が機器に対応する確度以上である場合に、通信インターフェイスを介して機器に対応する第1の制御命令を機器へと送信する。
 この発明の別の局面に従うと、通信インターフェイスと、人物を特定するための情報を記憶するとともに複数の機器の各々に対応付けて確度と第1の制御命令とを記憶するメモリと、プロセッサと、を含むコントローラによって実行される機器の制御方法が提供される。機器の制御方法は、プロセッサが、通信インターフェイスを介して少なくとも1つのカメラから人物を含む画像を受信するステップと、プロセッサが、複数の機器毎に、画像に含まれる人物が情報によって特定される人物である確度が機器に対応する確度以上である場合に、通信インターフェイスを介して機器に対応する第1の制御命令を機器へと送信するステップとを含む。
 以上のように、本発明によって、ユーザの誤認識を避ける必要性が高い機器と低い機器の双方を適切に制御することができるネットワークシステム、機器の制御方法、およびコントローラが提供される。
本実施の形態に係るネットワークシステム1の全体構成を示すイメージ図である。 本実施の形態に係るコントローラ100のハードウェア構成を表わすブロック図である。 実施の形態1に係る機器データベース101Bのデータ構造を示すイメージ図である。 実施の形態1に係るユーザデータベース101Cのデータ構造を示すイメージ図である。 本実施の形態に係るテレビ200Cの構成を表わすブロック図である。 本実施の形態に係るカメラ300の構成を表わすブロック図である。 本実施の形態に係るコントローラ100における制御処理の処理手順を示すフローチャートである。 実施の形態2に係る機器データベース101Dのデータ構造を示すイメージ図である。 実施の形態2に係るコントローラ100における制御処理の処理手順を示すフローチャートである。
 以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
 [実施の形態1]
 <ネットワークシステムの全体構成>
 まず、本実施の形態に係るネットワークシステムの全体構成について説明する。図1は、本実施の形態に係るネットワークシステム1の全体構成を示すイメージ図である。
 図1を参照して、本実施の形態に係るネットワークシステム1は、たとえば、住宅やオフィスなどに設置される。ネットワークシステム1は、玄関に配置される鍵200Aと照明200B、リビングルームに配置されるテレビ200Cと照明200Dとエアコン200E、風呂に配置される鍵200Fと照明200Gを含む。なお、以下では、鍵200A、照明200B、テレビ200C、照明200D、エアコン200E、鍵200F、照明200G、その他の家電などを総称して、機器200ともいう。
 ネットワークシステム1は、玄関に配置されるカメラ300A,300Bと、リビングルームに配置されるカメラ300Cと、風呂に配置されるカメラ300Dとを含む。なお、以下では、カメラ300A,300B,300C,300Dを総称して、カメラ300ともいう。
 ネットワークシステム1は、鍵200A、照明200B、テレビ200C、照明200D、エアコン200E、鍵200F、照明200G、その他の機器を制御するためのコントローラ100を含む。コントローラ100は、有線あるいは無線のネットワーク400を介して、鍵200A、照明200B、テレビ200C、照明200D、エアコン200E、鍵200F、照明200G、その他の機器とデータ通信が可能である。コントローラ100は、ネットワーク400として、たとえば、有線LAN(Local Area Network)や無線LANやPLC(Power Line Communications)やBluetooth(登録商標)などを利用する。
 コントローラ100は、予めユーザ毎に、ユーザを特定するためのデータを記憶している。なお、ユーザを特定するためのデータは、カメラ300から得られるユーザの顔画像そのもののデータあるいはユーザの顔画像から得られる特徴量データなどを含む。また、ユーザを特定するためのデータは、複数のカメラのそれぞれから得られるユーザの複数の顔画像そのもののデータあるいはユーザの複数の顔画像から得られる特徴量データなどを含んでもよい。以下、予め記憶されている、ユーザを特定するためのデータを記憶特定データという。
[規則91に基づく訂正 29.06.2012] 
 また、コントローラ100は、機器200とカメラ300との対応関係を記憶している。より詳細には、玄関のドアの外側にいる人を撮影するためのカメラ300A、300Bと、玄関に配置される鍵200Aと照明200Bと、が対応付けられている。リビングルームにいる人を撮影するためのカメラ300Cと、リビングルームに配置されるテレビ200Cと照明200Dとエアコン200Eと、が対応付けられている。風呂にいる人または風呂の外側にいる人を撮影するためのカメラ300Dと、風呂に配置される鍵200Fと照明200Gと、が対応付けられている。
 コントローラ100は、予め機器200毎の確度を記憶している。なお、コントローラ100では、ユーザの誤認識を避ける必要性が高い機器には高い確度が対応付けられ、ユーザの誤認識を避ける必要性が低い機器には低い確度が対応付けられている。コントローラ100は、機器毎に、ユーザと制御命令とを対応付けて記憶し、ゲスト(ユーザ以外の人物)と制御命令とを対応付けて記憶している。
 <ネットワークシステムの動作概要>
 次に、本実施の形態に係るネットワークシステム1の動作概要について説明する。図1を参照して、まず、カメラ300は、定期的に撮影した画像をコントローラ100に送信する。ただし、カメラ300は、人感センサを利用することによって、人を検知したときに、当該人を撮影し、撮影画像をコントローラ100に送信してもよい。
 コントローラ100は、カメラ300から受信した画像に含まれる人物の顔画像に基づいて、特定データ(取得特定データ)を作成する。コントローラ100は、予め記憶している複数の記憶特定データ毎に、記憶特定データと取得特定データとの類似度(検知された人が登録されているユーザである確度)を計算する。コントローラ100は、取得特定データに最も類似する記憶特定データを特定することによって、ユーザ(特定ユーザ)を特定する。
 コントローラ100は、カメラ300に対応する少なくとも1つの機器200を特定する。コントローラ100は、カメラ300に対応する少なくとも1つの機器200毎に以下の動作を実行する。
 コントローラ100は、取得特定データに最も類似する記憶特定データと当該取得特定データとの類似度が機器200の確度以上であるか否かを判断する。類似度が機器200の確度以上である場合、コントローラ100は、当該機器200に特定ユーザに対応する制御命令を送信する。
 一方、類似度が機器200の確度未満である場合、コントローラ100は、機器200にゲストに対応する制御命令を送信する。ただし、類似度が機器200の確度未満である場合、コントローラ100は、当該機器200に制御命令を送信しなくてもよい。すなわち、コントローラ100は、機器200に関して、カメラ300からの撮影画像を無視してもよい。
 これによって、本実施の形態に係るネットワークシステム1においては、ユーザの誤認識を避ける必要性が高い機器と低い機器の双方を適切に制御することができる。
 より詳細には、カメラ(センサ)からの画像に基づく個人認識を用いた機器の自動制御に関しては、ユーザを誤認識してしまう可能性がある。そして、誤認識の結果に基づいてユーザが意図しない制御が行われる可能性がある。誤認識の影響力の大きさは、制御される機器毎に違なる。
 たとえば、セキュリティの高い制御が必要な機器は重大な誤動作を引き起こす可能性がある。玄関の鍵200Aの誤認識を避ける必要性は、部屋の鍵200Fに関する誤認識を避ける必要性よりも高い。一方、快適性を求めた制御をする機器は、誤認識されても大きな問題は生じ難い。むしろ、誤認識を避けるためにユーザが認識され難いという構成にすると不便である。
 本実施の形態に係るネットワークシステム1は、上記のような両立し得ない効果を達成することができる。
 以下、このような機能を実現するためのネットワークシステム1の具体的な構成について詳述する。
 <コントローラ100の構成>
 次に、本実施の形態に係るコントローラ100の構成の一態様について説明する。図2は、本実施の形態に係るコントローラ100のハードウェア構成を表わすブロック図である。
 コントローラ100は、メモリ101と、ディスプレイ102と、タブレット103と、ボタン104と、通信インターフェイス105と、スピーカ107と、時計108と、プロセッサであるCPU(Central Processing Unit)110とを含む。
 メモリ101は、各種のRAM(Random Access Memory)や、ROM(Read-Only Memory)や、ハードディスクなどによって実現される。メモリ101は、CPU110によって実行される制御プログラム、記憶特定データ101A、機器データベース101B、ユーザデータベース101Cなどを記憶する。
 上述したように、記憶特定データ101Aは、ユーザ毎の、ユーザを特定するためのデータである。記憶特定データ101Aは、ユーザ毎の、カメラ300から得られたユーザの顔画像そのもののデータおよび/あるいはユーザの顔画像から得られる特徴量データを含む。記憶特定データ101Aは、複数のカメラのそれぞれから得られるユーザの複数の顔画像そのもののデータあるいはユーザの複数の顔画像から得られる特徴量データなども含む。
 そして、メモリ101は、認識に利用するカメラ300の種類や認識に利用するカメラ300の個数に対応した様々な種類毎の、記憶特定データ101Aを記憶する。換言すれば、メモリ101は、特定データの種類とユーザID(またはユーザ名)とに対応づけて、記憶特定データ101Aを記憶する。
 図3は、本実施の形態に係る機器データベース101Bのデータ構造を示すイメージ図である。図3を参照して、機器データベース101Bは、機器毎に、機器ID、機器名、ユーザに対応する制御命令を実行するための確度、対応するカメラのID、特定データの種類あるいは特定データのアドレスを格納する。
 たとえば、玄関の鍵200Aに関しては、ユーザを認識し易いというメリットよりもユーザを誤認識するデメリットの方が大きいため、対応する確度が高く設定されている。一方、リビングルームの照明200Dは、ユーザを誤認識するデメリットよりもユーザを認識し易いというメリットの方が大きいため、対応する確度が低く設定されている。
 図4は、本実施の形態に係るユーザデータベース101Cのデータ構造を示すイメージ図である。図4を参照して、ユーザデータベース101Cは、ユーザ毎に、ユーザID、ユーザ名、機器毎の制御命令を格納する。本実施の形態においては、記憶特定データと取得特定データとの類似度が確度未満である場合に実行される命令として、「ゲスト」に対応する機器毎の制御命令を格納する。なお、ユーザデータベース101Cは、制御命令として、NULLを格納してもよい。すなわち、NULLに対応する機器200に関しては、記憶特定データと取得特定データとの類似度が確度未満である場合には、コントローラ100が制御命令を送信しなくてもよい。
 図2に戻って、ディスプレイ102は、CPU110によって制御されることによって、各種の情報を表示する。タブレット103は、ユーザの指によるタッチ操作を検出して、タッチ座標などをCPU110に入力する。CPU110は、タブレット103を介して、ユーザからの命令を受け付ける。
 本実施の形態においては、ディスプレイ102の表面にタブレット103が敷設されている。すなわち、本実施の形態においては、ディスプレイ102とタブレット103とがタッチパネル106を構成する。
 ボタン104は、コントローラ100の表面に配置される。テンキーなどの複数のボタンがコントローラ100に配置されても良い。ボタン104は、ユーザからの命令を受け付ける。ボタン104は、ユーザからの命令をCPU110に入力する。
 通信インターフェイス105は、CPU110によって制御されることによって、ネットワーク400を介して、鍵200A、照明200B、テレビ200C、照明200D、エアコン200E、鍵200F、照明200G、その他の家電とデータを送受信する。
 スピーカ107は、CPU110によって制御されることによって、音声を出力する。たとえば、CPU110は、機器200に制御命令を送信する際にその旨を通知する。
 時計108は、現在時刻や現在日付を計測する。CPU110は、時計108からのデータに基づいて、現在の時刻や日付を取得することができる。
 CPU110は、メモリ101に記憶されている各種のプログラムを実行することによって、図7(図9)に示す処理を実現する。コントローラ100における処理は、各ハードウェアおよびCPU110により実行されるソフトウェアによって実現される。このようなソフトウェアは、メモリ101に予め記憶されている場合がある。また、ソフトウェアは、記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。
 このようなソフトウェアは、図示しない読取装置を利用することによってその記憶媒体から読み取られて、あるいは、通信インターフェイス105を利用することによってダウンロードされて、メモリ101に一旦格納される。CPU110は、ソフトウェアを実行可能なプログラムの形式でメモリ101に格納してから、当該プログラムを実行する。
 なお、記憶媒体としては、CD-ROM(Compact Disc - Read Only Memory)、DVD-ROM(Digital Versatile Disk - Read Only Memory)、USB(Universal Serial Bus)メモリ、メモリカード、FD(Flexible Disk)、ハードディスク、磁気テープ、カセットテープ、MO(Magnetic Optical Disc)、MD(Mini Disc)、IC(Integrated Circuit)カード(メモリカードを除く)、光カード、マスクROM、EPROM、EEPROM(Electronically Erasable Programmable Read-Only Memory)などの、不揮発的にプログラムを格納する媒体が挙げられる。
 ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
 CPU110は、通信インターフェイス105を介して、カメラ300から撮影画像を受信する。CPU110は、撮影画像に含まれる人物の顔画像に基づいて、特徴量データ(取得特定データ)を作成する。
 CPU110は、メモリ101から、ユーザ毎の特徴量データ(記憶特定データ101A)を読み出す。CPU110は、ユーザ毎に、記憶特定データと取得特定データとの類似度(確度)を計算する。CPU110は、取得特定データに最も類似する記憶特定データを特定することによって、ユーザ(特定ユーザ)を特定する。
 CPU110は、機器データベース101Bを参照して、カメラ300に対応する少なくとも1つの機器200と当該機器200に対応する確度とを特定する。CPU110は、少なくとも1つの機器200毎に以下の動作を実行する。
 CPU110は、取得特定データに最も類似する記憶特定データと当該取得特定データとの類似度が機器200に対応する確度以上であるか否かを判断する。類似度が機器200の確度以上である場合、CPU110は、ユーザデータベース101Cから、当該特定ユーザと機器200とに対応する制御命令を読み出す。CPU110は、通信インターフェイス105を介して、機器200に、特定ユーザに対応する制御命令を送信する。
 一方、類似度が機器200の確度未満である場合、CPU110は、ユーザデータベース101Cから、ゲストと機器200とに対応する制御命令を読み出す。CPU110は、通信インターフェイス105を介して、機器200に、ゲストに対応する制御命令を送信する。
 ただし、類似度が機器200の確度未満である場合、CPU110は、当該機器200に制御命令を送信しなくてもよい。すなわち、CPU110は、機器200に関して、カメラ300からのデータを無視してもよい。すなわち、ユーザデータベース101Cは、ゲストに関するデータを格納しなくてもよい。
 <テレビ200Cの構成>
 本実施の形態に係る機器200の一例としてのテレビ200Cの構成について説明する。図5は、本実施の形態に係るテレビ200Cの構成を表わすブロック図である。
[規則91に基づく訂正 29.06.2012] 
 図5を参照して、テレビ200Cは、メモリ201と、ディスプレイ202と、ボタン204と、通信インターフェイス205と、スピーカ207と、リモコン受信部209と、CPU210とを含む。
 メモリ201は、コントローラ100のメモリ101と同様に実現され得る。メモリ201は、CPU210によって実行される制御プログラムや、コントローラ100から受信したデータなどを記憶する。
 ディスプレイ202は、CPU210によって制御される。より詳細には、ディスプレイ202は、図示しないTVチューナやVRAM(Video RAM)からのデータに基づいて、静止画像や動画像を表示する。
 ボタン204は、テレビ200Cの表面に配置される。テレビ200Cは、決定キー、方向キー、テンキーなどの複数のボタン204を有してもよい。ボタン204は、ユーザからの命令を受け付けて、当該命令をCPU210に入力する。
 通信インターフェイス205は、CPU210によって制御されることによって、ネットワーク400を介して、コントローラ100とデータを送受信する。通信インターフェイス205は、無線LAN、ZigBee(登録商標)、Bluetooth(登録商標)、有線LAN(Local Area Network)、またはPLC(Power Line Communications)などを利用することによって、コントローラ100とデータを送受信する。
 たとえば、本実施の形態に係る通信インターフェイス205は、コントローラ100から受信した制御命令をCPU210に入力する。
 スピーカ207は、CPU210からの命令に基づいて、音声を出力する。たとえば、CPU210は、音声データに基づいて、スピーカ207に音声を出力させる。
 リモコン受信部209は、コントローラ100から制御信号を受信する。たとえば、リモコン受信部209は、赤外線、無線LAN、ZigBee(登録商標)、Bluetooth(登録商標)などを利用することによって、コントローラ100から信号を受信する。
 CPU210は、メモリ201に記憶されている各種のプログラムを実行することによって、各種の情報処理を実行する。CPU110は、ボタン204や通信インターフェイス205やリモコン受信部209を介して入力された制御命令に基づいて、テレビ200Cの各部を制御する。
 <その他の機器200について>
 本実施の形態に係るその他の機器200も、図5に示すテレビ200Cと同様に、ユーザからの制御命令を受け付けるための入力部(ボタン204あるいはリモコン受信部209あるいはタッチパネル)と、コントローラ100からの制御命令を受信するための通信インターフェイス205と、ボタン204やリモコン受信部209やコントローラ100からの制御命令を実行するためのCPU210とを有していればよい。
 <カメラ300の構成>
 本実施の形態に係るカメラ300の構成の一態様について説明する。図6は、本実施の形態に係るカメラ300の構成を表わすブロック図である。
 図6を参照して、カメラ300は、メモリ301と、センサ302と、通信インターフェイス305と、CPU310とを含む。CPU310は、定期的に、センサ302を利用して人を撮影する。CPU310は、通信インターフェイス305を介して、撮影画像を逐次コントローラ100に送信する。なお、CPU310は、通信インターフェイス305を介して、撮像画像そのもののデータをコントローラ100に送信しても良いし、撮影画像から顔画像データを抽出して当該顔画像データをコントローラ100へと送信してもよい。
 また、カメラ300は、人感センサを搭載してもよい。この場合、CPU310は、人感センサによって人が検知されたときに、センサ302を動作(撮影)させる。CPU310は、撮影画像をメモリ301に一時的に格納することもできる。
 <コントローラ100における制御処理>
 次に、本実施の形態に係るコントローラ100における制御処理について説明する。図7は、本実施の形態に係るコントローラ100における制御処理の処理手順を示すフローチャートである。
 図7を参照して、CPU110は、通信インターフェイス105を介して、カメラ300から撮影画像を受信したか否かを判断する(ステップS102)。CPU110は、撮影画像を受信していない場合(ステップS102においてNOである場合)、ステップS102の処理を実行する。
 CPU110は、撮影画像を受信した場合(ステップS102においてYESである場合)、撮影画像に少なくとも1つの顔が含まれているか否か(撮影画像から顔画像データを作成できるか否か)を判断する(ステップS104)。撮影画像に顔が含まれていない場合(ステップS104においてNOである場合)、ステップS102からの処理を実行する。
 CPU110は、撮影画像に顔が含まれている場合(ステップS104においてYESである場合)、機器データベース101Bを参照して、カメラ300に対応する機器200を特定する(ステップS106)。CPU110は、メモリ101の変数Nにカメラに対応する機器200の個数を入れる(ステップS108)。
 CPU110は、撮影画像から取得特定データを作成する。CPU110は、ユーザ毎に、メモリ101の記憶特定データ101Aと取得特定データとを比較する。CPU110は、取得特定データとの類似度が最も高い記憶特定データに対応するユーザIDと、当該類似度とをメモリ101に一時的に記憶する(ステップS110)。CPU110は、メモリ101の変数nに1を入れる(ステップS112)。
 CPU110は、機器データベース101Bから、カメラ300に対応する機器200のうちのn番目の機器200の確度を読み出す。CPU110は、最も高い類似度がn番目の機器の確度以上であるか否かを判断する(ステップS114)。最も高い類似度がn番目の機器の確度以上でない場合(ステップS114においてNOである場合)、CPU110は、カメラ300がゲストを撮影したと判断する(ステップS116)。すなわち、CPU110は、n番目の機器200のためにゲストIDを特定する。CPU110は、ステップS120からの処理を実行する。
 最も高い類似度がn番目の機器の確度以上である場合(ステップS114においてYESである場合)、CPU110は、カメラ300が取得特定データとの類似度が最も高い記憶特定データに対応するユーザを撮影したと判断する(ステップS118)。すなわち、CPU110は、n番目の機器200のために取得特定データとの類似度が最も高い記憶特定データに対応するユーザのユーザIDを特定する。
 CPU110は、ユーザデータベース101Cから、特定されたゲストIDまたはユーザIDと、n番目の機器200とに対応する制御命令を読み出す。CPU110は、通信インターフェイス105を介して、当該制御命令を送信する(ステップS120)。CPU110は、変数nをインクリメントする(ステップS122)。CPU110は、変数nがNよりも大きいか否かを判断する(ステップS124)。
 CPU110は、変数nがN以下である場合(ステップS124においてNOである場合)、ステップS114からの処理を繰り返す。一方、CPU110は、変数nがNよりも大きい場合(ステップS124においてYESである場合)、ステップS102からの処理を繰り返す。
 [実施の形態2]
 次に、本発明の実施の形態2について説明する。上述の実施の形態1に係るネットワークシステム1では、機器毎かつユーザ毎に制御命令が設定されている。しかしながら、制御命令はユーザIDに対応付けられている必要はない。本実施の形態に係るネットワークシステム1では、制御命令が機器毎に対応付けられているものである。
 <ネットワークシステムの全体構成>
 本実施の形態に係るネットワークシステムの全体構成は、図1に示す実施の形態1のそれと同様であるため、ここでは説明を繰り返さない。ただし、本実施の形態に係るコントローラ100は、機器毎に、類似度が確度以上である場合に送信される第1の制御命令と、類似度が確度未満である場合に送信される第2の制御命令とを対応付けて記憶している点において、実施の形態1に係るコントローラとは異なる。すなわち、本実施の形態においては、コントローラ100は、ユーザと制御命令とを対応付けて記憶していない。
 <ネットワークシステムの動作概要>
 次に、本実施の形態に係るネットワークシステム1の動作概要について説明する。図1を参照して、まず、カメラ300は、定期的に撮影した画像をコントローラ100に送信する。ただし、カメラ300は、人感センサを利用することによって人を検知したときに、人物を撮影し、撮影画像をコントローラ100に送信してもよい。
 コントローラ100は、カメラ300から受信した画像に含まれる人物の顔画像に基づいて、取得特定データを作成する。コントローラ100は、予め記憶している複数の記憶特定データ毎に、記憶特定データと取得特定データとの類似度を計算する。
 コントローラ100は、カメラ300に対応する少なくとも1つの機器200を特定する。コントローラ100は、カメラ300に対応する少なくとも1つの機器200毎に以下の動作を実行する。
 コントローラ100は、取得特定データに最も類似する記憶特定データと当該取得特定データとの類似度が機器200の確度以上であるか否かを判断する。
 類似度が機器200の確度以上である場合、コントローラ100は、当該機器200に第1の制御命令を送信する。類似度が機器200の確度未満である場合、コントローラ100は、機器200に第2の制御命令を送信する。ただし、類似度が機器200の確度未満である場合、コントローラ100は、当該機器200に制御命令を送信しなくてもよい。すなわち、コントローラ100は、機器200に関して、カメラ300からの撮影画像を無視してもよい。
 これによって、本実施の形態に係るネットワークシステム1においても、ユーザの誤認識を避ける必要性が高い機器と低い機器の双方を適切に制御することができる。
 以下、このような機能を実現するためのネットワークシステム1の具体的な構成について詳述する。
 <コントローラ100の構成>
 本実施の形態に係るコントローラ100の構成は、図2に示す実施の形態1のそれと同様であるため、ここでは説明を繰り返さない。ただし、本実施の形態に係るメモリ101が記憶するデータとCPU110の動作とは、実施の形態1のそれらと異なる。以下では、本実施の形態に係るメモリ101が記憶するデータとCPU110の動作とについて説明する。
 まず、メモリ101が記憶するデータについて説明する。メモリ101は、CPU110によって実行される制御プログラム、記憶特定データ101A、機器データベース101Dなどを記憶する。すなわち、本実施の形態に係るメモリ101は、実施の形態1に係る機器データベース101Bおよびユーザデータベース101Cを記憶しない。
 上述したように、記憶特定データ101Aは、ユーザ毎の、ユーザを特定するためのデータである。記憶特定データ101Aは、ユーザ毎の、カメラ300から得られたユーザの顔画像そのもののデータおよび/あるいはユーザの顔画像から得られる特徴量データを含む。記憶特定データ101Aは、複数のカメラのそれぞれから得られるユーザの複数の顔画像そのもののデータあるいはユーザの複数の顔画像から得られる特徴量データなども含む。
 そして、メモリ101は、認識に利用するカメラ300の種類や認識に利用するカメラ300の個数に対応した様々な種類毎の、記憶特定データ101Aを記憶する。換言すれば、メモリ101は、特定データの種類とユーザID(またはユーザ名)とに対応づけて、記憶特定データ101Aを記憶する。
 図8は、本実施の形態に係る機器データベース101Dのデータ構造を示すイメージ図である。図8を参照して、機器データベース101Dは、機器毎に、機器ID、機器名、第1の制御命令を実行するための確度、対応するカメラのID、特定データの種類あるいは特定データのアドレス、類似度が確度以上である場合に採用される第1の制御命令、類似度が確度未満である場合に採用される第2の制御命令を格納する。
 たとえば、玄関の鍵200Aに関しては、ユーザを認識し易いというメリットよりもユーザを誤認識するデメリットの方が大きいため、対応する確度が高く設定されている。一方、リビングルームの照明200Dは、ユーザを誤認識するデメリットよりもユーザを認識し易いというメリットの方が大きいため、対応する確度が低く設定されている。
 次に、CPU110の動作について説明する。CPU110は、メモリ101に格納されている制御プログラムに従って、以下のように動作する。
 CPU110は、通信インターフェイス105を介して、カメラ300から撮影画像を受信する。CPU110は、撮影画像に含まれる人物の顔画像に基づいて、特徴量データ(取得特定データ)を作成する。
 CPU110は、メモリ101から、ユーザ毎の特徴量データ(記憶特定データ101A)を読み出す。CPU110は、ユーザ毎に、記憶特定データと取得特定データとの類似度(確度)を計算する。
 CPU110は、機器データベース101Dを参照して、カメラ300に対応する少なくとも1つの機器200と当該機器200に対応する確度とを特定する。CPU110は、少なくとも1つの機器200毎に以下の動作を実行する。
 CPU110は、取得特定データに最も類似する記憶特定データと当該取得特定データとの類似度が機器200に対応する確度以上であるか否かを判断する。類似度が機器200の確度以上である場合、CPU110は、機器データベース101Dから、機器200に対応する第1の制御命令を読み出す。CPU110は、通信インターフェイス105を介して、機器200に第1の制御命令を送信する。
 一方、類似度が機器200の確度未満である場合、CPU110は、機器データベース101Dから、機器200に対応する第2の制御命令を読み出す。CPU110は、通信インターフェイス105を介して、機器200に第2の制御命令を送信する。
 ただし、類似度が機器200の確度未満である場合、CPU110は、当該機器200に制御命令を送信しなくてもよい。すなわち、CPU110は、機器200に関して、カメラ300からのデータを無視してもよい。すなわち、機器データベース101Dは、第2の制御命令を格納しなくてもよい。
 <機器200の構成>
 本実施の形態に係るテレビ200Cなどの機器200の構成は、図5に示す実施の形態1のそれと同様であるため、ここでは説明を繰り返さない。
 <カメラ300の構成>
 本実施の形態に係るカメラ300の構成は、図6に示す実施の形態1のそれと同様であるため、ここでは説明を繰り返さない。
 <コントローラ100における制御処理>
 次に、本実施の形態に係るコントローラ100における制御処理について説明する。図9は、本実施の形態に係るコントローラ100における制御処理の処理手順を示すフローチャートである。
 図9を参照して、CPU110は、通信インターフェイス105を介して、カメラ300から撮影画像を受信したか否かを判断する(ステップS202)。CPU110は、撮影画像を受信していない場合(ステップS202においてNOである場合)、ステップS202の処理を実行する。
 CPU110は、撮影画像を受信した場合(ステップS202においてYESである場合)、撮影画像に少なくとも1つの顔が含まれているか否か(撮影画像から顔画像データを作成できるか否か)を判断する(ステップS204)。撮影画像に顔が含まれていない場合(ステップS204においてNOである場合)、ステップS202からの処理を実行する。
[規則91に基づく訂正 29.06.2012] 
 CPU110は、撮影画像に顔が含まれている場合(ステップS204においてYESである場合)、機器データベース101Dを参照して、カメラ300に対応する機器200を特定する(ステップS206)。CPU110は、メモリ101の変数Nにカメラに対応する機器200の個数を入れる(ステップS208)。
 CPU110は、撮影画像から取得特定データを作成する。CPU110は、ユーザ毎に、取得特定データと記憶特定データ101Aとを比較する。CPU110は、取得特定データとの類似度が最も高い記憶特定データに対応するユーザIDと、当該類似度とをメモリ101に一時的に記憶する(ステップS210)。CPU110は、メモリ101の変数nに1を入れる(ステップS212)。
[規則91に基づく訂正 29.06.2012] 
 CPU110は、機器データベース101Dから、カメラ300に対応する機器200のうちのn番目の機器200の確度を読み出す。CPU110は、最も高い類似度がn番目の機器の確度以上であるか否かを判断する(ステップS214)。最も高い類似度がn番目の機器の確度以上でない場合(ステップS214においてNOである場合)、CPU110は、機器データベース101Dから、n番目の機器200に対応する第2の制御命令を読み出す。CPU110は、通信インターフェイス105を介して、第2の制御命令を送信する(ステップS216)。CPU110は、ステップS220からの処理を実行する。
 最も高い類似度がn番目の機器の確度以上である場合、CPU110は、機器データベース101Dから、n番目の機器200に対応する第1の制御命令を読み出す。CPU110は、通信インターフェイス105を介して、第1の制御命令を送信する(ステップS218)。CPU110は、変数nをインクリメントする(ステップS222)。CPU110は、変数nがNよりも大きいか否かを判断する(ステップS224)。
 CPU110は、変数nがN以下である場合(ステップS224においてNOである場合)、ステップS214からの処理を繰り返す。一方、CPU110は、変数nがNよりも大きい場合(ステップS224においてYESである場合)、ステップS202からの処理を繰り返す。
 <その他の実施の形態>
 本発明は、コントローラ100としての、携帯電話や機器制御専用の端末などにプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、本発明の効果を享受することが可能となる。
 この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
 また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
 さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
 今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
 1 ネットワークシステム、100 コントローラ、101,201,301 メモリ、101A 記憶特定データ、101B,101D 機器データベース、101C ユーザデータベース、102,202 ディスプレイ、103 タブレット、104,204 ボタン、105,205,305 通信インターフェイス、106 タッチパネル、107,207 スピーカ、108 時計、110,210,310 CPU、200 機器、200A,200F 鍵、200B,200D,200G 照明、200C テレビ、200E エアコン、209 リモコン受信部、300,300A,300B,300C,300D カメラ、302 センサ、400 ネットワーク。

Claims (8)

  1.  人物を撮影するための少なくとも1つのカメラ(300)と、
     制御命令に応じて動作する複数の機器(200)と、
     コントローラ(100)とを備え、
     前記コントローラ(100)は、
      前記少なくとも1つのカメラ(300)および前記複数の機器(200)と通信するための通信インターフェイス(105)と、
      人物を特定するための情報を記憶し、前記複数の機器(200)の各々に対応付けて確度と第1の制御命令とを記憶するメモリ(101)と、
      プロセッサ(110)とを含み、
     前記プロセッサ(110)は、
      前記通信インターフェイス(105)を介して前記少なくとも1つのカメラ(300)から人物を含む画像を受信し、
      前記複数の機器(200)毎に、前記画像に含まれる人物が前記情報によって特定される人物である確度が前記機器(200)に対応する前記確度以上である場合に、前記通信インターフェイス(105)を介して前記機器(200)に対応する前記第1の制御命令を前記機器(200)へと送信する、ネットワークシステム。
  2.  前記メモリ(101)は、前記第1の制御命令を前記人物を特定するための情報に対応付けて記憶し、
     前記プロセッサ(110)は、前記複数の機器(200)毎に、前記画像に含まれる人物が前記情報によって特定される人物である確度が前記機器(200)に対応する前記確度以上である場合に、前記通信インターフェイス(105)を介して前記機器(200)と前記人物を特定するための情報とに対応する前記第1の制御命令を前記機器(200)へと送信する、請求項1に記載のネットワークシステム。
  3.  前記少なくとも1つのカメラ(300)は複数のカメラ(300)を含み、
     前記メモリ(101)は、前記複数のカメラ(300)と前記複数の機器(200)の対応関係を記憶し、
     前記プロセッサ(110)は、前記複数の機器(200)のうちの前記人物を含む画像を送信したカメラ(300)に対応する機器(200)毎に、前記画像に含まれる人物が前記情報によって特定される人物である確度が前記機器(200)に対応する前記確度以上である場合に、前記通信インターフェイス(105)を介して前記機器(200)に対応する前記第1の制御命令を前記機器(200)へと送信する、請求項1に記載のネットワークシステム。
  4.  前記人物を特定するための情報は、前記複数のカメラ(300)から得られる複数の画像から作成される特徴量を含む、請求項3に記載のネットワークシステム。
  5.  前記メモリ(101)は、前記複数の機器(200)の少なくともいずれかに対応付けて第2の制御命令を記憶し、
     前記プロセッサ(110)は、前記複数の機器(200)毎に、前記画像に含まれる人物が前記情報によって特定される人物である確度が前記機器(200)に対応する前記確度未満である場合に、前記通信インターフェイス(105)を介して前記機器(200)に対応する前記第2の制御命令を前記機器(200)へと送信する、請求項1から請求項4のいずれか1項に記載のネットワークシステム。
  6.  少なくとも1つのカメラ(300)と、複数の機器(200)と、人物を特定するための情報を記憶するとともに前記複数の機器(200)の各々に対応付けて確度と第1の制御命令とを記憶するコントローラ(100)と、を含むネットワークシステムにおける機器(200)の制御方法であって、
     前記少なくとも1つのカメラ(300)が、人物を撮影するステップと、
     前記コントローラ(100)が、前記少なくとも1つのカメラ(300)から人物を含む画像を受信するステップと、
     前記コントローラ(100)が、前記複数の機器(200)毎に、前記画像に含まれる人物が前記情報によって特定される人物である確度が前記機器(200)に対応する前記確度以上である場合に、前記機器(200)に対応する前記第1の制御命令を前記機器(200)へと送信するステップと、
     前記機器(200)が、前記第1の制御命令に応じて動作するステップとを含む、機器(200)の制御方法。
  7.  少なくとも1つのカメラ(300)および複数の機器(200)と通信するための通信インターフェイス(105)と、
     人物を特定するための情報を記憶するとともに前記複数の機器(200)の各々に対応付けて確度と第1の制御命令とを記憶するメモリ(101)と、
     プロセッサ(110)とを含み、
     前記プロセッサ(110)は、
      前記通信インターフェイス(105)を介して前記少なくとも1つのカメラ(300)から人物を含む画像を受信し、
      前記複数の機器(200)毎に、前記画像に含まれる人物が前記情報によって特定される人物である確度が前記機器(200)に対応する前記確度以上である場合に、前記通信インターフェイス(105)を介して前記機器(200)に対応する前記第1の制御命令を前記機器(200)へと送信する、コントローラ(100)。
  8.  通信インターフェイス(105)と、人物を特定するための情報を記憶するとともに複数の機器(200)の各々に対応付けて確度と第1の制御命令とを記憶するメモリ(101)と、プロセッサ(110)と、を含むコントローラ(100)によって実行される機器(200)の制御方法であって、
     前記プロセッサ(110)が、前記通信インターフェイス(105)を介して前記少なくとも1つのカメラ(300)から人物を含む画像を受信するステップと、
     前記プロセッサ(110)が、前記複数の機器(200)毎に、前記画像に含まれる人物が前記情報によって特定される人物である確度が前記機器(200)に対応する前記確度以上である場合に、前記通信インターフェイス(105)を介して前記機器(200)に対応する前記第1の制御命令を前記機器(200)へと送信するステップとを含む、機器(200)の制御方法。
PCT/JP2012/059507 2011-04-15 2012-04-06 ネットワークシステム、機器の制御方法、およびコントローラ WO2012141093A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-091192 2011-04-15
JP2011091192A JP5059211B1 (ja) 2011-04-15 2011-04-15 ネットワークシステム、機器の制御方法、およびコントローラ

Publications (1)

Publication Number Publication Date
WO2012141093A1 true WO2012141093A1 (ja) 2012-10-18

Family

ID=47009268

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/059507 WO2012141093A1 (ja) 2011-04-15 2012-04-06 ネットワークシステム、機器の制御方法、およびコントローラ

Country Status (2)

Country Link
JP (1) JP5059211B1 (ja)
WO (1) WO2012141093A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5538592B1 (ja) * 2013-05-17 2014-07-02 三菱電機株式会社 エネルギーマネジメントコントローラ、エネルギーマネジメントシステム、エネルギーマネジメント方法、及び、プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003102072A (ja) * 2001-09-20 2003-04-04 Toshiba Corp 人物照合機器制御システム及び人物照合機器制御方法
JP2005529548A (ja) * 2002-06-07 2005-09-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 局所環境の環境性を局所環境内の場所及び人の好みに適応させるシステム及び方法
JP2008084044A (ja) * 2006-09-28 2008-04-10 Casio Hitachi Mobile Communications Co Ltd 携帯端末装置及びプログラム
JP2009080771A (ja) * 2007-09-27 2009-04-16 Toppan Printing Co Ltd 情報担体及び取引指標判定方法
JP2010044619A (ja) * 2008-08-13 2010-02-25 Toshiba Corp アクセス対象に対するアクセス制御システムおよびアクセス制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004253A (ja) * 2003-06-09 2005-01-06 Mitsubishi Electric Corp 個人識別システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003102072A (ja) * 2001-09-20 2003-04-04 Toshiba Corp 人物照合機器制御システム及び人物照合機器制御方法
JP2005529548A (ja) * 2002-06-07 2005-09-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 局所環境の環境性を局所環境内の場所及び人の好みに適応させるシステム及び方法
JP2008084044A (ja) * 2006-09-28 2008-04-10 Casio Hitachi Mobile Communications Co Ltd 携帯端末装置及びプログラム
JP2009080771A (ja) * 2007-09-27 2009-04-16 Toppan Printing Co Ltd 情報担体及び取引指標判定方法
JP2010044619A (ja) * 2008-08-13 2010-02-25 Toshiba Corp アクセス対象に対するアクセス制御システムおよびアクセス制御方法

Also Published As

Publication number Publication date
JP5059211B1 (ja) 2012-10-24
JP2012226435A (ja) 2012-11-15

Similar Documents

Publication Publication Date Title
US8970725B2 (en) User interface system based on pointing device
US20210043189A1 (en) Method and system for performing voice command
CN110535732B (zh) 一种设备控制方法、装置、电子设备及存储介质
US20190028290A1 (en) Home automation control system using face recognition, and method therefor
CN106465052B (zh) 用于将用户设备装置与合作装置自动连接的方法及其用户设备装置
US20090322550A1 (en) Wireless home control system
TW201636784A (zh) 環境導向的智慧控制裝置、智慧控制系統及智慧控制方法
JP2005072764A (ja) 機器制御システムとそのための装置及び機器制御方法
JP2005065118A (ja) リモコン機能付き携帯端末及びリモコンサーバ
JP3329307B2 (ja) 携帯情報端末装置
US10748545B2 (en) Interactive electronic device control system, interactive electronic device, and interactive electronic device controlling method
WO2001082646A1 (en) Cellular phone and remote control system
KR20150018663A (ko) 영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템 및 방법
JP5059211B1 (ja) ネットワークシステム、機器の制御方法、およびコントローラ
KR101708301B1 (ko) 로봇 청소기 및 원격 제어 시스템
JP2008113396A (ja) ドアホンシステム及び玄関子機
JP2008206089A (ja) リモコンシステム
JP5331788B2 (ja) コントローラ、開錠システム、開錠方法、およびプログラム
JP5989505B2 (ja) メッセージ管理装置、メッセージ提示装置、メッセージ提示システム、メッセージ管理装置およびメッセージ提示装置の制御方法、制御プログラム、および記録媒体
JP2012247928A (ja) ネットワークシステム、制御方法、およびコントローラ
JP2012205261A (ja) ネットワークシステム、登録方法、およびコントローラ
JP2007257175A (ja) 監視装置
US11974010B2 (en) Display device for controlling one or more home appliances in consideration of viewing situation
JP2013091949A (ja) 機器管理用装置およびプログラム
EP4016525A1 (en) Display device and artificial intelligence server capable of controlling home appliance through user's voice

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12771631

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12771631

Country of ref document: EP

Kind code of ref document: A1