WO2017169144A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2017169144A1
WO2017169144A1 PCT/JP2017/004474 JP2017004474W WO2017169144A1 WO 2017169144 A1 WO2017169144 A1 WO 2017169144A1 JP 2017004474 W JP2017004474 W JP 2017004474W WO 2017169144 A1 WO2017169144 A1 WO 2017169144A1
Authority
WO
WIPO (PCT)
Prior art keywords
control authority
user
control
information processing
operator
Prior art date
Application number
PCT/JP2017/004474
Other languages
English (en)
French (fr)
Inventor
佐藤 直之
浩丈 市川
誠司 鈴木
真人 島川
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/087,459 priority Critical patent/US10951601B2/en
Priority to JP2018508505A priority patent/JPWO2017169144A1/ja
Publication of WO2017169144A1 publication Critical patent/WO2017169144A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/12Protecting executable software
    • G06F21/121Restricting unauthorised execution of programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/629Protecting access to data via a platform, e.g. using keys or access control rules to features or functions of an application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/105Multiple levels of security
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/535Tracking the activity of the user

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 describes a technique for determining whether or not a remote operation of an indoor device can be performed by the mobile device based on a verification result of an attribute certificate presented from an outdoor mobile device.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of appropriately restricting user control over devices.
  • an information processing apparatus including a control authority management unit that changes the control authority of a device by a first user based on whether or not the monitoring state is set.
  • an information processing method including a processor changing the control authority of a device by a first user based on whether or not the monitoring state is set.
  • a program for causing a computer system to function as a control authority management unit that changes the control authority of a device by a first user based on whether or not the computer system is in a monitoring state is provided.
  • FIG. 10 is a sequence diagram showing a part of an operation according to another modification of the first embodiment.
  • FIG. 10 is a sequence diagram showing a part of an operation according to another modification of the first embodiment.
  • FIG. FIG. 6 is an explanatory diagram showing an example of a scene where an operator 4 views a video at the viewpoint of the wearable camera 50.
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
  • a plurality of configurations having substantially the same functional configuration are distinguished as necessary, such as the user terminal 20a and the user terminal 20b.
  • only the same reference numerals are given.
  • the user terminal 20a and the user terminal 20b they are simply referred to as the user terminal 20.
  • FIG. 1 is an explanatory diagram showing a configuration example of an information processing system according to the first embodiment.
  • the information processing system according to the first embodiment includes a server 10, a user terminal 20, a device 30, a control device 32, an indoor camera 34, and a communication network 36.
  • the right holder 6 has an authority to manage a space such as the room 2 in which one or more types of devices 30 are arranged, and does not have an authority to manage the space. Assume that the person 4 controls the device 30 in the space.
  • the operator 4 is an example of a first user in the present disclosure
  • the right holder 6 is an example of a second user in the present disclosure.
  • the right holder 6 may be one person or a plurality of persons.
  • the operator 4 may be a person who performs a business related to the device 30 such as a construction company or a repair company, or may be an acquaintance such as a family or a friend of the right holder 6. Further, the operator 4 may be one person or a plurality of persons.
  • the operator 4 can directly operate the device 30 in the room 2 or, as will be described later, by operating a predetermined terminal (such as the user terminal 20) from a remote location in the room 2. It is also possible to remotely control the device 30 via the communication network 36. Alternatively, the operator 4 uses a predetermined terminal from a remote location in the room 2 to operate the robot (not shown) located in the same space (such as the room 2) as the device 30, thereby It is also possible to remotely control the device 30 via
  • the right holder 6 may perform illegal control or the like. Undesirable control may occur.
  • the server 10 has been created by focusing on the above circumstances.
  • the server 10 can change the control authority of the apparatus 30 by the operator 4 based on whether it is a monitoring state. Thereby, control of the operator 4 with respect to the apparatus 30 is restrict
  • FIG. 1 the structure of the information processing system by 1st Embodiment is demonstrated in detail.
  • the server 10 is an example of an information processing device according to the present disclosure.
  • the server 10 is a device for managing the control authority of the device 30. Although details will be described later, for example, when the device 30 to be operated is in a monitoring state, the server 10 can grant the control authority regarding the device 30 to the operator 4.
  • the monitoring state is a state in which the user can know information such as the state of the operation target device 30 visually or by other senses (for example, hearing or tactile sense).
  • the monitoring state may be a state in which the operation target device 30 or the operator 4 is under the monitoring of the right holder 6.
  • the monitoring state is the device 30 or the operator in or near the view of the right holder 6. 4 may be located.
  • the state in which the device 30 is located in the vicinity of the field of view is, for example, within a predetermined range in which the distance between the position of the device 30 and the field of view of the right holder 6 is determined based on history information or the like.
  • State When there are a plurality of right holders 6, a state in which the operation target device 30 or the operator 4 is under monitoring of at least one of the plurality of right holders 6 corresponds to a monitoring state.
  • FIG. 2A shows an example of a scene where the operator 4 is a staff member who repairs the air conditioner 30b and is located in front of the air conditioner 30b. Further, the right holder 6 is an owner of the room 2 and is located in the room 2. The operator 4 directly operates the device 30 in the space in which the operation target device 30 (air conditioner 30b) is arranged as shown in FIG. The state where the operator 4 is located in the field of view of the right holder 6 corresponds to the monitoring state.
  • FIG. 2 (b) shows an example of a scene where the operator 4 is located at a remote place and intends to remotely control the air conditioner 30b.
  • the state in which the operator 4 operates the device 30 to be operated from a remote place and the device 30 is located in the field of view of the right holder 6 as shown in FIG. It corresponds to.
  • the monitoring state is a display unit that displays a video image of the device 30 or the operator 4.
  • the display unit of the user terminal 20 used by the right holder 6 may be in a state of being located in the vicinity of the right holder 6 or in the vicinity of the view.
  • video can be an image
  • the operator 4 is a staff member for repairing the air conditioner 30b (similar to FIG. 2A) and is located in front of the air conditioner 30b.
  • An example of the scene is shown.
  • the right holder 6 is an owner of the room 2 and is located at a remote place of the room 2.
  • the operator 4 directly operates the device 30 in the space where the operation target device 30 (air conditioner 30b) is arranged as shown in FIG. A state in which the user terminal 20 displaying a video taken by the device 30 or the operator 4 is located in the field of view of the right holder 6 corresponds to a monitoring state.
  • FIG. 3 (b) shows an example of a situation in which the right holder 6 and the operator 4 are located at a remote location and the operator 4 is attempting to remotely control the air conditioner 30b.
  • the user who is operating the device 30 to be operated from a remote location and displaying an image of the device 30 captured by the indoor camera 34 The state where the terminal 20 is located in the field of view of the right holder 6 corresponds to the monitoring state.
  • the monitoring state may be a state in which the right holder 6 is located in the space where the operation target device 30 is arranged or in the vicinity of the space.
  • the space is a room
  • a corridor adjacent to the room or an adjacent room corresponds to the vicinity of the space.
  • the monitoring state may be a state where the operation target device 30 is recorded. For example, even if the right holder 6 does not view the video taken by the device 30 in real time, when the device 30 is recorded (that is, the right holder 6 displays the operation content for the device 30). If it can be confirmed later), it may be in a monitoring state.
  • the user terminal 20 is an information processing terminal used by the right holder 6 or the operator 4.
  • the user terminal 20 includes a display unit that displays a display screen, a communication unit for connecting to the communication network 36, and an input unit that receives user input.
  • the user terminal 20 may be a tablet terminal, a general-purpose PC (Personal Computer), a game machine, or a wearable device such as an HMD (Head Mounted Display) or an AR (Augmented Reality) glass.
  • the user terminal 20 of the right holder 6 can receive a video image taken by the indoor camera 34 and display the received video in real time.
  • the right holder 6 can monitor the operation status of the operator 4 with respect to the device 30 by viewing the video.
  • Control device 32 is a device for controlling the operation of the device 30 arranged in the room 2. For example, the control device 32 performs power ON / OFF of the device 30 and various functions of the device 30 for each of the plurality of devices 30 arranged in the room 2. The control device 32 can also control the device indicated by the control information according to the control information received from the server 10.
  • the device 30 is a device arranged in the room 2.
  • the device 30 includes an illumination 30a, an air conditioner 30b, a television receiver 30c, a stove, a coffee maker, a microwave oven, a DVD (Digital Versatile Disc) recorder, an HDD (Hard Disk Drive) recorder, a curtain, a shutter, and an air cleaner.
  • It may be a vessel, a humidifier, a refrigerator, a washing machine, a water heater, a ventilation fan, or a vacuum cleaner.
  • the indoor camera 34 is a camera arranged in the room 2.
  • the indoor camera 34 may be arranged at a position and a direction in which all or a part of the device 30 arranged in the room 2 can be photographed.
  • the indoor camera 34 can change the orientation or perform zooming so that the device 30 can be photographed. is there.
  • the indoor camera 34 may be, for example, a surveillance camera or a camera installed in a robot located in the room 2.
  • the communication network 36 is a wired or wireless transmission path for information transmitted from a device connected to the communication network 36.
  • the communication network 36 may include a public line network such as a telephone line network, the Internet, a satellite communication network, various local area networks (LANs) including the Ethernet (registered trademark), a wide area network (WAN), and the like.
  • LANs local area networks
  • WAN wide area network
  • the communication network 36 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • the configuration of the information processing system according to the first embodiment is not limited to the above-described example.
  • the information processing system may not include the control device 32.
  • FIG. 4 is a functional block diagram illustrating a configuration example of the server 10 according to the first embodiment.
  • the server 10 includes a control unit 100, a communication unit 120, and a storage unit 122.
  • the control unit 100 generally controls the operation of the server 10 using hardware such as a CPU (Central Processing Unit) 150 and a RAM (Random Access Memory) 154, which will be described later, built in the server 10. As illustrated in FIG. 4, the control unit 100 includes a device operation determination unit 102, a monitoring state determination unit 104, a control authority management unit 106, an output control unit 108, a notification unit 110, and a device control unit 112.
  • the device operation determination unit 102 determines whether an operation on the device 30 has been started based on the detection result regarding the operator 4. Furthermore, the device operation determination unit 102 specifies the device 30 that is an operation target of the operator 4.
  • the detection result related to the operator 4 is, for example, the positional relationship between the device 30 to be operated and the operator 4, the body movement of the operator 4, or the operator 4 with respect to the operation device (such as the user terminal 20). Includes detection results such as operation details.
  • the device operation determination unit 102 is configured such that the indoor camera 34, the infrared sensor, or the like disposed in the space. On the basis of the detection results received from the various sensors, it is determined whether or not an operation on any of the devices 30 has been started by the operator 4.
  • the device operation determination unit 102 receives input information for the operation device used by the operator 4 or a camera disposed at the remote location. Based on the detection results received from various sensors such as the infrared sensor and the infrared sensor, it is determined whether or not the operator 4 has started an operation on any of the devices 30 in the corresponding space.
  • the monitoring state determination unit 104 determines whether or not the operation target device 30 specified by the device operation determination unit 102 is in a monitoring state. For example, the monitoring state determination unit 104 determines whether or not the monitoring state is based on the positional relationship between the space in which the operation target device 30 is arranged and the right holder 6.
  • the monitoring state determination unit 104 determines whether or not the operation target device 30 is in the monitoring state by determining whether or not the operation target device 30 is located within the field of view of the right holder 6 (or in the vicinity of the field of view). More specifically, the monitoring state determination unit 104 determines that the device 30 is in the monitoring state when the device 30 is located within the field of view of the right holder 6, and the device 30 is within the field of view of the right holder 6. If it is not located, it is determined that it is not in the monitoring state.
  • the monitoring state determination unit 104 determines the position of the right holder 6 and the face orientation based on the detection results received from various sensors such as the indoor camera 34 and the infrared sensor that are arranged in the space. By doing so, it is determined whether or not the operation target device 30 is located within the field of view of the right holder 6.
  • the monitoring state determination unit 104 detects the detection results (for example, externally attached) received from various sensors installed in the wearable device. Whether or not the device 30 to be operated is located within the field of view of the right holder 6 based on the image taken by the camera and the detection result of the tilt by the gyro sensor.
  • the monitoring state determination unit 104 determines whether or not the display unit displaying the video captured by the operation target device 30 is located within the field of view of the right holder 6 (or in the vicinity of the field of view). It is also possible to determine whether or not the monitoring state. More specifically, the monitoring state determination unit 104 determines that the display unit is in a monitoring state when the display unit is located within the field of view of the right holder 6, and the display unit is within the field of view of the right holder 6. If it is not located, it is determined that it is not in the monitoring state.
  • the monitoring state determination unit 104 includes the in-camera installed in the vicinity of the display unit. By receiving the imaging result of the above, it is determined whether or not the display unit is located in the field of view of the right holder 6. For example, when information indicating that the face of the right holder 6 is captured by the in-camera is received from the user terminal 20, the monitoring state determination unit 104 displays the display unit within the field of view of the right holder 6. It is determined that it is located. When information indicating that the face of the right holder 6 is not photographed by the in-camera is received from the user terminal 20, the monitoring state determination unit 104 displays the display unit within the field of view of the right holder 6. Judge that it is not located.
  • the monitoring state determination unit 104 determines whether or not the right holder 6 is located in the space where the operation target device 30 is arranged (or in the vicinity of the space). It is also possible to determine whether or not. More specifically, the monitoring state determination unit 104 determines that the right holder 6 is in the monitoring state when the right holder 6 is located in the space, and monitors if the right holder 6 is not located in the space. It is determined that it is not in a state.
  • the monitoring state determination unit 104 allows the right holder 6 to It is determined whether or not it is located in the space (or in the vicinity of the space). Alternatively, the monitoring state determination unit 104 determines whether or not the right holder 6 is located in the space based on detection results received from various sensors such as the indoor camera 34 arranged in the space. judge.
  • a GPS Global Positioning System
  • the monitoring state determination unit 104 can also determine whether or not the monitoring state is based on the access status of the user terminal 20 of the right holder 6 with respect to the indoor camera 34. For example, when it is detected that the user terminal 20 is accessing the indoor camera 34, the monitoring state determination unit 104 determines that the user terminal 20 is in the monitoring state. If it is detected that the user terminal 20 is not accessing the indoor camera 34, the monitoring state determination unit 104 determines that the user terminal 20 is not in the monitoring state.
  • the monitoring state determination unit 104 switches whether or not the monitoring state determination unit 104 is in the monitoring state based on an integral value of the length of time that the display unit of the user terminal 20 is located in the field of view of the right holder 6. Is also possible.
  • the monitoring state determination unit 104 switches the current status to the monitoring state.
  • the monitoring state determination unit 104 switches the current status to a non-monitoring state.
  • Control authority manager 106 changes the control authority of the operator 4 regarding the operation target device 30 based on the determination result by the monitoring state determination unit 104. For example, when it is determined to be in the monitoring state, the control authority management unit 106 grants the operator 4 control authority for the operation target device 30. In addition, when it is determined that the monitoring state is not set, the control authority management unit 106 does not grant the control authority of the operation target device 30 to the operator 4.
  • control authority management part 106 can change the control authority given to the operator 4 according to the determination result of whether it is a monitoring state. For example, the control authority management unit 106 gives the operator 4 a control authority with a narrow authority regarding the operation target device 30 when it is determined that it is not in the monitoring state than when it is determined that it is in the monitoring state. Give. As an example, when it is determined that the monitoring state is set, the control authority management unit 106 gives the operator 4 control authority capable of controlling both “ON” and “OFF” of the operation target device 30. . When it is determined that the monitoring state is not established, the control authority management unit 106 gives the operator 4 control authority that can control only “OFF” of the device 30 (that is, cannot control “ON”). Give.
  • control authority management unit 106 has a range of values that can be set with respect to the parameters of the operation target device 30 when it is determined that it is not in the monitoring state, compared with when it is determined that it is in the monitoring state. It is also possible to give a narrow control authority to the operator 4. For example, when the device 30 to be operated is the air conditioner 30b, the control authority management unit 106 determines that the temperature is higher in the case where it is determined that it is not in the monitoring state than in the case where it is determined that it is in the monitoring state. Regarding the setting, the operator 4 may be given a control authority with a narrow range of temperatures that can be set.
  • the control authority management unit 106 heats the heating when the determination is not in the monitoring state than when the determination is in the monitoring state.
  • the operator 4 may be given control authority with a small maximum value of the settable heating time. That is, it is permitted to set a time that is more dangerous in the monitoring state than in the non-monitoring state.
  • the control authority management unit 106 determines that it is not in the monitoring state than when it is determined in the monitoring state.
  • the control authority with a small number of displayable channels may be given to the operator 4.
  • the control authority management part 106 can also change the control authority given to the operator 4 according to the kind of apparatus 30 to be operated. For example, only when it is determined that the device is not in the monitoring state and the type of the device 30 to be operated is the device 30 for which a predetermined flag is set, the control authority management unit 106 is concerned with the device 30. Is not granted to the operator 4.
  • the device 30 a stove, a dryer, a heater, or the like
  • the device 30 that emits heat less than a predetermined amount of heat the illumination 30a
  • the flag may not be set in the television receiver 30c or the like.
  • the flag may be set for the device 30 having a predetermined wattage or more, and the flag may not be set for the device 30 having a predetermined wattage or less.
  • control authority management unit 106 When there are a plurality of right holders 6, the control authority management unit 106 further determines the operator related to the operation target device 30 depending on which right holder 6 is monitoring the operation target device 30. 4 control authority can be changed. For example, when at least one of the right holders 6 who are monitoring the operation target device 30 has the management authority for the space in which the device 30 is arranged (or the device 30 itself), the control authority management unit 106. Gives the control authority of the device 30 to the operator 4. Further, when all of the right holders 6 who are monitoring the operation target device 30 do not have the management authority for the space (or the device 30 itself), the control authority management unit 106 controls the control of the device 30. Is not given to the operator 4.
  • control authority management unit 106 can further change the control authority to be given to the operator 4 based on the relationship between the operator 4 and the right holder 6. For example, when the control of the device 30 by the operator 4 is approved in advance, the control authority management unit 106 gives the control authority of the operation target device 30 even if it is determined that the control is not in the monitoring state. You may provide to the operator 4 temporarily.
  • the management unit 106 may grant the control authority of the device 30 to the operator 4. Further, when it is specified that the operator 4 and the right holder 6 are, for example, a family member or a friend, the control authority management unit 106 determines whether the operation target is an operation target even if it is determined that the operator is not in the monitoring state. The control authority of the device 30 may be granted to the operator 4 (exceptionally). The control authority management unit 106 determines that the operator 4 and the right holder 6 are family members or friends based on, for example, registration information in a predetermined SNS (Social Networking Service) or registration information in the storage unit 122. Can be specified.
  • SNS Social Networking Service
  • the control authority management unit 106 can change the control authority to be given to the operator 4 based on whether or not it is an emergency. For example, in the case of an emergency, the control authority management unit 106 gives the operator 4 (exceptionally) control authority for the operation target device 30 even if it is determined that the monitoring state is not set. May be.
  • emergency examples include when a disaster such as an earthquake or typhoon occurs, when a fire occurs in a space where the device 30 is located, when a crime or riot occurs.
  • the emergency is transmitted by a public institution or notified in advance by the right holder 6, the control authority management unit 106 determines that it is not in a monitoring state.
  • control authority of the operation target device 30 (or all the devices 30 arranged in the space) is given to the operator 4.
  • the control authority management unit 106 is in a monitoring state. Even if it is determined that there is not, the control authority of the operation target device 30 (or all the devices 30 arranged in the space) is given to the operator 4.
  • Output control unit 108 controls output of information to the user terminal 20.
  • the output control unit 108 causes the user terminal 20 to display an image captured by the indoor camera 34.
  • the output control unit 108 displays the device list 40.
  • the device 30 to which the control authority is not given is not displayed, or the display color of the device 30 is changed and displayed.
  • the output control unit 108 displays the device 30 to which the control authority is not given on the operation screen displayed on the display unit in grayout or red, blurs, or displays “x” or the like.
  • the predetermined mark is further displayed at the display position of the device 30 or in the vicinity of the display position.
  • the output control unit 108 does not react or outputs an error when an operation related to the device 30 is performed on the operation screen, such as when an operation button of the device 30 is selected. Performs display control of the operation screen.
  • the error may be, for example, a message such as “Operation is not permitted. Please get permission from Mr. XX”. According to these display examples, the operator 4 can be notified that the corresponding device 30 is in an uncontrollable state.
  • the output control unit 108 can control the output of voice, vibration, or myoelectricity indicating that control authority is not granted.
  • the output control unit 108 includes a speaker installed in a place (the corresponding room 2 or a remote place) where the operator 4 is located, Alternatively, the failure sound may be output to the user terminal 20 of the operator 4 or the like.
  • the output control unit 108 may vibrate the user terminal 20 of the operator 4 with a predetermined vibration pattern.
  • the output control unit 108 sets the device to apply electrical stimulation to the operator 4 such as preventing the arm from moving. You may control.
  • Notification unit 110 When not in the monitoring state, the notification unit 110 notifies the right holder 6 of a request for granting control authority of the device 30 based on detection of a predetermined operation by the operator 4, or notifies the right device 6 of the device 30. It is possible to notify the right holder 6 of a request to be monitored by 6.
  • FIG. 6 shows a warning screen display example (warning screen 42) displayed on the user terminal 20 of the operator 4 when the operator 4 tries to operate the device 30 to which the control authority is not given.
  • the warning screen 42 includes a warning message display field 420, a control authority grant request button 422, and a notification button 424.
  • the warning message display field 420 for example, a message indicating that the operator 4 is not authorized to control the operation target device 30 is displayed.
  • the control authority grant request button 422 is a selection button for requesting the right holder 6 to grant control authority of the operation target device 30.
  • control authority grant request button 422 When the control authority grant request button 422 is selected by the operator 4, a notification of the selection is transmitted to the server 10, and the notification unit 110 makes a request for granting control authority of the corresponding device 30 to the right holder. 6 to the communication unit 120.
  • the right holder 6 inputs approval to the user terminal 20 after this request is transmitted, an instruction to grant control authority is transmitted to the server 10, and the control authority (as described above) is transmitted.
  • the management unit 106 can give the control authority of the device 30 to the operator 4.
  • the notification button 424 is a selection button for notifying the right holder 6 so as to be in a monitoring state (that is, notifying the right holder 6 to monitor the operation target device 30).
  • the notification button 424 is selected by the operator 4, the notification of the selection is transmitted to the server 10, and the notification unit 110 provides a notification for causing the right holder 6 to monitor the right device 6.
  • the control authority management unit 106 can grant the control authority of the device 30 to the operator 4 (as described above).
  • Device control unit 112 When the control authority is given to the operator 4 by the control authority management unit 106, the device control unit 112 controls the operation target device 30 based on the detection of the operation by the operator 4. For example, the device control unit 112 causes the control unit 32 to transmit control information for operating the operation target device 30 to the communication unit 120 in response to detection of an operation by the operator 4. Alternatively, the device control unit 112 can cause the communication unit 120 to transmit the control information directly to the operation target device 30 in response to detection of an operation by the operator 4.
  • the communication unit 120 transmits and receives information to and from other devices. For example, the communication unit 120 transmits, to the user terminal 20 of the right holder 6, a notification of a request for granting control authority of the device 30 or a notification of a request for the right holder 6 to monitor the device 30 according to the control of the notification unit 110. To do. In addition, the communication unit 120 receives detection results from various sensors such as the indoor camera 34 disposed in the room 2.
  • Storage unit 122 stores various data and various software.
  • the configuration of the server 10 according to the first embodiment is not limited to the above-described example.
  • the server 10 may not have the device control unit 112.
  • FIG. 7 is a flowchart showing a part of the operation according to the first embodiment.
  • various sensors in the space where the device 30 is disposed or various sensors disposed in a remote place detect the state related to the operator 4 and then detect it.
  • the result is transmitted to the server 10.
  • the user terminal 20 of the operator 4 detects a remote operation input to the device 30 and transmits the detection result to the server 10.
  • the device operation determination unit 102 of the server 10 specifies the operation target device 30 and the start of the operation on the device 30 based on the received detection result (S101).
  • the monitoring state determination unit 104 determines whether or not the operation target device 30 is in a monitoring state (S103). When it is determined that the monitoring state is set (S103: Yes), the control authority management unit 106 grants the control authority of the operation target device 30 to the operator 4 (S105).
  • the device control unit 112 determines whether or not the operator 4 is located at a remote place based on the detection result received in S101 (S107). If it is determined that the operator 4 is located at a remote location (S107: Yes), the device control unit 112 executes control on the device 30 based on operation information detected at the remote location (S109). . And the server 10 performs the process of S113 mentioned later.
  • the server 10 determines whether or not an end input related to the operation of the device 30 has been made (S113).
  • S113: Yes the server 10 ends this operation.
  • S113: No the server 10 performs the process of S101 again.
  • control authority management unit 106 determines not to grant the control authority of the operation target device 30 to the operator 4 (S121). And control of the operator 4 with respect to the apparatus 30 of operation object is not permitted (S123). At this time, the output control unit 108 can also display on the user terminal 20 of the operator 4 a display indicating that control authority has not been granted.
  • the server 10 performs the process of S113 described above.
  • Modification 1 ⁇ Note that the operation according to the first embodiment is not limited to the above-described example.
  • the control authority having a narrower authority than that in the monitoring state may be given to the operator 4.
  • the operations (S131 to S137) shown in FIG. 9 may be executed instead of the operations of S121 to S123 shown in FIG.
  • the control authority management unit 106 grants the control authority to the operator 4 when the monitoring state is not set ( S131).
  • the device control unit 112 determines whether or not the operator 4 is located at a remote place based on the detection result received in S101 (S133). When it is determined that the operator 4 is located at a remote location (S133: Yes), the device control unit 112 within the range of the control authority granted at S131 based on the operation information detected at the remote location. Then, control is performed on the operation target device 30 (S135). And the server 10 performs the process of S113 mentioned above.
  • the device control unit 112 Based on the operation detected in the device, the control of the device 30 is executed within the range of the control authority given in S131 (S137). And the server 10 performs the process of S113 mentioned above.
  • the output control unit 108 of the server 10 requests the grant of control authority as shown in FIG. 6, for example.
  • a warning screen including a button and a notification button is displayed on the user terminal 20a of the operator 4 (S151).
  • the user terminal 20a determines whether or not the control authority grant request button has been selected by the operator 4 on the warning screen (S153).
  • the control authority grant request button is selected (S153: Yes)
  • the user terminal 20a notifies the server 10 that the control authority grant request button has been selected (S155).
  • the communication unit 120 of the server 10 transmits a request for granting control authority of the corresponding device 30 to the user terminal 20b of the right holder 6 in accordance with the control of the notification unit 110 (S157).
  • the user terminal 20b displays the received request on the display screen.
  • the server 10 performs the process of S113 described above.
  • the user terminal 20b notifies the server 10 that the approval has been made (S161). ).
  • control authority management unit 106 of the server 10 grants the control authority of the operation target device 30 to the operator 4 (S163). Thereafter, the server 10 performs the process of S107 described above.
  • the operation when the control authority grant request button is not selected in S153 (S153: No) will be described with reference to FIG.
  • the user terminal 20a further determines whether or not the notification button has been selected by the operator 4 on the warning screen (S171).
  • the server 10 performs the process of S113 described above.
  • the user terminal 20a notifies the server 10 that the notification button has been selected (S173).
  • the communication unit 120 of the server 10 transmits a notification for allowing the right holder 6 to monitor the corresponding device 30 to the user terminal 20b of the right holder 6 according to the control of the notification unit 110 (S175).
  • the monitoring state determination unit 104 of the server 10 determines whether or not the monitoring state is reached within a predetermined time from the timing of S175 (S177). When it is determined that the monitoring state has been reached within a predetermined time (S177: Yes), the control authority management unit 106 grants the operator 4 control authority for the operation target device 30 (S179). Thereafter, the server 10 performs the process of S107 described above.
  • the server 10 performs the process of S113 described above.
  • the server 10 changes the control authority of the operation target device 30 by the operator 4 based on whether or not the monitoring state is set. For this reason, control with respect to the apparatus 30 by the operator 4 can be restrict
  • the server 10 gives the control authority of the operation target device 30 to the operator 4 when in the monitoring state, and operates the control authority of the operation target device 30 when not in the monitoring state. Not granted to person 4. Therefore, for example, it is possible to prevent a control that is not desired by the right holder 6 such as an unauthorized control on the device 30 from being performed.
  • the right The person 6 can reliably monitor the operation status of the device 30. For this reason, the right holder 6 can entrust the control of the device 30 to the operator 4 with confidence.
  • Second Embodiment >> ⁇ 2-1. Overview> The first embodiment has been described above. As described above, in the first embodiment, the operation of the device 30 by the operator 4 and the monitoring by the right holder 6 are performed independently. Next, a second embodiment will be described.
  • FIG. 12 is an explanatory diagram showing the configuration of the information processing system according to the second embodiment.
  • the first person wears the wearable camera 50 on the head, and the first person Is assumed to be located in the space where the device 30 is placed.
  • the server 10 browses the video 52 (for example, the all-around video 52) based on the shooting by the wearable camera 50 by a second person (right person 6 or operator 4) located at a remote place.
  • the second person can obtain a feeling as if he / she entered the first person by viewing the transmitted video 52.
  • the wearable camera 50 may include a plurality of cameras 500 as shown in FIG. 12, or a fisheye camera.
  • FIG. 12 shows an example in which the display unit 54 is a wearable device such as an HMD, but the present invention is not limited to this example.
  • the display unit 54 may be a projector, and the display unit 54 may project the transmitted video 52 on a screen.
  • description will be made centering on an example in which the display unit 54 is a wearable device.
  • the server 10 based on the viewing situation of the operator 4 or the right holder 6 of the video generated based on the photographing of the device 30 to be operated by the wearable camera 50, It is possible to determine whether or not the monitoring state.
  • the output control unit 108 generates a video (for example, the all-around video 52) of the viewpoint (first-person viewpoint) of the wearable camera 50 based on the image taken by the wearable camera 50.
  • the output control unit 108 uses the technique described in International Publication No. 2015/122108 to generate an image of the viewpoint of the wearable camera 50 based on an image photographed by the wearable camera 50. .
  • the output control unit 108 causes the display unit 54 to display the generated video.
  • the monitoring state determination unit 104 is the operator 4 or right holder of the video (video of the viewpoint of the wearable camera 50) generated based on the shooting of the device 30 to be operated by the wearable camera 50. 6 is determined based on the viewing status (or transmission status) in FIG. For example, when either the operator 4 or the right holder 6 is viewing the video of the viewpoint of the wearable camera 50 attached by either the operator 4 or the right holder 6, the monitoring state determination The unit 104 determines that the monitoring state is set. In addition, when either the operator 4 or the right holder 6 is not viewing the video of the viewpoint of the wearable camera 50, the monitoring state determination unit 104 determines that it is not in the monitoring state.
  • FIG. 13 is an explanatory diagram showing an example of a scene in which the right holder 6 views the video of the viewpoint of the wearable camera 50.
  • the operator 4 is wearing the wearable camera 50, and the operator 4 is located in a space where the operation target device 30 is arranged. Yes.
  • the operation status relating to the operation target device 30 is captured by the wearable camera 50.
  • the video of the viewpoint of the wearable camera 50 is transmitted to the display unit 54 viewed by the right holder 6 and displayed. According to this display example, even when the right holder 6 is in a remote place, he / she can obtain a feeling as if he / she has entered the operator 4 by viewing the video from the viewpoint of the wearable camera 50.
  • the monitoring state determination unit 104 may further determine whether or not the monitoring state is based on the result of photographing with the in-camera installed in the display unit 54. For example, when the face of the right holder 6 is photographed by the in-camera, the monitoring state determination unit 104 determines that it is in the monitoring state. Further, when the face of the right holder 6 is not photographed by the in-camera, the monitoring state determination unit 104 determines that it is not in the monitoring state. According to this determination example, it can be more accurately determined whether or not the operation target device 30 is under the monitoring of the right holder 6.
  • FIG. 14 is an explanatory diagram showing an example of a scene where the operator 4 views the video of the viewpoint of the wearable camera 50.
  • the right holder 6 is wearing the wearable camera 50, and the right holder 6 is located in the space 2 in which the operation target device 30 is arranged. ing. Then, the video of the viewpoint of the wearable camera 50 is transmitted to the display unit 54 viewed by the operator 4 and displayed.
  • the operator 4 intends to operate the device 30 to be operated from a remote place while viewing the video displayed on the display unit 54. According to this display example, even if the operator 4 is in a remote place, the operator 4 can obtain a feeling as if he / she has entered the right holder 6 by viewing the video from the viewpoint of the wearable camera 50.
  • the monitoring state determination unit 104 further determines whether or not the monitoring target state is in the monitoring state based on whether or not the operation target device 30 is located within the shooting range of the wearable camera 50. May be. For example, when the device 30 to be operated is located within the shooting range of the wearable camera 50, the monitoring state determination unit 104 determines that it is in the monitoring state. When the device 30 to be operated is not located within the shooting range of the wearable camera 50, the monitoring state determination unit 104 determines that it is not in the monitoring state. According to this determination example, it can be more accurately determined whether or not the operation target device 30 is under the monitoring of the right holder 6.
  • the monitoring state determination unit 104 is based on the shooting of the device 30 to be operated by the wearable camera 50. It is possible to determine whether or not the video is in a monitoring state based on the viewing status of one or more right holders 6 who have the authority to manage the device 30. For example, when at least one right holder 6 who has management authority for the device 30 is viewing the video, the monitoring state determination unit 104 may determine that the monitoring state is in effect. Further, when all the right holders 6 who have the authority to operate the device 30 are not viewing the video, the monitoring state determination unit 104 may determine that the device is not in the monitoring state.
  • the right holder 6 when the operator 4 is wearing the wearable camera 50, the right holder 6 views the video of the viewpoint of the wearable camera 50 even in a remote place. As a result, it is possible to obtain a feeling as if it has entered the operator 4. For this reason, the right holder 6 can confirm (monitor) the operation status of the device 30 by the operator 4 with a sense of reality while in a remote place.
  • the operator 4 can view the video from the viewpoint of the wearable camera 50, even if he is in a remote place, as if he is in the right holder 6. You can get the feeling of getting in. For this reason, the operator 4 can obtain a sense of reality such that the device 30 is directly operated in a space where the device 30 to be operated is located, while being at a remote place.
  • the type and function of the device 30 that can be controlled from a remote place can be set in advance. Thereby, safety can be improved in a scene where the operator 4 can remotely operate the device 30.
  • the information processing system according to the third embodiment is the same as that of the first embodiment (shown in FIG. 1).
  • the components included in the server 10 according to the third embodiment are the same as those in the first embodiment (shown in FIG. 4). Below, only the component which has a function different from 1st Embodiment is demonstrated.
  • Control authority manager 106 (3-1-1-1. Examples of granting authority)
  • the control authority management unit 106 further controls the operator 4 related to the operation target device 30 based on the registration status of the remote control target device list. Change control authority.
  • the target device 30 can be registered by manual setting by the right holder 6 or automatic setting.
  • the remote control target device list is stored in the storage unit 122, for example.
  • the control authority management unit 106 when the operator 4 is located in a remote place and the operation target device 30 is registered in the remote control target device list, the control authority management unit 106 includes the operation target function, The control authority of the operator 4 is determined based on the registration status of functions that can be remotely controlled with respect to the device 30 in the remote control target device list. When the operator 4 is located at a remote location and the operation target device 30 is not registered in the remote control target device list, the control authority management unit 106 controls the operation target device 30. The authority is not given to the operator 4.
  • the control authority management unit 106 determines whether the operation target is based on the registration status of the remote control target device list. Whether or not to give the control authority of the device 30 to the operator 4 may be determined. That is, when it is determined that the monitoring state is established, the control authority management unit 106 gives the operator 4 control authority for the operation target device 30 (regardless of the registration status of the remote control target device list). May be.
  • the target device 30 can be manually set in the remote control target device list, for example, by the input of the right holder 6 to the user terminal 20.
  • the types of devices 30 that can be remotely controlled are registered in the remote control target device list based on the input of the right holder 6 to the user terminal 20.
  • the types of devices 30 that can be remotely controlled may be registered in the remote control target device list based on the combination of the gaze detection of the right holder 6 and the voice recognition of the voice emitted by the right holder 6.
  • the right holder 6 can set the type of the device 30 that can be remotely controlled and the type of the function that can be remotely controlled on the device control setting screen displayed on the user terminal 20.
  • a display example of the device control setting screen (device control setting screen 60) will be described with reference to FIG.
  • the device control setting screen 60 includes a device setting tab 600 and a function setting tab 602.
  • the device setting tab 600 is a tab for setting the type of the device 30 that can be remotely controlled.
  • a function setting tab 602 is a tab for setting the types of functions that can be remotely controlled.
  • FIG. 15 shows a state where the device setting tab 600 is selected.
  • a plurality of device selection buttons 604 such as an air conditioner selection button 604a and a light selection button 604b are displayed on the device control setting screen 60 as shown in FIG.
  • the device selection button 604 is a button for setting the corresponding device 30 to be remotely controllable.
  • FIG. 15 shows a situation where the air conditioner 30b, the illumination 30a, and the television receiver 30c have been set to be remotely controllable.
  • the types of functions that can be remotely controlled can be set for each type of device 30.
  • the device 30 is an air conditioner 30b, On / Off input, set temperature setting, timer setting, cleaning, dehumidification control, heating control, cooling control, or air blow control, etc.
  • the function it is possible to set whether or not remote control is possible.
  • the device 30 is a gas range, whether or not remote control is possible can be set for functions such as On / Off input, temperature setting, and timer setting.
  • the types of remote controllable devices 30 and the types of functions can be automatically registered. For example, whether or not remote control is possible can be set according to the distance from the space where the device 30 is arranged. For example, when the distance to the space is very small (close), all devices 30 may be set to be remotely controllable.
  • the type of the device 30 that can be remotely controlled can be set according to the operator 4. For example, when the operator 4 is a child, all the devices 30 may be set so as not to be controlled.
  • whether or not remote control is possible can be set according to whether or not there is a person in the room 2. For example, when there is a person in the room 2, it may be set so that the device 30 can be remotely controlled. Or, on the contrary, only when there is no person in the room 2, it may be set to be able to control a specific function such as “Off”. Further, when it is detected that people (for example, all members) in the room 2 have gone out, it may be set so that remote control is impossible.
  • whether or not remote control is possible can be registered according to the state of the device 30 and the control content. For example, when the device 30 to be operated is in the “On” state, it can be set so that it can be changed to “Off”. Or it may be set so that it is possible to control the device 30 in a direction with higher safety than the current state. For example, when the device 30 is an air conditioner 30b, it may be set so that the set temperature can be lowered. Moreover, when the apparatus 30 is an apparatus using gas, it may be set so that the set temperature can be lowered. Alternatively, when the state of the device 30 before the operation is “On”, the device 30 can be set to be controllable.
  • the channel 30 may be set to be changeable.
  • the state of the device 30 before the operation is “Off”, it may be set so that it cannot be set to “On”.
  • the setting to “Off” may be temporarily performed. It can be set as possible.
  • the time remaining until the scheduled return time of the person who is out of the room 2 is less than or equal to a predetermined time, it can be set so that remote control is possible.
  • FIG. 16 is a flowchart showing an “operation when setting a controllable device / function” according to the third embodiment.
  • the right holder 6 operates the user terminal 20 to start the device control setting application.
  • the right holder 6 selects the setting of the device 30 that can be remotely controlled (S301: Yes)
  • the right holder 6 inputs the type of the device 30 that can be remotely controlled (S303).
  • the user terminal 20 transmits the type of the input device 30 to the server 10. Then, the server 10 adds the type of the received device 30 to the remote control target device list stored in the storage unit 122 (S305).
  • the user terminal 20 performs the operation of S301 again.
  • the right holder 6 inputs the type of controllable function for the corresponding device ( S313).
  • the user terminal 20 transmits the input function type to the server 10. Then, the server 10 registers the received function as a remotely controllable function related to the device 30 selected in S309 in the remote control target device list (S315).
  • the user terminal 20 determines whether or not the end of the device control setting application has been input (S317).
  • the server 10 ends this operation.
  • the user terminal 20 performs the process of S301 again.
  • the control authority management unit 106 determines whether or not the operator 4 is located at a remote location based on the detection result received in S101. Is determined (S351). When it is determined that the operator 4 is not located at a remote place (that is, located in the space where the operation target device 30 is disposed) (S351: No), the server 10 performs the process of S361 described later. I do.
  • the control authority management unit 106 determines whether or not the operation target device 30 is registered in the remote control target device list. Is determined (S353).
  • the server 10 performs the process of S361 described later.
  • the control authority management unit 106 can control the operation target function of the device 30. It is determined whether or not it is registered in the remote control target device list as a function (S355). When the operation target function of the device 30 is not registered in the remote control target device list (S355: No), the server 10 performs the process of S361 described later.
  • the control authority management unit 106 controls the operation target device 30 and the operation target function. Is given to the operator 4 (S357).
  • the device control unit 112 controls the function to be operated on the device 30 based on the operation information detected at the remote place (S359). Then, the server 10 performs the process of S113 (shown in FIG. 7).
  • control authority management unit 106 does not grant the control authority of the operation target device 30 to the operator 4 (S361). And control by the operator 4 with respect to the apparatus 30 of operation object is not permitted (S363). At this time, the output control unit 108 can also display on the user terminal 20 of the operator 4 a display indicating that control authority has not been granted.
  • the server 10 performs the process of S113 (shown in FIG. 7).
  • the right holder 6 can set in advance the type and function of the device 30 that can be controlled from a remote place. Then, when the operator 4 is located at a remote place, the server 10 determines whether the operator 4 related to the operation target device 30 is based on whether or not it is in a monitoring state and the registration status of the remote control target device list. Change control authority.
  • FIG. 18 is an explanatory diagram showing a configuration of an information processing system according to the fourth embodiment.
  • a plurality of cameras 70 are arranged in a space 2 such as a room in which the device 30 is arranged, and the entire space 2 is formed by the plurality of cameras 70. Assume a scene where 3D information is acquired.
  • the server 10 transmits the content of the space 2 generated based on the acquired three-dimensional information to the display unit 54 viewed by a user (right holder 6 or operator 4) located at a remote place. Thereby, the user in a remote place can obtain a sense of presence as if it is located inside the space 2.
  • the camera 70 is, for example, a depth camera or a stereo camera.
  • FIG. 18 shows an example in which the display unit 54 is a wearable device such as an HMD or AR glass, the present invention is not limited to this example.
  • the display unit 54 may be a television receiver 30c or a 3D television receiver.
  • the display unit 54 may be a 3D projector, and an image may be projected onto the screen by the 3D projector. In the following, description will be made centering on an example in which the display unit 54 is a wearable device.
  • the right holder 6 located in a remote place it is possible to cause the right holder 6 located in a remote place to browse content generated based on the three-dimensional information of the space 2 acquired by the plurality of cameras 70. Is possible. Thereby, the right holder 6 can confirm (monitor) the operation status of the device 30 by the operator 4 with a high sense of reality.
  • the output control unit 108 according to the fourth embodiment generates the content of the space 2 based on the three-dimensional information of the entire space 2 acquired by the plurality of cameras 70. Then, the output control unit 108 causes the display unit 54 to display the generated content.
  • the output control unit 108 displays the video 72 of the second person located in the remote place on the display unit viewed by the first person located in the space 2.
  • the display unit may be a wearable device such as an HMD or AR glass worn by the first person.
  • the display unit may be a projector disposed in the space 2, and the display unit may project the second person image 72 into the space 2.
  • description will be made centering on an example in which the display unit is a wearable device.
  • the first person confirms that the second person (for example, the operator 4) located at a remote place is browsing the video in the space 2.
  • the first person can grasp an area in the space 2 that the second person is looking at. . Accordingly, even if an object such as the device 30 located in the space 2 is talked about, it is possible to prevent a misregistration between the two persons and to communicate smoothly.
  • the output control unit 108 displays a virtual display indicating that the device 30 is virtually controlled and information indicating that the displayed space is a virtual space (the operator 4 It is also possible to display it on the display unit 54. Further, in this case, the output control unit 108 may cause the display unit (viewed by the right holder 6) to display a display indicating that the device 30 is virtually controlled in a remote place. Thereby, the right holder 6 can know that the device 30 is virtually controlled in a remote place.
  • the output control unit 108 can also display on the display unit 54 (viewed by the operator 4) that the device 30 is not controllable even in the virtual space.
  • the output control unit 108 may display the device 30 in a blurred manner or display the device 30 in the displayed content.
  • the output control unit 108 may cause the device 30 to be shaken and displayed in the displayed content.
  • the output control unit 108 may hide a UI (for example, an icon) for operating the device 30 in the displayed content.
  • an operation UI for example, an arm UI or a cursor
  • the output control unit 108 The UI for the operation may be hidden.
  • the output control unit 108 cannot approach the viewpoint within a predetermined range from the device 30.
  • the display of the content may be controlled.
  • the output control unit 108 warns at the remote place. Sound may be output. Further, in this case, the output control unit 108 may simultaneously display on the display unit (viewed by the right holder 6) that the device 30 cannot be controlled. For example, the output control unit 108 further displays a predetermined display such as a line at a position between the device 30 and the operator image 72 displayed on the display unit (viewed by the right holder 6). Display on the display.
  • control Example 3 when the type of the device 30 is a device that outputs sound (for example, stereo), the control authority of the device 30 is given to the operator 4, and the operator 4 is located at a remote place, the output The control unit 108 transmits sound recording data output by the device 30 based on control by the operator 4 to a remote output device (not shown) where the operator 4 is located, and causes the output to be output. Is possible. Thereby, for example, when music is played back in stereo in the space 2, the operator 4 at a remote place can listen to the played music.
  • a remote output device not shown
  • the output control unit 108 The content of the space 2 may be displayed on the display unit 54 (viewed by the operator 4), and the same sound as the sound that can be output by the device 30 may be output to the output device located in the remote place.
  • the operator 4 performs a music playback operation on a stereo arranged in the space 2
  • the stereo does not play music
  • the output device located at a remote location is: Play the music.
  • music is not actually reproduced in the space 2, but it is possible to give the operator 4 a feeling as if music is being reproduced in the space 2.
  • the output control unit 108 can also prevent the output device located at the remote location from outputting the sound that can be output by the device 30.
  • the output control unit 108 Does not output the audio of the content to the remote output device.
  • the server 10 receives the three-dimensional information of the entire space 2 detected by the plurality of cameras 70, and the content of the space based on the received three-dimensional information. And the generated content is transmitted to the display unit 54 at a remote location. Thereby, the user located in the remote place can obtain a sense of presence as if located in the space 2. For example, when the right holder 6 is located at a remote place, the right holder 6 can confirm (monitor) the operation status of the device 30 by the operator 4 with a high sense of reality. Further, when the operator 4 is located at a remote place, the operator 4 can remotely operate the operation target device 30 while obtaining a sense of presence as if it is located in the space 2.
  • FIG. 20 is an explanatory diagram showing the configuration of the information processing system according to the fifth embodiment.
  • the right holder 6 and the operator 4 are located in different spaces, and the space 2a in which the right holder 6 is located and the operator 4 are It is assumed that a plurality of cameras 70 are arranged in each positioned space 2b.
  • the server 10 uses the three-dimensional information of the entire space 2a acquired by the plurality of cameras 70 arranged in the space 2a and the plurality of cameras 70 arranged in the space 2b.
  • a virtual shared space 80 is generated by synthesizing the acquired three-dimensional information of the entire space 2b.
  • the server 10 transmits the generated content of the shared space 80 to the display unit 54a browsed by the right holder 6 and the display unit 54b browsed by the operator 4, respectively. Thereby, the right holder 6 and the operator 4 can experience as if they are located in the shared space 80 by viewing the transmitted content.
  • the configuration of the display unit 54 is the same as that of the fourth embodiment.
  • the shared space generated based on the three-dimensional information of the space 2a where the right holder 6 is located and the three-dimensional information of the space 2b where the operator 4 is located. It is possible for the right holder 6 to browse the content. As a result, the right holder 6 can confirm (monitor) the operation status of the operator 4 with respect to the device 30 in real time and with high presence.
  • Output control unit 108 The output control unit 108 according to the fifth embodiment is acquired by the three-dimensional information of the entire space 2a acquired by the plurality of cameras 70 arranged in the space 2a and the plurality of cameras 70 arranged in the space 2b. A virtual shared space is generated by combining the three-dimensional information of the entire space 2b. Then, the output control unit 108 can display contents corresponding to the generated shared space on the display unit 54a (viewed by the right holder 6) and the display unit 54b (viewed by the operator 4), respectively. It is.
  • the output control unit 108 when the display unit 54a is a transmissive display, the output control unit 108, based on the generated shared space, only the video 82b in the space 2b where the operator 4 is located, as shown in FIG. May be displayed on the display unit 54a.
  • the output control unit 108 causes the display unit 54b to display only the video 82a of the space 2a where the right holder 6 is located based on the generated shared space. Also good.
  • the server 10 uses the three-dimensional information acquired in the space 2a where the right holder 6 is located and the three-dimensional information acquired in the space 2b where the operator 4 is located.
  • a virtual shared space is generated by combining the information, and the display unit 54a (viewed by the right holder 6) and the display unit 54b (viewed by the operator 4) view the contents of the generated shared space. To display each.
  • the right holder 6 and the operator 4 can experience as if they are located inside the shared space 80 by viewing the displayed content.
  • the right holder 6 can confirm (monitor) the operation status of the operator 4 with respect to the device 30 in real time and with high presence.
  • the operator 4 when the operator 4 is located in a space 2b different from the space 2a in which the operation target device 30 is arranged, the operator 4 is present as if the device 30 is positioned in front of the eyes.
  • the device 30 can be remotely operated while obtaining a feeling.
  • the server 10 includes a CPU 150, a ROM (Read Only Memory) 152, a RAM 154, a bus 156, an interface 158, a storage device 160, and a communication device 162.
  • the CPU 150 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the server 10 according to various programs. Further, the CPU 150 realizes the function of the control unit 100 in the server 10.
  • the CPU 150 is configured by a processor such as a microprocessor.
  • the ROM 152 stores programs used by the CPU 150 and control data such as calculation parameters.
  • the RAM 154 temporarily stores a program executed by the CPU 150, for example.
  • the bus 156 includes a CPU bus and the like.
  • the bus 156 connects the CPU 150, the ROM 152, and the RAM 154 to each other.
  • the interface 158 connects the storage device 160 and the communication device 162 to the bus 156.
  • the storage device 160 is a data storage device that functions as the storage unit 122.
  • the storage device 160 includes, for example, a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, or a deletion device that deletes data recorded on the storage medium.
  • the communication device 162 is a communication interface composed of a communication device for connecting to the communication network 36, for example. Further, the communication device 162 may be a wireless LAN compatible communication device, an LTE (Long Term Evolution) compatible communication device, or a wire communication device that performs wired communication. This communication device 162 functions as the communication unit 120.
  • LTE Long Term Evolution
  • each step in the operation of each embodiment described above does not necessarily have to be processed in the order described.
  • the steps may be processed by changing the order as appropriate.
  • Each step may be processed in parallel or individually instead of being processed in time series.
  • the computer program for making a computer system exhibit a function equivalent to each component of the server 10 (specifically control part 100) by each embodiment mentioned above is also provided.
  • the computer system may be a system in which a single computer (for example, hardware such as the CPU 150) executes a series of processes, or a system in which a plurality of computers cooperate to execute a series of processes. There may be.
  • a recording medium on which the computer program is recorded is also provided.
  • a control authority management unit for changing the control authority of the device by the first user based on whether or not the monitoring state is set;
  • An information processing apparatus comprising: (2) The monitoring state is a state in which the device or the first user is under the monitoring of a second user who has authority to manage the device, The information processing apparatus according to (1), wherein the first user does not have management authority for the device. (3) The information processing apparatus according to (2), wherein the monitoring state is a state in which a display unit that displays an image captured by the device is positioned within the field of view of the second user. (4) The information processing apparatus according to (2), wherein the monitoring state is a state in which the device is located within the field of view of the second user.
  • the monitoring state is a state in which a second user having authority to manage the device is located in a space where the device is located.
  • the control authority management unit grants the control authority of the device to the first user. .
  • the control authority management unit When in the monitoring state, the control authority management unit gives the first user the first control authority related to the device, If not in the monitoring state, the control authority management unit gives the first user a second control authority related to the device, The information processing apparatus according to any one of (2) to (7), wherein the second control authority is an authority narrower than the first control authority. (9) The information processing apparatus according to any one of (2) to (8), wherein the control authority management unit further changes control authority of the device based on a type of the device.
  • the control authority management unit When in the monitoring state, the control authority management unit gives the first user the first control authority related to the device, If not in the monitoring state, the control authority management unit gives the first user a second control authority related to the device, The second control authority is an authority narrower than the first control authority, The information processing apparatus according to (9), wherein a relationship between the first control authority and the second control authority is determined according to a type of the device. (11) The control authority management unit further changes the control authority of the device based on the relationship between the first user and the second user, according to any one of (2) to (10). The information processing apparatus described in 1. (12) When the control of the device by the first user is approved by the second user, the control authority management unit grants the control authority of the device to the first user, (11 ).
  • the information processing apparatus includes a notification unit that notifies the second user of a request for granting control authority of the device based on detection of a predetermined operation by the first user when the information processing apparatus is not in the monitoring state. In addition, When the request is notified and a predetermined operation is performed by the second user, the control authority management unit grants the control authority of the device to the first user, (14) The information processing apparatus described in 1.
  • the information processing apparatus When the information processing apparatus is not in the monitoring state, the information processing apparatus notifies the second user of a request to cause the second user to monitor the device based on detection of a predetermined operation by the first user.
  • the information processing apparatus according to any one of (2) to (14), further including a notification unit.
  • the first user is located in a remote location of the space in which the device is located;
  • the information processing apparatus according to any one of (2) to (16), wherein the control of the device is control of the device from the remote location.
  • the information processing apparatus further includes a device control unit that controls the device based on a detection result of an operation performed on the device by the first user and a granting status of the control authority of the device to the first user.
  • the information processing apparatus comprising: (19) The processor changes the control authority of the device by the first user based on whether it is in a monitoring state, Including an information processing method. (20) Computer system A control authority management unit for changing the control authority of the device by the first user based on whether or not the monitoring state is set; Program to function as
  • server 20 user terminal 30 device 32 control device 34 indoor camera 36 communication network 50 wearable camera 54 display unit 70 camera 100 control unit 102 device operation determination unit 104 monitoring state determination unit 106 control authority management unit 108 output control unit 110 notification unit 112 device control unit 120 communication unit 122 storage unit

Abstract

【課題】ユーザによる機器に対する制御を適切に制限することが可能な、情報処理装置、情報処理方法、およびプログラムを提案する。 【解決手段】監視状態であるか否かに基づいて、第1のユーザによる機器の制御権限を変化させる制御権限管理部、を備える、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
 本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
 従来、例えば住宅などの建物の中に配置されている機器を、遠隔地からのユーザの操作に基づいて制御する技術が各種提案されている。
 例えば、下記特許文献1には、屋外の携帯機器から提示される属性証明書の検証結果に基づいて、当該携帯機器による、屋内の機器に対する遠隔操作の可否を判定する技術が記載されている。
特開2004-46430号公報
 しかしながら、特許文献1に記載の技術では、属性証明書の内容の検証結果だけを用いて、屋内の機器に対する制御の可否を判定する。このため、例えば、属性証明書の内容が正当であれば、屋内の機器に対する制御が無制限に許可され得る。
 そこで、本開示では、ユーザによる機器に対する制御を適切に制限することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
 本開示によれば、監視状態であるか否かに基づいて、第1のユーザによる機器の制御権限を変化させる制御権限管理部、を備える、情報処理装置が提供される。
 また、本開示によれば、監視状態であるか否かに基づいて、第1のユーザによる機器の制御権限をプロセッサが変化させること、を含む、情報処理方法が提供される。
 また、本開示によれば、コンピュータシステムを、監視状態であるか否かに基づいて、第1のユーザによる機器の制御権限を変化させる制御権限管理部、として機能させるための、プログラムが提供される。
 以上説明したように本開示によれば、ユーザによる機器に対する制御を適切に制限することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
第1の実施形態による情報処理システムの構成例を示した説明図である。 監視状態の例を示した説明図である。 監視状態の例を示した説明図である。 第1の実施形態によるサーバ10の構成例を示した機能ブロック図である。 第1の実施形態による機器リストの表示例を示した説明図である。 第1の実施形態による警告画面の表示例を示した説明図である。 第1の実施形態による動作例の一部を示したフローチャートである。 第1の実施形態による動作例の一部を示したフローチャートである。 第1の実施形態の変形例による動作の一部を示したフローチャートである。 第1の実施形態の別の変形例による動作の一部を示したシーケンス図である。 第1の実施形態の別の変形例による動作の一部を示したシーケンス図である。 第2の実施形態による情報処理システムの構成例を示した説明図である。 装着型カメラ50の視点の映像を権利者6が視聴する場面の例を示した説明図である。 装着型カメラ50の視点の映像を操作者4が視聴する場面の例を示した説明図である。 第3の実施形態による機器制御設定画面の表示例を示した説明図である。 第3の実施形態による制御可能な機器・機能の設定時の動作例を示したフローチャートである。 第3の実施形態による機器の操作時の動作例の一部を示したフローチャートである。 第4の実施形態による情報処理システムの構成例を示した説明図である。 第4の実施形態による、遠隔地に位置する人物の映像の表示例を示した説明図である。 第5の実施形態による情報処理システムの構成例を示した説明図である。 第5の実施形態による共有空間の生成の例を示した説明図である。 生成された共有空間に基づいて生成された、空間2aの映像および空間2aの映像の表示例を示した説明図である。 各実施形態に共通するサーバ10のハードウェア構成例を示した説明図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じてユーザ端末20aおよびユーザ端末20bのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、ユーザ端末20aおよびユーザ端末20bを特に区別する必要が無い場合には、単にユーザ端末20と称する。
 また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
 1.第1の実施形態
 2.第2の実施形態
 3.第3の実施形態
 4.第4の実施形態
 5.第5の実施形態
 6.ハードウェア構成
 7.変形例
<<1.第1の実施形態>>
 <1-1.情報処理システムの構成>
 {1-1-1.概要}
 まず、第1の実施形態について説明する。図1は、第1の実施形態による情報処理システムの構成例を示した説明図である。図1に示すように、第1の実施形態による情報処理システムは、サーバ10、ユーザ端末20、機器30、制御装置32、室内カメラ34、および、通信網36を含む。
 第1の実施形態では、権利者6が、一以上の種類の機器30が配置されている例えば部屋2などの空間の管理権限を有しており、かつ、当該空間の管理権限を有しない操作者4が、当該空間内の機器30の制御を行う場面を想定する。ここで、操作者4は、本開示における第1のユーザの一例であり、また、権利者6は、本開示における第2のユーザの一例である。なお、権利者6は、一人であってもよいし、複数人であってもよい。また、操作者4は、例えば工事業者や修理業者などの、機器30に関する業務を行う者であってもよいし、または、権利者6の家族や友人などの知人であってもよい。また、操作者4は、一人であってもよいし、複数人であってもよい。
 この操作者4は、部屋2の中で機器30を直接操作することも可能であるし、または、部屋2の遠隔地から、所定の端末(ユーザ端末20など)を操作することにより、後述する通信網36を介して機器30を遠隔制御することも可能である。または、操作者4は、部屋2の遠隔地から所定の端末を使用して、機器30と同じ空間(部屋2など)の中に位置するロボット(図示省略)に対する操作を行うことにより、当該ロボットを介して機器30を遠隔制御することも可能である。
 ところで、仮に、(権利者6が管理権限を有する)部屋2内に配置されている機器30を操作者4が無制限に制御可能であるとすると、不正な制御が行われるなど、権利者6が望まない制御が行われる恐れがある。
 そこで、上記事情を一着眼点にして、第1の実施形態によるサーバ10を創作するに至った。第1の実施形態によれば、サーバ10は、監視状態であるか否かに基づいて、操作者4による機器30の制御権限を変化させることが可能である。これにより、機器30に対する操作者4の制御が適切に制限される。以下では、図1を参照して、第1の実施形態による情報処理システムの構成について、さらに詳細に説明する。
 {1-1-2.サーバ10}
 サーバ10は、本開示における情報処理装置の一例である。サーバ10は、機器30の制御権限を管理するための装置である。詳細については後述するが、例えば、操作対象の機器30が監視状態にある場合には、サーバ10は、当該機器30に関する制御権限を操作者4に付与することが可能である。
 (1-1-2-1.監視(monitor)状態)
 ここで、監視状態は、操作対象の機器30の状態などの情報を、視覚や他の感覚(例えば聴覚や触覚など)によりユーザが知り得る状態である。例えば、監視状態は、操作対象の機器30または操作者4が権利者6の監視下にある状態であり得る。一例として、操作対象の機器30が配置されている空間の中に権利者6が位置する場合には、監視状態は、権利者6の視界内、または、視界の近傍に当該機器30または操作者4が位置する状態であり得る。ここで、視界の近傍に当該機器30が位置する状態は、例えば、当該機器30の位置と権利者6の視界との間の距離が、履歴情報などに基づいて定められる所定の範囲内である状態である。なお、権利者6が複数人いる場合には、操作対象の機器30または操作者4が、当該複数の権利者6のうちの少なくともいずれかの監視下にある状態は、監視状態に該当する。
 ここで、図2を参照して、上記の内容についてさらに詳細に説明する。なお、図2の(a)では、例えば、操作者4は、エア・コンディショナー30bの修理のスタッフであり、かつ、エア・コンディショナー30bの前に位置している場面の例を示している。また、権利者6は、部屋2のオーナーであり、かつ、部屋2の中に位置している例を示している。図2の(a)に示したような、操作対象の機器30(エア・コンディショナー30b)が配置されている空間において操作者4が当該機器30を直接操作しており、かつ、当該機器30または操作者4が権利者6の視界内に位置する状態は、監視状態に該当する。
 また、図2の(b)では、操作者4は、遠隔地に位置しており、かつ、エア・コンディショナー30bを遠隔制御しようとしている場面の例を示している。図2の(b)に示したような、操作者4が遠隔地から操作対象の機器30を操作しており、かつ、当該機器30が権利者6の視界内に位置する状態も、監視状態に該当する。
 また、操作対象の機器30が配置されている空間の遠隔地に権利者6が位置する場合には、監視状態は、当該機器30または操作者4が撮影された映像を表示している表示部(例えば、権利者6が使用するユーザ端末20の表示部など)が権利者6の視界内、または、視界の近傍に位置する状態であり得る。ここで、当該映像は、例えば、後述する室内カメラ34、または、操作者4が携帯するカメラなどにより撮影された映像であり得る。
 ここで、図3を参照して、上記の内容についてさらに詳細に説明する。なお、図3の(a)では、(図2の(a)と同様に)操作者4は、エア・コンディショナー30bの修理のスタッフであり、かつ、エア・コンディショナー30bの前に位置している場面の例を示している。また、権利者6は、部屋2のオーナーであり、かつ、部屋2の遠隔地に位置している例を示している。図3の(a)に示したような、操作対象の機器30(エア・コンディショナー30b)が配置されている空間において操作者4が当該機器30を直接操作しており、かつ、室内カメラ34により当該機器30または操作者4が撮影された映像を表示しているユーザ端末20が権利者6の視界内に位置する状態は、監視状態に該当する。
 図3の(b)では、権利者6および操作者4が遠隔地に位置しており、かつ、操作者4がエア・コンディショナー30bを遠隔制御しようとしている場面の例を示している。図3の(b)に示したような、操作者4が遠隔地から操作対象の機器30を操作しており、かつ、室内カメラ34により当該機器30が撮影された映像を表示しているユーザ端末20が、権利者6の視界内に位置する状態は、監視状態に該当する。
 または、監視状態は、操作対象の機器30が配置されている空間の中、または、当該空間の近傍に、権利者6が位置する状態であり得る。ここで、例えば、当該空間が部屋である場合は、当該部屋に隣接する廊下や隣の部屋などが当該空間の近傍に該当する。
 なお、変形例として、監視状態は、操作対象の機器30が録画されている状態であり得る。例えば、当該機器30が撮影された映像を権利者6がリアルタイムで見ていない場合であっても、当該機器30が録画されている場合(つまり、権利者6が、当該機器30に対する操作内容を後で確認可能な場合)は、監視状態であり得る。
 {1-1-3.ユーザ端末20}
 ユーザ端末20は、権利者6または操作者4が使用する情報処理端末である。ユーザ端末20は、表示画面を表示する表示部、通信網36に接続するための通信部、および、ユーザの入力を受け付ける入力部を備える。なお、図1では、ユーザ端末20がスマートフォンである例を示しているが、かかる例に限定されない。例えば、ユーザ端末20は、タブレット端末、汎用PC(Personal Computer)、ゲーム機、または、例えばHMD(Head Mounted Display)やAR(Augumented Reality)グラスなどのウェアラブルデバイスであってもよい。
 例えば、図3に示したように、権利者6のユーザ端末20は、室内カメラ34による撮影映像を受信し、そして、受信した映像をリアルタイムに表示することが可能である。そして、権利者6は、当該映像を見ることにより、機器30に対する、操作者4の操作状況を監視することができる。
 {1-1-4.制御装置32}
 制御装置32は、部屋2の中に配置されている機器30の動作を制御するための装置である。例えば、制御装置32は、部屋2の中に配置されている複数の機器30の各々に関して、当該機器30の電源のON/OFFや、当該機器30の各種機能の制御を行う。また、制御装置32は、サーバ10から受信される制御情報に従って、当該制御情報が示す機器に対して制御を行うことも可能である。
 {1-1-5.機器30}
 機器30は、部屋2の中に配置されている機器である。例えば、機器30は、照明30a、エア・コンディショナー30b、テレビジョン受信機30c、コンロ、コーヒーメーカー、電子レンジ、DVD(Digital Versatile Disc)レコーダ、HDD(Hard Disk Drive)レコーダ、カーテン、雨戸、空気清浄器、加湿器、冷蔵庫、洗濯機、給湯器、換気扇、または、掃除機などであってもよい。
 {1-1-6.室内カメラ34}
 室内カメラ34は、部屋2の中に配置されているカメラである。この室内カメラ34は、部屋2の中に配置されている機器30の全部または一部を撮影可能な位置および方向に配置され得る。また、或る機器30に対する操作者4による操作の開始が検出された場合には、室内カメラ34は、当該機器30を撮影可能なように、向きを変更したり、ズームを行うことも可能である。なお、室内カメラ34は、例えば、監視カメラであってもよいし、または、部屋2の中に位置するロボットに設置されているカメラであってもよい。
 {1-1-7.通信網36}
 通信網36は、通信網36に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網36は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、通信網36は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。
 なお、第1の実施形態による情報処理システムの構成は、上述した例に限定されない。例えば、当該情報処理システムは、制御装置32を含まなくてもよい。
 <1-2.構成>
 以上、第1の実施形態による情報処理システムの構成について説明した。次に、第1の実施形態によるサーバ10の構成について詳細に説明する。図4は、第1の実施形態によるサーバ10の構成例を示した機能ブロック図である。図4に示すように、サーバ10は、制御部100、通信部120、および、記憶部122を有する。
 {1-2-1.制御部100}
 制御部100は、サーバ10に内蔵される、後述するCPU(Central Processing Unit)150や、RAM(Random Access Memory)154などのハードウェアを用いて、サーバ10の動作を全般的に制御する。また、図4に示すように、制御部100は、機器操作判定部102、監視状態判定部104、制御権限管理部106、出力制御部108、通知部110、および、機器制御部112を有する。
 {1-2-2.機器操作判定部102}
 機器操作判定部102は、操作者4に関する検出結果に基づいて、機器30に対する操作が開始されたか否かを判定する。さらに、機器操作判定部102は、操作者4による操作対象の機器30を特定する。ここで、操作者4に関する検出結果は、例えば、操作対象の機器30と操作者4との位置関係、操作者4の身体の動き、または、操作デバイス(ユーザ端末20など)に対する操作者4の操作内容などの検出結果を含む。
 例えば、機器30が配置されている空間内に操作者4が位置することが検出される場合には、機器操作判定部102は、当該空間内に配置されている、室内カメラ34や赤外線センサなどの各種のセンサから受信される検出結果に基づいて、いずれかの機器30に対する操作が操作者4により開始されたか否かを判定する。
 また、遠隔地に操作者4が位置することが検出される場合には、機器操作判定部102は、操作者4が使用する操作デバイスに対する入力情報、または、当該遠隔地に配置されているカメラや赤外線センサなどの各種のセンサから受信される検出結果に基づいて、該当の空間内のいずれかの機器30に対する操作が操作者4により開始されたか否かを判定する。
 {1-2-3.監視状態判定部104}
 監視状態判定部104は、機器操作判定部102により特定された操作対象の機器30に関して、監視状態であるか否かを判定する。例えば、監視状態判定部104は、操作対象の機器30が配置されている空間と権利者6との位置関係に基づいて、監視状態であるか否かを判定する。
 (1-2-3-1.判定例1)
 例えば、監視状態判定部104は、操作対象の機器30が権利者6の視界内(または視界の近傍)に位置するか否かを判定することにより、監視状態であるか否かを判定する。より具体的には、監視状態判定部104は、当該機器30が権利者6の視界内に位置する場合には監視状態であると判定し、また、当該機器30が権利者6の視界内に位置しない場合には監視状態ではないと判定する。例えば、当該空間内に配置されている、室内カメラ34や赤外線センサなどの各種のセンサから受信される検出結果に基づいて、監視状態判定部104は、権利者6の位置および顔の向きを判定することにより、操作対象の機器30が権利者6の視界内に位置するか否かを判定する。または、権利者6が使用中のユーザ端末20がウェアラブルデバイスである場合には、監視状態判定部104は、当該ウェアラブルデバイスに設置されている各種のセンサから受信される検出結果(例えば、外付けのカメラによる撮影画像やジャイロセンサによる傾きの検出結果など)に基づいて、操作対象の機器30が権利者6の視界内に位置するか否かを判定する。
 (1-2-3-2.判定例2)
 または、監視状態判定部104は、操作対象の機器30が撮影された映像を表示している表示部が権利者6の視界内(または視界の近傍)に位置するか否かを判定することにより、監視状態であるか否かを判定することも可能である。より具体的には、監視状態判定部104は、当該表示部が権利者6の視界内に位置する場合には監視状態であると判定し、また、当該表示部が権利者6の視界内に位置しない場合には監視状態ではないと判定する。例えば、室内カメラ34により撮影された映像が、権利者6のユーザ端末20の表示部に表示されている場合には、監視状態判定部104は、当該表示部の付近に設置されているインカメラによる撮影結果を受信することにより、当該表示部が権利者6の視界内に位置するか否かを判定する。例えば、当該インカメラにより権利者6の顔が撮影されていることを示す情報がユーザ端末20から受信された場合には、監視状態判定部104は、当該表示部が権利者6の視界内に位置すると判定する。また、当該インカメラにより権利者6の顔が撮影されていないことを示す情報がユーザ端末20から受信された場合には、監視状態判定部104は、当該表示部が権利者6の視界内に位置しないと判定する。
 (1-2-3-3.判定例3)
 または、監視状態判定部104は、操作対象の機器30が配置されている空間内(または当該空間の近傍)に権利者6が位置するか否かを判定することにより、監視状態であるか否かを判定することも可能である。より具体的には、監視状態判定部104は、当該空間内に権利者6が位置する場合には監視状態であると判定し、また、当該空間内に権利者6が位置しない場合には監視状態ではないと判定する。例えば、権利者6が所持するユーザ端末20のGPS(Global Positioning System)受信機の測定結果など、権利者6の現在の位置情報を受信することにより、監視状態判定部104は、権利者6が当該空間内(または当該空間の近傍)に位置するか否かを判定する。または、監視状態判定部104は、当該空間内に配置されている、室内カメラ34などの各種のセンサから受信される検出結果に基づいて、権利者6が当該空間内に位置するか否かを判定する。
 (1-2-3-4.判定例4)
 または、監視状態判定部104は、室内カメラ34に対する、権利者6のユーザ端末20のアクセス状況に基づいて、監視状態であるか否かを判定することも可能である。例えば、当該ユーザ端末20が室内カメラ34へアクセス中であることが検出された場合には、監視状態判定部104は、監視状態であると判定する。また、当該ユーザ端末20が室内カメラ34へアクセスしていないことが検出された場合には、監視状態判定部104は、監視状態ではないと判定する。
 (1-2-3-5.変形例)
 ところで、特に権利者6が遠隔地から監視を行う場合には、例えば権利者6が移動したり、または、権利者6の身体が無意識的に動くなどにより、権利者6の視界が頻繁に動き得るので、監視状態であるか否かも頻繁に変わり得る。そこで、変形例として、監視状態判定部104は、ユーザ端末20の表示部が権利者6の視界内に位置する時間の長さの積分値に基づいて、監視状態であるか否かを切り替えることも可能である。例えば、現在のステータスが監視状態ではない場合で、かつ、当該表示部が、権利者6の視界内に位置する時間の長さの積分値が所定の時間を超えた場合には、監視状態判定部104は、現在のステータスを監視状態に切り替える。また、現在のステータスが監視状態である場合で、かつ、当該表示部が、権利者6の視界から外れた時間の長さの積分値が所定の時間を超えた場合には、監視状態判定部104は、現在のステータスを非監視状態に切り替える。
 {1-2-4.制御権限管理部106}
 (1-2-4-1.権限の付与例1)
 制御権限管理部106は、監視状態判定部104による判定結果に基づいて、操作対象の機器30に関する操作者4の制御権限を変化させる。例えば、監視状態であると判定された場合には、制御権限管理部106は、操作対象の機器30の制御権限を操作者4に付与する。また、監視状態ではないと判定された場合には、制御権限管理部106は、操作対象の機器30の制御権限を操作者4に付与しない。
 (1-2-4-2.権限の付与例2)
 または、制御権限管理部106は、監視状態であるか否かの判定結果に応じて、操作者4に付与する制御権限を変化させることが可能である。例えば、制御権限管理部106は、監視状態ではないと判定された場合の方が、監視状態であると判定された場合よりも、操作対象の機器30に関して権限が狭い制御権限を操作者4に付与する。一例として、監視状態であると判定された場合には、制御権限管理部106は、操作対象の機器30の「ON」および「OFF」の両方を制御可能な制御権限を操作者4に付与する。また、監視状態ではないと判定された場合には、制御権限管理部106は、当該機器30の「OFF」のみを制御可能(つまり「ON」を制御不可能)な制御権限を操作者4に付与する。
 または、制御権限管理部106は、監視状態ではないと判定された場合の方が、監視状態であると判定された場合よりも、操作対象の機器30のパラメータに関して、設定可能な値の範囲が狭い制御権限を操作者4に付与することも可能である。例えば操作対象の機器30がエア・コンディショナー30bである場合には、制御権限管理部106は、監視状態ではないと判定された場合の方が、監視状態であると判定された場合よりも、温度設定に関して、設定可能な温度の範囲が狭い制御権限を操作者4に付与してもよい。または、例えば操作対象の機器30がオーブントースターである場合には、制御権限管理部106は、監視状態ではないと判定された場合の方が、監視状態であると判定された場合よりも、加熱時間の設定に関して、設定可能な加熱時間の最大値が小さい制御権限を操作者4に付与してもよい。つまり、監視状態である場合の方が、監視状態ではない場合よりも危険性の高い時間まで設定することが許可される。または、例えば操作対象の機器30がテレビジョン受信機30cである場合には、制御権限管理部106は、監視状態ではないと判定された場合の方が、監視状態であると判定された場合よりも、表示可能なチャンネルの数が少ない制御権限を操作者4に付与してもよい。
 (1-2-4-3.権限の付与例3)
 または、制御権限管理部106は、さらに、操作対象の機器30の種類に応じて、操作者4に付与する制御権限を変化させることも可能である。例えば、監視状態ではないと判定された場合で、かつ、操作対象の機器30の種類が、所定のフラグが設定されている機器30である場合に限り、制御権限管理部106は、当該機器30の制御権限を操作者4に付与しない。ここで、例えば、所定の熱量以上の熱を発する機器30(コンロ、ドライヤー、ヒーターなど)には当該フラグが設定されており、かつ、所定の熱量未満しか熱を発しない機器30(照明30a、テレビジョン受信機30cなど)には当該フラグが設定されていなくてもよい。または、所定のワット数以上の機器30には当該フラグが設定されており、かつ、所定のワット数未満の機器30には当該フラグが設定されていなくてもよい。
 (1-2-4-4.権限の付与例4)
 なお、権利者6が複数人いる場合には、さらに、いずれの権利者6が操作対象の機器30を監視しているかに応じて、制御権限管理部106は、操作対象の機器30に関する操作者4の制御権限を変化させることが可能である。例えば、操作対象の機器30を監視中の権利者6のうち少なくとも一人が、当該機器30が配置されている空間(または当該機器30自体)の管理権限を有する場合には、制御権限管理部106は、当該機器30の制御権限を操作者4に付与する。また、操作対象の機器30を監視中の権利者6の全員が、当該空間(または当該機器30自体)の管理権限を有しない場合には、制御権限管理部106は、当該機器30の制御権限を操作者4に付与しない。
 (1-2-4-5.変形例1)
 なお、変形例として、制御権限管理部106は、さらに、操作者4と権利者6との関係性に基づいて、操作者4に付与する制御権限を変化させることも可能である。例えば、操作者4による機器30の制御が予め承認されている場合には、監視状態ではないと判定された場合であっても、制御権限管理部106は、操作対象の機器30の制御権限を操作者4に一時的に付与してもよい。一例として、操作者4と権利者6との間で機器30の制御に関する契約を交わしており、かつ、契約済みであることが例えば記憶部122などに予め登録されている場合には、制御権限管理部106は、監視状態ではないと判定された場合であっても、当該機器30の制御権限を操作者4に付与してもよい。また、操作者4と権利者6とが例えば家族や友人であることが特定される場合には、制御権限管理部106は、監視状態ではないと判定された場合であっても、操作対象の機器30の制御権限を操作者4に(例外的に)付与してもよい。なお、制御権限管理部106は、例えば、所定のSNS(Social Networking Service)における登録情報や、記憶部122における登録情報などに基づいて、操作者4と権利者6とが家族や友人であることを特定することが可能である。
 または、制御権限管理部106は、さらに、非常時であるか否かに基づいて、操作者4に付与する制御権限を変化させることも可能である。例えば、非常時である場合には、制御権限管理部106は、監視状態ではないと判定された場合であっても、操作対象の機器30の制御権限を操作者4に(例外的に)付与してもよい。ここで、非常時の例としては、地震や台風などの災害の発生時、機器30が配置されている空間における火事の発生時、および、犯罪や暴動の発生時などが挙げられる。例えば、非常時であることが公共機関により発信されたり、または、権利者6により事前に通知されている場合には、制御権限管理部106は、監視状態ではないと判定された場合であっても、操作対象の機器30(または当該空間に配置されている全ての機器30)の制御権限を操作者4に付与する。または、機器30が配置されている空間において、警報装置(火災報知器やガス漏れ警報器など)により警報が発せられたことが検出された場合には、制御権限管理部106は、監視状態ではないと判定された場合であっても、操作対象の機器30(または当該空間に配置されている全ての機器30)の制御権限を操作者4に付与する。
 (1-2-4-6.変形例2)
 なお、詳細については後述するが、操作者4に対して制御権限を付与することの明示の指示が、権利者6のユーザ端末20から受信された場合には、制御権限管理部106は、監視状態ではないと判定された場合であっても、操作対象の機器30の制御権限を操作者4に付与することも可能である。
 {1-2-5.出力制御部108}
 (1-2-5-1.制御例1)
 出力制御部108は、ユーザ端末20に対する情報の出力を制御する。例えば、出力制御部108は、室内カメラ34により撮影された映像をユーザ端末20に表示させる。
 (1-2-5-2.制御例2)
 また、操作対象の機器30の制御権限が操作者4に付与されなかった場合には、出力制御部108は、制御権限が付与されていないことを示すUIを、操作者4が閲覧する表示部(ユーザ端末20など)に表示させることが可能である。
 例えば、図5に示したような、該当の空間内に配置されている機器30を一覧表示する機器リスト40が当該表示部に表示されている場合には、出力制御部108は、機器リスト40において、制御権限が付与されなかった機器30を表示させない、または、当該機器30の表示色を変えて表示させる。または、出力制御部108は、当該表示部に表示される操作画面において、制御権限が付与されなかった機器30をグレーアウトや赤色で表示させたり、ぼかして表示させたり、または、「×」などの所定のマークを、当該機器30の表示位置や当該表示位置の近傍にさらに表示させる。または、当該操作画面において、該当の機器30の操作ボタンが選択されるなどの該当の機器30に関する操作が行われた場合には反応しない、または、エラーが出力されるように、出力制御部108は、当該操作画面の表示制御を行う。ここで、当該エラーは、例えば、「操作が許可されていません。○○さんから許可をもらって下さい」などのメッセージであってもよい。これらの表示例によれば、該当の機器30が制御不可能な状態であることを操作者4に知らせることができる。
 または、出力制御部108は、制御権限が付与されていないことを示す音声、振動、または、筋電の出力を制御することも可能である。例えば、操作対象の機器30を操作者4が操作しようとした際に、出力制御部108は、操作者4が位置する場所(該当の部屋2、または、遠隔地)に設置されているスピーカ、または、操作者4のユーザ端末20などに失敗音を出力させてもよい。または、出力制御部108は、操作者4のユーザ端末20を所定の振動パターンで振動させてもよい。または、例えば腕などに専用の装置を操作者4が装着している場合には、出力制御部108は、腕を動かないようにするなど、操作者4に電気刺激を与えるように当該装置を制御してもよい。
 {1-2-6.通知部110}
 通知部110は、監視状態ではない場合に、操作者4による所定の操作の検出に基づいて、機器30の制御権限の付与の要求を権利者6へ通知したり、または、機器30を権利者6に監視させる要求を権利者6へ通知することが可能である。
 ここで、図6を参照して、上記の内容について説明する。図6は、制御権限が付与されていない機器30に対して操作者4が操作しようとした場合において、操作者4のユーザ端末20などに表示される警告画面の表示例(警告画面42)を示した説明図である。図6に示すように、警告画面42は、警告メッセージ表示欄420、制御権限の付与依頼ボタン422、および、通知ボタン424を含む。ここで、警告メッセージ表示欄420には、例えば、操作対象の機器30の制御権限が操作者4に付与されていない旨のメッセージが表示される。また、制御権限の付与依頼ボタン422は、操作対象の機器30の制御権限の付与を権利者6へ依頼するための選択ボタンである。この制御権限の付与依頼ボタン422が操作者4により選択されると、当該選択の通知がサーバ10へ送信され、そして、通知部110は、該当の機器30の制御権限の付与の要求を権利者6のユーザ端末20へ通信部120に送信させる。なお、この要求が送信された後に、権利者6がユーザ端末20に対して承認の入力を行うと、制御権限の付与の指示がサーバ10へ送信され、そして、(上述したように)制御権限管理部106は、当該機器30の制御権限を操作者4に付与することが可能である。
 また、通知ボタン424は、監視状態になるように権利者6へ通知する(つまり、操作対象の機器30を監視させるように権利者6に通知する)ための選択ボタンである。この通知ボタン424が操作者4により選択されると、当該選択の通知がサーバ10へ送信され、そして、通知部110は、該当の機器30を権利者6に監視させるための通知を権利者6のユーザ端末20へ通信部120に送信させる。なお、この通知が送信された後に監視状態になると、(上述したように)制御権限管理部106は、当該機器30の制御権限を操作者4に付与することが可能である。
 {1-2-7.機器制御部112}
 機器制御部112は、制御権限管理部106により制御権限が操作者4に付与された場合に、操作者4による操作の検出に基づいて、操作対象の機器30を制御する。例えば、機器制御部112は、操作者4による操作の検出に応じて操作対象の機器30を動作させるための制御情報を制御装置32へ通信部120に送信させる。または、機器制御部112は、操作者4による操作の検出に応じて、当該制御情報を直接、操作対象の機器30へ通信部120に送信させることも可能である。
 {1-2-8.通信部120}
 通信部120は、他の装置との間で情報の送受信を行う。例えば、通信部120は、通知部110の制御に従って、機器30の制御権限の付与の要求の通知、または、機器30を権利者6に監視させる要求の通知を権利者6のユーザ端末20へ送信する。また、通信部120は、部屋2の中に配置されている室内カメラ34などの各種のセンサから検出結果を受信する。
 {1-2-9.記憶部122}
 記憶部122は、各種のデータや各種のソフトウェアを記憶する。
 なお、第1の実施形態によるサーバ10の構成は、上述した例に限定されない。例えば、機器制御部112の機能を制御装置32が有する場合には、サーバ10は、機器制御部112を有しなくてもよい。
 <1-3.動作>
 以上、第1の実施形態による構成について説明した。次に、第1の実施形態による動作の一例について、図7および図8を参照して説明する。図7は、第1の実施形態による動作の一部を示したフローチャートである。
 図7に示したように、まず、機器30が配置されている空間内の各種のセンサ、または、遠隔地に配置されている各種のセンサは、操作者4に関する状態を検出し、そして、検出結果をサーバ10へ送信する。または、操作者4のユーザ端末20は、機器30に対する遠隔操作の入力を検出し、そして、検出結果をサーバ10へ送信する。
 その後、サーバ10の機器操作判定部102は、受信された検出結果に基づいて、操作対象の機器30、および、当該機器30に対する操作が開始されたことを特定する(S101)。
 続いて、監視状態判定部104は、操作対象の機器30に関して監視状態であるか否かを判定する(S103)。監視状態であると判定された場合には(S103:Yes)、制御権限管理部106は、操作対象の機器30の制御権限を操作者4に付与する(S105)。
 続いて、機器制御部112は、S101で受信された検出結果に基づいて、操作者4が遠隔地に位置するか否かを判定する(S107)。操作者4が遠隔地に位置すると判定された場合には(S107:Yes)、機器制御部112は、遠隔地で検出される操作情報に基づいて、当該機器30に対する制御を実行する(S109)。そして、サーバ10は、後述するS113の処理を行う。
 一方、操作者4が、遠隔地に位置しない(つまり、当該機器30が配置されている空間内に位置する)と判定された場合には(S107:No)、機器制御部112は、当該空間内で検出される操作に基づいて、当該機器30に対する制御を実行する(S111)。
 続いて、サーバ10は、機器30の操作に関する終了の入力がなされたか否かを判定する(S113)。終了の入力がなされた場合には(S113:Yes)、サーバ10は、本動作を終了する。一方、終了の入力がなされていない場合には(S113:No)、サーバ10は、再びS101の処理を行う。
 ここで、S103において監視状態ではないと判定された場合(S103:No)における動作について、図8を参照して説明する。図8に示したように、まず、制御権限管理部106は、操作対象の機器30の制御権限を操作者4に付与しないことを決定する(S121)。そして、操作対象の機器30に対する操作者4の制御が許可されない(S123)。なお、この際、出力制御部108は、制御権限が付与されなかったことを示す表示を操作者4のユーザ端末20に表示させることも可能である。
 その後、サーバ10は、上述したS113の処理を行う。
 {1-3-1.変形例1}
 なお、第1の実施形態による動作は、上述した例に限定されない。例えば、変形例1として、S103において監視状態ではないと判定された場合には(S103:No)、監視状態である場合よりも権限が狭い制御権限が操作者4に付与されてもよい。具体的には、図8に示したS121~S123の動作の代わりに、図9に示した動作(S131~S137)が実行されてもよい。
 ここで、図9を参照して、変形例1による動作について説明する。この変形例1では、S103において監視状態ではないと判定された場合には(S103:No)、まず、制御権限管理部106は、監視状態ではない場合における制御権限を操作者4に付与する(S131)。
 続いて、機器制御部112は、S101で受信された検出結果に基づいて、操作者4が遠隔地に位置するか否かを判定する(S133)。操作者4が遠隔地に位置すると判定された場合には(S133:Yes)、機器制御部112は、遠隔地で検出される操作情報に基づいて、S131で付与された制御権限の範囲内で、操作対象の機器30に対する制御を実行する(S135)。そして、サーバ10は、上述したS113の処理を行う。
 一方、操作者4が、遠隔地に位置しない(つまり、当該機器30が配置されている空間内に位置する)と判定された場合には(S133:No)、機器制御部112は、当該空間内で検出される操作に基づいて、S131で付与された制御権限の範囲内で、当該機器30に対する制御を実行する(S137)。そして、サーバ10は、上述したS113の処理を行う。
 {1-3-2.変形例2}
 また、変形例2として、S103において監視状態ではないと判定された場合には(S103:No)、操作者4によるユーザ端末20に対する操作に基づいて、操作対象の機器30の制御権限の付与の要求を権利者6へ通知したり、または、当該機器30を権利者6に監視させる要求を権利者6へ通知してもよい。具体的には、図8に示したS121~S123の動作の代わりに、図10および図11に示した動作(S151~S179)が実行されてもよい。
 ここで、図10を参照して、変形例2による動作について説明する。この変形例2では、S103において監視状態ではないと判定された場合には(S103:No)、まず、サーバ10の出力制御部108は、例えば図6に示したような、制御権限の付与依頼ボタン、および、通知ボタンを含む警告画面を操作者4のユーザ端末20aに表示させる(S151)。
 その後、ユーザ端末20aは、当該警告画面において、制御権限の付与依頼ボタンが操作者4により選択されたか否かを判定する(S153)。制御権限の付与依頼ボタンが選択された場合には(S153:Yes)、ユーザ端末20aは、制御権限の付与依頼ボタンが選択されたことをサーバ10へ通知する(S155)。
 その後、サーバ10の通信部120は、通知部110の制御に従って、該当の機器30の制御権限の付与の要求を権利者6のユーザ端末20bへ送信する(S157)。
 その後、ユーザ端末20bは、受信された要求を表示画面に表示する。そして、権利者6が、当該要求に対して承認しないことをユーザ端末20bに対して入力した場合には(S159:No)、サーバ10は、上述したS113の処理を行う。
 一方、権利者6が、当該要求に対して承認することをユーザ端末20bに対して入力した場合には(S159:Yes)、ユーザ端末20bは、承認されたことをサーバ10へ通知する(S161)。
 その後、サーバ10の制御権限管理部106は、操作対象の機器30の制御権限を操作者4に付与する(S163)。その後、サーバ10は、上述したS107の処理を行う。
 ここで、S153において制御権限の付与依頼ボタンが選択されなかった場合(S153:No)における動作について、図11を参照して説明する。図11に示したように、ユーザ端末20aは、当該警告画面において、通知ボタンが操作者4により選択されたか否かをさらに判定する(S171)。通知ボタンも選択されなかった場合には(S171:No)、サーバ10は、上述したS113の処理を行う。
 一方、通知ボタンが選択された場合には(S171:Yes)、ユーザ端末20aは、通知ボタンが選択されたことをサーバ10へ通知する(S173)。
 その後、サーバ10の通信部120は、通知部110の制御に従って、該当の機器30を権利者6に監視させるための通知を権利者6のユーザ端末20bへ送信する(S175)。
 その後、サーバ10の監視状態判定部104は、S175のタイミングから所定の時間内に監視状態になったか否かを判定する(S177)。所定の時間内に監視状態になったと判定された場合には(S177:Yes)、制御権限管理部106は、操作対象の機器30の制御権限を操作者4に付与する(S179)。その後、サーバ10は、上述したS107の処理を行う。
 一方、監視状態ではないまま所定の時間が経過したと判定された場合には(S177:No)、サーバ10は、上述したS113の処理を行う。
 <1-4.効果>
 以上説明したように、第1の実施形態によれば、サーバ10は、監視状態であるか否かに基づいて、操作者4による操作対象の機器30の制御権限を変化させる。このため、操作者4による機器30に対する制御を適切に制限することができる。
 例えば、サーバ10は、監視状態である場合には、操作対象の機器30の制御権限を操作者4に付与し、また、監視状態ではない場合には、操作対象の機器30の制御権限を操作者4に付与しない。このため、例えば、機器30に対する不正な制御など、権利者6が望まない制御が行われることを防止することができる。
 また、第1の実施形態によれば、操作者4が部屋2の中で機器30を操作する場合、および、操作者4が遠隔地から機器30を操作する場合のいずれであっても、権利者6は、機器30の操作状況を確実に監視することができる。このため、権利者6は、機器30の制御を操作者4に安心して委託することができる。
<<2.第2の実施形態>>
 <2-1.概要>
 以上、第1の実施形態について説明した。上述したように、第1の実施形態では、操作者4による機器30の操作と、権利者6による監視とは独立して行われる。次に、第2の実施形態について説明する。
 まず、第2の実施形態の概要について、図12を参照して説明する。図12は、第2の実施形態による情報処理システムの構成を示した説明図である。図12に示すように、第2の実施形態では、第1の人物(権利者6または操作者4のいずれか一方)は、装着型カメラ50を頭部に装着しており、そして、第1の人物が、機器30が配置されている空間内に位置する場面を想定する。そして、サーバ10は、装着型カメラ50による撮影に基づく映像52(例えば全周囲映像52など)を、遠隔地に位置する第2の人物(権利者6または操作者4のいずれか他方)が閲覧する表示部54へ伝送する。これにより、当該第2の人物は、伝送された映像52を視聴することにより、あたかも第1の人物の中に入り込んだような感覚を得ることができる。
 ここで、装着型カメラ50は、図12に示したように複数のカメラ500を備えてもよいし、または、魚眼カメラを備えてもよい。なお、図12では、表示部54がHMDなどのウェアラブルデバイスである例を示しているが、かかる例に限定されない。例えば、表示部54は、プロジェクタであり、かつ、表示部54は、伝送された映像52をスクリーンに投影してもよい。なお、以下では、表示部54がウェアラブルデバイスである例を中心として説明を行う。
 なお、このような、第1の人物と第2の人物との間での映像の伝送を実現するための具体的な方法として、例えば、国際公開第2015/122108号に記載されている技術が使用され得る。
 後述するように、第2の実施形態によるサーバ10は、装着型カメラ50による操作対象の機器30の撮影に基づいて生成された映像の、操作者4または権利者6の視聴状況に基づいて、監視状態であるか否かを判定することが可能である。
 <2-2.構成>
 次に、第2の実施形態による構成について詳細に説明する。第2の実施形態によるサーバ10に含まれる構成要素は、(図4に示した)第1の実施形態と同様である。以下では、第1の実施形態とは異なる機能を有する構成要素についてのみ説明を行う。
 {2-2-1.出力制御部108}
 第2の実施形態による出力制御部108は、装着型カメラ50により撮影された画像に基づいて、装着型カメラ50の視点(一人称視点)の映像(例えば全周囲映像52など)を生成する。例えば、出力制御部108は、国際公開第2015/122108号に記載されている技術を用いることにより、装着型カメラ50により撮影された画像に基づいて、装着型カメラ50の視点の映像を生成する。
 また、出力制御部108は、生成した映像を表示部54に表示させる。
 {2-2-2.監視状態判定部104}
 第2の実施形態による監視状態判定部104は、装着型カメラ50による操作対象の機器30の撮影に基づいて生成された映像(装着型カメラ50の視点の映像)の、操作者4または権利者6の視聴状況(または伝送状況)に基づいて、監視状態であるか否かを判定する。例えば、操作者4または権利者6のいずれか一方により装着された装着型カメラ50の視点の映像を、操作者4または権利者6のいずれか他方が視聴している場合には、監視状態判定部104は、監視状態であると判定する。また、当該装着型カメラ50の視点の映像を、操作者4または権利者6のいずれか他方が視聴していない場合には、監視状態判定部104は、監視状態ではないと判定する。
 (2-2-2-1.判定例1)
 図13は、装着型カメラ50の視点の映像を権利者6が視聴する場面の例を示した説明図である。具体的には、図13に示したように、操作者4が装着型カメラ50を装着しており、かつ、操作者4が、操作対象の機器30が配置されている空間内に位置している。そして、操作対象の機器30に関する操作状況が装着型カメラ50により撮影されている。さらに、装着型カメラ50の視点の映像が、権利者6が閲覧する表示部54へ伝送され、表示されている。この表示例によれば、権利者6は、遠隔地にいても、装着型カメラ50の視点の映像を視聴することにより、あたかも操作者4の中に入り込んだような感覚を得ることができる。
 図13に示した例では、監視状態判定部104は、さらに、表示部54に設置されているインカメラによる撮影結果に基づいて、監視状態であるか否かを判定してもよい。例えば、当該インカメラにより権利者6の顔が撮影される場合には、監視状態判定部104は、監視状態であると判定する。また、当該インカメラにより権利者6の顔が撮影されない場合には、監視状態判定部104は、監視状態ではないと判定する。この判定例によれば、操作対象の機器30が権利者6の監視下であるか否かをより正確に判定することができる。
 (2-2-2-2.判定例2)
 また、図14は、装着型カメラ50の視点の映像を操作者4が視聴する場面の例を示した説明図である。具体的には、図14に示したように、権利者6が装着型カメラ50を装着しており、かつ、権利者6は、操作対象の機器30が配置されている空間2内に位置している。そして、装着型カメラ50の視点の映像が、操作者4が閲覧する表示部54へ伝送され、表示されている。また、操作者4は、表示部54に表示された映像を視聴しながら、遠隔地から操作対象の機器30を操作しようとしている。この表示例によれば、操作者4は、遠隔地にいても、装着型カメラ50の視点の映像を視聴することにより、あたかも権利者6の中に入り込んだような感覚を得ることができる。
 図14に示した例では、監視状態判定部104は、さらに、装着型カメラ50の撮影範囲内に操作対象の機器30が位置するか否かに基づいて、監視状態であるか否かを判定してもよい。例えば、装着型カメラ50の撮影範囲内に操作対象の機器30が位置する場合には、監視状態判定部104は、監視状態であると判定する。また、装着型カメラ50の撮影範囲内に操作対象の機器30が位置しない場合には、監視状態判定部104は、監視状態ではないと判定する。この判定例によれば、操作対象の機器30が権利者6の監視下であるか否かをより正確に判定することができる。
 (2-2-2-3.変形例)
 なお、権利者6が複数人おり、かつ、操作者4が装着型カメラ50を装着している場合に関しては、監視状態判定部104は、装着型カメラ50による操作対象の機器30の撮影に基づいて生成された映像の、当該機器30の管理権限を有する一以上の権利者6の視聴状況に基づいて、監視状態であるか否かを判定することが可能である。例えば、当該機器30の管理権限を有する少なくとも一以上の権利者6が当該映像を視聴している場合には、監視状態判定部104は、監視状態であると判定してもよい。また、当該機器30の操作権限を有する全ての権利者6が当該映像を視聴していない場合には、監視状態判定部104は、監視状態ではないと判定してもよい。
 <2-3.効果>
 以上説明したように、第2の実施形態によれば、装着型カメラ50による操作対象の機器30の撮影に基づいて生成された映像の、操作者4または権利者6の視聴状況に基づいて、監視状態であるか否かを判定し、そして、判定結果に基づいて、操作者4による機器30の制御権限を変化させる。このため、操作者4による機器30に対する制御を適切に制限することができる。
 また、第2の実施形態によれば、操作者4が装着型カメラ50を装着している場合には、権利者6は、遠隔地にいても、装着型カメラ50の視点の映像を視聴することにより、あたかも操作者4の中に入り込んだような感覚を得ることができる。このため、権利者6は、遠隔地にいながら、操作者4による機器30の操作状況を臨場感高く確認(監視)することができる。
 また、権利者6が装着型カメラ50を装着している場合には、操作者4は、遠隔地にいても、装着型カメラ50の視点の映像を視聴することにより、あたかも権利者6の中に入り込んだような感覚を得ることができる。このため、操作者4は、遠隔地にいながら、操作対象の機器30が配置されている空間内で当該機器30を直接操作するような臨場感を得ることができる。
<<3.第3の実施形態>>
 以上、第2の実施形態について説明した。次に、第3の実施形態について説明する。まず、第3の実施形態を創作するに至った背景について説明する。
 遠隔地から機器30を操作する場合では、機器30が配置されている空間内で直接機器30を操作する場合と比較して、操作ミスが生じやすい。その結果、例えば火災の発生などの危険な状況が発生する恐れが大きくなる。
 後述するように、第3の実施形態によれば、遠隔地から制御可能な機器30の種類や機能を予め設定しておくことが可能である。これにより、操作者4による機器30の遠隔操作が可能な場面において安全性を向上させることができる。
 <3-1.構成>
 第3の実施形態による情報処理システムは、(図1に示した)第1の実施形態と同様である。また、第3の実施形態によるサーバ10に含まれる構成要素は、(図4に示した)第1の実施形態と同様である。以下では、第1の実施形態とは異なる機能を有する構成要素についてのみ説明を行う。
 {3-1-1.制御権限管理部106}
 (3-1-1-1.権限の付与例)
 第3の実施形態による制御権限管理部106は、操作者4が遠隔地に位置する場合には、さらに、遠隔制御対象機器リストの登録状況に基づいて、操作対象の機器30に関する操作者4の制御権限を変化させる。なお、後述するように、遠隔制御対象機器リストでは、権利者6による手動設定、または、自動設定により対象の機器30が登録され得る。また、遠隔制御対象機器リストは、例えば記憶部122に記憶される。
 例えば、操作者4が遠隔地に位置しており、かつ、操作対象の機器30が、遠隔制御対象機器リストに登録されている場合には、制御権限管理部106は、操作対象の機能と、遠隔制御対象機器リストにおける当該機器30に関する遠隔制御可能な機能の登録状況とに基づいて、操作者4の制御権限を決定する。また、操作者4が遠隔地に位置しており、かつ、操作対象の機器30が遠隔制御対象機器リストに登録されていない場合には、制御権限管理部106は、操作対象の機器30の制御権限を操作者4に付与しない。
 または、操作者4が遠隔地に位置しており、かつ、監視状態ではないと判定された場合に限り、制御権限管理部106は、遠隔制御対象機器リストの登録状況に基づいて、操作対象の機器30の制御権限を操作者4に付与するか否かを決定してもよい。つまり、監視状態であると判定された場合には、制御権限管理部106は、(遠隔制御対象機器リストの登録状況によらずに)操作対象の機器30の制御権限を操作者4に付与してもよい。
 (3-1-1-2.遠隔制御可能な機器・機能の設定)
 ‐手動設定
 なお、遠隔制御対象機器リストには、例えばユーザ端末20に対する権利者6の入力などにより、対象の機器30が手動設定され得る。例えば、ユーザ端末20に対する権利者6の入力に基づいて、遠隔制御可能な機器30の種類が遠隔制御対象機器リストに登録される。または、権利者6の視線検出と、権利者6が発する音声の音声認識との組み合わせに基づいて、遠隔制御可能な機器30の種類が遠隔制御対象機器リストに登録されてもよい。
 例えば、権利者6は、ユーザ端末20に表示される機器制御設定画面において、遠隔制御可能な機器30の種類、および、遠隔制御可能な機能の種類を設定することが可能である。ここで、図15を参照して、機器制御設定画面の表示例(機器制御設定画面60)について説明する。図15に示すように、機器制御設定画面60は、機器の設定タブ600、および、機能の設定タブ602を含む。ここで、機器の設定タブ600は、遠隔制御可能な機器30の種類を設定するためのタブである。また、機能の設定タブ602は、遠隔制御可能な機能の種類を設定するためのタブである。なお、図15では、機器の設定タブ600が選択された状態を示している。機器の設定タブ600の選択時には、図15に示したように、例えばエア・コンディショナー選択ボタン604aや、照明選択ボタン604bなどの、複数の機器選択ボタン604が機器制御設定画面60に表示される。ここで、機器選択ボタン604は、対応する機器30を遠隔制御可能として設定するためのボタンである。なお、図15では、エア・コンディショナー30b、照明30a、および、テレビジョン受信機30cが遠隔制御可能として設定済みである状況を示している。
 なお、遠隔制御可能な機能の種類は、機器30の種類ごとに設定され得る。例えば、機器30がエア・コンディショナー30bである場合には、On/Offの入力、設定温度の設定、タイマーの設定、クリーニング、除湿の制御、暖房の制御、冷房の制御、または、送風の制御といった機能に関して、遠隔制御の可否が設定可能である。また、機器30がガスレンジである場合には、On/Offの入力、温度の設定、または、タイマーの設定といった機能に関して、遠隔制御の可否が設定可能である。
 ‐自動設定
 または、遠隔制御対象機器リストでは、遠隔制御可能な機器30の種類および機能の種類が自動的に登録され得る。例えば、機器30が配置されている空間からの距離に応じて、遠隔制御の可否が設定され得る。例えば、当該空間との距離が非常に小さい(近い)場合には、全ての機器30が遠隔制御可能なように設定されてもよい。
 または、操作者4に応じて、遠隔制御可能な機器30の種類が設定され得る。例えば、操作者4が子どもである場合には、全ての機器30が制御不可能なように設定されてもよい。
 または、部屋2の中に人がいるか否かに応じて、遠隔制御の可否が設定され得る。例えば、部屋2の中に人がいる場合には、機器30に対する遠隔制御が可能なように設定されてもよい。または、(反対に)部屋2の中に人がいない場合に限り、例えば「Off」にすることなど、特定の機能の制御が可能なように設定されてもよい。また、部屋2の中にいる人(例えば全員)が外出したことが検出された場合には、遠隔制御が不可能なように設定されてもよい。
 または、機器30の状態や制御内容に応じて、遠隔制御の可否が登録され得る。例えば、操作対象の機器30が「On」の状態である場合には「Off」に変更することは可能なように設定され得る。または、現在の状態よりも安全性がより高い方へ機器30を制御することは可能なように設定され得る。例えば、機器30がエア・コンディショナー30bである場合には、設定温度を低くすることは可能なように設定されてもよい。また、機器30が、ガスを使用する機器である場合には、設定温度を低くすることは可能なように設定されてもよい。または、操作前における機器30の状態が「On」である場合には、当該機器30に対する制御が可能なように設定され得る。例えば、機器30がテレビジョン受信機30cであり、かつ、操作前の状態が「On」である場合には、チャンネルの変更が可能なように設定されてもよい。また、操作前における機器30の状態が「Off」である場合には、「On」にすることが不可能なように設定され得る。または、例えば温度が大きく上昇した場合など、機器30に関する状態が危険になった場合や、機器30が長時間「On」になっている場合には、「Off」に設定することが一時的に可能なように設定され得る。
 または、部屋2から外出している人物の帰宅予定時刻までの残り時間が所定の時間以下である場合には、遠隔制御が可能なように設定され得る。
 <3-2.動作>
 以上、第3の実施形態による構成について説明した。次に、第3の実施形態による動作について、「3-2-1.制御可能な機器・機能の設定時の動作」~「3-2-2.機器30の操作時の動作」において説明する。
 {3-2-1.制御可能な機器・機能の設定時の動作}
 図16は、第3の実施形態による「制御可能な機器・機能の設定時の動作」を示したフローチャートである。図16に示したように、まず、権利者6は、ユーザ端末20を操作して、機器制御設定アプリケーションを起動する。そして、権利者6が、遠隔制御可能な機器30の設定を選択した場合には(S301:Yes)、次に、権利者6は、遠隔制御可能な機器30の種類を入力する(S303)。
 その後、ユーザ端末20は、入力された機器30の種類をサーバ10へ送信する。そして、サーバ10は、記憶部122に記憶されている遠隔制御対象機器リストに、受信した機器30の種類を追加する(S305)。
 また、S301において、権利者6が、遠隔制御可能な機能の設定を選択した場合には(S301:No、S307:Yes)、次に、権利者6は、対象の機器を選択する(S309)。
 そして、選択された機器が、遠隔制御対象機器リストに登録されていない場合には(S311:No)、ユーザ端末20は、再びS301の動作を行う。
 一方、選択された機器が、遠隔制御対象機器リストに登録されている場合には(S311:Yes)、次に、権利者6は、該当の機器に関して、制御可能な機能の種類を入力する(S313)。
 その後、ユーザ端末20は、入力された機能の種類をサーバ10へ送信する。そして、サーバ10は、遠隔制御対象機器リストにおいて、S309で選択された機器30に関する遠隔制御可能な機能として、受信された機能を登録する(S315)。
 その後、ユーザ端末20は、機器制御設定アプリケーションの終了の入力がなされたか否かを判定する(S317)。終了の入力がなされた場合には(S317:Yes)、サーバ10は、本動作を終了する。一方、終了の入力がなされていない場合には(S317:No)、ユーザ端末20は、再びS301の処理を行う。
 また、S307において、遠隔制御可能な機能の設定が選択されなかった場合には(S307:No)、ユーザ端末20は、再びS301の動作を行う。
 {3-2-2.機器30の操作時の動作}
 次に、第3の実施形態による「機器30の操作時の動作」について説明する。なお、この動作は、第1の実施形態によるS101~S113の動作を同様に含む。また、この動作では、S103において監視状態ではないと判定された場合には(S103:No)、操作対象の機器30および操作対象の機能が、遠隔制御対象機器リストに登録されている場合に限り、制御権限が操作者4に付与される。具体的には、(図8に示した)第1の実施形態によるS121~S123の動作の代わりに、図17に示した動作(S351~S363)が実行される。
 ここで、図17を参照して、「機器30の操作時の動作」について説明する。S103において監視状態ではないと判定された場合には(S103:No)、まず、制御権限管理部106は、S101で受信された検出結果に基づいて、操作者4が遠隔地に位置するか否かを判定する(S351)。操作者4が遠隔地に位置しない(つまり、操作対象の機器30が配置されている空間内に位置する)と判定された場合には(S351:No)、サーバ10は、後述するS361の処理を行う。
 一方、操作者4が、遠隔地に位置すると判定された場合には(S351:Yes)、制御権限管理部106は、操作対象の機器30が、遠隔制御対象機器リストに登録されているか否かを判定する(S353)。操作対象の機器30が、遠隔制御対象機器リストに登録されていない場合には(S353:No)、サーバ10は、後述するS361の処理を行う。
 一方、操作対象の機器30が、遠隔制御対象機器リストに登録されている場合には(S353:Yes)、次に、制御権限管理部106は、当該機器30の操作対象の機能が、制御可能な機能として遠隔制御対象機器リストに登録されているか否かを判定する(S355)。当該機器30の操作対象の機能が遠隔制御対象機器リストに登録されていない場合には(S355:No)、サーバ10は、後述するS361の処理を行う。
 一方、当該機器30の操作対象の機能が遠隔制御対象機器リストに登録されている場合には(S355:Yes)、制御権限管理部106は、操作対象の機器30および操作対象の機能の制御権限を操作者4に付与する(S357)。
 続いて、機器制御部112は、遠隔地で検出される操作情報に基づいて、当該機器30に対して、操作対象の機能の制御を実行する(S359)。そして、サーバ10は、(図7に示した)S113の処理を行う。
 また、S351の条件、S353の条件、または、S355の条件を満たさない場合には、制御権限管理部106は、操作対象の機器30の制御権限を操作者4に付与しない(S361)。そして、操作対象の機器30に対する、操作者4による制御は許可されない(S363)。なお、この際、出力制御部108は、制御権限が付与されなかったことを示す表示を操作者4のユーザ端末20に表示させることも可能である。
 その後、サーバ10は、(図7に示した)S113の処理を行う。
 <3-3.効果>
 以上説明したように、第3の実施形態によれば、遠隔地から制御可能な機器30の種類や機能を権利者6が予め設定しておくことが可能である。そして、サーバ10は、操作者4が遠隔地に位置する場合には、監視状態であるか否かと、遠隔制御対象機器リストの登録状況とに基づいて、操作対象の機器30に関する操作者4の制御権限を変化させる。
 このため、例えば危険性の高い機器30などの特定の機器30および機能を遠隔地から制御不可能に設定しておくことにより、監視状態でない場合における、操作者4による当該機器に対する遠隔制御を不可能にすることができる。従って、操作者4による機器30の遠隔操作が可能な場面において安全性を向上させることができる。
<<4.第4の実施形態>>
 <4-1.概要>
 以上、第3の実施形態について説明した。次に、第4の実施形態について説明する。まず、第4の実施形態の概要について、図18を参照して説明する。図18は、第4の実施形態による情報処理システムの構成を示した説明図である。図18に示すように、第4の実施形態では、機器30が配置されている例えば部屋などの空間2内にカメラ70が複数配置されており、かつ、当該複数のカメラ70により空間2全体の三次元情報が取得される場面を想定する。そして、サーバ10は、取得された三次元情報に基づいて生成された空間2のコンテンツを、遠隔地に位置するユーザ(権利者6または操作者4)が閲覧する表示部54へ伝送する。これにより、遠隔地にいるユーザは、あたかも空間2の内部に位置するような臨場感を得ることができる。
 ここで、カメラ70は、例えばデプスカメラ、または、ステレオカメラである。なお、図18では、表示部54がHMDやARグラスなどのウェアラブルデバイスである例を示しているが、かかる例に限定されない。例えば、表示部54は、テレビジョン受信機30cや3Dテレビジョン受信機であってもよい。または、表示部54は、3Dプロジェクタであり、かつ、当該3Dプロジェクタによりスクリーンに対して映像が投影されてもよい。なお、以下では、表示部54がウェアラブルデバイスである例を中心として説明を行う。
 後述するように、第4の実施形態によれば、複数のカメラ70により取得される空間2の三次元情報に基づいて生成されるコンテンツを、遠隔地に位置する権利者6に閲覧させることが可能である。これにより、権利者6は、操作者4による機器30の操作状況を臨場感高く確認(監視)することができる。
 <4-2.構成>
 次に、第4の実施形態による構成について詳細に説明する。第4の実施形態によるサーバ10に含まれる構成要素は、(図4に示した)第1の実施形態と同様である。以下では、第1の実施形態とは異なる機能を有する構成要素についてのみ説明を行う。
 {4-2-1.出力制御部108}
 (4-2-1-1.制御例1)
 第4の実施形態による出力制御部108は、複数のカメラ70により取得された空間2全体の三次元情報に基づいて、空間2のコンテンツを生成する。そして、出力制御部108は、生成したコンテンツを表示部54に表示させる。
 (4-2-1-2.制御例2)
 また、出力制御部108は、例えば図19に示したように、遠隔地に位置する第2の人物の映像72を、空間2内に位置する第1の人物が閲覧する表示部に表示させることが可能である。ここで、当該表示部は、第1の人物が装着している例えばHMDやARグラスなどのウェアラブルデバイスであってもよい。または、当該表示部は、空間2内に配置されているプロジェクタであり、かつ、当該表示部は、第2の人物の映像72を空間2内に投影してもよい。なお、以下では、当該表示部がウェアラブルデバイスである例を中心として説明を行う。
 この表示例によれば、第1の人物(例えば権利者6)は、遠隔地に位置する第2の人物(例えば操作者4)が、当該空間2の映像を閲覧していることを確認することができる。例えば、第1の人物と第2の人物とが電話やメールなどを用いてコミュニケーションを行う場面において、第1の人物は、空間2において第2の人物が見ている領域を把握することができる。従って、空間2内に位置する機器30などの物体を話題にしても、二人の間で認識のズレが生じることを防止することができ、円滑にコミュニケーションすることができる。
 (4-2-1-3.制御例3)
 また、権利者6が空間2内に位置しており、かつ、操作者4が遠隔地に位置している場合で、かつ、操作対象の機器30の制御権限が操作者4に付与されなかった場合には、出力制御部108は、当該機器30が仮想的に制御されたことを示す仮想の表示と、表示されている空間が仮想空間であることを示す情報とを、(操作者4が閲覧する)表示部54に表示させることも可能である。さらに、この場合、出力制御部108は、遠隔地で当該機器30が仮想的に制御されていることを示す表示を、(権利者6が閲覧する)表示部に表示させてもよい。これにより、権利者6は、遠隔地で当該機器30が仮想的に制御されていることを知ることができる。
 あるいは、この場合、出力制御部108は、当該機器30が仮想空間においても制御不可能であることを示す表示を、(操作者4が閲覧する)表示部54に表示させることも可能である。例えば、出力制御部108は、当該機器30をぼかして表示させたり、表示されているコンテンツにおいて当該機器30を繰り抜いて表示させてもよい。または、当該機器30に対して操作者4が操作を開始したことが検出された場合には、出力制御部108は、表示されているコンテンツにおいて当該機器30を揺らして表示させてもよい。または、出力制御部108は、表示されているコンテンツにおいて、当該機器30の操作用のUI(例えばアイコンなど)を非表示にしてもよい。または、操作用のUI(例えば腕のUIやカーソルなど)が表示されており、かつ、当該操作用のUIが当該機器30の表示位置の近傍に移動された場合には、出力制御部108は、当該操作用のUIを非表示にしてもよい。
 または、表示されているコンテンツが、空間内で視点を自由に移動可能なコンテンツである場合には、出力制御部108は、当該機器30から所定の範囲内に視点を近づけることが不可能なように、当該コンテンツの表示を制御してもよい。
 または、操作者4が遠隔地に位置しており、かつ、当該機器30に対して操作者4が操作を開始したことが検出された場合には、出力制御部108は、当該遠隔地において警告音を出力させてもよい。さらに、この場合、出力制御部108は、同時に、当該機器30が制御不可能であることを示す表示を、(権利者6が閲覧する)表示部に表示させてもよい。例えば、出力制御部108は、当該機器30と、(権利者6が閲覧する)表示部に表示されている操作者の映像72との間の位置において、さらに例えば線などの所定の表示を当該表示部に表示させる。
 (4-2-1-3.制御例3)
 また、機器30の種類が音を出力する機器(例えばステレオなど)であり、当該機器30の制御権限が操作者4に付与され、かつ、操作者4が遠隔地に位置する場合には、出力制御部108は、操作者4による制御に基づいて当該機器30により出力されている音の録音データを、操作者4が位置する遠隔地の出力装置(図示省略)へ伝送し、出力させることも可能である。これにより、例えば、空間2内でステレオにより音楽が再生されている場合には、遠隔地にいる操作者4は、再生されている音楽を聴くことができる。
 または、機器30の種類が音を出力する機器であり、当該機器30の制御権限が操作者4に付与されず、かつ、操作者4が遠隔地に位置する場合には、出力制御部108は、空間2のコンテンツを(操作者4が閲覧する)表示部54に表示させるとともに、当該機器30により出力され得る音声と同じ音声を当該遠隔地に位置する出力装置に出力させてもよい。例えば、空間2内に配置されているステレオに対して操作者4が音楽の再生の操作を行った場合には、当該ステレオは音楽を再生せず、かつ、遠隔地に位置する出力装置は、当該音楽を再生する。これにより、実際には空間2内で音楽は再生されないが、あたかも空間2内で音楽が再生されているかのような感覚を、操作者4に与えることができる。
 または、上記の場合には、出力制御部108は、当該機器30により出力され得る音声を当該遠隔地に位置する出力装置に出力させないことも可能である。特に、コンテンツの種類がプレミアムコンテンツであり、かつ、当該コンテンツの権利を権利者6が有している場合など、当該コンテンツの権利が権利者6に関連付けられている場合には、出力制御部108は、当該コンテンツの音声を、当該遠隔地の出力装置に出力させない。
 <4-3.効果>
 以上説明したように、第4の実施形態によれば、サーバ10は、複数のカメラ70により検出される空間2全体の三次元情報を受信し、受信した三次元情報に基づいて当該空間のコンテンツを生成し、そして、生成したコンテンツを、遠隔地の表示部54へ伝送する。これにより、遠隔地に位置するユーザは、あたかも空間2の内部に位置するような臨場感を得ることができる。例えば、権利者6が遠隔地に位置する場合には、権利者6は、操作者4による機器30の操作状況を臨場感高く確認(監視)することができる。また、操作者4が遠隔地に位置する場合には、操作者4は、あたかも空間2内に位置するような臨場感を得ながら、操作対象の機器30を遠隔操作することができる。
<<5.第5の実施形態>>
 <5-1.概要>
 以上、第4の実施形態について説明した。次に、第5の実施形態について説明する。まず、第5の実施形態の概要について、図20を参照して説明する。図20は、第5の実施形態による情報処理システムの構成を示した説明図である。図20に示すように、第5の実施形態では、権利者6と操作者4とは互いに異なる空間内に位置しており、かつ、権利者6が位置する空間2a、および、操作者4が位置する空間2bにはそれぞれ、複数のカメラ70が配置されていることを想定する。
 そして、サーバ10は、図21に示したように、空間2aに配置されている複数のカメラ70により取得された空間2a全体の三次元情報と、空間2bに配置されている複数のカメラ70により取得された空間2b全体の三次元情報とを合成することにより、仮想的な共有空間80を生成する。そして、サーバ10は、生成した共有空間80のコンテンツを、権利者6が閲覧する表示部54a、および、操作者4が閲覧する表示部54bへそれぞれ伝送する。これにより、権利者6および操作者4は、伝送されたコンテンツを視聴することにより、あたかも共有空間80の内部に位置するように体験することができる。なお、表示部54の構成は、第4の実施形態と同様である。
 後述するように、第5の実施形態によれば、権利者6が位置する空間2aの三次元情報と、操作者4が位置する空間2bの三次元情報とに基づいて生成された共有空間のコンテンツを権利者6に閲覧させることが可能である。これにより、権利者6は、機器30に対する操作者4の操作状況をリアルタイムに、かつ、臨場感高く確認(監視)することができる。
 <5-2.構成>
 次に、第5の実施形態による構成について詳細に説明する。第5の実施形態によるサーバ10に含まれる構成要素は、第4の実施形態と同様である。以下では、第4の実施形態とは異なる機能を有する構成要素についてのみ説明を行う。
 {5-2-1.出力制御部108}
 第5の実施形態による出力制御部108は、空間2aに配置されている複数のカメラ70により取得された空間2a全体の三次元情報と、空間2bに配置されている複数のカメラ70により取得された空間2b全体の三次元情報とを合成することにより、仮想的な共有空間を生成する。そして、出力制御部108は、生成した共有空間に応じたコンテンツを、(権利者6が閲覧する)表示部54a、および、(操作者4が閲覧する)表示部54bにそれぞれ表示させることが可能である。
 または、表示部54aが透過型のディスプレイである場合には、出力制御部108は、図22に示したように、生成した共有空間に基づいて、操作者4が位置する空間2bの映像82bのみを表示部54aに表示させてもよい。また、表示部54bが透過型のディスプレイである場合には、出力制御部108は、生成した共有空間に基づいて、権利者6が位置する空間2aの映像82aのみを表示部54bに表示させてもよい。
 <5-3.効果>
 以上説明したように、第5の実施形態によれば、サーバ10は、権利者6が位置する空間2aにおいて取得された三次元情報と、操作者4が位置する空間2bにおいて取得された三次元情報とを合成することにより仮想的な共有空間を生成し、そして、生成した共有空間のコンテンツを(権利者6が閲覧する)表示部54a、および、(操作者4が閲覧する)表示部54bにそれぞれ表示させる。
 これにより、権利者6および操作者4は、表示されたコンテンツを視聴することにより、あたかも共有空間80の内部に位置するように体験することができる。例えば、権利者6は、機器30に対する操作者4の操作状況を、リアルタイムに、かつ、臨場感高く確認(監視)することができる。
 また、操作対象の機器30が配置されている空間2aとは別の空間2bに操作者4が位置する場合には、操作者4は、あたかも当該機器30が目の前に位置するような臨場感を得ながら、当該機器30を遠隔操作することができる。
<<6.ハードウェア構成>>
 次に、各実施形態に共通するサーバ10のハードウェア構成について、図23を参照して説明する。図23に示すように、サーバ10は、CPU150、ROM(Read Only Memory)152、RAM154、バス156、インターフェース158、ストレージ装置160、および通信装置162を備える。
 CPU150は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ10内の動作全般を制御する。また、CPU150は、サーバ10において制御部100の機能を実現する。なお、CPU150は、マイクロプロセッサなどのプロセッサにより構成される。
 ROM152は、CPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
 RAM154は、例えば、CPU150により実行されるプログラムなどを一時的に記憶する。
 バス156は、CPUバスなどから構成される。このバス156は、CPU150、ROM152、およびRAM154を相互に接続する。
 インターフェース158は、ストレージ装置160、および通信装置162を、バス156と接続する。
 ストレージ装置160は、記憶部122として機能する、データ格納用の装置である。ストレージ装置160は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
 通信装置162は、例えば通信網36などに接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置162は、無線LAN対応通信装置、LTE(Long Term Evolution)対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置162は、通信部120として機能する。
<<7.変形例>>
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上述した各実施形態の動作における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。
 また、上述した各実施形態によれば、コンピュータシステムを、上述した各実施形態によるサーバ10(より具体的には制御部100)の各構成要素と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。ここで、コンピュータシステムは、単体のコンピュータ(例えばCPU150などのハードウェア)が一連の処理を実行するシステムであってもよいし、または、複数のコンピュータが協調して一連の処理を実行するシステムであってもよい。また、該コンピュータプログラムが記録された記録媒体も提供される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 監視状態であるか否かに基づいて、第1のユーザによる機器の制御権限を変化させる制御権限管理部、
を備える、情報処理装置。
(2)
 前記監視状態は、前記機器または前記第1のユーザが、前記機器の管理権限を有する第2のユーザの監視下にある状態であり、
 前記第1のユーザは、前記機器の管理権限を有しない、前記(1)に記載の情報処理装置。
(3)
 前記監視状態は、前記機器が撮像された映像を表示する表示部が前記第2のユーザの視界内に位置する状態である、前記(2)に記載の情報処理装置。
(4)
 前記監視状態は、前記機器が前記第2のユーザの視界内に位置する状態である、前記(2)に記載の情報処理装置。
(5)
 前記監視状態は、前記機器が位置する空間内に、前記機器の管理権限を有する第2のユーザが位置する状態であり、
 前記第1のユーザは、前記機器の管理権限を有しない、前記(1)に記載の情報処理装置。
(6)
 前記監視状態である場合には、前記制御権限管理部は、前記機器の制御権限を前記第1のユーザに付与する、前記(2)~(5)のいずれか一項に記載の情報処理装置。
(7)
 前記監視状態ではない場合には、前記制御権限管理部は、前記機器の制御権限を前記第1のユーザに付与しない、前記(2)~(6)のいずれか一項に記載の情報処理装置。
(8)
 前記監視状態である場合には、前記制御権限管理部は、前記機器に関する第1の制御権限を前記第1のユーザに付与し、
 前記監視状態ではない場合には、前記制御権限管理部は、前記機器に関する第2の制御権限を前記第1のユーザに付与し、
 前記第2の制御権限は、前記第1の制御権限よりも狭い権限である、前記(2)~(7)のいずれか一項に記載の情報処理装置。
(9)
 前記制御権限管理部は、さらに、前記機器の種類に基づいて、前記機器の制御権限を変化させる、前記(2)~(8)のいずれか一項に記載の情報処理装置。
(10)
 前記監視状態である場合には、前記制御権限管理部は、前記機器に関する第1の制御権限を前記第1のユーザに付与し、
 前記監視状態ではない場合には、前記制御権限管理部は、前記機器に関する第2の制御権限を前記第1のユーザに付与し、
 前記第2の制御権限は、前記第1の制御権限よりも狭い権限であり、
 前記第1の制御権限と前記第2の制御権限との関係は、前記機器の種類に応じて定められている、前記(9)に記載の情報処理装置。
(11)
 前記制御権限管理部は、さらに、前記第1のユーザと前記第2のユーザとの関係性に基づいて、前記機器の制御権限を変化させる、前記(2)~(10)のいずれか一項に記載の情報処理装置。
(12)
 前記第1のユーザによる前記機器の制御が前記第2のユーザに承認されている場合には、前記制御権限管理部は、前記機器の制御権限を前記第1のユーザに付与する、前記(11)に記載の情報処理装置。
(13)
 前記制御権限管理部は、さらに、非常時であるか否かに基づいて、前記機器の制御権限を変化させる、前記(2)~(12)のいずれか一項に記載の情報処理装置。
(14)
 前記制御権限管理部は、さらに、前記第2のユーザによる所定の操作の検出に基づいて、前記機器の制御権限を変化させる、前記(2)~(13)のいずれか一項に記載の情報処理装置。
(15)
 前記情報処理装置は、前記監視状態ではない場合に、前記第1のユーザによる所定の操作の検出に基づいて、前記機器の制御権限の付与の要求を前記第2のユーザへ通知する通知部をさらに備え、
 前記要求が通知され、かつ、前記第2のユーザにより所定の操作がなされた場合には、前記制御権限管理部は、前記機器の制御権限を前記第1のユーザに付与する、前記(14)に記載の情報処理装置。
(16)
 前記情報処理装置は、前記監視状態ではない場合に、前記第1のユーザによる所定の操作の検出に基づいて、前記機器を前記第2のユーザに監視させる要求を前記第2のユーザへ通知する通知部をさらに備える、前記(2)~(14)のいずれか一項に記載の情報処理装置。
(17)
 前記第1のユーザは、前記機器が位置する空間の遠隔地に位置しており、
 前記機器の制御は、前記遠隔地からの前記機器に対する制御である、前記(2)~(16)のいずれか一項に記載の情報処理装置。
(18)
 前記情報処理装置は、前記第1のユーザによる前記機器に対する操作の検出結果と、前記第1のユーザに対する前記機器の制御権限の付与状況とに基づいて、前記機器を制御する機器制御部をさらに備える、前記(2)~(17)のいずれか一項に記載の情報処理装置。
(19)
 監視状態であるか否かに基づいて、第1のユーザによる機器の制御権限をプロセッサが変化させること、
を含む、情報処理方法。
(20)
 コンピュータシステムを、
 監視状態であるか否かに基づいて、第1のユーザによる機器の制御権限を変化させる制御権限管理部、
として機能させるための、プログラム。
10 サーバ
20 ユーザ端末
30 機器
32 制御装置
34 室内カメラ
36 通信網
50 装着型カメラ
54 表示部
70 カメラ
100 制御部
102 機器操作判定部
104 監視状態判定部
106 制御権限管理部
108 出力制御部
110 通知部
112 機器制御部
120 通信部
122 記憶部

Claims (20)

  1.  監視状態であるか否かに基づいて、第1のユーザによる機器の制御権限を変化させる制御権限管理部、
    を備える、情報処理装置。
  2.  前記監視状態は、前記機器または前記第1のユーザが、前記機器の管理権限を有する第2のユーザの監視下にある状態であり、
     前記第1のユーザは、前記機器の管理権限を有しない、請求項1に記載の情報処理装置。
  3.  前記監視状態は、前記機器が撮像された映像を表示する表示部が前記第2のユーザの視界内に位置する状態である、請求項2に記載の情報処理装置。
  4.  前記監視状態は、前記機器が前記第2のユーザの視界内に位置する状態である、請求項2に記載の情報処理装置。
  5.  前記監視状態は、前記機器が位置する空間内に、前記機器の管理権限を有する第2のユーザが位置する状態であり、
     前記第1のユーザは、前記機器の管理権限を有しない、請求項1に記載の情報処理装置。
  6.  前記監視状態である場合には、前記制御権限管理部は、前記機器の制御権限を前記第1のユーザに付与する、請求項2に記載の情報処理装置。
  7.  前記監視状態ではない場合には、前記制御権限管理部は、前記機器の制御権限を前記第1のユーザに付与しない、請求項2に記載の情報処理装置。
  8.  前記監視状態である場合には、前記制御権限管理部は、前記機器に関する第1の制御権限を前記第1のユーザに付与し、
     前記監視状態ではない場合には、前記制御権限管理部は、前記機器に関する第2の制御権限を前記第1のユーザに付与し、
     前記第2の制御権限は、前記第1の制御権限よりも狭い権限である、請求項2に記載の情報処理装置。
  9.  前記制御権限管理部は、さらに、前記機器の種類に基づいて、前記機器の制御権限を変化させる、請求項2に記載の情報処理装置。
  10.  前記監視状態である場合には、前記制御権限管理部は、前記機器に関する第1の制御権限を前記第1のユーザに付与し、
     前記監視状態ではない場合には、前記制御権限管理部は、前記機器に関する第2の制御権限を前記第1のユーザに付与し、
     前記第2の制御権限は、前記第1の制御権限よりも狭い権限であり、
     前記第1の制御権限と前記第2の制御権限との関係は、前記機器の種類に応じて定められている、請求項9に記載の情報処理装置。
  11.  前記制御権限管理部は、さらに、前記第1のユーザと前記第2のユーザとの関係性に基づいて、前記機器の制御権限を変化させる、請求項2に記載の情報処理装置。
  12.  前記第1のユーザによる前記機器の制御が前記第2のユーザに承認されている場合には、前記制御権限管理部は、前記機器の制御権限を前記第1のユーザに付与する、請求項11に記載の情報処理装置。
  13.  前記制御権限管理部は、さらに、非常時であるか否かに基づいて、前記機器の制御権限を変化させる、請求項2に記載の情報処理装置。
  14.  前記制御権限管理部は、さらに、前記第2のユーザによる所定の操作の検出に基づいて、前記機器の制御権限を変化させる、請求項2に記載の情報処理装置。
  15.  前記情報処理装置は、前記監視状態ではない場合に、前記第1のユーザによる所定の操作の検出に基づいて、前記機器の制御権限の付与の要求を前記第2のユーザへ通知する通知部をさらに備え、
     前記要求が通知され、かつ、前記第2のユーザにより所定の操作がなされた場合には、前記制御権限管理部は、前記機器の制御権限を前記第1のユーザに付与する、請求項14に記載の情報処理装置。
  16.  前記情報処理装置は、前記監視状態ではない場合に、前記第1のユーザによる所定の操作の検出に基づいて、前記機器を前記第2のユーザに監視させる要求を前記第2のユーザへ通知する通知部をさらに備える、請求項2に記載の情報処理装置。
  17.  前記第1のユーザは、前記機器が位置する空間の遠隔地に位置しており、
     前記機器の制御は、前記遠隔地からの前記機器に対する制御である、請求項2に記載の情報処理装置。
  18.  前記情報処理装置は、前記第1のユーザによる前記機器に対する操作の検出結果と、前記第1のユーザに対する前記機器の制御権限の付与状況とに基づいて、前記機器を制御する機器制御部をさらに備える、請求項2に記載の情報処理装置。
  19.  監視状態であるか否かに基づいて、第1のユーザによる機器の制御権限をプロセッサが変化させること、
    を含む、情報処理方法。
  20.  コンピュータシステムを、
     監視状態であるか否かに基づいて、第1のユーザによる機器の制御権限を変化させる制御権限管理部、
    として機能させるための、プログラム。
PCT/JP2017/004474 2016-03-31 2017-02-08 情報処理装置、情報処理方法、およびプログラム WO2017169144A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/087,459 US10951601B2 (en) 2016-03-31 2017-02-08 Information processing apparatus and information processing method
JP2018508505A JPWO2017169144A1 (ja) 2016-03-31 2017-02-08 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016070967 2016-03-31
JP2016-070967 2016-03-31

Publications (1)

Publication Number Publication Date
WO2017169144A1 true WO2017169144A1 (ja) 2017-10-05

Family

ID=59962869

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/004474 WO2017169144A1 (ja) 2016-03-31 2017-02-08 情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US10951601B2 (ja)
JP (1) JPWO2017169144A1 (ja)
WO (1) WO2017169144A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108735205A (zh) * 2018-04-17 2018-11-02 上海康斐信息技术有限公司 一种智能音箱的控制方法及智能音箱
WO2019203221A1 (ja) * 2018-04-17 2019-10-24 日本電信電話株式会社 機器制御装置、機器制御方法、及び機器制御システム
WO2022259572A1 (ja) * 2021-06-09 2022-12-15 ファナック株式会社 遠隔支援システム
WO2023100313A1 (ja) * 2021-12-02 2023-06-08 ファナック株式会社 遠隔支援システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10247152A (ja) * 1997-03-05 1998-09-14 Fujitsu Ltd 監視制御方式
JP2003223421A (ja) * 2002-01-30 2003-08-08 Oki Electric Ind Co Ltd 情報処理装置
JP2005301721A (ja) * 2004-04-13 2005-10-27 Matsushita Electric Ind Co Ltd コンテンツ管理装置及び方法
JP2011086012A (ja) * 2009-10-14 2011-04-28 Hitachi Ltd 監視制御システム
JP2012043144A (ja) * 2010-08-18 2012-03-01 Casio Comput Co Ltd サーバ・ベース・コンピューティング・システムおよびプログラム
JP2013045278A (ja) * 2011-08-24 2013-03-04 Nomura Research Institute Ltd アクセス管理装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8447067B2 (en) * 1999-05-19 2013-05-21 Digimarc Corporation Location-based arrangements employing mobile devices
JP4129783B2 (ja) 2002-07-10 2008-08-06 ソニー株式会社 リモートアクセスシステム及びリモートアクセス方法
US20070050369A1 (en) * 2005-01-31 2007-03-01 Stiegler Marc D Accessing file under confinement
JP2008033508A (ja) * 2006-07-27 2008-02-14 Funai Electric Co Ltd 自転車管理システム
JP5493729B2 (ja) * 2009-11-06 2014-05-14 株式会社リコー 撮像システムと、本体ユニットおよびこれに接続の外部電子機器
US9197409B2 (en) * 2011-09-29 2015-11-24 Amazon Technologies, Inc. Key derivation techniques
JP6021937B2 (ja) * 2012-11-13 2016-11-09 三菱電機株式会社 空気調和システム及び中央管理装置
WO2016076641A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Method and apparatus for registering a device for use
US11087572B2 (en) * 2015-05-01 2021-08-10 Assa Abloy Ab Continuous authentication
JP2017049851A (ja) * 2015-09-02 2017-03-09 株式会社リコー 情報処理システム、情報処理装置、及びプログラム
US9961531B2 (en) * 2015-10-02 2018-05-01 Lg Electronics Inc. Method and device for controlling device using bluetooth in wireless communication system
US10063572B2 (en) * 2016-03-28 2018-08-28 Accenture Global Solutions Limited Antivirus signature distribution with distributed ledger

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10247152A (ja) * 1997-03-05 1998-09-14 Fujitsu Ltd 監視制御方式
JP2003223421A (ja) * 2002-01-30 2003-08-08 Oki Electric Ind Co Ltd 情報処理装置
JP2005301721A (ja) * 2004-04-13 2005-10-27 Matsushita Electric Ind Co Ltd コンテンツ管理装置及び方法
JP2011086012A (ja) * 2009-10-14 2011-04-28 Hitachi Ltd 監視制御システム
JP2012043144A (ja) * 2010-08-18 2012-03-01 Casio Comput Co Ltd サーバ・ベース・コンピューティング・システムおよびプログラム
JP2013045278A (ja) * 2011-08-24 2013-03-04 Nomura Research Institute Ltd アクセス管理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHIGEAKI TANIMOTO ET AL.: "Campus PKI Common Specifications for University Authentication Cooperation", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS B, vol. J94-B, no. 10, 1 October 2011 (2011-10-01), pages 1383 - 1388 *
YOSHIHISA MATSUMOTO ET AL.: "Support of Regional Emergency Medical Services by ICT : A proof experiment of the urgent medical support by video transmission system", IEICE TECHNICAL REPORT, vol. 111, no. 30, 5 May 2011 (2011-05-05), pages 53 - 58 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108735205A (zh) * 2018-04-17 2018-11-02 上海康斐信息技术有限公司 一种智能音箱的控制方法及智能音箱
WO2019203221A1 (ja) * 2018-04-17 2019-10-24 日本電信電話株式会社 機器制御装置、機器制御方法、及び機器制御システム
CN112055851A (zh) * 2018-04-17 2020-12-08 日本电信电话株式会社 仪器控制装置、仪器控制方法以及仪器控制系统
JPWO2019203221A1 (ja) * 2018-04-17 2020-12-10 日本電信電話株式会社 機器制御装置、機器制御方法、及び機器制御システム
US11269701B2 (en) 2018-04-17 2022-03-08 Nippon Telegraph And Telephone Corporation Device control apparatus, device control method, and device control system
JP7056731B2 (ja) 2018-04-17 2022-04-19 日本電信電話株式会社 機器制御装置、機器制御方法、及び機器制御システム
CN112055851B (zh) * 2018-04-17 2024-05-07 日本电信电话株式会社 仪器控制装置、仪器控制方法以及仪器控制系统
WO2022259572A1 (ja) * 2021-06-09 2022-12-15 ファナック株式会社 遠隔支援システム
WO2022259407A1 (ja) * 2021-06-09 2022-12-15 ファナック株式会社 遠隔支援システム
WO2023100313A1 (ja) * 2021-12-02 2023-06-08 ファナック株式会社 遠隔支援システム

Also Published As

Publication number Publication date
US20190109836A1 (en) 2019-04-11
US10951601B2 (en) 2021-03-16
JPWO2017169144A1 (ja) 2019-02-07

Similar Documents

Publication Publication Date Title
WO2017169144A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11941874B2 (en) User interfaces to configure a thermal imaging system
US11233791B2 (en) Methods, systems, and media for authentication of user devices to a display device
US9084003B1 (en) Methods, systems, and media for media playback
EP2930704B1 (en) Method and device for remote intelligent control
EP2638451B1 (en) Electronic device control based on gestures
CN108758959B (zh) 控制为空调送风的方法、装置和系统
KR102487902B1 (ko) 전자기기를 제어하는 방법 및 장치
EP3659345A1 (en) Methods, systems, and media for presenting notifications indicating recommended content
WO2018092545A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN106708451B (zh) 同屏监控智能设备状态的方法、投影设备及用户终端
JP2018113616A (ja) 情報処理装置、情報処理方法、およびプログラム
KR102644782B1 (ko) 모니터링 장치 및 시스템
CN108377361B (zh) 一种监控视频的显示控制方法及装置
WO2022052613A1 (zh) 摄像头的控制方法、装置、电子设备及存储介质
EP3690688A1 (en) Unlocking method and virtual reality device
WO2023138097A1 (zh) 用于控制空调的方法及装置、空调
KR20150136314A (ko) 디스플레이 장치, 사용자 단말 장치, 서버 및 그 제어 방법
EP3619617B1 (en) Methods, systems, and media for presenting media content previews
US11151797B2 (en) Superimposing a virtual representation of a sensor and its detection zone over an image
JP6205886B2 (ja) 情報装置及び配信システム
JP2021170146A (ja) 情報処理装置、情報処理方法およびプログラム
US20150181113A1 (en) Imaging apparatus, information managing apparatus, control methods thereof, and non-transitory computer-readable storage medium
WO2023087005A1 (en) Systems, methods, and media for controlling shared extended reality presentations

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018508505

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17773692

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17773692

Country of ref document: EP

Kind code of ref document: A1