WO2015174112A1 - 端末装置、システム、情報提示方法およびプログラム - Google Patents

端末装置、システム、情報提示方法およびプログラム Download PDF

Info

Publication number
WO2015174112A1
WO2015174112A1 PCT/JP2015/054813 JP2015054813W WO2015174112A1 WO 2015174112 A1 WO2015174112 A1 WO 2015174112A1 JP 2015054813 W JP2015054813 W JP 2015054813W WO 2015174112 A1 WO2015174112 A1 WO 2015174112A1
Authority
WO
WIPO (PCT)
Prior art keywords
devices
signal
information
unit
terminal device
Prior art date
Application number
PCT/JP2015/054813
Other languages
English (en)
French (fr)
Inventor
玄大 近藤
丈博 萩原
弘之 増田
大夢 瀧沢
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2016519133A priority Critical patent/JP6481209B2/ja
Priority to EP20188697.5A priority patent/EP3757808A1/en
Priority to EP15793166.8A priority patent/EP3144819A4/en
Priority to US15/303,847 priority patent/US20170031586A1/en
Publication of WO2015174112A1 publication Critical patent/WO2015174112A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • the present disclosure relates to a terminal device, a system, an information presentation method, and a program.
  • Patent Literature 1 describes a technique for effectively supporting the use of functions realized by device cooperation.
  • the present disclosure proposes a new and improved terminal device, system, information presentation method, and program that make it easy to recognize and recognize device information registered in the system and actual devices. .
  • a terminal device that receives a first signal output from one or more devices in the system, the terminal device based on the first signal, and the 1
  • a positional relationship specifying unit that specifies a positional relationship with a plurality of devices
  • an identification information extracting unit that extracts identification information in the system of the one or more devices from the first signal
  • the identification information and a terminal device comprising: means for presenting setting information of the one or more devices in the system in association with the one or more devices based on the positional relationship.
  • the system includes one or more devices and a terminal device, wherein the one or more devices output a first signal, and the terminal device receives the first device.
  • a signal receiving unit for receiving a signal
  • a positional relationship specifying unit for specifying a positional relationship between the terminal device and the one or more devices based on the first signal, and the one or more from the first signal
  • the setting information in the system of the one or a plurality of devices is changed to the one or a plurality of the setting information in the system based on the identification information and the positional relationship.
  • a means for presenting in association with the device is provided to the one or more devices and a terminal device.
  • one or more devices in the system output the first signal
  • the terminal device receives the first signal
  • the processing circuit is used to execute the first signal. Identifying the positional relationship between the terminal device and the one or more devices based on the signal, and extracting identification information in the system of the one or more devices from the first signal; Based on the identification information and the positional relationship, there is provided an information presentation method including presenting setting information of the one or more devices in the system in association with the one or more devices.
  • FIG. 1 is a diagram illustrating a schematic configuration of a system to which a technology according to an embodiment of the present disclosure can be applied. It is a figure which shows the 1st specific structural example of the system shown by FIG. It is a figure which shows the 2nd specific structural example of the system shown by FIG.
  • FIG. 4 is a diagram illustrating a third specific configuration example of the system illustrated in FIG. 1. It is a figure which shows the 4th specific structural example of the system shown by FIG.
  • FIG. 10 is a diagram illustrating a fifth specific configuration example of the system illustrated in FIG. 1.
  • FIG. 8 is a diagram illustrating a sixth specific configuration example of the system illustrated in FIG. 1.
  • FIG. 8 is a diagram illustrating a seventh specific configuration example of the system illustrated in FIG. 1.
  • FIG. 6 is a diagram illustrating a second example of a UI provided in the system illustrated in FIG. 1. It is a figure for demonstrating the 1st specific example of the cooperation operation
  • FIG. 18 It is a figure for demonstrating the 5th specific example of the cooperation operation
  • movement of the element in the system shown by FIG. It is a figure for demonstrating the 6th specific example of the cooperation operation
  • FIG. 18 it is a figure which shows the state in which the user is performing setting change operation.
  • It is a figure which shows the example of the change display of the setting information in the example shown in FIG. 3 is a block diagram illustrating a functional configuration example of a UI device according to the first embodiment of the present disclosure.
  • FIG. 3 is a block diagram illustrating a functional configuration example of an element according to the first embodiment of the present disclosure.
  • FIG. FIG. 11 is a sequence diagram illustrating a first part of a process according to the first embodiment of the present disclosure.
  • FIG. 9 is a sequence diagram illustrating a second part of a process according to the first embodiment of the present disclosure.
  • FIG. 11 is a sequence diagram illustrating a third part of a process according to the first embodiment of the present disclosure. It is a figure for demonstrating the modification of 1st Embodiment of this indication. It is a figure which shows the schematic structural example of 2nd Embodiment of this indication.
  • 6 is a block diagram illustrating a functional configuration example of a UI device according to a second embodiment of the present disclosure.
  • FIG. 11 is a sequence diagram illustrating a first part of a process according to the second embodiment of the present disclosure. It is a sequence diagram showing the 2nd portion of processing in a 2nd embodiment of this indication. It is a figure for demonstrating the modification of 2nd Embodiment of this indication. It is a figure which shows the schematic structural example of 3rd Embodiment of this indication.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of an information processing apparatus according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating a schematic configuration of a system to which a technique according to an embodiment of the present disclosure can be applied.
  • the system 10 includes an element 100, a manager 200, a server 300, and a UI (User Interface) device 400. These devices are connected to each other via a network NW.
  • the network NW can include, for example, Bluetooth (registered trademark), Wi-Fi, the Internet, and the like.
  • Bluetooth registered trademark
  • Wi-Fi Wireless Fidelity
  • Element 100 is a device including a communication unit 110, a control unit 120, a function unit 130, and a power supply unit 140.
  • the communication unit 110 includes a communication device that communicates with the manager 200 and / or other elements 100 via the network NW.
  • the control unit 120 is realized by, for example, a microcontroller or a CPU (Central Processing Unit), and controls the functional unit 130.
  • the function unit 130 includes, for example, a sensor and an actuator, and realizes a function unique to each element 100.
  • the power supply unit 140 includes a battery, a power plug, and the like, and supplies power for operating the communication unit 110, the control unit 120, and the function unit 130.
  • devices other than the element 100 also have a power supply part, illustration is abbreviate
  • the manager 200 is a device including a communication unit 210, a control unit 220, and a storage unit 230.
  • the communication unit 210 may include a communication device that communicates with the element 100, the server 300, and the UI device 400 via the network NW.
  • the control unit 220 is realized by, for example, a microcontroller or a CPU, and controls communication between the elements 100 and between the element 100 and the server 300 via the communication unit 210.
  • the control unit 220 can include a calculation unit 221.
  • the computation unit 221 performs computations on information received from the element 100, information transmitted to the element 100, information transmitted to the server 300, information received from the server 300, and the like.
  • the storage unit 230 includes a memory or a storage, and stores information exchanged by communication controlled by the control unit 220, information calculated by the calculation unit 221, and the like.
  • the server 300 includes a communication unit 310, a control unit 320, and a storage unit 330.
  • Communication unit 310 includes a communication device that communicates with manager 200 via network NW.
  • the control unit 320 is realized by, for example, a microcontroller or a CPU, and can include a calculation unit 321 and a UI providing unit 323.
  • the calculation unit 321 performs calculations on information received from the element 100 or the manager 200, information transmitted to the element 100 or the manager 200, information received from other servers, information transmitted to other servers, and the like.
  • the UI providing unit 323 provides a UI for the user to specify a combination of the element 100 and / or the manager 200 and to confirm various information.
  • the UI is provided via, for example, a display and a touch panel included in the input / output unit 430 of the UI device 400.
  • the storage unit 330 includes a memory or a storage, and stores various information related to the element 100, a program for operating the plurality of elements 100 in combination, software combined with the elements 100, information calculated by the calculation unit 321, and the like. To do.
  • identification information (ID) of the element 100 in the system 10 is stored in the storage unit 330 of the server 300.
  • the element 100 can be added to the system 10 at any time.
  • the storage unit 330 also stores a program for operating the plurality of elements 100 in combination.
  • the program can be added at any time by, for example, a user, a developer, or a system administrator.
  • the storage unit 330 stores software.
  • the software implements a function by being executed in combination with the element 100.
  • the function may be realized by executing software in combination.
  • Functions realized by the software may include, for example, provision of materials such as voice and images, timers, calendars, analysis functions such as image recognition and voice recognition, information acquisition functions from external services such as weather forecasts and news, etc. .
  • Software can be added at any time by, for example, a user, a developer, or a system administrator.
  • the UI providing unit 323 of the server 300 provides a UI via, for example, a display and a touch panel included in the input / output unit 430 of the UI device 400.
  • the user selects, for example, a program for operating a plurality of elements 100 in combination from a program preinstalled in the element 100 or the manager 200, a program provided by the server 300, or the like. can do.
  • the user can specify a combination of a plurality of elements 100, a combination of the elements 100 and software, and a combination of a plurality of software via the UI.
  • the specified combination is stored as a program in the storage unit 330 of the server 300, and the user can obtain a desired application by executing the program by the element 100 and the software.
  • the UI device 400 is a device that includes a communication unit 410, a control unit 420, and an input / output unit 430.
  • Communication unit 410 may include a communication device that communicates with manager 200 and server 300 via network NW.
  • the control unit 420 is realized by, for example, a microcontroller or a CPU, and controls the input / output unit 430 and the exchange of information through the communication unit 410.
  • the input / output unit 430 includes, for example, a display, a speaker, a touch panel, and the like, presents various types of information to the user via the UI, and accepts an operation input from the user.
  • FIG. 2 is a diagram showing a first specific configuration example of the system shown in FIG. Referring to FIG. 2, system 10 a includes a first tablet that functions as element 100, a second tablet that functions as element 100, manager 200, and UI device 400, and server 300.
  • the first and second tablets similarly include a display, a touch panel, a CPU, a sensor, and the like.
  • one of the two tablets functions as the element 100, the manager 200, and the UI device 400, and the other functions as the element 100.
  • the roles of these tablets may be interchangeable, and the tablets that function as the manager 200 and the UI device 400 may be changed depending on the situation.
  • the functions desired by the user can be realized by using various sensors of the tablet and operating the two tablets in combination.
  • the first and second tablets in the example shown in FIG. 2 include a functional unit 130 (such as a sensor) that functions as the element 100 and a control unit 220 (such as a CPU) that functions as the manager 200.
  • a functional unit 130 such as a sensor
  • a control unit 220 such as a CPU
  • the terminal device which has.
  • Such a terminal device is not limited to a tablet, and may be another device such as a smartphone.
  • the number of terminal devices included in the system 10a is not limited to the illustrated example, and may be three or more, for example.
  • FIG. 3 is a diagram illustrating a second specific configuration example of the system illustrated in FIG. 1.
  • the system 10b includes elements 100a to 100g, a tablet that functions as the manager 200 and the UI device 400, and a server 300.
  • the tablet functions as the manager 200 and the UI device 400. Similar to the first example above, the tablet may be replaced by another device such as a smartphone.
  • the element 100 includes an acceleration sensor 100a, a camera 100b, a human sensor 100c, a button 100d, a speaker 100e, an LED (Light Emitting Diode) lamp 100f, and a microphone 100g.
  • Each element 100 communicates with the tablet by wireless communication such as Bluetooth (registered trademark), and operates in association with the control of the manager 200 realized by the tablet.
  • acceleration sensors 100a to 100g are illustrated as examples of the element 100, but this is intended to limit the types of the elements 100 used in each example. is not.
  • the system 10 may include any of the acceleration sensors 100a to 100g, or any other type of element 100.
  • FIG. 4 is a diagram showing a third specific configuration example of the system shown in FIG. Referring to FIG. 4, the system 10 c includes an element 100, a manager 200, a tablet that functions as the UI device 400, and a server 300.
  • the manager 200 exists separately from the tablet that functions as the UI device 400.
  • the manager 200 may be realized by a dedicated device, for example, or may be realized as one of base station functions such as Wi-Fi. Similar to the first and second examples described above, the tablet functioning as the UI device 400 may be replaced by another device such as a smartphone.
  • the manager 200 and the tablet may be able to communicate with the server 300 independently of each other.
  • the tablet may directly transmit the setting information to the manager 200 via Wi-Fi or the like.
  • Bluetooth registered trademark
  • Wi-Fi Wireless Fidelity
  • a mesh network repeater NW_m using Wi-Fi or the like is used for connection with the element 100 at a remote location.
  • various wireless communications such as Bluetooth (registered trademark) and Wi-Fi are used for communication between the element 100 and the manager 200 and / or between the elements 100. Can be used.
  • FIG. 5 is a diagram showing a fourth specific configuration example of the system shown in FIG. Referring to FIG. 5, the system 10 d includes an element 100 that partially functions as the manager 200, a tablet that functions as the UI device 400, and a server 300.
  • At least one of the elements 100 also functions as the manager 200.
  • the elements 100 form a mesh network using Bluetooth (registered trademark) or the like. With such a configuration, in the system 10d, even when the communication with the server 300 and the UI device 400 (tablet) is temporarily disconnected, the element 100 can operate in an autonomous manner.
  • FIG. 6 is a diagram illustrating a fifth specific configuration example of the system illustrated in FIG. 1.
  • the system 10 e includes an element 100 that partially functions as the manager 200, a tablet that functions as the UI device 400, and a server 300.
  • the system 10e is an example in which the manager 200 is incorporated in one of the elements 100 in the system 10c according to the third example.
  • FIG. 7 is a diagram illustrating a sixth specific configuration example of the system illustrated in FIG. 1.
  • the system 10 f includes an element 100, managers 200 a and 200 b, a tablet that functions as the UI device 400, and a server 300.
  • the system 10f is an example in which a plurality of managers 200 are arranged in the system 10c according to the third example.
  • Each element 100 can be connected to, for example, the closer one of the managers 200a and 200b.
  • the connection state of the element 100 and the program for operating the element 100 in a coordinated manner are synchronized as necessary or periodically.
  • FIG. 8 is a diagram illustrating a seventh specific configuration example of the system illustrated in FIG. 1.
  • the system 10g includes an element 100, a manager 200a, a tablet that functions as the manager 200b and the UI device 400, and a server 300.
  • the system 10g is an example in which the function of the manager 200b is integrated into the tablet in the system 10f according to the sixth example.
  • Each element 100 can be connected to, for example, a manager 200a or a tablet closer to the position. Further, between the manager 200a and the tablet, the connection state of the element 100 and the program for operating the element 100 in a coordinated manner are synchronized as necessary or periodically.
  • FIG. 9 is a diagram illustrating an eighth specific configuration example of the system illustrated in FIG. 1.
  • the system 10 h includes an element 100, a tablet that functions as the UI device 400, and a server 300 that also functions as the manager 200.
  • the system 10h is an example in which the function of the manager 200 is taken into the server 300 in the system 10b according to the second example.
  • Each element 100 communicates directly with the server 300 via, for example, a mobile communication network.
  • FIG. 10 is a diagram showing a first example of a UI provided in the system shown in FIG.
  • a screen 4100 displayed on the display of the terminal device functioning as the UI device 400 includes a user profile 4101, a program list tab 4103, and an element list tab 4105.
  • the program list 4107 is displayed.
  • the program list 4107 includes a program icon 4109, a used element icon 4111, and a description 4113.
  • the screen 4100 can be displayed, for example, as a portal screen when the user uses a service provided by the system 10.
  • FIG. 11 is a diagram showing a second example of a UI provided in the system shown in FIG.
  • a screen 4200 displayed on the display of the terminal device that functions as the UI device 400 includes a toolbar 4201, a canvas 4203, and a tray 4205.
  • the screen 4200 is used, for example, for editing a program for operating the element 100 in association with the system 10.
  • Function buttons such as “Save” and “Redo” are arranged on the toolbar 4201.
  • An element icon 4207, a detailed information icon 4209, and a link 4211 can be arranged or drawn on the canvas 4203. With these icons and links, it is possible to set and confirm the elements 100 used for the linkage operation, the processing executed by each element 100, and the relationship between the elements 100.
  • an element property box 4213 is arranged on the canvas 4203, and for example, the attribute and state of the element 100 arranged as the element icon 4207 are displayed.
  • the elements 100, software, and the like that can be incorporated in the program by being arranged on the canvas 4203 are displayed as icons.
  • UI described with reference to FIGS. 10 and 11 is merely an example, and various forms of UI can be provided in the present embodiment.
  • various UIs used in the screen for visual programming can be applied.
  • FIG. 12 is a diagram for explaining a first specific example of element linking operation in the system shown in FIG. 1.
  • an acceleration sensor 100a and a camera 100b are used among the elements 100.
  • the acceleration sensor 100a is attached to the door of the refrigerator, and the camera 100b is attached to a position where the interior of the refrigerator can be projected.
  • the link 601 from the acceleration sensor 100a to the camera 100b means that “the camera 100b performs shooting based on the detection value of the acceleration sensor 100a”.
  • “upload a captured image to the server” is designated as the operation of the camera 100b.
  • software 603a for detecting that the door is opened based on the acceleration is used.
  • the software 603a is executed by the arithmetic unit 221 of the manager 200, for example, and determines that the refrigerator door is opened based on the analysis result of the detection value of the acceleration sensor 100a.
  • the link 601 performs a process of “when the determination is made that the refrigerator door is opened based on the detection value of the acceleration sensor 100a, the camera 100b performs photographing”.
  • an image captured by the camera 100b when the refrigerator door is opened is uploaded to the server.
  • the user can grasp the change in the contents of the refrigerator and the latest inventory status by browsing the uploaded image.
  • a sensor dedicated to open / close detection using magnetism or the like can also be used.
  • the software 603a it is possible to detect that the door is opened by using the acceleration sensor 100a. Therefore, in order to detect that the door of the refrigerator is opened, for example, the acceleration sensor 100a that has been used for another purpose can be used instead of the dedicated sensor.
  • the acceleration sensor 100a can be diverted to other applications.
  • the same element 100 can be utilized for various uses by changing the combination of software and other elements 100.
  • FIG. 13 is a diagram for explaining a second specific example of element linking operation in the system shown in FIG. 1.
  • an acceleration sensor 100a and a button 100d are used among the elements 100.
  • the acceleration sensor 100a is attached to a toilet door
  • the button 100d is attached to a toilet.
  • software 603a for detecting that the door is opened based on acceleration and software 603b for recording the provided data are further used.
  • a link 601 from the acceleration sensor 100a to the software 603b through the software 603a means that the software 603b records that it is determined that the door is opened based on the detection value of the acceleration sensor 100a.
  • the link 601 from the button 100d to the software 603b means that the software 603b records that a signal is output from the button 100d.
  • the time when the user presses the button 100d in the bathroom and the time when the toilet door is opened are recorded as a log. For example, if the user decides to press the button 100d when washing his face in the bathroom after getting up, the time when the button 100d was pressed can be recorded as the rising time. From such a log, for example, it is possible to refer to changes in daily wake-up time and the time of going to the toilet in time series, which can be used to improve the user's life rhythm.
  • FIG. 14 is a diagram for explaining a third specific example of the element linking operation in the system shown in FIG. Referring to FIG. 14, in this example, among the elements 100, an acceleration sensor 100a and a human sensor 100c are used.
  • the acceleration sensor 100a is attached to a chair
  • the human sensor 100c is attached to a desk in front of the chair.
  • software 603c for recording the time that the user has been sitting on the chair based on the detection results of the acceleration sensor 100a and the human sensor 100c is further used.
  • a link 601 from the acceleration sensor 100a to the software 603c means “providing the detection value of the acceleration sensor 100a to the software 603c”.
  • the link 601 from the human sensor 100c to the software 603c means “providing the detection value of the human sensor 100c to the software 603c”.
  • the time that the user has been sitting on the chair is recorded. Based on this record, the user can grasp the sitting time at the workplace and take a break if the sitting time is too long.
  • software that outputs an alert from a smartphone or the like based on the detection result of the software 603c is further combined, and when the user is sitting continuously over a predetermined time, an alert is output from the smartphone or the like to take a break. You may be encouraged to take it.
  • FIG. 15 is a diagram for explaining a fourth specific example of the element linking operation in the system shown in FIG. 1.
  • an acceleration sensor 100a for example, a speaker 100e, and an LED lamp 100f are used among the elements 100.
  • the acceleration sensor 100a, the speaker 100e, and the LED lamp 100f are each attached to an appropriate part of the body of the user (for example, a child).
  • a plurality of acceleration sensors 100a may be used.
  • software 603d that reproduces sound effects according to the acceleration pattern and software 603e that causes the lamp to blink in a predetermined pattern according to the acceleration pattern are also shown.
  • the acceleration pattern handled by these software 603 may be a single acceleration waveform pattern or a combination of a plurality of acceleration waveforms.
  • a link 601 is set from the acceleration sensor 100a to each of the software 603d and 603e. These links 601 mean “provide the detection values of the acceleration sensor 100a to the software 603d and 603e, respectively”. Further, a link 601 is set from the software 603d to the speaker 100e, and from the software 603e to the LED lamp 100f. These links 601 mean “the speaker 100e outputs sound according to the audio signal provided by the software 603d” and “the LED lamp 100d emits light according to the signal provided by the software 603e”.
  • FIG. 16 is a diagram for explaining a fifth specific example of element linking operation in the system shown in FIG. 1.
  • an acceleration sensor 100a for example, a human sensor 100c, a camera 100b, and an LED lamp 100f are used.
  • the acceleration sensor 100a, the human sensor 100c, and the camera 100b are attached to a bird table, and the LED lamp 100f is attached to a house.
  • software 603f for determining that a bird has stopped on the feeding base based on the detection results of the acceleration sensor 100a and the human sensor 100c is further illustrated.
  • a link 601 is set from the acceleration sensor 100a and the human sensor 100c toward the software 603f.
  • the link 601 from the acceleration sensor 100a means “provide the detection value of the acceleration sensor 100a to the software 603f”.
  • the link 601 from the human sensor 100c means “providing the detection value of the human sensor 100c to the software 603f”.
  • a link 601 is set from the software 603f to the camera 100b and the LED lamp 100f.
  • the link 601 to the camera 100b means that “the camera 100b performs shooting based on the output of the software 603f”.
  • the link to the LED lamp 100f means that the LED lamp 100f is caused to emit light based on the output of the software 603f.
  • FIG. 17 is a diagram for explaining a sixth specific example of element linking operation in the system shown in FIG. 1.
  • a button 100d and a speaker 100e are used among the elements 100.
  • the speaker 100e is disposed in a bedroom and the button 100d is disposed in a washroom.
  • the alarm alarm software 603g is further shown.
  • a link 601 is set to the speaker 100e from the software 603g. This link 601 means that “the speaker 100e outputs audio according to the audio signal output when the software 603 reaches the set time”.
  • a link 601 is set in the software 603g from the button 100d. This link 601 means “when the button 100d is pressed, the output of the audio signal by the software 603g is stopped”.
  • the alarm sound output from the speaker 100e disposed in the bedroom does not stop until the toilet button 100d is pressed.
  • FIG. 18 is a diagram illustrating a schematic configuration example of the first embodiment of the present disclosure.
  • a button 100d and an LED lamp 100f are shown as examples of one or more devices in the system 10
  • a projector 400a with camera, a tablet 400b with camera, and a smart glass 400c with camera are shown as examples of the UI device 400, respectively.
  • an image including the button 100d and the LED lamp 100f is displayed by a camera (not necessarily illustrated) included in the projector 400a, the tablet 400b, or the smart glass 400c (hereinafter also referred to as the UI device 400 in general).
  • a camera not necessarily illustrated
  • the UI device 400 includes the UI device 400 in general.
  • simply acquiring an image indicates what device the button 100d and the LED lamp 100f are in the system 10, more specifically, the button 100d and the LED lamp 100f are the manager 200, the server 300, and It is difficult to specify information such as how it is identified by other elements 100 and what kind of linkage operation is incorporated.
  • the button 100d and the LED lamp 100f output a radio signal S1 based on, for example, Bluetooth (registered trademark).
  • the radio signal S1 may be output in response to a request transmitted from the UI device 400 to the nearby element 100, or may be periodically output regardless of the presence or absence of the request.
  • the wireless signal S1 includes a portion in which an ID (identification information) in the system 10 of the button 100d and the LED lamp 100f is coded.
  • the UI device 400 can identify the ID of the button 100d and the LED lamp 100f in the system 10 by decoding the received radio signal S1.
  • the button 100d and the LED lamp 100f may each have a light emitting element, and the device may be identified by outputting a light emission signal.
  • the button 100d and the LED lamp 100f may output a light emission signal in synchronization with the wireless signal S1.
  • the button 100d and the LED lamp 100f output a light emission signal in parallel while outputting the wireless signal S1.
  • the UI device 400 can identify the device that outputs the light emission signal in the image as the device that outputs the wireless signal S1.
  • the button 100d and the LED lamp 100f may output a light emission signal instead of the wireless signal S1.
  • the light emission signal includes a light emission pattern in which IDs in the system of the button 100d and the LED lamp 100f are encoded.
  • the UI device 400 can easily associate a device that outputs a light emission signal in an image with an ID in the system that is specified by decoding the light emission signal.
  • the apparatus can be identified by measuring the intensity of the radio signal S1, for example. For example, if there is a difference in the distance between the button 100d and the LED lamp 100f from each UI device 400, the button 100d and the LED lamp 100f are caused by the difference in the intensity of the radio signal S1 from each device received by the UI device 400. It is possible to identify which is closer to the UI device 400. Alternatively, the UI device 400 may be able to identify the device type of the button 100d and the LED lamp 100f by image recognition. In this case, if the wireless signal S1 further includes a portion in which the type of each device is encoded, the UI device 400 determines the type of device indicated by the wireless signal S1 and the type of device identified by image recognition. Can be identified from the button 100d and the LED lamp 100f included in the image.
  • the UI device 400 transmits the ID in the system 10 of the button 100d and the LED lamp 100f specified by decoding the radio signal S1 or the light emission signal to the manager 200 or the server 300 (not shown).
  • the manager 200 or the server 300 provides setting information in the system 10 of the button 100d and the LED lamp 100f based on the received ID. More specifically, for example, the manager 200 or the server 300 provides information on a program for linking the button 100d and the LED lamp 100f.
  • the setting information is transmitted to the UI device 400, and the UI device 400 presents the setting information to the user in association with the button 100d and the LED lamp 100f.
  • the projector 400a, the tablet 400b, and the smart glass 400c shown in FIG. 18 present the setting information using different methods.
  • the projector 400a projects an image indicating the setting information in the real space near the button 100d and the LED lamp 100f.
  • the tablet 400b reflects a live view image including the button 100d and the LED lamp 100f on the display, and synthesizes an image indicating setting information in the vicinity of the button 100d and the LED lamp 100f in the live view image.
  • the smart glass 400c causes the button 100d and the LED lamp 100f arranged in the real space to be transparently displayed on the display of the glass portion, and an image indicating the setting information is reflected and displayed on the display so as to be superimposed in the vicinity thereof.
  • FIG. 19 is a diagram showing an example of setting information display in the example shown in FIG.
  • the image 4300 shown in FIG. 19 is visually recognized on, for example, an image of a real space on which the projector 400a projects an image, a live view image reflected on the display of the tablet 400b, or a display of a glass portion of the smart glass 400c. This corresponds to an image of the real space that is transmissively displayed and an image that is superimposed and reflected.
  • the image 4300 includes setting information 4301.
  • the setting information 4301 includes information on a program for operating the button 100d and the LED lamp 100f in association with each other in the system 10.
  • texts 4301a (BUTTON1) and 4301b (LED1) indicating the role of each device in the linkage operation, and a link 4301c indicating the relationship between the devices are displayed.
  • setting information 4301 is, for example, synthesized with a live view image, superimposed on an image of the real space that is transmissively displayed, or projected onto the real space.
  • a text 4303 is an example of status information of each device.
  • status information of each device such as the remaining battery level can be acquired by decoding signals output from the button 100d and the LED lamp 100f, for example.
  • the signals output from the button 100d and the LED lamp 100f include a first signal in which the ID of each device is encoded and a second signal in which the status information of each device is encoded. included.
  • the first signal and the second signal may be included in the same type of signal (for example, the radio signal S1 or the light emission signal), or different types of signals (for example, one is the radio signal S1 and the other is the other). (Light emission signal).
  • the UI device 400 (the projector 400a, the tablet 400b, or the smart glass 400c) may not only present such state information in association with each device but also transmit the state information to the manager 200 or the server 300.
  • FIG. 20 is a diagram illustrating a state in which the user is performing a setting change operation in the example illustrated in FIG.
  • a user of a projector 400a, a tablet 400b, or a smart glass 400c (hereinafter also referred to as a UI device 400) is operated by a button via a GUI (Graphical User Interface) provided by these devices.
  • a setting change operation is performed on 100d and the LED lamp 100f.
  • such an operation is similar to the operation of pointing the button 100d or the LED lamp 100f existing in the real space by the user, or the setting information 4301 projected or superimposed.
  • the motion is recognized by acquiring it as a gesture based on the image acquired by the camera.
  • the above operation is recognized as a user operation via the touch panel for the button 100d and the LED lamp 100f included in the live view image displayed on the screen and the setting information 4301. .
  • the result of the user's utterance voice or line-of-sight detection, or an operation with a separate operation device may be recognized as the user's operation.
  • the UI device 400 transmits operation information corresponding to the user's setting change operation to the manager 200 or the server 300 (not shown), and the manager 200 or the server 300 sets the setting information according to the received operation information. To change. Further, the manager 200 or the server 300 may notify the UI device 400 of the setting information being changed and / or the changed setting information.
  • FIG. 21 is a diagram showing an example of setting information change display in the example shown in FIG.
  • An image 4400 shown in FIG. 21 is an image similar to the image 4300 described above with reference to FIG. 19 and includes setting information 4301.
  • the setting information 4301 indicates a linkage operation in which the LED lamp 100f emits light when the button 100d is pressed.
  • the light emission color of the LED lamp 100f is changed by a user's setting change operation.
  • the light emission color may be displayed by, for example, a light emission color display 4401 displayed superimposed on the LED lamp 100f, and the light emission color may be changeable by an operation on the light emission color display 4401.
  • a text 4403 indicating the completion of the change may be displayed in response to a notification from the manager 200 or the server 300.
  • GUI for changing the setting information.
  • a tool box or a palette for changing the setting information may be displayed at a fixed position in the display.
  • the setting information is changed by moving the viewpoint of the image by moving the device itself such as the tablet 400b or the smart glass 400c, and moving the element 100 in the image to the position of the toolbox or palette. It may be possible. Further, for example, by fixing the element 100 in the image at a certain time point as a snapshot and arranging another element 100 in the image, the image of the actual element 100 can be used as an icon for visual programming. Good.
  • the elements 100 have similar appearances to each other, the installation location of the element 100 can be freely moved, and a plurality of elements 100 of the same type are included in the system 10. For this reason, it is not easy to recognize the information of the element 100 registered in the manager 200 or the server 300 in association with the element 100 that is actually in front of the user. Therefore, in the present embodiment, for example, by providing a device recognition and setting information presentation mechanism as described above with reference to FIGS. 18 to 21, the user can set each element 100 in the system 10. Facilitates easy association with information. Furthermore, in the present embodiment, the user can perform an operation of changing the setting information of the element 100 via the UI provided in the terminal device, thereby making the setting operation such as the element linking operation in the system 10 more intuitive. It becomes possible to execute.
  • FIG. 22 is a block diagram illustrating a functional configuration example of the UI device according to the first embodiment of the present disclosure.
  • the UI device 400 includes an imaging unit 415 in addition to the communication unit 410, the control unit 420, and the input / output unit 430.
  • the control unit 420 includes a signal receiving unit 421, an identification information extracting unit 422, an identification information transmitting unit 423, a positional relationship specifying unit 424, a state information extracting unit 425, a state information transmitting unit 426, a setting information receiving unit 427, a presentation control.
  • a unit 428, an operation reception unit 429, and an operation information transmission unit 431 is a block diagram illustrating a functional configuration example of the UI device according to the first embodiment of the present disclosure.
  • the UI device 400 includes an imaging unit 415 in addition to the communication unit 410, the control unit 420, and the input / output unit 430.
  • the control unit 420 includes a signal receiving unit 421, an identification information extracting unit 42
  • the communication unit 410 may include a communication device that communicates with the manager 200 and the server 300 via a network.
  • the control unit 420 is realized by, for example, a microcontroller or a CPU, and controls the input / output unit 430 and the exchange of information through the communication unit 410.
  • the input / output unit 430 includes, for example, a display, a projector, a speaker, or a touch panel, and presents various types of information to the user via the UI and accepts an operation input from the user.
  • the imaging unit 415 can be, for example, a camera module including an imaging element and an optical system, and drive circuits thereof. As in the example described above with reference to FIG. 18, the imaging unit 415 acquires an image including one or more devices (element 100) in the system 10.
  • the signal receiving unit 421 receives signals output from one or more elements 100 in the system 10.
  • the signal reception unit 421 receives, for example, a radio signal and / or a light emission signal.
  • the wireless signal is acquired from a communication device such as Bluetooth (registered trademark) included in the communication unit 410.
  • the light emission signal is extracted from an image including the element 100 acquired by the imaging unit 415.
  • the signal receiving unit 421 can receive various signals such as an infrared signal (obtained from the communication unit 410) and a signal based on a two-dimensional code (extracted from an image).
  • the expression “output” is used to express that the signal is transmitted by various media such as radio and light.
  • reception of a signal in the present specification does not necessarily mean only a reception operation in telecommunication, but may include an operation of extracting a light emission signal or the like from an image as described above.
  • the signal received by the signal receiving unit 421 is encoded with the first signal in which the ID (identification information) in the system 10 of the element 100 is encoded and the state information of the element 100.
  • a second signal may be included. Both the first signal and the second signal may be transmitted via the same medium, or may be transmitted via different media. Therefore, the signal reception unit 421 does not necessarily receive a signal from either the communication unit 410 or the imaging unit 415, for example, and may receive a signal from both. Further, the signal reception unit 421 may receive signals from a plurality of communication devices included in the communication unit 410 and corresponding to different communication methods.
  • the identification information extraction unit 422 extracts identification information in the system 10 of one or more elements 100 that output signals from the signal received by the signal reception unit 421. More specifically, the identification information extraction unit 422 acquires identification information by decoding the first signal received from one or more elements 100.
  • the identification information is an ID that is unique within the system 10 assigned by the manager 200, for example, and is used, for example, to communicate with each element 100 or to define the associated operation of the element 100.
  • the identification information transmission unit 423 transmits the identification information extracted by the identification information extraction unit 422 to the server via the communication unit 410.
  • the server means a device that provides setting information in the system 10 for the element 100 to which identification information (ID) is provided, and is not necessarily limited to the server 300. That is, regarding the function according to the present embodiment, the manager 200 can also be handled as a server.
  • the positional relationship specifying unit 424 specifies the positional relationship between the UI device 400 and the element 100 based on the signal received by the signal receiving unit 421. For example, when the signal receiving unit 421 receives a wireless signal such as Bluetooth (registered trademark), the positional relationship specifying unit 424 is based on the fact that direct wireless communication with the element 100 is possible. It can be determined whether or not the element 100 is close to the UI device 400 within a certain range. Further, the positional relationship specifying unit 424 may specify the distance between the element 100 and the UI device 400 based on the strength of the radio signal.
  • a wireless signal such as Bluetooth (registered trademark)
  • the positional relationship specifying unit 424 may specify the distance between the element 100 and the UI device 400 based on the strength of the radio signal.
  • the positional relationship specifying unit 424 determines whether the UI device 400 and the element 100 are based on the position or size of the light emission signal in the image. You may specify the distance and attitude
  • the state information extraction unit 425 extracts the state information of the element 100 that has output the signal from the signal received by the signal reception unit 421. More specifically, the state information extraction unit 425 acquires the state information by decoding the second signal received from the one or more elements 100.
  • the state information can be, for example, a state that changes every moment in the element 100, such as a power supply state or a communication state.
  • the status information transmission unit 426 transmits the status information extracted by the status information extraction unit 425 to the server via the communication unit 410.
  • the server here also means an apparatus that manages state information in the system 10 for the element 100 to which identification information (ID) is provided, and is not necessarily limited to the server 300.
  • the server that has received the state information updates the state information of the element 100 held in the server as necessary.
  • Each element 100 may be able to report the status information to the manager 200 by itself, but in this embodiment, for example, when there is a request from the UI device 400, the element 100 uses a signal.
  • the state information is provided to the UI device 400, and the UI device 400 transmits the state information to a server such as the manager 200, whereby the power consumption of the element 100 can be reduced.
  • the setting information receiving unit 427 is an element specified based on the identification information via the communication unit 410 from the server (for example, the manager 200) to which the identification information (ID) of the element 100 is transmitted by the identification information transmitting unit 423. 100 setting information is received.
  • the setting information may include, for example, information indicating a program for causing the element 100 to operate in association with the other element 100 and / or various types of software in the system 10.
  • the presentation control unit 428 presents the setting information of the element 100 received by the setting information receiving unit 427 in association with the element 100. More specifically, for example, the presentation control unit 428 causes the setting information to be displayed in association with the element 100 on the display screen included in the input / output unit 430.
  • the element 100 may be reflected and displayed as an image on the display (in the case of the tablet 400b in the example of FIG. 18 above) or may be transparently displayed on the display (in the example of FIG. 18). In the case of smart glasses 400c).
  • the presentation control unit 428 synthesizes or superimposes an image indicating the setting information in the vicinity of the element 100, for example.
  • the presentation control unit 428 may control the projector included in the input / output unit 430 to project an image indicating the setting information in association with the element 100 in the space where the element 100 exists (FIG. 18). In the case of the projector 400a in the example).
  • the presentation control unit 428 uses the positional relationship between the UI device 400 and the element 100 specified by the positional relationship specifying unit 424 in order to present the setting information in association with the element 100.
  • the identification information transmission unit 423, the setting information reception unit 427, and the presentation control unit 428 are based on the identification information of the element 100 and the positional relationship between the UI device 400 and the element 100, and the system 10 of the element 100. Means for presenting the setting information in association with the element 100.
  • the operation reception unit 429 receives a setting change operation performed by the user with respect to the element 100 via the input device included in the input / output unit 430.
  • a user's setting change operation for the element 100 is performed using a touch panel or the like via a GUI (Graphical User Interface) provided on a display included in the input / output unit 430. It may be accepted.
  • GUI Graphic User Interface
  • the setting change operation may be recognized from a user gesture with respect to the element 100 extracted from an image acquired by a camera (may be the same as the imaging unit 415) included in the input / output unit 430. Not only a gesture by a user's hand etc., but the gesture which a user performs via other devices, for example, the gesture which points the element 100 or its vicinity using a laser pointer, etc. may be recognized.
  • the setting change operation may be recognized from the user's uttered voice extracted from the voice acquired by the microphone included in the input / output unit 430 or the result of the user's line-of-sight detection.
  • NUI Natural User Interface
  • the operation information transmission unit 431 transmits operation information corresponding to the setting change operation received by the operation reception unit 429 to the server via the communication unit 410.
  • the server here also means an apparatus that manages state information in the system 10 for the element 100 to which identification information (ID) is provided, and is not necessarily limited to the server 300.
  • the server that has received the operation information updates information about the element 100 held in the server as necessary.
  • FIG. 23 is a block diagram illustrating a functional configuration example of an element according to the first embodiment of the present disclosure.
  • the element 100 according to the present embodiment may include a light emitting element 135 in addition to the communication unit 110, the control unit 120, the function unit 130, and the power supply unit 140.
  • the control unit 120 includes a function management unit 121, a power management unit 122, a request reception unit 123, and a signal control unit 124, and the device ID 125 and the state information 126 can be stored in the memory.
  • the communication unit 110 may include a communication device that communicates with the manager 200 and / or other elements 100 via a network.
  • the control unit 120 is realized by, for example, a microcontroller or a CPU, and controls the functional unit 130.
  • the function unit 130 includes, for example, a sensor and an actuator, and realizes a function unique to each element 100.
  • the power supply unit 140 includes a battery, a power plug, and the like, and supplies power for operating the communication unit 110, the control unit 120, and the function unit 130.
  • the light emitting element 135 emits a light emission signal for transmitting the device ID 125 and the like toward the UI device 400.
  • the light emitting element 135 can be, for example, an LED or other various elements. Note that in the case where a signal output from the element 100 does not include a light emission signal, the light emitting element 135 may not be provided. Further, the light emitting element 135 may be related to the function of the element 100, for example, like the LED lamp 100f in the above example.
  • the function management unit 121 controls the function unit 130.
  • the function management unit 121 controls the function unit 130 to operate according to information received from the manager 200 and other elements 100 via the communication unit 110.
  • the function management unit 121 transmits information obtained by the operation of the function unit 130 to the manager 200 and other elements 100 via the communication unit 110.
  • the function management unit 121 updates the state information 126 when there is a change in the communication state by the communication unit 110 or a change in the function state by the function unit 130, for example.
  • the power management unit 122 controls the power supply unit 140. For example, the power management unit 122 acquires information on the remaining battery level from the power supply unit 140 and records this as state information 126.
  • the request receiving unit 123 receives a request for a signal including identification information (ID) from the UI device 400 via the communication unit 110.
  • ID identification information
  • the request reception unit 123 requests the signal control unit 124 to output a signal such as a radio signal or a light emission signal. Note that when the element 100 is set to periodically output a signal regardless of the presence or absence of a request, the request receiving unit 123 may not be provided.
  • the signal control unit 124 controls output of signals by the communication unit 110 and / or the light emitting element 135. More specifically, the signal control unit 124 controls the communication unit 110 and / or the light emitting element 135 when the request receiving unit 123 receives a request, or periodically regardless of the presence / absence of the request. Or a signal such as a light emission signal is output. At this time, the signal control unit 124 generates a signal by referring to the device ID 125 and the state information 126 and encoding the information.
  • the device ID 125 is an ID of the element 100 assigned in the system 10.
  • the ID can be unique at least within the system 10, and is used, for example, for each element 100 to communicate or to define an associated operation of the element 100.
  • the state information 126 is information indicating the state of the element 100 generated and updated by the functions of the function management unit 121 and the power management unit 122 as described above.
  • FIG. 24 is a sequence diagram illustrating a first part of a process according to the first embodiment of the present disclosure.
  • FIG. 24 illustrates processing from when a signal request is transmitted from the UI device 400 to the element 100 until setting information of the element 100 is presented by the UI device 400.
  • the UI device 400 transmits a request to the element 100 (S101).
  • the request may be transmitted by wireless communication such as Bluetooth (registered trademark) and broadcast to the entire element 100 located in the vicinity of the UI device 400.
  • the element 100 that has received the request outputs a signal including identification information (ID) (S103). More specifically, the element 100 transmits a radio signal using the communication unit 110 or emits light constituting the light emission signal using the light emitting element 135. As described above, the element 100 may periodically output a signal regardless of whether or not there is a request. In this case, the process of S101 does not have to be executed.
  • the UI device 400 receives or detects the signal output by the element 100 (S105). More specifically, for example, the UI device 400 receives a radio signal via the communication unit 410. Further, the UI device 400 may detect the light emission signal by analyzing the image acquired by the imaging unit 415. Further, the UI device 400 extracts the identification information of the element 100 from the received or detected signal (S107).
  • the UI device 400 transmits the identification information of the extracted element 100 to the server 200/300 (S109).
  • the transmission destination of the identification information may be a server that holds the setting information of the element 100, and more specifically may be the manager 200 or the server 300.
  • the UI device 400 specifies the positional relationship between the UI device 400 and the element 100 based on the received or detected signal (S111).
  • the UI device 400 may specify the positional relationship with the element based on, for example, analysis of an image or measurement of the intensity of a wireless signal.
  • the positional relationship may include, for example, whether or not the element 100 is close to the UI device 400, the distance between the element 100 and the UI device 400, and / or the posture relationship between the element 100 and the UI device 400.
  • the server 200/300 that has received the identification information of the element 100 transmitted in S109 searches the setting information of each element 100 stored in the storage unit 230/330 based on the identification information, and the target element 100 Extract the setting information. Further, the server 200/300 transmits the setting information to the UI device 400 via the communication unit 210/310 (S113). The UI device 400 presents the setting information of the element 100 transmitted from the server 200/300 based on the positional relationship between the UI device 400 and the element 100 specified in S111 (S115).
  • FIG. 25 is a sequence diagram illustrating a second part of the process according to the first embodiment of the present disclosure.
  • processing until the element 100 outputs a signal including state information and the server 200/300 updates the database based on the state information is shown. ing.
  • the element 100 outputs a signal including state information (S121).
  • the signal may include identification information of the element 100 in addition to the state information.
  • the UI device 400 receives or detects a signal output by the element 100 (S123). More specifically, for example, the UI device 400 receives a radio signal via the communication unit 410. Further, the UI device 400 may detect the light emission signal by analyzing the image acquired by the imaging unit 415. Further, the UI device 400 extracts the state information of the element 100 from the received or detected signal (S125).
  • the UI device 400 transmits the state information of the extracted element 100 to the server 200/300 (S127).
  • the server 200/300 that has received this information is received in advance (for example, by the process shown in FIG. 24) or based on the identification information of the element 100 received together with the status information in S127, the storage unit 230/330.
  • the database of the element 100 stored in is updated (S129).
  • the state information notified from the element 100 to the UI device 400 by a wireless signal or a light emission signal is reflected in the database of the server 200/300.
  • FIG. 26 is a sequence diagram illustrating a third part of the process according to the first embodiment of the present disclosure.
  • the setting change operation of the element 100 is acquired in the UI device 400, and the element is changed in response to this operation. Processing until 100 setting information is updated is shown.
  • an operation input for a setting change by the user is received (S141).
  • the operation input is acquired based on an input device such as a touch panel included in the input / output unit 430 of the UI device 400, a user's gesture or speech, a result of line-of-sight detection, and the like.
  • the UI device 400 transmits operation information corresponding to the setting change to the server 200/300 (S143).
  • the control unit 220/320 updates the setting information of the element 100 stored in the storage unit 230/330 based on the operation information (S145).
  • the server 200/300 transmits the updated setting information to the element 100 (S147).
  • each element 100 can communicate with the server 200/300.
  • the server 200/300 and the element 100 communicate with each other without passing through the UI device 400, but the server 200/300 and the element 100 may communicate with each other through the UI device 400.
  • the control unit 120 updates the setting information held therein (S149).
  • the element 100 may transmit a completion notification to the server 200/300 (S151).
  • the server 200/300 may transmit an update completion notification to the UI device 400 (S153).
  • the UI device 400 can provide an indication of the completion of change, such as the text 4403 shown in FIG.
  • FIG. 27 is a diagram for describing a modification example of the first embodiment of the present disclosure.
  • a button 100d is shown as an example of one or more devices in the system 10
  • a tablet 400b with a camera is shown as an example of the UI device 400.
  • the button 100 d exists as the element 100 in the vicinity of the UI device 400.
  • the UI device 400 may only specify that the button 100d is close to the UI device 400 as the positional relationship between the UI device 400 and the button 100d.
  • the element 100 included in the image 4500 acquired by the camera of the tablet 400b can be identified as the button 100d even if information for identifying the on-image element 100 is not obtained.
  • the button 100d need only transmit the radio signal S1 including the identification information (ID), and does not necessarily emit the light emission signal. Further, the UI device 400 does not need to specify the button 100d by receiving a light emission signal or analyzing an image.
  • the tablet 400b is illustrated, but the same applies to the projector 400a, the smart glass 400c, and the like.
  • the UI device 400 itself that receives a signal output from the element 100 causes the setting information to be presented in association with the element 100.
  • the UI device 400 can be moved near the elements 100 arranged in various places, and the setting information of each element 100 can be referred to easily.
  • the projector 400a, the tablet 400b, and the smart glass 400c were illustrated as an example of the UI device 400, the example of the UI device 400 in the present embodiment is not limited to these devices, and acquires an image including the element 100. Any device may be used as long as it includes an imaging unit, a communication unit that communicates with the element 100 and the server 200/300, and a presentation unit that presents setting information of the element 100.
  • the UI apparatus 400 acquires setting information from the server 200/300. However, in other examples, the UI apparatus 400 locally presents information without using the server 200/300. It may be realized. For example, when the setting information of the element 100 is held at least temporarily in the UI device 400, the UI device 400 may acquire and present the setting information internally.
  • FIG. 28 is a diagram illustrating a schematic configuration example of the second embodiment of the present disclosure. 28 a button 100d and an LED lamp 100f are illustrated as an example of one or a plurality of devices (element 100) in the system 10, a tablet 400b with a camera is illustrated as an example of the UI device 400, and a smart glass with a camera is illustrated as an example of the presentation device 500. 500a and projector with camera 500b are shown respectively.
  • the element 100 outputs a radio signal S1 based on, for example, Bluetooth (registered trademark).
  • the UI device 400 can identify the ID of the element 100 in the system 10 by decoding the received radio signal S1.
  • the UI device 400 transmits the identified ID to the manager 200 or the server 300.
  • the UI device 400 specifies the positional relationship between the UI device 400 and the element 100 based on the signal received from the element 100. More specifically, for example, the UI device 400 can specify the position in the image of the element 100 emitting the light emission signal based on the light emission signal extracted from the image. Further, the UI device 400 can specify the distance between the UI device 400 and the element 100 based on the intensity of the received radio signal S1.
  • the setting information specified based on the ID of the element 100 is not the UI device 400 but another presentation device 500 from the manager 200 or the server 300. And is presented in association with the element 100 by the presentation device 500.
  • the UI device 400 transmits information indicating the positional relationship between the UI device 400 and the element 100 to the manager 200 or the server 300 together with the ID of the element 100.
  • the manager 200 or the server 300 transmits the setting information extracted from the database of the storage unit 230/330 based on the received ID and information indicating the positional relationship between the UI device 400 and the element 100 to the presentation device 500.
  • the presentation device 500 converts information indicating the positional relationship between the UI device 400 and the element 100 into information indicating the positional relationship between the presentation device 500 and the element 100, and presents setting information in association with the element 100.
  • the relative positional relationship between the tablet 400b, the button 100d, and the LED lamp 100f is the positional relationship between the smart glass 500a, the button 100d, and the LED lamp 100f, or the projector 500b, the button 100d, and the LED lamp. It is converted into a positional relationship with 100f.
  • the positional relationship can be converted by, for example, matching images acquired by the tablet 400b and the smart glass 500a or the projector 500b using the cameras, and estimating the positional relationship between the viewpoints of the respective images.
  • the smart glass 500a reflects and displays the setting information in the vicinity of the button 100d and the LED lamp 100f that are transparently displayed on the display of the glass portion based on the converted positional relationship.
  • the projector 500b projects setting information on the vicinity of the button 100d and the LED lamp 100f in the real space based on the converted positional relationship.
  • FIG. 29 is a block diagram illustrating a functional configuration example of a UI device according to the second embodiment of the present disclosure.
  • the UI device 400-2 according to the present embodiment includes an imaging unit 415 in addition to the communication unit 410, the control unit 420, and the input / output unit 430.
  • the control unit 420 does not include the setting information reception unit 427 and the presentation control unit 428. Instead, the control unit 420 includes a positional relationship transmission unit 432.
  • the positional relationship transmission unit 432 transmits information indicating the positional relationship between the UI device 400 and the element 100 specified by the positional relationship specifying unit 424 to the server via the communication unit 410.
  • the server here also means an apparatus that manages state information in the system 10 for the element 100 to which identification information (ID) is provided, and is not necessarily limited to the server 300.
  • the identification information transmission unit 423 and the positional relationship transmission unit 432 change the setting information of the element 100 in the system 10 based on the identification information of the element 100 and the positional relationship between the UI device 400 and the element 100.
  • a means for presenting in association with the element 100 is configured.
  • the presentation of the setting information is executed by the presentation device 500.
  • FIG. 30 is a block diagram illustrating a functional configuration example of the presentation device according to the second embodiment of the present disclosure.
  • the presentation device 500 includes an imaging unit 515 in addition to the communication unit 510, the control unit 520, and the output unit 530.
  • the control unit 520 includes a setting information receiving unit 521, a positional relationship receiving unit 522, a positional relationship conversion unit 523, and a presentation control unit 524.
  • the presentation device 500 can be a device having a functional configuration that can also be used as the UI device 400, as shown in the example of FIG. More specifically, the communication unit 510 may include a communication device that communicates with the manager 200 and the server 300 via a network.
  • the control unit 520 is realized by, for example, a microcontroller or a CPU, and controls the output unit 530 and also controls exchange of information via the communication unit 510.
  • the output unit 530 includes, for example, a display, a projector, or a speaker, and presents various types of information to the user via the UI.
  • the setting information reception unit 521 receives the identification information (ID) of the element 100 from the identification information transmission unit 423 of the UI device 400, and then specifies the element 100 specified based on the identification information via the communication unit 510. Receive configuration information.
  • the setting information may include, for example, information on a program that causes the element 100 to operate in association with the other element 100 and / or various types of software in the system 10.
  • the positional relationship receiving unit 522 receives information indicating the positional relationship between the UI device 400 and the element 100 specified by the positional relationship specifying unit 424 of the UI device 400 from the server via the communication unit 510.
  • the positional relationship conversion unit 523 converts information indicating the positional relationship between the UI device 400 and the element 100 received by the positional relationship receiving unit 522 into information indicating the positional relationship between the presentation device 500 and the element 100.
  • the positional relationship conversion unit 523 includes the target element 100 acquired by the imaging unit 515 (it may be an image including a common subject from a different viewpoint from the image acquired in the UI device 400). The positional relationship may be converted by using.
  • the positional relationship conversion unit 523 separately acquires an image acquired by the UI device 400 using the imaging unit 415 (may be acquired directly from the UI device 400 or via a server). By performing matching based on the subject with the image acquired by the imaging unit 515 to estimate the positional relationship of the viewpoint of each image, Based on this, the positional relationship between the UI device 400 and the element 100 may be converted into the positional relationship between the presentation device 500 and the element 100.
  • the positional relationship conversion is not limited to the method exemplified above, and various techniques used for matching images captured from different viewpoints can be used.
  • the presentation control unit 524 presents the setting information of the element 100 received by the setting information receiving unit 521 in association with the element 100. More specifically, for example, the presentation control unit 524 causes the setting information to be displayed in association with the element 100 on the display screen included in the output unit 530.
  • the specific method for displaying the element 100 and the setting information may be the same as the method described in the first embodiment.
  • FIG. 31 is a sequence diagram illustrating a first part of a process according to the second embodiment of the present disclosure. In FIG. 31, from the time when a signal request is transmitted from the UI device 400 to the element 100 until the identification information of the element 100 and the information indicating the positional relationship between the UI device 400 and the element 100 are transmitted to the server 200/300. Processing is shown.
  • the processing of S101 to S111 is the same as the processing of the first embodiment described above with reference to FIG.
  • the server 200/300 since the setting information of the element 100 is presented by the presentation device 500, the server 200/300 does not transmit the setting information of the element 100 extracted based on the identification information to the UI device 400. . Instead, the UI device 400 transmits information indicating the positional relationship between the UI device 400 specified in S111 and the element 100 to the server 200/300 in the same manner as the identification information (S201).
  • FIG. 32 is a sequence diagram illustrating a second part of the process according to the second embodiment of the present disclosure.
  • the server 200/300 transmits setting information and information indicating the positional relationship to the presentation device 500, and the presentation device 500 associates the setting information with the element 100. The process until it is presented is shown.
  • the server 200/300 has the setting information of the element 100 extracted based on the identification information transmitted from the UI device 400, and information indicating the positional relationship between the UI device 400 and the element 100; Are transmitted to the presentation device 500, respectively (S203, S205).
  • the positional relationship conversion unit 523 converts the information received in S205, that is, information indicating the positional relationship between the UI device 400 and the element 100 into information indicating the positional relationship between the presentation device 500 and the element 100.
  • the presentation control unit 524 presents setting information based on the positional relationship between the presentation device 500 and the element 100 acquired in S207 (S209). More specifically, the setting information is displayed on a display included in the output unit 530 of the presentation apparatus 500 or is projected by a projector included in the output unit 530.
  • FIG. 33 is a diagram for describing a modified example of the second embodiment of the present disclosure.
  • the element 100 that is one or more devices in the system 10 also functions as the presentation device 500. More specifically, in the illustrated example, a plurality of elements 100 exist in the vicinity of the UI device 400. At least some of these elements 100 also function as the presentation device 500.
  • Such an element 100 receives its own setting information from the manager 200 or the server 300 (not shown) via the communication unit 110. Furthermore, the element 100 outputs the received setting information via an output device such as a display, a speaker, or a lamp included in the function unit 130, for example. That is, in this modification, the setting information of the element 100 is presented by the element 100 itself.
  • the UI device 400 may be, for example, a tablet 400b as illustrated.
  • the tablet 400b detects that the element 100 is close by receiving a radio signal or a light emission signal output from the element 100. Further, the tablet 400b identifies the ID in the system 10 of the element 100 by decoding the received signal, and transmits the identified ID to the manager 200 or the server 300.
  • the transmitted ID specifies the target element 100 and can be said to be information indicating that the element 100 and the tablet 400b are close to each other (a kind of positional relationship).
  • the manager 200 or the server 300 Upon receiving the ID of the element 100, the manager 200 or the server 300 extracts the setting information of the element 100 based on the ID and transmits the setting information to the element 100 itself.
  • the element 100 outputs the received setting information via an output device such as a display, a speaker, or a lamp included in the function unit 130, for example.
  • a presentation device 500 different from the UI device 400 from which the element 100 receives an output signal causes the setting information to be presented in association with the element 100. Therefore, for example, the UI device 400 does not necessarily have to have an output device for displaying the setting information in association with the element 100, such as a display or a projector. Further, according to the modification in which the element 100 itself also functions as the presentation device 500, the setting information is associated with the corresponding element 100 without the UI device 400 necessarily specifying the detailed positional relationship with the element 100. Can be presented.
  • the server 200/300 is interposed between the UI device 400 and the presentation device 500.
  • the UI device 400 and the UI device 400 are not locally connected.
  • Information may be exchanged with the presentation device 500.
  • the UI device 400 may transmit the identification information or the setting information directly to the presentation device 500. Good.
  • FIG. 34 is a diagram illustrating a schematic configuration example of the third embodiment of the present disclosure.
  • the element 100 is connected to the manager 200 by Bluetooth (registered trademark), Wi-Fi, or the like, while continuously broadcasting the radio signal S1 (for example, (Advertising in Bluetooth).
  • the radio signal S1 for example, (Advertising in Bluetooth).
  • the UI device 400 receives the radio signal S1 output from the element (S301).
  • the UI device 400 decodes the radio signal S1 when the radio signal S1 exceeds a predetermined intensity, and acquires identification information (ID) of the element 100. Furthermore, the UI device 400 transmits the acquired identification information to the server 300 and inquires about the setting information of the element 100 (S303). In response to the inquiry, the server 300 sets information of the element 100, for example, information such as a name given to the element 100 in the system 10, a communication state between the element 100 and the manager 200, a remaining battery level of the element 100, and the like. Is transmitted to the UI device 400 (S305).
  • the UI screen 4600 is reflected and displayed on the display of the UI device 400.
  • an icon 4601 indicating the element 100 and a setting information display 4603 of the element 100 are displayed.
  • the icon 4601 and the setting information display 4603 are associated with each other by, for example, being displayed close to each other or linked together.
  • the UI device 400 does not necessarily acquire an image including the element 100.
  • the UI device 400 specifies that the UI device 400 and the element 100 are close to each other based on the radio signal S1 output from the UI device 400, and acquires the identification information of the element 100 by decoding the radio signal S1. Therefore, in the present embodiment, the UI device 400 may be a device that does not include an imaging unit.
  • the element 100 may not necessarily be visible from the viewpoint of the UI device 400.
  • the element 100 is disposed inside some object and may not be visible from the outside. Even in such a case, the element 100 is detected based on the radio signal S1, and the UI screen 4600 that displays the setting information of the element 100 using the icon 4601 is provided. Editing can be performed easily.
  • FIG. 35 is a block diagram illustrating a hardware configuration example of the information processing apparatus according to the embodiment of the present disclosure.
  • the illustrated information processing apparatus 900 can realize, for example, the element 100, the manager 200, the server 300, the UI apparatus 400, and / or the presentation apparatus 500 in the above-described embodiment.
  • the information processing apparatus 900 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing apparatus 900 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the information processing apparatus 900 may include an imaging device 933 and a sensor 935 as necessary.
  • the information processing apparatus 900 may include a processing circuit called DSP (Digital Signal Processor) or ASIC (Application Specific Integrated Circuit) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 900 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs and calculation parameters used by the CPU 901.
  • the RAM 905 primarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone that supports the operation of the information processing device 900.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901. The user operates the input device 915 to input various data and instruct processing operations to the information processing device 900.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly.
  • the output device 917 can be, for example, a display device such as an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL (Electro-Luminescence) display, an audio output device such as a speaker and headphones, and a printer device.
  • the output device 917 outputs the result obtained by the processing of the information processing device 900 as video such as text or an image, or outputs it as audio such as voice or sound.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 900.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905.
  • the drive 921 writes a record in the attached removable recording medium 927.
  • the connection port 923 is a port for directly connecting a device to the information processing apparatus 900.
  • the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 may be, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network 931 connected to the communication device 925 is a wired or wireless network, such as the Internet, a home LAN, infrared communication, radio wave communication, or satellite communication.
  • the imaging device 933 uses various members such as an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and a lens for controlling the formation of a subject image on the imaging element. It is an apparatus that images a real space and generates a captured image.
  • the imaging device 933 may capture a still image or may capture a moving image.
  • the sensor 935 is various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, and a sound sensor.
  • the sensor 935 acquires information about the state of the information processing apparatus 900 itself, such as the posture of the information processing apparatus 900, and information about the surrounding environment of the information processing apparatus 900, such as brightness and noise around the information processing apparatus 900, for example. To do.
  • the sensor 935 may include a GPS sensor that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the apparatus.
  • GPS Global Positioning System
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • the embodiment of the present disclosure is, for example, a terminal device, a system, an information presentation method executed by the terminal device or the system as described above, a program for causing the terminal device to function, and a non-temporary recording program It can include tangible media.
  • a terminal device A signal receiving unit for receiving a first signal output from one or more devices in the system; A positional relationship identifying unit that identifies a positional relationship between the terminal device and the one or more devices based on the first signal; An identification information extraction unit that extracts identification information in the system of the one or more devices from the first signal; A terminal device comprising: means for presenting setting information of the one or more devices in the system in association with the one or more devices based on the identification information and the positional relationship.
  • the means includes An identification information transmitting unit for transmitting the identification information to a server; A setting information receiving unit that receives setting information of the one or more devices specified based on the identification information from the server; The terminal device according to (1), further including a presentation control unit that presents the received setting information in association with the one or more devices.
  • the means includes An identification information transmitting unit for transmitting the identification information to a server; A positional relationship transmission unit that transmits information indicating the positional relationship to the server, The server provides the setting information of the one or more devices specified based on the identification information to a presentation device that presents the setting information in association with the one or more devices.
  • the terminal device described.
  • an operation accepting unit that accepts a setting change operation for the one or more devices;
  • An operation information transmission unit that transmits operation information corresponding to the setting change operation to a server,
  • the operation accepting unit accepts the setting change operation via a GUI (Graphical User Interface) provided on a display on which the one or more devices are displayed.
  • GUI Graphic User Interface
  • an operation receiving unit that receives a setting change operation for the one or more devices;
  • An operation information transmission unit that transmits operation information corresponding to the setting change operation to a server,
  • the operation accepting unit according to any one of (1) to (10), wherein the operation accepting unit accepts the setting change operation executed by a user via a NUI (Natural User Interface) with respect to the one or more devices.
  • Terminal equipment (12)
  • the signal receiving unit receives a second signal output from the one or more devices,
  • the terminal device A status information extraction unit that extracts status information of the one or more devices from the second signal;
  • the terminal device according to any one of (1) to (11), further comprising: a state information transmission unit that transmits the state information to a server.
  • the terminal device further includes an imaging unit that acquires an image including the one or more devices.
  • the first signal includes a light emission signal output by a light emitting element included in the one or more devices, The terminal device according to any one of (1) to (12), wherein the positional relationship specifying unit specifies the positional relationship by extracting the light emission signal from the image.
  • the first signal includes a radio signal transmitted by the one or more devices, The terminal device according to any one of (1) to (13), wherein the positional relationship specifying unit specifies the positional relationship based on an intensity of the radio signal.
  • the terminal device according to any one of (1) to (15), wherein the positional relationship specifying unit specifies a distance between the terminal device and the one or more devices.
  • a system including one or more devices and a terminal device, The one or more devices output a first signal; The terminal device A signal receiving unit for receiving the first signal; A positional relationship identifying unit that identifies a positional relationship between the terminal device and the one or more devices based on the first signal; An identification information extraction unit that extracts identification information in the system of the one or more devices from the first signal; A system for presenting setting information of the one or more devices in the system in association with the one or more devices based on the identification information and the positional relationship.
  • one or more devices in the system output a first signal;
  • a terminal device receiving the first signal;
  • a processing circuit is used to identify a positional relationship between the terminal device and the one or more devices based on the first signal, and from within the system of the one or more devices from the first signal Extracting the identification information of And presenting the setting information of the one or more devices in the system in association with the one or more devices based on the identification information and the positional relationship.
  • a program executed in a processing circuit of a terminal device A function of receiving a first signal output from one or more devices in the system; A function of identifying a positional relationship between the terminal device and the one or more devices based on the first signal; A function of extracting identification information in the system of the one or more devices from the first signal; A program for realizing, based on the identification information and the positional relationship, means for presenting setting information of the one or more devices in the system in association with the one or more devices.

Abstract

【課題】システムに登録されている機器の情報と実際の機器とを対応付けて認識することを容易にする。 【解決手段】端末装置であって、システム内の１または複数の装置から出力される第１の信号を受信する信号受信部と、上記第１の信号に基づいて上記端末装置と上記１または複数の装置との位置関係を特定する位置関係特定部と、上記第１の信号から上記１または複数の装置の上記システム内での識別情報を抽出する識別情報抽出部と、上記識別情報および上記位置関係に基づいて、上記１または複数の装置の上記システム内での設定情報を上記１または複数の装置に関連付けて提示するための手段とを備える端末装置が提供される。

Description

端末装置、システム、情報提示方法およびプログラム
　本開示は、端末装置、システム、情報提示方法およびプログラムに関する。
　家庭などにある複数の機器を連携して機能させることは、既に一般的である。例えば、特許文献１には、機器連携によって実現される機能の利用を効果的に支援するための技術が記載されている。
特開２０１４－３２５０１号公報
　上記の特許文献１に記載された技術では、スマートフォンの画面に表示されるコンソールを用いて、システムへの機器の登録などの操作が実行される。ただし、特許文献１に記載された技術では、連携して機能する対象が、例えばテレビ、レコーダ、ゲーム機、またはパーソナルコンピュータなどであるために、システムに登録されている機器の情報と、実際の機器とを対応付けて認識することは容易である。
　一方、例えば、連携して機能する複数の機器が、互いに類似した外見を有していたり、設置場所を自由に移動させることが可能であったり、同じ種類の複数の機器を含んでいたりする場合、システムに登録されている機器の情報と、実際の機器とを対応付けて認識することは必ずしも容易ではない。このような場合、例えば上記の特許文献１に記載されたような技術は、ユーザに十分な利便性を提供することが難しい場合がある。
　そこで、本開示では、システムに登録されている機器の情報と実際の機器とを対応付けて認識することを容易にする、新規かつ改良された端末装置、システム、情報提示方法およびプログラムを提案する。
　本開示によれば、端末装置であって、システム内の１または複数の装置から出力される第１の信号を受信する信号受信部と、上記第１の信号に基づいて上記端末装置と上記１または複数の装置との位置関係を特定する位置関係特定部と、上記第１の信号から上記１または複数の装置の上記システム内での識別情報を抽出する識別情報抽出部と、上記識別情報および上記位置関係に基づいて、上記１または複数の装置の上記システム内での設定情報を上記１または複数の装置に関連付けて提示するための手段とを備える端末装置が提供される。
　また、本開示によれば、１または複数の装置と、端末装置とを含むシステムであって、上記１または複数の装置は、第１の信号を出力し、上記端末装置は、上記第１の信号を受信する信号受信部と、上記第１の信号に基づいて上記端末装置と上記１または複数の装置との位置関係を特定する位置関係特定部と、上記第１の信号から上記１または複数の装置の上記システム内での識別情報を抽出する識別情報抽出部と、上記識別情報および上記位置関係に基づいて、上記１または複数の装置の上記システム内での設定情報を上記１または複数の装置に関連付けて提示するための手段とを備えるシステムが提供される。
　また、本開示によれば、システム内の１または複数の装置が第１の信号を出力することと、端末装置が上記第１の信号を受信することと、処理回路を用いて、上記第１の信号に基づいて上記端末装置と上記１または複数の装置との位置関係を特定するとともに、上記第１の信号から上記１または複数の装置の上記システム内での識別情報を抽出することと、上記識別情報および上記位置関係に基づいて、上記１または複数の装置の上記システム内での設定情報を上記１または複数の装置に関連付けて提示することとを含む情報提示方法が提供される。
　また、本開示によれば、端末装置の処理回路において実行されるプログラムであって、システム内の１または複数の装置から出力される第１の信号を受信する機能と、上記第１の信号に基づいて上記端末装置と上記１または複数の装置との位置関係を特定する機能と、上記第１の信号から上記１または複数の装置の上記システム内での識別情報を抽出する機能と、上記識別情報および上記位置関係に基づいて、上記１または複数の装置の上記システム内での設定情報を上記１または複数の装置に関連付けて提示するための手段とを実現するプログラムが提供される。
　以上説明したように本開示によれば、システムに登録されている機器の情報と実際の機器とを対応付けて認識することを容易にすることができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る技術を適用することが可能なシステムの概略的な構成を示す図である。 図１に示されたシステムの第１の具体的な構成例を示す図である。 図１に示されたシステムの第２の具体的な構成例を示す図である。 図１に示されたシステムの第３の具体的な構成例を示す図である。 図１に示されたシステムの第４の具体的な構成例を示す図である。 図１に示されたシステムの第５の具体的な構成例を示す図である。 図１に示されたシステムの第６の具体的な構成例を示す図である。 図１に示されたシステムの第７の具体的な構成例を示す図である。 図１に示されたシステムの第８の具体的な構成例を示す図である。 図１に示されたシステムにおいて提供されるＵＩの第１の例を示す図である。 図１に示されたシステムにおいて提供されるＵＩの第２の例を示す図である。 図１に示されたシステムにおけるエレメントの連係動作の第１の具体的な例について説明するための図である。 図１に示されたシステムにおけるエレメントの連係動作の第２の具体的な例について説明するための図である。 図１に示されたシステムにおけるエレメントの連係動作の第３の具体的な例について説明するための図である。 図１に示されたシステムにおけるエレメントの連係動作の第４の具体的な例について説明するための図である。 図１に示されたシステムにおけるエレメントの連係動作の第５の具体的な例について説明するための図である。 図１に示されたシステムにおけるエレメントの連係動作の第６の具体的な例について説明するための図である。 本開示の第１の実施形態の概略的な構成例を示す図である。 図１８に示す例における設定情報の表示の例を示す図である。 図１８に示す例において、ユーザが設定変更操作を実行している状態を示す図である。 図２０に示す例における設定情報の変更表示の例を示す図である。 本開示の第１の実施形態に係るＵＩ装置の機能構成例を示すブロック図である。 本開示の第１の実施形態に係るエレメントの機能構成例を示すブロック図である。 本開示の第１の実施形態における処理の第１の部分を示すシーケンス図である。 本開示の第１の実施形態における処理の第２の部分を示すシーケンス図である。 本開示の第１の実施形態における処理の第３の部分を示すシーケンス図である。 本開示の第１の実施形態の変形例について説明するための図である。 本開示の第２の実施形態の概略的な構成例を示す図である。 本開示の第２の実施形態に係るＵＩ装置の機能構成例を示すブロック図である。 本開示の第２の実施形態に係る提示装置の機能構成例を示すブロック図である。 本開示の第２の実施形態における処理の第１の部分を示すシーケンス図である。 本開示の第２の実施形態における処理の第２の部分を示すシーケンス図である。 本開示の第２の実施形態の変形例について説明するための図である。 本開示の第３の実施形態の概略的な構成例を示す図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．適用可能なシステムの例
　　１－１．概略的な構成
　　１－２．具体的な構成例
　　１－３．ユーザインターフェースの例
　　１－４．連係動作の例
　２．本開示の実施形態
　　２－１．第１の実施形態
　　２－２．第２の実施形態
　　２－３．第３の実施形態
　３．ハードウェア構成
　４．補足
　（１．適用可能なシステムの例）
　（１－１．概略的な構成）
　図１は、本開示の実施形態に係る技術を適用することが可能なシステムの概略的な構成を示す図である。図１を参照すると、システム１０は、エレメント１００と、マネージャ２００と、サーバ３００と、ＵＩ（User　Interface）装置４００とを含む。これらの装置は、ネットワークＮＷで互いに接続されている。ネットワークＮＷは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、インターネットなどを含みうる。なお、以下では一例としてシステム１０について説明するが、本開示の実施形態に係る技術は他の様々なシステムにおいても適用可能である。
　エレメント１００は、通信部１１０と、制御部１２０と、機能部１３０と、電源部１４０とを含む装置である。通信部１１０は、マネージャ２００および／または他のエレメント１００と、ネットワークＮＷを介して通信する通信装置を含む。制御部１２０は、例えばマイクロコントローラやＣＰＵ（Central　Processing　Unit）などによって実現され、機能部１３０を制御する。機能部１３０は、例えばセンサやアクチュエータなどを含み、それぞれのエレメント１００に固有の機能を実現する。電源部１４０は、バッテリーや電源プラグなどを含み、通信部１１０、制御部１２０、および機能部１３０を動作させるための電源を供給する。なお、エレメント１００以外の装置も電源部を有するが、図示は省略されている。
　マネージャ２００は、通信部２１０と、制御部２２０と、記憶部２３０とを含む装置である。通信部２１０は、エレメント１００、サーバ３００およびＵＩ装置４００と、ネットワークＮＷを介して通信する通信装置を含みうる。制御部２２０は、例えばマイクロコントローラやＣＰＵなどによって実現され、通信部２１０を介して、エレメント１００同士の間、およびエレメント１００とサーバ３００との間の通信を制御する。制御部２２０には、演算部２２１が含まれうる。演算部２２１は、エレメント１００から受信された情報や、エレメント１００に送信する情報、サーバ３００に送信する情報、サーバ３００から受信された情報などについての演算を実施する。記憶部２３０は、メモリまたはストレージを含み、制御部２２０が制御する通信によってやりとりされる情報や、演算部２２１によって算出された情報などを格納する。
　サーバ３００は、通信部３１０と、制御部３２０と、記憶部３３０とを含む。通信部３１０は、マネージャ２００とネットワークＮＷを介して通信する通信装置を含む。制御部３２０は、例えばマイクロコントローラやＣＰＵなどによって実現され、演算部３２１、およびＵＩ提供部３２３を含みうる。演算部３２１は、エレメント１００またはマネージャ２００から受信された情報や、エレメント１００またはマネージャ２００に送信する情報、他のサーバから受信された情報、他のサーバに送信する情報などについての演算を実施する。ＵＩ提供部３２３は、ユーザがエレメント１００および／またはマネージャ２００の組み合わせを指定したり、各種の情報を確認したりするためのＵＩを提供する。ＵＩは、例えば、ＵＩ装置４００の入出力部４３０に含まれるディスプレイおよびタッチパネルなどを介して提供される。記憶部３３０は、メモリまたはストレージを含み、エレメント１００に関する各種の情報や、複数のエレメント１００を組み合わせて動作させるためのプログラム、エレメント１００と組み合わせられるソフトウェア、演算部３２１によって算出された情報などを格納する。
　ここで、サーバ３００の記憶部３３０には、例えばシステム１０内のエレメント１００の識別情報（ＩＤ）が格納される。エレメント１００は、システム１０に随時追加されうる。また、記憶部３３０には、複数のエレメント１００を組み合わせて動作させるためのプログラムも格納される。プログラムは、例えばユーザや、開発者、システム管理者によって随時追加されうる。さらに、記憶部３３０には、ソフトウェアが格納される。ソフトウェアは、例えば、エレメント１００と組み合わせて実行されることによって機能を実現する。あるいは、ソフトウェア同士が組み合わせて実行されることによって機能を実現してもよい。ソフトウェアが実現する機能は、例えば、音声や画像などの素材提供、タイマー、カレンダー、画像認識や音声認識などの解析機能、天気予報やニュースなどのような外部サービスからの情報取得機能などを含みうる。ソフトウェアは、例えばユーザや、開発者、システム管理者によって随時追加されうる。
　一方、サーバ３００のＵＩ提供部３２３は、例えば、ＵＩ装置４００の入出力部４３０に含まれるディスプレイおよびタッチパネルなどを介してＵＩを提供する。ユーザは、このＵＩを介して、例えば、複数のエレメント１００を組み合わせて動作させるためのプログラムを、エレメント１００またはマネージャ２００にプリインストールされたプログラムや、サーバ３００によって提供されるプログラムなどの中から選択することができる。また、上記のＵＩを介して、ユーザは、複数のエレメント１００の組み合わせや、エレメント１００とソフトウェアとの組み合わせ、複数のソフトウェアの組み合わせを指定することもできる。指定された組み合わせがプログラムとしてサーバ３００の記憶部３３０に保存され、このプログラムがエレメント１００とソフトウェアとによって実行されることによって、ユーザは所望のアプリケーションを得ることができる。
　ＵＩ装置４００は、通信部４１０と、制御部４２０と、入出力部４３０とを含む装置である。通信部４１０は、マネージャ２００およびサーバ３００とネットワークＮＷを介して通信する通信装置を含みうる。制御部４２０は、例えばマイクロコントローラやＣＰＵなどによって実現され、入出力部４３０を制御するとともに、通信部４１０を介した情報のやりとりを制御する。入出力部４３０は、例えばディスプレイ、スピーカ、およびタッチパネルなどを含み、ＵＩを介してユーザに各種の情報を提示するとともに、ユーザからの操作入力を受け付ける。
　（１－２．具体的な構成例）
　　（第１の例）
　図２は、図１に示されたシステムの第１の具体的な構成例を示す図である。図２を参照すると、システム１０ａは、エレメント１００として機能する第１のタブレットと、エレメント１００、マネージャ２００、およびＵＩ装置４００として機能する第２のタブレットと、サーバ３００とを含む。
　第１および第２のタブレットは、いずれも同じように、ディスプレイ、タッチパネル、ＣＰＵ、センサなどを含む。システム１０ａでは、２つのタブレットのうちの一方が、エレメント１００、マネージャ２００、およびＵＩ装置４００としても機能し、他方がエレメント１００として機能する。これらのタブレットの役割は互換的であってもよく、状況に応じてマネージャ２００やＵＩ装置４００として機能するタブレットが変更されてもよい。システム１０ａでは、例えば、タブレットが有する各種のセンサを利用して、２つのタブレットを組み合わせて動作させ、ユーザが所望する機能を実現することができる。
　なお、図２に示した例における第１および第２のタブレットは、エレメント１００として機能するための機能部１３０（センサなど）と、マネージャ２００として機能するための制御部２２０（ＣＰＵなど）とを有する端末装置の例である。こうした端末装置はタブレットには限られず、スマートフォンなどの他の装置であってもよい。また、システム１０ａに含まれる端末装置の数は図示された例には限られず、例えば３つ以上であってもよい。
　　（第２の例）
　図３は、図１に示されたシステムの第２の具体的な構成例を示す図である。図３を参照すると、システム１０ｂは、エレメント１００ａ～１００ｇと、マネージャ２００およびＵＩ装置４００として機能するタブレットと、サーバ３００とを含む。
　システム１０ｂでは、タブレットがマネージャ２００およびＵＩ装置４００として機能する。上記の第１の例と同様に、タブレットは、スマートフォンなどの他の装置によって代替されてもよい。図示された例では、エレメント１００が、加速度センサ１００ａ、カメラ１００ｂ、人感センサ１００ｃ、ボタン１００ｄ、スピーカ１００ｅ、ＬＥＤ（Light　Emitting　Diode）ランプ１００ｆ、マイクロフォン１００ｇを含む。それぞれのエレメント１００は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信によってタブレットと通信し、タブレットが実現するマネージャ２００の制御に従って連係動作する。
　なお、以下の例では、エレメント１００の例として、加速度センサ１００ａ～マイクロフォン１００ｇの一部または全部が図示されるが、これはそれぞれの例において用いられるエレメント１００の種類を限定することを意図したものではない。それぞれの例において、システム１０は、加速度センサ１００ａ～マイクロフォン１００ｇのうちのいずれか、またはそれ以外の任意の種類のエレメント１００を含みうる。
　　（第３の例）
　図４は、図１に示されたシステムの第３の具体的な構成例を示す図である。図４を参照すると、システム１０ｃは、エレメント１００と、マネージャ２００と、ＵＩ装置４００として機能するタブレットと、サーバ３００とを含む。
　システム１０ｃでは、マネージャ２００が、ＵＩ装置４００として機能するタブレットとは別に存在する。マネージャ２００は、例えば専用の装置によって実現されてもよいし、Ｗｉ－Ｆｉなどの基地局の機能の１つとして実現されてもよい。上記の第１および第２の例と同様に、ＵＩ装置４００として機能するタブレットは、スマートフォンなどの他の装置によって代替されてもよい。マネージャ２００とタブレットとは、それぞれ独立してサーバ３００と通信可能でありうる。また、タブレットが提供するＵＩを介してシステム１０ｃの設定が変更された場合、タブレットはＷｉ－Ｆｉなどを介して直接的にマネージャ２００に設定情報を送信してもよい。
　また、図４の例では、マネージャ２００とエレメント１００との間の通信に、Ｂｌｕｅｔｏｏｔｈ（登録商標）だけではなくＷｉ－Ｆｉも利用されることが示されている。また、離れた場所にあるエレメント１００との接続のために、Ｗｉ－Ｆｉなどによるメッシュネットワーク中継器ＮＷ＿ｍが利用されている。図示された第３の例に限らず、他の例でも、エレメント１００とマネージャ２００、および／またはエレメント１００同士の間の通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ－Ｆｉなど、各種の無線通信が用いられうる。
　　（第４の例）
　図５は、図１に示されたシステムの第４の具体的な構成例を示す図である。図５を参照すると、システム１０ｄは、一部がマネージャ２００としても機能するエレメント１００と、ＵＩ装置４００として機能するタブレットと、サーバ３００とを含む。
　システム１０ｄでは、上記の第１～第３の例とは異なり、エレメント１００のうちの少なくとも１つがマネージャ２００としても機能する。また、システム１０ｄでは、エレメント１００同士がＢｌｕｅｔｏｏｔｈ（登録商標）などによってメッシュネットワークを形成している。このような構成によって、システム１０ｄでは、サーバ３００およびＵＩ装置４００（タブレット）との通信が一時的に切断されたような場合でも、エレメント１００が自律的に連係動作することが可能である。
　　（第５の例）
　図６は、図１に示されたシステムの第５の具体的な構成例を示す図である。図６を参照すると、システム１０ｅは、一部がマネージャ２００としても機能するエレメント１００と、ＵＩ装置４００として機能するタブレットと、サーバ３００とを含む。システム１０ｅは、上記の第３の例に係るシステム１０ｃにおいて、マネージャ２００をいずれかのエレメント１００に取り込んだ例である。
　　（第６の例）
　図７は、図１に示されたシステムの第６の具体的な構成例を示す図である。図７を参照すると、システム１０ｆは、エレメント１００と、マネージャ２００ａ，２００ｂと、ＵＩ装置４００として機能するタブレットと、サーバ３００とを含む。システム１０ｆは、上記の第３の例に係るシステム１０ｃにおいて、マネージャ２００を複数配置した例である。それぞれのエレメント１００は、例えば、マネージャ２００ａ，２００ｂのうち位置的に近い方に接続されうる。また、複数のマネージャ２００ａ，２００ｂの間では、エレメント１００の接続状態や、エレメント１００を連係動作させるためのプログラムが、必要に応じて、または定期的に同期される。
　　（第７の例）
　図８は、図１に示されたシステムの第７の具体的な構成例を示す図である。図８を参照すると、システム１０ｇは、エレメント１００と、マネージャ２００ａと、マネージャ２００ｂおよびＵＩ装置４００として機能するタブレットと、サーバ３００とを含む。システム１０ｇは、上記の第６の例に係るシステム１０ｆにおいて、マネージャ２００ｂの機能をタブレットに統合した例である。それぞれのエレメント１００は、例えば、マネージャ２００ａ、またはタブレットのうち位置的に近い方に接続されうる。また、マネージャ２００ａとタブレットとの間では、エレメント１００の接続状態や、エレメント１００を連係動作させるためのプログラムが、必要に応じて、または定期的に同期される。
　　（第８の例）
　図９は、図１に示されたシステムの第８の具体的な構成例を示す図である。図９を参照すると、システム１０ｈは、エレメント１００と、ＵＩ装置４００として機能するタブレットと、マネージャ２００としても機能するサーバ３００とを含む。システム１０ｈは、上記の第２の例に係るシステム１０ｂにおいて、マネージャ２００の機能をサーバ３００に取り込んだ例である。それぞれのエレメント１００は、例えば、移動体通信網などを介して、直接的にサーバ３００と通信する。
　以上、図１に示されたシステム１０のいくつかの具体的な構成例について説明した。なお、システム１０の具体的な構成例は、以上で説明した例には限られず、これらの例に基づいて当業者には明らかに理解される各種の変形例を含みうる。
　（１－３．ユーザインターフェースの例）
　図１０は、図１に示されたシステムにおいて提供されるＵＩの第１の例を示す図である。図１０を参照すると、ＵＩ装置４００として機能する端末装置のディスプレイに表示される画面４１００は、ユーザプロファイル４１０１と、プログラム一覧タブ４１０３と、エレメント一覧タブ４１０５とを含む。図示された例では、プログラム一覧タブ４１０３が選択されているため、プログラムリスト４１０７が表示されている。プログラムリスト４１０７は、プログラムアイコン４１０９と、使用エレメントアイコン４１１１と、説明４１１３とを含む。画面４１００は、例えば、ユーザがシステム１０によって提供されるサービスを利用するときのポータル画面として表示されうる。
　図１１は、図１に示されたシステムにおいて提供されるＵＩの第２の例を示す図である。図１１を参照すると、ＵＩ装置４００として機能する端末装置のディスプレイに表示される画面４２００は、ツールバー４２０１と、キャンバス４２０３と、トレー４２０５とを含む。画面４２００は、例えば、システム１０においてエレメント１００を連係動作させるためのプログラムの編集に利用される。ツールバー４２０１には、「保存」や「やり直し」などの機能ボタンが配置される。キャンバス４２０３には、エレメントアイコン４２０７や、詳細情報アイコン４２０９、リンク４２１１を配置または描画することが可能である。これらのアイコンやリンクによって、連係動作に使用されるエレメント１００と、それぞれのエレメント１００が実行する処理、エレメント１００同士の関係を設定および確認することができる。さらに、キャンバス４２０３には、エレメントプロパティボックス４２１３が配置され、例えばエレメントアイコン４２０７として配置されているエレメント１００の属性や状態を表示する。トレー４２０５には、キャンバス４２０３に配置することによってプログラムに組み込むことが可能なエレメント１００やソフトウェアなどがアイコンとして表示される。
　なお、図１０および図１１を参照して説明したＵＩは一例にすぎず、本実施形態ではさまざまな形態のＵＩが提供されうる。例えば、図１１を参照して説明したプログラムの編集のための画面では、ビジュアルプログラミングのための画面において用いられる各種のＵＩを応用することができる。
　（１－４．連係動作の例）
　以下、図１に示されたシステムにおけるエレメントの連係動作の具体的な例について、さらに説明する。なお、以下の説明では、理解を容易にするために、エレメント１００を連係動作させるためのプログラムを視覚的に表現した図が参照される。なお、これらの図は、ＵＩ装置４００によって提供されるＵＩ（例えば、図１１で画面４２００として例示されたＵＩ）とは必ずしも関係がない。以下で説明されるソフトウェアは、エレメント１００（ハードウェアエレメント）と同様のエレメント（ソフトウェアエレメント）として提供されてもよいし、エレメント１００の機能または動作の一部として提供されてもよい。
　　（第１の具体的な例）
　図１２は、図１に示されたシステムにおけるエレメントの連係動作の第１の具体的な例について説明するための図である。図１２を参照すると、本例では、エレメント１００のうち、加速度センサ１００ａと、カメラ１００ｂとが使用される。例えば、加速度センサ１００ａは冷蔵庫のドアに取り付けられ、カメラ１００ｂは、冷蔵庫の庫内を映すことのできる位置に取り付けられる。図示された例において、加速度センサ１００ａからカメラ１００ｂに向かうリンク６０１は、「加速度センサ１００ａの検出値に基づいてカメラ１００ｂが撮影を実行する」ことを意味する。さらに、図示された例では、カメラ１００ｂの動作として「撮影した画像をサーバにアップロードする」ことが指定されている。
　さらに、図示された例では、加速度に基づいてドアが開いたことを検出するためのソフトウェア６０３ａが使用されている。ソフトウェア６０３ａは、例えばマネージャ２００の演算部２２１で実行され、加速度センサ１００ａの検出値の解析結果に基づいて、冷蔵庫のドアが開いたことを判定する。ソフトウェア６０３ａが導入されることによって、リンク６０１は「加速度センサ１００ａの検出値に基づいて、冷蔵庫のドアが開いたことが判定された場合に、カメラ１００ｂが撮影を実行する」という処理になる。
　以上のようなプログラムの設定によって、本例では、冷蔵庫のドアが開いたときにカメラ１００ｂが撮影した画像が、サーバにアップロードされる。ユーザは、アップロードされた画像を閲覧することによって、冷蔵庫の内容物の変化や、最新の在庫状況を把握することができる。
　ここで、冷蔵庫のドアが開いたことを検出したいのであれば、磁気などを用いた開閉検出専用のセンサを使用することもできる。しかし、本例では、ソフトウェア６０３ａを導入することによって、加速度センサ１００ａを利用してドアが開いたことを検出することを可能にしている。従って、冷蔵庫のドアが開いたことを検出するために、専用のセンサではなく、例えばそれまで別の用途で使用していた加速度センサ１００ａを流用することができる。また、冷蔵庫のドアが開いたことを検出することがもはや必要ではなくなった場合には、他の用途に加速度センサ１００ａを転用することができる。このように、本実施形態では、ソフトウェアや他のエレメント１００との組み合わせを変更することによって、同じエレメント１００を多様な用途で活用することができる。
　　（第２の具体的な例）
　図１３は、図１に示されたシステムにおけるエレメントの連係動作の第２の具体的な例について説明するための図である。図１３を参照すると、本例では、エレメント１００のうち、加速度センサ１００ａと、ボタン１００ｄとが使用される。例えば、加速度センサ１００ａはトイレのドアに取り付けられ、ボタン１００ｄは洗面所に取り付けられる。図示された例では、さらに、加速度に基づいてドアが開いたことを検出するためのソフトウェア６０３ａと、提供されたデータを記録するソフトウェア６０３ｂとが使用されている。加速度センサ１００ａからソフトウェア６０３ａを経てソフトウェア６０３ｂに向かうリンク６０１は、「加速度センサ１００ａの検出値に基づいてドアが開いたことが判定されたことを、ソフトウェア６０３ｂが記録する」ことを意味する。また、ボタン１００ｄからソフトウェア６０３ｂに向かうリンク６０１は、「ボタン１００ｄから信号が出力されたことをソフトウェア６０３ｂが記録する」ことを意味する。
　以上のようなプログラムの設定によって、本例では、ユーザが洗面所でボタン１００ｄを押下した時刻と、トイレのドアを開いた時刻とが、ログとして記録される。例えば、ユーザが起床後に洗面所で顔を洗うときにボタン１００ｄを押すことに決めれば、ボタン１００ｄが押下された時刻を起床時刻として記録することができる。このようなログから、例えば、毎日の起床時刻とトイレに行った時刻との変化を時系列で参照することができ、ユーザの生活リズムの改善などに役立てることができる。
　　（第３の具体的な例）
　図１４は、図１に示されたシステムにおけるエレメントの連係動作の第３の具体的な例について説明するための図である。図１４を参照すると、本例では、エレメント１００のうち、加速度センサ１００ａと、人感センサ１００ｃとが使用される。例えば、加速度センサ１００ａは椅子に取り付けられ、人感センサ１００ｃは椅子の前の机に取り付けられる。図示された例では、さらに、加速度センサ１００ａと人感センサ１００ｃとの検出結果に基づいて、ユーザが椅子に座っていた時間を記録するためのソフトウェア６０３ｃが使用されている。加速度センサ１００ａからソフトウェア６０３ｃに向かうリンク６０１は、「加速度センサ１００ａの検出値をソフトウェア６０３ｃに提供する」ことを意味する。また、人感センサ１００ｃからソフトウェア６０３ｃに向かうリンク６０１は、「人感センサ１００ｃの検出値をソフトウェア６０３ｃに提供する」ことを意味する。
　以上のようなプログラムの設定によって、本例では、ユーザが椅子に座っていた時間が記録される。この記録に基づいて、ユーザは、職場などで座っている時間を把握し、連続して座っている時間が長すぎるようであれば休憩をとったりすることができる。あるいは、ソフトウェア６０３ｃの検出結果に基づいてスマートフォンなどからアラートを出力するソフトウェアがさらに組み合わされ、ユーザが所定の時間を超えて連続して座っている場合にはスマートフォンなどからアラートを出力して休憩をとることを促してもよい。
　　（第４の具体的な例）
　図１５は、図１に示されたシステムにおけるエレメントの連係動作の第４の具体的な例について説明するための図である。図１５を参照すると、本例では、エレメント１００のうち、加速度センサ１００ａと、スピーカ１００ｅと、ＬＥＤランプ１００ｆとが使用される。例えば、加速度センサ１００ａ、スピーカ１００ｅ、ＬＥＤランプ１００ｆは、それぞれ、ユーザ（例えば子供）の身体の適切な部位に取り付けられる。なお、加速度センサ１００ａは、複数用いられてもよい。図示された例では、さらに、加速度のパターンに応じて効果音を再生するソフトウェア６０３ｄと、同じく加速度のパターンに応じて所定のパターンでランプを点滅させるソフトウェア６０３ｅとが示されている。なお、これらのソフトウェア６０３が扱う加速度のパターンは、単一の加速度波形のパターンであってもよいし、複数の加速度波形の組み合わせのパターンであってもよい。加速度センサ１００ａからは、ソフトウェア６０３ｄ，６０３ｅのそれぞれに向かってリンク６０１が設定されている。これらのリンク６０１は、「ソフトウェア６０３ｄ，６０３ｅのそれぞれに加速度センサ１００ａの検出値を提供する」ことを意味する。さらに、ソフトウェア６０３ｄからはスピーカ１００ｅに、ソフトウェア６０３ｅからはＬＥＤランプ１００ｆに、それぞれリンク６０１が設定されている。これらのリンク６０１は、「ソフトウェア６０３ｄによって提供される音声信号に従ってスピーカ１００ｅが音声を出力すること」および「ソフトウェア６０３ｅによって提供される信号に従ってＬＥＤランプ１００ｄが発光すること」を意味する。
　以上のようなプログラムの設定によって、本例では、ユーザ（例えば子供）が手足を特定のパターンで動かすと、スピーカ１００ｅから効果音が出力されたり、ＬＥＤランプ１００ｆが発光したりする。これによって、例えば子供がスーパーヒーローになりきって遊ぶときに、効果音や光を加えてエキサイティングな体験をすることができる。
　　（第５の具体的な例）
　図１６は、図１に示されたシステムにおけるエレメントの連係動作の第５の具体的な例について説明するための図である。図１６を参照すると、本例では、エレメント１００のうち、加速度センサ１００ａと、人感センサ１００ｃと、カメラ１００ｂと、ＬＥＤランプ１００ｆとが使用される。例えば、加速度センサ１００ａ、人感センサ１００ｃ、およびカメラ１００ｂは庭のえさ台（bird　table）に取り付けられ、ＬＥＤランプ１００ｆは家の中に取り付けられる。図示された例では、さらに、加速度センサ１００ａと人感センサ１００ｃとの検出結果に基づいて、えさ台に鳥がとまったことを判定するためのソフトウェア６０３ｆが示されている。加速度センサ１００ａおよび人感センサ１００ｃからは、それぞれソフトウェア６０３ｆに向かってリンク６０１が設定されている。加速度センサ１００ａからのリンク６０１は、「加速度センサ１００ａの検出値をソフトウェア６０３ｆに提供する」ことを意味する。また、人感センサ１００ｃからからのリンク６０１は、「人感センサ１００ｃの検出値をソフトウェア６０３ｆに提供する」ことを意味する。さらに、ソフトウェア６０３ｆからカメラ１００ｂおよびＬＥＤランプ１００ｆに向かうリンク６０１が設定されている。カメラ１００ｂへのリンク６０１は「ソフトウェア６０３ｆの出力に基づいてカメラ１００ｂが撮影を実行する」ことを意味する。ＬＥＤランプ１００ｆへのリンクは「ソフトウェア６０３ｆの出力に基づいてＬＥＤランプ１００ｆを発光させる」ことを意味する。
　以上のようなプログラムの設定によって、本例では、えさ台に鳥がとまったときに自動的にカメラ１００ｂによって静止画または動画が撮影され、どのような鳥が来たかを知ることができる。また、えさ台に鳥がとまったときに家の中のＬＥＤランプ１００ｆが発光することによって、庭に出て実際に来ている鳥を観察することができる。
　　（第６の具体的な例）
　図１７は、図１に示されたシステムにおけるエレメントの連係動作の第６の具体的な例について説明するための図である。図１７を参照すると、本例では、エレメント１００のうち、ボタン１００ｄと、スピーカ１００ｅとが使用される。例えば、スピーカ１００ｅが寝室に配置され、ボタン１００ｄが洗面所に配置される。図示された例では、さらに、目覚ましアラームのソフトウェア６０３ｇが示されている。ソフトウェア６０３ｇからは、スピーカ１００ｅにリンク６０１が設定されている。このリンク６０１は、「ソフトウェア６０３が設定時刻になったら出力する音声信号に従って、スピーカ１００ｅが音声を出力する」ことを意味する。また、ボタン１００ｄからは、ソフトウェア６０３ｇにリンク６０１が設定されている。このリンク６０１は、「ボタン１００ｄが押下されたら、ソフトウェア６０３ｇによる音声信号の出力を停止する」ことを意味する。
　以上のようなプログラムの設定によって、本例では、寝室に配置されたスピーカ１００ｅから出力される目覚ましアラームの音が、洗面所のボタン１００ｄを押下するまで止まらなくなる。これによって、寝たままアラームを止めてしまうといったような事態が生じにくくなり、予定した時刻に確実に目覚めることができる。
　（２．本開示の実施形態）
　（２－１．第１の実施形態）
　　（概要）
　図１８は、本開示の第１の実施形態の概略的な構成例を示す図である。図１８では、システム１０内の１または複数の装置の例としてボタン１００ｄおよびＬＥＤランプ１００ｆが、ＵＩ装置４００の例としてカメラ付きプロジェクタ４００ａ、カメラ付きタブレット４００ｂ、およびカメラ付きスマートグラス４００ｃが、それぞれ示されている。
　図示された例では、プロジェクタ４００ａ、タブレット４００ｂ、またはスマートグラス４００ｃ（以下、一般化してＵＩ装置４００ともいう）が備えるカメラ（必ずしも図示されていない）によって、ボタン１００ｄおよびＬＥＤランプ１００ｆを含む画像が取得されている。しかしながら、画像を取得するだけでは、ボタン１００ｄおよびＬＥＤランプ１００ｆが、システム１０内でどのような装置であるか、より具体的には、ボタン１００ｄおよびＬＥＤランプ１００ｆが、マネージャ２００、サーバ３００、および他のエレメント１００によってどのように識別され、どのような連係動作に組み込まれているのか、といったような情報は特定することが困難である。
　そこで、本実施形態において、ボタン１００ｄおよびＬＥＤランプ１００ｆは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などによる無線信号Ｓ１を出力している。無線信号Ｓ１は、例えば、ＵＩ装置４００が近傍にあるエレメント１００に対して送信するリクエストに呼応して出力されてもよいし、リクエストの有無に関わらず定期的に出力されてもよい。無線信号Ｓ１は、ボタン１００ｄおよびＬＥＤランプ１００ｆのシステム１０内でのＩＤ（識別情報）をコード化した部分を含む。ＵＩ装置４００は、受信した無線信号Ｓ１をデコードすることによって、ボタン１００ｄおよびＬＥＤランプ１００ｆのシステム１０内でのＩＤを特定することができる。
　一方、図示された例のように、ＵＩ装置４００から同じぐらいの距離に複数のエレメント１００が配置されているような場合、無線信号Ｓ１を受信しただけでは、画像に含まれる装置の中でどちらがボタン１００ｄで、どちらがＬＥＤランプ１００ｆかを識別することが難しい。この識別のために、ボタン１００ｄおよびＬＥＤランプ１００ｆがそれぞれ発光素子を有し、発光信号を出力することによって装置の識別を可能にしてもよい。例えば、ボタン１００ｄおよびＬＥＤランプ１００ｆは、無線信号Ｓ１と同期して発光信号を出力してもよい。この場合、ボタン１００ｄおよびＬＥＤランプ１００ｆは、無線信号Ｓ１を出力している間、並行して発光信号を出力する。これによって、ＵＩ装置４００は、画像の中で発光信号を出力している装置を、無線信号Ｓ１を出力している装置として特定することができる。
　あるいは、ボタン１００ｄおよびＬＥＤランプ１００ｆは、無線信号Ｓ１の代わりに発光信号を出力してもよい。この場合、発光信号は、ボタン１００ｄおよびＬＥＤランプ１００ｆのシステム内でのＩＤをコード化した発光パターンを含む。ＵＩ装置４００は、画像の中で発光信号を出力している装置と、当該発光信号をデコードすることによって特定されるシステム内でのＩＤとを、容易に関連付けることができる。
　他の例として、例えば無線信号Ｓ１の強度を測定することによっても装置の識別が可能である。例えば、ボタン１００ｄおよびＬＥＤランプ１００ｆのそれぞれのＵＩ装置４００からの距離に差があれば、ＵＩ装置４００において受信されるそれぞれの装置からの無線信号Ｓ１の強度の差によって、ボタン１００ｄとＬＥＤランプ１００ｆとのうち、どちらがＵＩ装置４００により近いかを識別することができる。あるいは、ＵＩ装置４００は、画像認識によってボタン１００ｄおよびＬＥＤランプ１００ｆの装置の種類を識別することが可能であってもよい。この場合、無線信号Ｓ１が、それぞれの装置の種類をコード化した部分をさらに含んでいれば、ＵＩ装置４００は、無線信号Ｓ１によって示される装置の種類と、画像認識によって識別された装置の種類とを対応付けることによって、画像に含まれるボタン１００ｄとＬＥＤランプ１００ｆとを識別することができる。
　その後、ＵＩ装置４００は、無線信号Ｓ１または発光信号をデコードすることによって特定された、ボタン１００ｄおよびＬＥＤランプ１００ｆのシステム１０内でのＩＤを、マネージャ２００またはサーバ３００（図示せず）に送信する。マネージャ２００またはサーバ３００は、受信したＩＤに基づいて、ボタン１００ｄおよびＬＥＤランプ１００ｆのシステム１０内での設定情報を提供する。より具体的には、例えば、マネージャ２００またはサーバ３００は、ボタン１００ｄおよびＬＥＤランプ１００ｆを連係動作させるためのプログラムの情報を提供する。
　本実施形態では、上記の設定情報がＵＩ装置４００に送信され、ＵＩ装置４００が、設定情報をボタン１００ｄおよびＬＥＤランプ１００ｆに関連付けてユーザに提示する。ここで、例えば、図１８に示されるプロジェクタ４００ａ、タブレット４００ｂ、およびスマートグラス４００ｃは、それぞれ異なる方法で、設定情報が提示する。
　例えば、プロジェクタ４００ａは、ボタン１００ｄおよびＬＥＤランプ１００ｆの近傍の実空間に、設定情報を示す画像を投影する。また、例えば、タブレット４００ｂは、ボタン１００ｄおよびＬＥＤランプ１００ｆを含むライブビュー画像をディスプレイに反射表示させ、ライブビュー画像におけるボタン１００ｄおよびＬＥＤランプ１００ｆの近傍に、設定情報を示す画像を合成する。また、例えば、スマートグラス４００ｃは、実空間に配置されたボタン１００ｄおよびＬＥＤランプ１００ｆをグラス部分のディスプレイに透過表示させ、その近傍に重畳されるように、設定情報を示す画像をディスプレイに反射表示させる。
　図１９は、図１８に示す例における設定情報の表示の例を示す図である。図１９に示される画像４３００は、例えば、プロジェクタ４００ａが画像を投射する実空間の像、タブレット４００ｂのディスプレイに反射表示されるライブビュー画像、またはスマートグラス４００ｃのグラス部分のディスプレイにおいて視認される、透過表示された実空間の像と重畳的に反射表示された画像とに対応する。
　画像４３００には、設定情報４３０１が含まれる。例えば、設定情報４３０１は、システム１０内でボタン１００ｄおよびＬＥＤランプ１００ｆを連係動作させるためのプログラムの情報を含む。図示された例では、連係動作におけるそれぞれの装置の役割を示すテキスト４３０１ａ（BUTTON１），４３０１ｂ（LED１）と、装置間の関連性を示すリンク４３０１ｃとが表示されている。上述のように、このような設定情報４３０１は、例えばライブビュー画像に合成されたり、透過表示された実空間の像に重畳されたり、実空間に投影される。
　さらに、図示された例では、それぞれの装置の電池残量を示すテキスト４３０３が表示されている。テキスト４３０３は、それぞれの装置の状態情報の例である。本実施形態では、ＩＤ（識別情報）と同様に、例えば電池残量のようなそれぞれの装置の状態情報が、ボタン１００ｄおよびＬＥＤランプ１００ｆから出力される信号をデコードすることによって取得されうる。この場合、ボタン１００ｄおよびＬＥＤランプ１００ｆから出力される信号には、それぞれの装置のＩＤがコード化された第１の信号と、それぞれの装置の状態情報がコード化された第２の信号とが含まれる。第１の信号と第２の信号とは、同じ種類の信号（例えば無線信号Ｓ１、または発光信号）に含まれてもよいし、それぞれが異なる種類の信号（例えば一方が無線信号Ｓ１、他方が発光信号）に含まれてもよい。ＵＩ装置４００（プロジェクタ４００ａ、タブレット４００ｂ、またはスマートグラス４００ｃ）は、このような状態情報をそれぞれの装置に関連付けて提示するだけではなく、マネージャ２００またはサーバ３００に送信してもよい。
　図２０は、図１８に示す例において、ユーザが設定変更操作を実行している状態を示す図である。図示された例では、プロジェクタ４００ａ、タブレット４００ｂ、またはスマートグラス４００ｃ（以下、一般化してＵＩ装置４００ともいう）のユーザが、これらの装置によって提供されるＧＵＩ（Graphical　User　Interface）を介して、ボタン１００ｄおよびＬＥＤランプ１００ｆに対する設定変更操作を実行している。
　このような操作は、例えば、プロジェクタ４００ａやスマートグラス４００ｃの場合であれば、実空間に存在するボタン１００ｄやＬＥＤランプ１００ｆをユーザが指し示す動作や、投射または重畳されている設定情報４３０１に対する同様の動作を、カメラが取得した画像に基づいてジェスチャとして取得することによって認識される。また、上記の操作は、タブレット４００ｂの場合であれば、画面に表示されたライブビュー画像に含まれるボタン１００ｄおよびＬＥＤランプ１００ｆ、ならびに設定情報４３０１に対する、タッチパネルを介したユーザの操作として認識される。あるいは、ユーザの発話音声や視線検出の結果や、別途の操作装置（例えばレーザーポインタなど）による操作が、ユーザの操作として認識されてもよい。
　上記の例において、ＵＩ装置４００は、ユーザの設定変更操作に対応する操作情報をマネージャ２００またはサーバ３００（図示せず）に送信し、マネージャ２００またはサーバ３００は、受信された操作情報に従って設定情報を変更する。さらに、マネージャ２００またはサーバ３００は、設定情報が変更されたこと、および／または変更後の設定情報を、ＵＩ装置４００に通知してもよい。
　図２１は、図２０に示す例における設定情報の変更表示の例を示す図である。図２１に示される画像４４００は、上記で図１９を参照して説明した画像４３００と同様の画像であり、設定情報４３０１を含む。図示された例では、設定情報４３０１によって、ボタン１００ｄの押下によってＬＥＤランプ１００ｆが発光するという連係動作が示されていたところ、ユーザの設定変更操作によってＬＥＤランプ１００ｆの発光色が変更されている。発光色は、例えばＬＥＤランプ１００ｆに重畳して表示される発光色表示４４０１によって表示され、この発光色表示４４０１に対する操作によって発光色が変更可能であってもよい。さらに、発光色の変更が正しく実施された場合、マネージャ２００またはサーバ３００からの通知に応じて、変更完了を示すテキスト４４０３が表示されてもよい。
　なお、設定情報の変更のためのＧＵＩには、他にも様々な例が可能である。例えば、設定情報の変更のためのツールボックスやパレットなどがディスプレイ内の固定された位置に表示されていてもよい。この場合、例えばタブレット４００ｂやスマートグラス４００ｃのような装置自体を動かすことによって画像の視点を移動させ、画像内のエレメント１００をツールボックスやパレットの位置まで動かすことによって、設定情報の変更を実施することが可能でありうる。また、例えば、ある時点での画像内のエレメント１００をスナップショットとして固定し、さらに別のエレメント１００を画像内に配置することによって、実際のエレメント１００の画像をビジュアルプログラミングのアイコンとして利用してもよい。
　上述したようなシステム１０では、エレメント１００が互いに類似した外見を有していたり、エレメント１００の設置場所を自由に移動させることが可能であったり、同じ種類の複数のエレメント１００がシステム１０に含まれたりするために、マネージャ２００やサーバ３００に登録されているエレメント１００の情報と、実際にユーザの目の前にあるエレメント１００とを対応付けて認識することが容易ではない。そこで、本実施形態では、例えば上記で図１８～図２１を参照して説明したような機器認識および設定情報提示の仕組みを提供することによって、ユーザがそれぞれのエレメント１００をシステム１０内での設定情報と容易に対応付けることを容易にする。さらに、本実施形態では、端末装置において提供されるＵＩを介してユーザがエレメント１００の設定情報を変更する操作を可能にすることによって、システム１０におけるエレメントの連係動作などの設定操作をより直感的に実行することが可能になる。
　　（ＵＩ装置の機能構成）
　図２２は、本開示の第１の実施形態に係るＵＩ装置の機能構成例を示すブロック図である。図２２を参照すると、本実施形態に係るＵＩ装置４００は、通信部４１０、制御部４２０、および入出力部４３０に加えて、撮像部４１５を有する。さらに、制御部４２０は、信号受信部４２１、識別情報抽出部４２２、識別情報送信部４２３、位置関係特定部４２４、状態情報抽出部４２５、状態情報送信部４２６、設定情報受信部４２７、提示制御部４２８、操作受付部４２９、および操作情報送信部４３１を含む。
　上記で図１を参照して説明したように、通信部４１０は、マネージャ２００およびサーバ３００とネットワークを介して通信する通信装置を含みうる。制御部４２０は、例えばマイクロコントローラやＣＰＵなどによって実現され、入出力部４３０を制御するとともに、通信部４１０を介した情報のやりとりを制御する。入出力部４３０は、例えばディスプレイ、プロジェクタ、スピーカ、またはタッチパネルなどを含み、ＵＩを介してユーザに各種の情報を提示するとともに、ユーザからの操作入力を受け付ける。
　撮像部４１５は、例えば撮像素子および光学系、並びにこれらの駆動回路を含むカメラモジュールでありうる。上記で図１８を参照して説明した例のように、撮像部４１５は、システム１０内の１または複数の装置（エレメント１００）を含む画像を取得する。
　信号受信部４２１は、システム１０内の１または複数のエレメント１００から出力される信号を受信する。上記で図１８を参照して説明した例のように、信号受信部４２１は、例えば無線信号および／または発光信号を受信する。このうち、無線信号は、通信部４１０に含まれるＢｌｕｅｔｏｏｔｈ（登録商標）などの通信装置から取得される。また、発光信号は、撮像部４１５が取得する、エレメント１００を含む画像から抽出される。この他にも、信号受信部４２１は、赤外線信号（通信部４１０から取得される）や、２次元コードによる信号（画像から抽出される）など、各種の信号を受信しうる。なお、本明細書では、信号が無線や光など各種の媒体によって伝送されることを表現するために出力という表現を用いているが、この表現は、実際に利用される媒体に応じて、送信、射出、表示などの表現に適宜読み替えられる。また、本明細書における信号の受信は、必ずしも電気通信上の受信動作だけを意味するのではなく、上記のように画像から発光信号などを抽出する動作をも含みうる。
　上述のように、信号受信部４２１によって受信される信号には、エレメント１００のシステム１０内でのＩＤ（識別情報）がコード化された第１の信号と、エレメント１００の状態情報がコード化された第２の信号とが含まれうる。第１の信号と第２の信号とは、いずれも同じ媒体を介して伝送されてもよいし、互いに異なる媒体を介して伝送されてもよい。従って、信号受信部４２１は、例えば通信部４１０または撮像部４１５のいずれか一方から信号を受信するとは限らず、両方から信号を受信してもよい。また、信号受信部４２１は、通信部４１０に含まれる、異なる通信方式に対応する複数の通信装置から信号を受信してもよい。
　識別情報抽出部４２２は、信号受信部４２１が受信した信号から、信号を出力した１または複数のエレメント１００の、システム１０内での識別情報を抽出する。より具体的には、識別情報抽出部４２２は、１または複数のエレメント１００から受信された第１の信号をデコードすることによって、識別情報を取得する。識別情報は、例えばマネージャ２００によって割り当てられるシステム１０内で一意なＩＤであり、例えばそれぞれのエレメント１００が通信したり、エレメント１００の連係動作を定義したりするために用いられる。
　識別情報送信部４２３は、識別情報抽出部４２２によって抽出された識別情報を、通信部４１０を介してサーバに送信する。なお、ここでいうサーバは、識別情報（ＩＤ）が提供されたエレメント１００についてのシステム１０内での設定情報を提供する装置を意味し、必ずしもサーバ３００には限定されない。つまり、本実施形態に係る機能に関しては、マネージャ２００もサーバとして扱われうる。
　位置関係特定部４２４は、信号受信部４２１が受信した信号に基づいて、ＵＩ装置４００とエレメント１００との位置関係を特定する。例えば、信号受信部４２１がＢｌｕｅｔｏｏｔｈ（登録商標）などによる無線信号を受信した場合、位置関係特定部４２４は、エレメント１００との間での直接的な無線通信が可能であったことに基づいて、当該エレメント１００がＵＩ装置４００にある程度の範囲で近接しているか否かを特定することができる。さらに、位置関係特定部４２４は、無線信号の強度に基づいて、エレメント１００とＵＩ装置４００との距離を特定してもよい。
　あるいは、撮像部４１５が取得した画像から信号受信部４２１が発光信号を抽出した場合、位置関係特定部４２４は、発光信号の画像内での位置やサイズに基づいて、ＵＩ装置４００とエレメント１００との間の距離や姿勢関係を特定してもよい。なお、これとは別に、例えばエレメント１００の本来の外見やサイズの情報が利用可能であれば、位置関係特定部４２４は、画像内でのエレメント１００の像の変形に基づいて、ＵＩ装置４００とエレメント１００との間の距離や姿勢関係を特定することもできる。
　状態情報抽出部４２５は、信号受信部４２１が受信した信号から、信号を出力したエレメント１００の状態情報を抽出する。より具体的には、状態情報抽出部４２５は、１または複数のエレメント１００から受信された第２の信号をデコードすることによって、状態情報を取得する。状態情報は、例えばエレメント１００において刻々変化する状態、例えば電源状態や通信状態などでありうる。
　状態情報送信部４２６は、状態情報抽出部４２５によって抽出された状態情報を、通信部４１０を介してサーバに送信する。ここでいうサーバも、識別情報（ＩＤ）が提供されたエレメント１００についてのシステム１０内での状態情報を管理する装置を意味し、必ずしもサーバ３００には限定されない。状態情報を受信したサーバは、必要に応じて、サーバにおいて保持されているエレメント１００の状態情報を更新する。
　なお、それぞれのエレメント１００は、状態情報を自らマネージャ２００に報告することが可能であってもよいが、本実施形態では、例えばＵＩ装置４００からのリクエストがあった場合にエレメント１００が信号を用いて状態情報をＵＩ装置４００に提供し、ＵＩ装置４００が状態情報をマネージャ２００などのサーバに送信することによって、エレメント１００の消費電力を低減させることができる。
　設定情報受信部４２７は、識別情報送信部４２３によってエレメント１００の識別情報（ＩＤ）が送信されたサーバ（例えばマネージャ２００）から、通信部４１０を介して、当該識別情報に基づいて特定されるエレメント１００の設定情報を受信する。上述の通り、設定情報は、例えば、システム１０においてエレメント１００を他のエレメント１００および／または各種のソフトウェアと連係動作させるためのプログラムを示す情報を含みうる。
　提示制御部４２８は、設定情報受信部４２７によって受信されたエレメント１００の設定情報を、エレメント１００に関連付けて提示する。より具体的には、例えば、提示制御部４２８は、入出力部４３０に含まれるディスプレイの画面内で、設定情報をエレメント１００に関連付けて表示させる。ここで、エレメント１００は、ディスプレイに画像として反射表示されていてもよいし（上記の図１８の例におけるタブレット４００ｂのような場合）、ディスプレイに透過表示されていてもよい（図１８の例におけるスマートグラス４００ｃのような場合）。この場合、提示制御部４２８は、例えばエレメント１００の近傍に、設定情報を示す画像を合成または重畳させる。あるいは、提示制御部４２８は、入出力部４３０に含まれるプロジェクタを制御して、エレメント１００が存在する空間内で、設定情報を示す画像をエレメント１００に関連付けて投影してもよい（図１８の例におけるプロジェクタ４００ａのような場合）。提示制御部４２８は、設定情報をエレメント１００に関連付けて提示するために、位置関係特定部４２４によって特定された、ＵＩ装置４００とエレメント１００との位置関係と利用する。
　本実施形態において、識別情報送信部４２３、設定情報受信部４２７、および提示制御部４２８は、エレメント１００の識別情報、およびＵＩ装置４００とエレメント１００との位置関係に基づいて、エレメント１００のシステム１０内での設定情報をエレメント１００に関連付けて提示するための手段を構成している。
　操作受付部４２９は、入出力部４３０に含まれる入力装置を介して、エレメント１００に対してユーザが実行した設定変更操作を受け付ける。例えば、上記のタブレット４００ｂの例のように、エレメント１００に対するユーザの設定変更操作は、入出力部４３０に含まれるディスプレイにおいて提供されるＧＵＩ（Graphical　User　Interface）を介して、タッチパネルなどを利用して受け付けられてもよい。
　また、設定変更操作は、入出力部４３０に含まれるカメラ（撮像部４１５と同じであってもよい）が取得した画像から抽出される、エレメント１００に対するユーザのジェスチャから認識されてもよい。ユーザの手などによるジェスチャだけではなく、ユーザが他の装置を介して実行するジェスチャ、例えばレーザーポインタを使用してエレメント１００またはその近傍をポインティングするジェスチャなどが認識されてもよい。あるいは、設定変更操作は、入出力部４３０に含まれるマイクロフォンが取得した音声から抽出されるユーザの発話音声や、ユーザの視線検出の結果から認識されてもよい。このようなＮＵＩ（Natural　User　Interface）の利用は、例えば上記のプロジェクタ４００ａやスマートグラス４００ｃの例においてユーザの設定変更操作を容易にする。
　操作情報送信部４３１は、操作受付部４２９によって受け付けられた設定変更操作に対応する操作情報を、通信部４１０を介してサーバに送信する。ここでいうサーバも、識別情報（ＩＤ）が提供されたエレメント１００についてのシステム１０内での状態情報を管理する装置を意味し、必ずしもサーバ３００には限定されない。操作情報を受信したサーバは、必要に応じて、サーバにおいて保持されているエレメント１００についての情報を更新する。
　　（エレメントの機能構成）
　図２３は、本開示の第１の実施形態に係るエレメントの機能構成例を示すブロック図である。図２３を参照すると、本実施形態に係るエレメント１００は、通信部１１０、制御部１２０、機能部１３０、および電源部１４０に加えて、発光素子１３５を有しうる。さらに、制御部１２０は、機能管理部１２１、電源管理部１２２、リクエスト受信部１２３、および信号制御部１２４を含み、装置ＩＤ１２５、および状態情報１２６がメモリに格納されうる。
　上記で図１を参照して説明したように、通信部１１０は、マネージャ２００および／または他のエレメント１００と、ネットワークを介して通信する通信装置を含みうる。制御部１２０は、例えばマイクロコントローラやＣＰＵなどによって実現され、機能部１３０を制御する。機能部１３０は、例えばセンサやアクチュエータなどを含み、それぞれのエレメント１００に固有の機能を実現する。電源部１４０は、バッテリーや電源プラグなどを含み、通信部１１０、制御部１２０、および機能部１３０を動作させるための電源を供給する。
　発光素子１３５は、ＵＩ装置４００に向けて装置ＩＤ１２５などを伝達するための発光信号を射出する。発光素子１３５は、例えばＬＥＤや、その他各種の素子でありうる。なお、エレメント１００が出力する信号が発光信号を含まない場合、発光素子１３５は設けられなくてもよい。また、例えば上記の例におけるＬＥＤランプ１００ｆのように、発光素子１３５がエレメント１００の機能に関連していてもよい。
　機能管理部１２１は、機能部１３０を制御する。例えば、機能管理部１２１は、通信部１１０を介してマネージャ２００や他のエレメント１００から受信された情報に従って動作するように、機能部１３０を制御する。また、例えば、機能管理部１２１は、機能部１３０の動作によって得られた情報を、通信部１１０を介してマネージャ２００や他のエレメント１００に送信する。さらに、機能管理部１２１は、例えば、通信部１１０による通信の状態の変化や、機能部１３０による機能の状態の変化があった場合に、状態情報１２６を更新する。
　電源管理部１２２は、電源部１４０を制御する。例えば、電源管理部１２２は、電源部１４０からバッテリー残量の情報を取得し、これを状態情報１２６として記録する。
　リクエスト受信部１２３は、ＵＩ装置４００から、通信部１１０を介して、識別情報（ＩＤ）を含む信号のリクエストを受信する。リクエスト受信部１２３は、リクエストが受信された場合、無線信号や発光信号などの信号を出力するように信号制御部１２４に依頼する。なお、エレメント１００がリクエストの有無に関わらず定期的に信号を出力するように設定されている場合、リクエスト受信部１２３は設けられなくてもよい。
　信号制御部１２４は、通信部１１０および／または発光素子１３５による信号の出力を制御する。より具体的には、信号制御部１２４は、リクエスト受信部１２３がリクエストを受信した場合に、またはリクエストの有無に関わらず定期的に、通信部１１０および／または発光素子１３５を制御して無線信号や発光信号などの信号を出力させる。このとき、信号制御部１２４は、装置ＩＤ１２５や状態情報１２６を参照し、これらの情報をエンコードすることによって信号を生成する。
　装置ＩＤ１２５は、システム１０内で割り当てられたエレメント１００のＩＤである。ＩＤは、少なくともシステム１０内で一意でありえ、例えばそれぞれのエレメント１００が通信したり、エレメント１００の連係動作を定義したりするために用いられる。状態情報１２６は、上記のように機能管理部１２１および電源管理部１２２の機能によって生成および更新される、エレメント１００の状態を示す情報である。
　　（処理シーケンス）
　図２４は、本開示の第１の実施形態における処理の第１の部分を示すシーケンス図である。図２４では、ＵＩ装置４００からエレメント１００に信号のリクエストが送信されてから、エレメント１００の設定情報がＵＩ装置４００によって提示されるまでの処理が示されている。
　図示された例では、まず、ＵＩ装置４００が、エレメント１００に対してリクエストを送信する（Ｓ１０１）。リクエストは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）のような無線通信によって送信され、ＵＩ装置４００の近傍に位置するエレメント１００の全体に対してブロードキャストされてもよい。リクエストを受信したエレメント１００は、識別情報（ＩＤ）を含む信号を出力する（Ｓ１０３）。より具体的には、エレメント１００は、通信部１１０を用いて無線信号を送信したり、発光素子１３５を用いて発光信号を構成する光を射出したりする。なお、上述のように、エレメント１００は、リクエストの有無にかかわらず定期的に信号を出力してもよい。この場合、上記のＳ１０１の処理は実行されなくてもよい。
　これに対して、ＵＩ装置４００は、エレメント１００によって出力された信号を受信または検出する（Ｓ１０５）。より具体的には、例えば、ＵＩ装置４００は、通信部４１０を介して無線信号を受信する。また、ＵＩ装置４００は、撮像部４１５によって取得された画像を解析することによって、発光信号を検出してもよい。さらに、ＵＩ装置４００は、受信または検出された信号からエレメント１００の識別情報を抽出する（Ｓ１０７）。
　続いて、ＵＩ装置４００は、抽出されたエレメント１００の識別情報を、サーバ２００／３００に送信する（Ｓ１０９）。上記の通り、識別情報の送信先は、エレメント１００の設定情報を保持するサーバであればよく、より具体的にはマネージャ２００であってもよいし、サーバ３００であってもよい。
　上記のＳ１０７，Ｓ１０９に続いて、またはこれらに並行して、ＵＩ装置４００は、受信または検出された信号に基づいて、ＵＩ装置４００とエレメント１００との位置関係を特定する（Ｓ１１１）。このとき、ＵＩ装置４００は、例えば画像の解析や、無線信号の強度の測定などに基づいて、エレメントとの位置関係を特定してもよい。位置関係は、例えば、エレメント１００がＵＩ装置４００に近接しているか否か、エレメント１００とＵＩ装置４００との距離、および／またはエレメント１００とＵＩ装置４００との姿勢関係などを含みうる。
　一方、Ｓ１０９で送信されたエレメント１００の識別情報を受信したサーバ２００／３００は、識別情報に基づいて記憶部２３０／３３０に格納されている各エレメント１００の設定情報を検索し、対象のエレメント１００の設定情報を抽出する。さらに、サーバ２００／３００は、通信部２１０／３１０を介して、設定情報をＵＩ装置４００に送信する（Ｓ１１３）。ＵＩ装置４００は、Ｓ１１１で特定されたＵＩ装置４００とエレメント１００との位置関係に基づいて、サーバ２００／３００から送信されたエレメント１００の設定情報を提示する（Ｓ１１５）。
　以上のような処理によって、例えば、上記で図１９および図２１を参照して説明したようなエレメント１００の設定情報の提示が実現される。
　図２５は、本開示の第１の実施形態における処理の第２の部分を示すシーケンス図である。図２５では、図２４に示された第１の部分に続いて、エレメント１００が状態情報を含む信号を出力し、サーバ２００／３００が状態情報に基づいてデータベースを更新するまでの処理が示されている。
　図示された例では、まず、エレメント１００が、状態情報を含む信号を出力する（Ｓ１２１）。ここで、信号には、状態情報に加えて、エレメント１００の識別情報が含まれてもよい。一方、ＵＩ装置４００は、エレメント１００によって出力された信号を受信または検出する（Ｓ１２３）。より具体的には、例えば、ＵＩ装置４００は、通信部４１０を介して無線信号を受信する。また、ＵＩ装置４００は、撮像部４１５によって取得された画像を解析することによって、発光信号を検出してもよい。さらに、ＵＩ装置４００は、受信または検出された信号からエレメント１００の状態情報を抽出する（Ｓ１２５）。
　続いて、ＵＩ装置４００は、抽出されたエレメント１００の状態情報を、サーバ２００／３００に送信する（Ｓ１２７）。これを受信したサーバ２００／３００は、前もって（例えば図２４に示したような処理によって）受信された、またはＳ１２７で状態情報とともに受信されたエレメント１００の識別情報に基づいて、記憶部２３０／３３０に格納されているエレメント１００のデータベースを更新する（Ｓ１２９）。
　以上のような処理によって、エレメント１００が無線信号や発光信号によってＵＩ装置４００に通知した状態情報が、サーバ２００／３００のデータベースに反映される。
　図２６は、本開示の第１の実施形態における処理の第３の部分を示すシーケンス図である。図２６では、図２４に示された第１の部分、または図２５に示された第２の部分に続いて、ＵＩ装置４００においてエレメント１００の設定変更操作が取得され、この操作に応じてエレメント１００の設定情報が更新されるまでの処理が示されている。
　図示された例では、まず、ＵＩ装置４００において、ユーザによる設定変更の操作入力が受け付けられる（Ｓ１４１）。上述の通り、操作入力は、ＵＩ装置４００の入出力部４３０に含まれるタッチパネルなどの入力装置や、ユーザのジェスチャや発話音声、視線検出の結果などに基づいて取得される。ＵＩ装置４００は、設定変更に対応する操作情報を、サーバ２００／３００に送信する（Ｓ１４３）。操作情報を受信したサーバ２００／３００では、制御部２２０／３２０が、操作情報に基づいて、記憶部２３０／３３０に格納されているエレメント１００の設定情報を更新する（Ｓ１４５）。
　さらに、サーバ２００／３００は、更新された設定情報をエレメント１００に送信する（Ｓ１４７）。例えば図１～図９を参照して説明したように、各エレメント１００は、サーバ２００／３００と通信可能である。なお、図示された例ではサーバ２００／３００とエレメント１００がＵＩ装置４００を介さずに通信しているが、サーバ２００／３００とエレメント１００とは、ＵＩ装置４００を介して通信してもよい。
　続いて、更新された設定情報を受信したエレメント１００では、制御部１２０が、内部で保持されている設定情報を更新する（Ｓ１４９）。更新が終了すると、エレメント１００は、サーバ２００／３００に完了通知を送信してもよい（Ｓ１５１）。さらに、サーバ２００／３００は、ＵＩ装置４００に、更新の完了通知を送信してもよい（Ｓ１５３）。これによって、ＵＩ装置４００において、例えば図２１に示されたテキスト４４０３のような、変更完了の表示が提供されうる。
　　（変形例）
　図２７は、本開示の第１の実施形態の変形例について説明するための図である。図２７では、システム１０内の１または複数の装置の例としてボタン１００ｄが、ＵＩ装置４００の例としてカメラ付きタブレット４００ｂが、それぞれ示されている。
　上記の図１８の例との違いとして、図２７の例では、ＵＩ装置４００の近傍に、エレメント１００としてボタン１００ｄだけが存在している。このような場合、ＵＩ装置４００は、ＵＩ装置４００とボタン１００ｄとの位置関係として、ボタン１００ｄがＵＩ装置４００に近接していることを特定するだけでもよい。タブレット４００ｂのカメラによって取得される画像４５００に含まれるエレメント１００は、画像上エレメント１００を識別する情報が得られなくても、ボタン１００ｄであることが識別できる。
　このような場合、ボタン１００ｄは、識別情報（ＩＤ）を含む無線信号Ｓ１だけを送信すればよく、必ずしも発光信号を射出しなくてもよい。また、ＵＩ装置４００は、発光信号の受信や画像解析によってボタン１００ｄを特定する必要がない。なお、上記の例ではタブレット４００ｂを例示しているが、上記のプロジェクタ４００ａ，およびスマートグラス４００ｃなどの場合についても同様である。
　以上、本開示の第１の実施形態について説明した。本実施形態では、エレメント１００が出力する信号を受信するＵＩ装置４００自身が、エレメント１００に関連付けて設定情報を提示させる。これによって、例えば、いろいろな場所に配置されているエレメント１００の近くにＵＩ装置４００を移動させ、簡単に各エレメント１００の設定情報を参照することができる。なお、ＵＩ装置４００の例として、プロジェクタ４００ａ，タブレット４００ｂ，およびスマートグラス４００ｃを例示したが、本実施形態におけるＵＩ装置４００の例はこれらの装置には限られず、エレメント１００を含む画像を取得する撮像部と、エレメント１００およびサーバ２００／３００と通信する通信部と、エレメント１００の設定情報を提示する提示部とを有する装置であれば、どのようなものであってもよい。
　なお、上記で説明された例では、ＵＩ装置４００がサーバ２００／３００から設定情報を取得したが、他の例では、サーバ２００／３００を介さず、ＵＩ装置４００によって局所的に情報の提示が実現されてもよい。例えば、エレメント１００の設定情報がＵＩ装置４００において少なくとも一時的に保持されているような場合、ＵＩ装置４００は、内部的に設定情報を取得して提示してもよい。
　（２－２．第２の実施形態）
　次に、本開示の第２の実施形態について説明する。なお、本実施形態は、別途の説明がない部分については、上記の第１の実施形態と同様の構成をとりうる。
　　（概要）
　図２８は、本開示の第２の実施形態の概略的な構成例を示す図である。図２８では、システム１０内の１または複数の装置（エレメント１００）の例としてボタン１００ｄおよびＬＥＤランプ１００ｆが、ＵＩ装置４００の例としてカメラ付きタブレット４００ｂが、提示装置５００の例としてカメラ付きスマートグラス５００ａおよびカメラ付きプロジェクタ５００ｂが、それぞれ示されている。
　図示された例では、タブレット４００ｂ（以下、一般化してＵＩ装置４００ともいう）が備えるカメラ（図示せず）によって、ボタン１００ｄおよびＬＥＤランプ１００ｆ（以下、一般化してエレメント１００ともいう）を含む画像が取得されている。さらに、本実施形態でも、上記の第１の実施形態と同様に、エレメント１００は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などによる無線信号Ｓ１を出力している。ＵＩ装置４００は、受信した無線信号Ｓ１をデコードすることによって、エレメント１００のシステム１０内でのＩＤを特定することができる。ＵＩ装置４００は、特定されたＩＤを、マネージャ２００またはサーバ３００に送信する。
　また、本実施形態でも、ＵＩ装置４００は、エレメント１００から受信した信号に基づいて、ＵＩ装置４００とエレメント１００との位置関係を特定する。より具体的には、例えば、ＵＩ装置４００は、画像から抽出される発光信号に基づいて、発光信号を射出しているエレメント１００の画像内での位置を特定することができる。また、ＵＩ装置４００は、受信される無線信号Ｓ１の強度に基づいて、ＵＩ装置４００とエレメント１００との距離を特定することができる。
　ここで、第１の実施形態との相違点として、本実施形態において、エレメント１００のＩＤに基づいて特定される設定情報は、マネージャ２００またはサーバ３００から、ＵＩ装置４００ではなく別の提示装置５００に提供され、提示装置５００によってエレメント１００に関連付けて提示される。このため、ＵＩ装置４００は、エレメント１００のＩＤとともに、ＵＩ装置４００とエレメント１００との位置関係を示す情報もマネージャ２００またはサーバ３００に送信する。マネージャ２００またはサーバ３００は、受信されたＩＤに基づいて記憶部２３０／３３０のデータベースから抽出された設定情報と、ＵＩ装置４００とエレメント１００との位置関係を示す情報とを、提示装置５００に送信する。提示装置５００は、ＵＩ装置４００とエレメント１００との位置関係を示す情報を、提示装置５００とエレメント１００との位置関係を示す情報に変換した上で、エレメント１００に関連付けて設定情報を提示する。
　図示された例では、例えば、タブレット４００ｂとボタン１００ｄおよびＬＥＤランプ１００ｆとの相対的な位置関係が、スマートグラス５００ａとボタン１００ｄおよびＬＥＤランプ１００ｆとの位置関係、またはプロジェクタ５００ｂとボタン１００ｄおよびＬＥＤランプ１００ｆとの位置関係に変換される。位置関係の変換は、例えば、タブレット４００ｂとスマートグラス５００ａまたはプロジェクタ５００ｂとがそれぞれカメラを用いて取得している画像をマッチングして、それぞれの画像の視点の位置関係を推定することによって可能になる。例えば、スマートグラス５００ａは、変換された位置関係に基づいて、グラス部分のディスプレイに透過表示されるボタン１００ｄおよびＬＥＤランプ１００ｆの近傍に設定情報を反射表示させる。また、プロジェクタ５００ｂは、変換された位置関係に基づいて、実空間におけるボタン１００ｄおよびＬＥＤランプ１００ｆの近傍に、設定情報を投影する。
　　（ＵＩ装置の機能構成）
　図２９は、本開示の第２の実施形態に係るＵＩ装置の機能構成例を示すブロック図である。図２９を参照すると、本実施形態に係るＵＩ装置４００－２は、通信部４１０、制御部４２０、および入出力部４３０に加えて、撮像部４１５を有する。上記の第１の実施形態に係るＵＩ装置４００との相違点として、制御部４２０は、設定情報受信部４２７および提示制御部４２８を含まない。代わりに、制御部４２０は、位置関係送信部４３２を含む。
　位置関係送信部４３２は、位置関係特定部４２４によって特定された、ＵＩ装置４００とエレメント１００との位置関係を示す情報を、通信部４１０を介してサーバに送信する。ここでいうサーバも、識別情報（ＩＤ）が提供されたエレメント１００についてのシステム１０内での状態情報を管理する装置を意味し、必ずしもサーバ３００には限定されない。
　本実施形態において、識別情報送信部４２３および位置関係送信部４３２は、エレメント１００の識別情報、およびＵＩ装置４００とエレメント１００との位置関係に基づいて、エレメント１００のシステム１０内での設定情報をエレメント１００に関連付けて提示するための手段を構成している。なお、本実施形態において、設定情報の提示は提示装置５００によって実行される。
　　（提示装置の機能構成）
　図３０は、本開示の第２の実施形態に係る提示装置の機能構成例を示すブロック図である。図３０を参照すると、本実施形態に係る提示装置５００は、通信部５１０、制御部５２０、および出力部５３０に加えて、撮像部５１５を有する。制御部５２０は、設定情報受信部５２１、位置関係受信部５２２、位置関係変換部５２３、および提示制御部５２４を含む。
　提示装置５００は、図２８の例にも示されているように、ＵＩ装置４００としても使用することが可能な機能構成を有する装置でありうる。より具体的には、通信部５１０は、マネージャ２００およびサーバ３００とネットワークを介して通信する通信装置を含みうる。制御部５２０は、例えばマイクロコントローラやＣＰＵなどによって実現され、出力部５３０を制御するとともに、通信部５１０を介した情報のやりとりを制御する。出力部５３０は、例えばディスプレイ、プロジェクタ、またはスピーカなどを含み、ＵＩを介してユーザに各種の情報を提示する。
　設定情報受信部５２１は、ＵＩ装置４００の識別情報送信部４２３からエレメント１００の識別情報（ＩＤ）を取得したサーバから、通信部５１０を介して、当該識別情報に基づいて特定されるエレメント１００の設定情報を受信する。上述の通り、設定情報は、例えば、システム１０においてエレメント１００を他のエレメント１００および／または各種のソフトウェアと連係動作させるプログラムの情報を含みうる。
　位置関係受信部５２２は、ＵＩ装置４００の位置関係特定部４２４によって特定された、ＵＩ装置４００とエレメント１００との位置関係を示す情報を、サーバから、通信部５１０を介して受信する。
　位置関係変換部５２３は、位置関係受信部５２２によって受信された、ＵＩ装置４００とエレメント１００との位置関係を示す情報を提示装置５００とエレメント１００との位置関係を示す情報に変換する。このとき、位置関係変換部５２３は、撮像部５１５によって取得された、対象のエレメント１００を含む画像（ＵＩ装置４００において取得される画像とは異なる視点で、共通する被写体を含む画像でありうる）を利用して、位置関係の変換を実行してもよい。
　より具体的には、例えば、位置関係変換部５２３は、ＵＩ装置４００が撮像部４１５を用いて取得した画像を別途取得し（ＵＩ装置４００から直接的に取得してもよいし、サーバを経由して取得してもよい）、撮像部５１５によって取得された画像との間で被写体を基準にしたマッチングを実行することによって、それぞれの画像の視点の位置関係を推定し、視点の位置関係に基づいて、ＵＩ装置４００とエレメント１００との位置関係を提示装置５００とエレメント１００との位置関係に変換してもよい。なお、位置関係の変換には、上記に例示した手法に限らず、異なる視点から撮像された画像のマッチングなどに用いられる各種の技術を利用することができる。
　提示制御部５２４は、設定情報受信部５２１によって受信されたエレメント１００の設定情報を、エレメント１００に関連付けて提示する。より具体的には、例えば、提示制御部５２４は、出力部５３０に含まれるディスプレイの画面内で、設定情報をエレメント１００に関連付けて表示させる。なお、エレメント１００および設定情報の表示の具体的な方法は、上記の第１の実施形態で説明した方法と同様でありうる。
　　（処理シーケンス）
　図３１は、本開示の第２の実施形態における処理の第１の部分を示すシーケンス図である。図３１では、ＵＩ装置４００からエレメント１００に信号のリクエストが送信されてから、エレメント１００の識別情報、およびＵＩ装置４００とエレメント１００との位置関係を示す情報がサーバ２００／３００に送信されるまでの処理が示されている。
　図示された例において、Ｓ１０１～Ｓ１１１の処理は、上記で図２４を参照して説明した第１の実施形態の処理と同様であるため、重複した説明は省略する。なお、本実施形態では、エレメント１００の設定情報が提示装置５００によって提示されるため、サーバ２００／３００は、識別情報に基づいて抽出されるエレメント１００の設定情報を、ＵＩ装置４００には送信しない。代わりに、ＵＩ装置４００が、Ｓ１１１で特定されたＵＩ装置４００とエレメント１００との位置関係を示す情報を、識別情報と同様にサーバ２００／３００に送信する（Ｓ２０１）。
　図３２は、本開示の第２の実施形態における処理の第２の部分を示すシーケンス図である。図３２では、図３１に示された第１の部分に続いて、サーバ２００／３００が設定情報および位置関係を示す情報を提示装置５００に送信し、提示装置５００が設定情報をエレメント１００に関連付けて提示するまでの処理が示されている。
　図示された例では、まず、サーバ２００／３００が、ＵＩ装置４００から送信された識別情報に基づいて抽出されたエレメント１００の設定情報と、ＵＩ装置４００とエレメント１００との位置関係を示す情報とを、それぞれ提示装置５００に送信する（Ｓ２０３，Ｓ２０５）。なお、これらの情報が送信される順序は任意である。提示装置５００では、位置関係変換部５２３が、Ｓ２０５で受信された情報、すなわちＵＩ装置４００とエレメント１００との位置関係を示す情報を、提示装置５００とエレメント１００との位置関係を示す情報に変換する（Ｓ２０７）。さらに、提示制御部５２４が、Ｓ２０７で取得された提示装置５００とエレメント１００との位置関係に基づいて、設定情報を提示する（Ｓ２０９）。より具体的には、設定情報は、提示装置５００の出力部５３０に含まれるディスプレイにおいて表示されたり、同じく出力部５３０に含まれるプロジェクタによって投射されたりすることによって表示される。
　　（変形例）
　図３３は、本開示の第２の実施形態の変形例について説明するための図である。図３３では、システム１０内の１または複数の装置であるエレメント１００が、提示装置５００としても機能する。より具体的には、図示された例では、ＵＩ装置４００の近傍に、複数のエレメント１００が存在している。これらのエレメント１００のうちの少なくとも一部は、提示装置５００としても機能する。このようなエレメント１００は、通信部１１０を介して、マネージャ２００またはサーバ３００（図示せず）から、それ自身の設定情報を受信する。さらに、エレメント１００は、例えば機能部１３０に含まれるディスプレイ、スピーカ、またはランプのような出力装置を介して、受信された設定情報を出力する。つまり、本変形例では、エレメント１００の設定情報が、エレメント１００自身によって提示される。
　ＵＩ装置４００は、例えば図示されたようにタブレット４００ｂでありうる。タブレット４００ｂは、エレメント１００が近接していることを、エレメント１００から出力される無線信号または発光信号を受信することによって検出する。さらに、タブレット４００ｂは、受信された信号をデコードすることによってエレメント１００のシステム１０内でのＩＤを特定し、特定されたＩＤをマネージャ２００またはサーバ３００に送信する。送信されるＩＤは、対象のエレメント１００を特定するとともに、当該エレメント１００とタブレット４００ｂとが近接したこと（位置関係の一種）を示す情報ともいえる。
　エレメント１００のＩＤを受信したマネージャ２００またはサーバ３００は、ＩＤに基づいて当該エレメント１００の設定情報を抽出するとともに、設定情報をエレメント１００自身に送信する。エレメント１００は、受信した設定情報を、例えば機能部１３０に含まれるディスプレイ、スピーカ、またはランプのような出力装置を介して出力する。
　以上、本開示の第２の実施形態について説明した。本実施形態では、エレメント１００が出力信号を受信するＵＩ装置４００とは異なる提示装置５００が、エレメント１００に関連付けて設定情報を提示させる。従って、例えば、ＵＩ装置４００は、必ずしも、エレメント１００に関連付けて設定情報を提示させるための出力装置、例えばディスプレイやプロジェクタなどを有さなくてもよい。また、エレメント１００自身が提示装置５００としても機能する変形例によれば、ＵＩ装置４００が必ずしもエレメント１００との詳細な位置関係を特定しなくても、設定情報を対応するエレメント１００に対応付けて提示することができる。
　なお、上記で説明された例では、ＵＩ装置４００と提示装置５００との間にサーバ２００／３００が介在したが、他の例では、サーバ２００／３００を介さず、局所的にＵＩ装置４００と提示装置５００との間で情報がやりとりされてもよい。例えば、エレメント１００の設定情報がＵＩ装置４００または提示装置５００において少なくとも一時的に保持されているような場合、ＵＩ装置４００は、直接的に提示装置５００に識別情報または設定情報を送信してもよい。
　（２－３．第３の実施形態）
　次に、本開示の第３の実施形態について説明する。なお、本実施形態は、別途の説明がない部分については、上記の第１の実施形態と同様の構成をとりうる。
　図３４は、本開示の第３の実施形態の概略的な構成例を示す図である。図３４を参照すると、本実施形態において、エレメント１００は、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－Ｆｉなどによってマネージャ２００に接続されている一方で、継続的に無線信号Ｓ１をブロードキャストしている（例えば、ＢｌｕｅｔｏｏｔｈにおけるＡｄｖｅｒｔｉｓｉｎｇ）。この状態で、エレメント１００にＵＩ装置４００が接近すると、ＵＩ装置４００はエレメントから出力される無線信号Ｓ１を受信する（Ｓ３０１）。
　ＵＩ装置４００は、無線信号Ｓ１が所定の強度を超えた時点で無線信号Ｓ１をデコードし、エレメント１００の識別情報（ＩＤ）を取得する。さらに、ＵＩ装置４００は、取得された識別情報をサーバ３００に送信して、エレメント１００の設定情報を問い合わせる（Ｓ３０３）。サーバ３００は、問い合わせに応じて、エレメント１００の設定情報、例えば、システム１０内でエレメント１００に与えられている名称や、エレメント１００とマネージャ２００との通信状態、エレメント１００の電池残量などの情報をＵＩ装置４００に送信する（Ｓ３０５）。
　サーバ３００から受信された情報に基づいて、ＵＩ装置４００のディスプレイには、ＵＩ画面４６００が反射表示される。ＵＩ画面４６００には、例えば、エレメント１００を示すアイコン４６０１と、エレメント１００の設定情報表示４６０３とが表示される。アイコン４６０１と設定情報表示４６０３とは、例えば、互いに近接して表示されたり、リンクで結ばれたりして、対応付けられている。
　本実施形態では、上記の第１および第２の実施形態とは異なり、ＵＩ装置４００が、必ずしもエレメント１００を含む画像を取得しない。ＵＩ装置４００は、ＵＩ装置４００が出力する無線信号Ｓ１に基づいてＵＩ装置４００とエレメント１００とが近接したことを特定するとともに、無線信号Ｓ１をデコードしてエレメント１００の識別情報を取得する。従って、本実施形態では、ＵＩ装置４００が撮像部を有さない装置であってもよい。
　また、本実施形態では、ＵＩ装置４００が撮像部を有する場合であっても、エレメント１００が必ずしもＵＩ装置４００の視点から視認可能でなくてもよい。例えば、エレメント１００は、何らかのオブジェクトの内側に配置されており、外部からは視認できなくてもよい。このような場合でも、無線信号Ｓ１に基づいてエレメント１００が検出され、またアイコン４６０１を用いてエレメント１００の設定情報を表示するＵＩ画面４６００が提供されることによって、エレメント１００の設定情報の確認および編集を容易に実行することができる。
　（３．ハードウェア構成）
　次に、図３５を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図３５は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態におけるエレメント１００、マネージャ２００、サーバ３００、ＵＩ装置４００、および／または提示装置５００を実現しうる。
　情報処理装置９００は、ＣＰＵ（Central　Processing　unit）９０１、ＲＯＭ（Read　Only　Memory）９０３、およびＲＡＭ（Random　Access　Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital　Signal　Processor）またはＡＳＩＣ（Application　Specific　Integrated　Circuit）と呼ばれるような処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral　Component　Interconnect/Interface）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid　Crystal　Display）、ＰＤＰ（Plasma　Display　Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。
　ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard　Disk　Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal　Serial　Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small　Computer　System　Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。
　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local　Area　Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless　USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric　Digital　Subscriber　Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
　撮像装置９３３は、例えば、ＣＣＤ（Charge　Coupled　Device）またはＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global　Positioning　System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
　以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　（４．補足）
　本開示の実施形態は、例えば、上記で説明したような端末装置、システム、端末装置またはシステムで実行される情報提示方法、端末装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）端末装置であって、
　システム内の１または複数の装置から出力される第１の信号を受信する信号受信部と、
　前記第１の信号に基づいて前記端末装置と前記１または複数の装置との位置関係を特定する位置関係特定部と、
　前記第１の信号から前記１または複数の装置の前記システム内での識別情報を抽出する識別情報抽出部と、
　前記識別情報および前記位置関係に基づいて、前記１または複数の装置の前記システム内での設定情報を前記１または複数の装置に関連付けて提示するための手段と
　を備える端末装置。
（２）前記手段は、
　前記識別情報をサーバに送信する識別情報送信部と、
　前記サーバから前記識別情報に基づいて特定される前記１または複数の装置の設定情報を受信する設定情報受信部と、
　前記受信された設定情報を前記１または複数の装置に関連付けて提示させる提示制御部と
　を含む、前記（１）に記載の端末装置。
（３）前記手段は、
　前記識別情報をサーバに送信する識別情報送信部と、
　前記位置関係を示す情報を前記サーバに送信する位置関係送信部と
　を含み、
　前記サーバは、前記識別情報に基づいて特定される前記１または複数の装置の設定情報を、前記１または複数の装置に関連付けて前記設定情報を提示する提示装置に提供する、前記（１）に記載の端末装置。
（４）前記１または複数の装置は、前記提示装置として機能する装置を含む、前記（３）に記載の端末装置。
（５）前記設定情報は、前記１または複数の装置が反射表示されるディスプレイによって提示される、前記（１）～（３）のいずれか１項に記載の端末装置。
（６）前記ディスプレイは、前記１または複数の装置を含むライブビュー画像を表示する、前記（５）に記載の端末装置。
（７）前記ディスプレイは、前記１または複数の装置のアイコンを含む画像を表示する、前記（５）に記載の端末装置。
（８）前記設定情報は、前記１または複数の装置が透過表示されるディスプレイによって提示される、前記（１）～（３）のいずれか１項に記載の端末装置。
（９）前記１または複数の装置に対する設定変更操作を受け付ける操作受付部と、
　前記設定変更操作に対応する操作情報をサーバに送信する操作情報送信部と
　をさらに備え、
　前記操作受付部は、前記１または複数の装置が表示されるディスプレイにおいて提供されるＧＵＩ（Graphical　User　Interface）を介して前記設定変更操作を受け付ける、前記（１）～（８）のいずれか１項に記載の端末装置。
（１０）前記設定情報は、前記１または複数の装置の近傍の実空間に画像を投影するプロジェクタによって提示される、前記（１）～（３）のいずれか１項に記載の端末装置。
（１１）前記１または複数の装置に対する設定変更操作を受け付ける操作受付部と、
　前記設定変更操作に対応する操作情報をサーバに送信する操作情報送信部と
　をさらに備え、
　前記操作受付部は、前記１または複数の装置に対してユーザがＮＵＩ（Natural　User　Interface）を介して実行する前記設定変更操作を受け付ける、前記（１）～（１０）のいずれか１項に記載の端末装置。
（１２）前記信号受信部は、前記１または複数の装置から出力される第２の信号を受信し、
　前記端末装置は、
　　前記第２の信号から前記１または複数の装置の状態情報を抽出する状態情報抽出部と、
　　前記状態情報をサーバに送信する状態情報送信部と
　をさらに備える、前記（１）～（１１）のいずれか１項に記載の端末装置。
（１３）前記端末装置は、前記１または複数の装置を含む画像を取得する撮像部をさらに備え、
　前記第１の信号は、前記１または複数の装置が有する発光素子によって出力される発光信号を含み、
　前記位置関係特定部は、前記画像から前記発光信号を抽出することによって前記位置関係を特定する、前記（１）～（１２）のいずれか１項に記載の端末装置。
（１４）前記第１の信号は、前記１または複数の装置によって送信される無線信号を含み、
　前記位置関係特定部は、前記無線信号の強度に基づいて前記位置関係を特定する、前記（１）～（１３）のいずれか１項に記載の端末装置。
（１５）前記位置関係特定部は、前記端末装置と前記１または複数の装置とが近接しているか否かを特定する、前記（１）～（１４）のいずれか１項に記載の端末装置。
（１６）前記位置関係特定部は、前記端末装置と前記１または複数の装置との距離を特定する、前記（１）～（１５）のいずれか１項に記載の端末装置。
（１７）１または複数の装置と、端末装置とを含むシステムであって、
　前記１または複数の装置は、第１の信号を出力し、
　前記端末装置は、
　　前記第１の信号を受信する信号受信部と、
　　前記第１の信号に基づいて前記端末装置と前記１または複数の装置との位置関係を特定する位置関係特定部と、
　　前記第１の信号から前記１または複数の装置の前記システム内での識別情報を抽出する識別情報抽出部と、
　　前記識別情報および前記位置関係に基づいて、前記１または複数の装置の前記システム内での設定情報を前記１または複数の装置に関連付けて提示するための手段と
　を備えるシステム。
（１８）システム内の１または複数の装置が第１の信号を出力することと、
　端末装置が前記第１の信号を受信することと、
　処理回路を用いて、前記第１の信号に基づいて前記端末装置と前記１または複数の装置との位置関係を特定するとともに、前記第１の信号から前記１または複数の装置の前記システム内での識別情報を抽出することと、
　前記識別情報および前記位置関係に基づいて、前記１または複数の装置の前記システム内での設定情報を前記１または複数の装置に関連付けて提示することと
　を含む情報提示方法。
（１９）端末装置の処理回路において実行されるプログラムであって、
　システム内の１または複数の装置から出力される第１の信号を受信する機能と、
　前記第１の信号に基づいて前記端末装置と前記１または複数の装置との位置関係を特定する機能と、
　前記第１の信号から前記１または複数の装置の前記システム内での識別情報を抽出する機能と、
　前記識別情報および前記位置関係に基づいて、前記１または複数の装置の前記システム内での設定情報を前記１または複数の装置に関連付けて提示するための手段と
　を実現するプログラム。
　１０　　システム
　１００　　エレメント
　１１０　　通信部
　１２０　　制御部
　１３０　　機能部
　１３５　　発光素子
　１４０　　電源部
　２００　　マネージャ
　２１０　　通信部
　２２０　　制御部
　２３０　　記憶部
　３００　　サーバ
　３１０　　通信部
　３２０　　制御部
　３３０　　記憶部
　４００　　ＵＩ装置
　４１０　　通信部
　４１５　　撮像部
　４２０　　制御部
　４３０　　入出力部
　５００　　提示装置
　５１０　　通信部
　５１５　　撮像部
　５２０　　制御部
　５３０　　出力部

Claims (19)

  1. 　端末装置であって、
    　システム内の１または複数の装置から出力される第１の信号を受信する信号受信部と、
    　前記第１の信号に基づいて前記端末装置と前記１または複数の装置との位置関係を特定する位置関係特定部と、
    　前記第１の信号から前記１または複数の装置の前記システム内での識別情報を抽出する識別情報抽出部と、
    　前記識別情報および前記位置関係に基づいて、前記１または複数の装置の前記システム内での設定情報を前記１または複数の装置に関連付けて提示するための手段と
    　を備える端末装置。
  2. 　前記手段は、
    　前記識別情報をサーバに送信する識別情報送信部と、
    　前記サーバから前記識別情報に基づいて特定される前記１または複数の装置の設定情報を受信する設定情報受信部と、
    　前記受信された設定情報を前記１または複数の装置に関連付けて提示させる提示制御部と
    　を含む、請求項１に記載の端末装置。
  3. 　前記手段は、
    　前記識別情報をサーバに送信する識別情報送信部と、
    　前記位置関係を示す情報を前記サーバに送信する位置関係送信部と
    　を含み、
    　前記サーバは、前記識別情報に基づいて特定される前記１または複数の装置の設定情報を、前記１または複数の装置に関連付けて前記設定情報を提示する提示装置に提供する、請求項１に記載の端末装置。
  4. 　前記１または複数の装置は、前記提示装置として機能する装置を含む、請求項３に記載の端末装置。
  5. 　前記設定情報は、前記１または複数の装置が反射表示されるディスプレイによって提示される、請求項１に記載の端末装置。
  6. 　前記ディスプレイは、前記１または複数の装置を含むライブビュー画像を表示する、請求項５に記載の端末装置。
  7. 　前記ディスプレイは、前記１または複数の装置のアイコンを含む画像を表示する、請求項５に記載の端末装置。
  8. 　前記設定情報は、前記１または複数の装置が透過表示されるディスプレイによって提示される、請求項１に記載の端末装置。
  9. 　前記１または複数の装置に対する設定変更操作を受け付ける操作受付部と、
    　前記設定変更操作に対応する操作情報をサーバに送信する操作情報送信部と
    　をさらに備え、
    　前記操作受付部は、前記１または複数の装置が表示されるディスプレイにおいて提供されるＧＵＩ（Graphical　User　Interface）を介して前記設定変更操作を受け付ける、請求項１に記載の端末装置。
  10. 　前記設定情報は、前記１または複数の装置の近傍の実空間に画像を投影するプロジェクタによって提示される、請求項１に記載の端末装置。
  11. 　前記１または複数の装置に対する設定変更操作を受け付ける操作受付部と、
    　前記設定変更操作に対応する操作情報をサーバに送信する操作情報送信部と
    　をさらに備え、
    　前記操作受付部は、前記１または複数の装置に対してユーザがＮＵＩ（Natural　User　Interface）を介して実行する前記設定変更操作を受け付ける、請求項１に記載の端末装置。
  12. 　前記信号受信部は、前記１または複数の装置から出力される第２の信号を受信し、
    　前記端末装置は、
    　　前記第２の信号から前記１または複数の装置の状態情報を抽出する状態情報抽出部と、
    　　前記状態情報をサーバに送信する状態情報送信部と
    　をさらに備える、請求項１に記載の端末装置。
  13. 　前記端末装置は、前記１または複数の装置を含む画像を取得する撮像部をさらに備え、
    　前記第１の信号は、前記１または複数の装置が有する発光素子によって出力される発光信号を含み、
    　前記位置関係特定部は、前記画像から前記発光信号を抽出することによって前記位置関係を特定する、請求項１に記載の端末装置。
  14. 　前記第１の信号は、前記１または複数の装置によって送信される無線信号を含み、
    　前記位置関係特定部は、前記無線信号の強度に基づいて前記位置関係を特定する、請求項１に記載の端末装置。
  15. 　前記位置関係特定部は、前記端末装置と前記１または複数の装置とが近接しているか否かを特定する、請求項１に記載の端末装置。
  16. 　前記位置関係特定部は、前記端末装置と前記１または複数の装置との距離を特定する、請求項１に記載の端末装置。
  17. 　１または複数の装置と、端末装置とを含むシステムであって、
    　前記１または複数の装置は、第１の信号を出力し、
    　前記端末装置は、
    　　前記第１の信号を受信する信号受信部と、
    　　前記第１の信号に基づいて前記端末装置と前記１または複数の装置との位置関係を特定する位置関係特定部と、
    　　前記第１の信号から前記１または複数の装置の前記システム内での識別情報を抽出する識別情報抽出部と、
    　　前記識別情報および前記位置関係に基づいて、前記１または複数の装置の前記システム内での設定情報を前記１または複数の装置に関連付けて提示するための手段と
    　を備えるシステム。
  18. 　システム内の１または複数の装置が第１の信号を出力することと、
    　端末装置が前記第１の信号を受信することと、
    　処理回路を用いて、前記第１の信号に基づいて前記端末装置と前記１または複数の装置との位置関係を特定するとともに、前記第１の信号から前記１または複数の装置の前記システム内での識別情報を抽出することと、
    　前記識別情報および前記位置関係に基づいて、前記１または複数の装置の前記システム内での設定情報を前記１または複数の装置に関連付けて提示することと
    　を含む情報提示方法。
  19. 　端末装置の処理回路において実行されるプログラムであって、
    　システム内の１または複数の装置から出力される第１の信号を受信する機能と、
    　前記第１の信号に基づいて前記端末装置と前記１または複数の装置との位置関係を特定する機能と、
    　前記第１の信号から前記１または複数の装置の前記システム内での識別情報を抽出する機能と、
    　前記識別情報および前記位置関係に基づいて、前記１または複数の装置の前記システム内での設定情報を前記１または複数の装置に関連付けて提示するための手段と
    　を実現するプログラム。
PCT/JP2015/054813 2014-05-15 2015-02-20 端末装置、システム、情報提示方法およびプログラム WO2015174112A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016519133A JP6481209B2 (ja) 2014-05-15 2015-02-20 端末装置、システム、情報提示方法およびプログラム
EP20188697.5A EP3757808A1 (en) 2014-05-15 2015-02-20 Terminal device, system, method of information presentation, and program
EP15793166.8A EP3144819A4 (en) 2014-05-15 2015-02-20 Terminal device, system, information presentation method, and program
US15/303,847 US20170031586A1 (en) 2014-05-15 2015-02-20 Terminal device, system, method of information presentation, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014101508 2014-05-15
JP2014-101508 2014-05-15

Publications (1)

Publication Number Publication Date
WO2015174112A1 true WO2015174112A1 (ja) 2015-11-19

Family

ID=54479659

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/054813 WO2015174112A1 (ja) 2014-05-15 2015-02-20 端末装置、システム、情報提示方法およびプログラム

Country Status (4)

Country Link
US (1) US20170031586A1 (ja)
EP (2) EP3757808A1 (ja)
JP (3) JP6481209B2 (ja)
WO (1) WO2015174112A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021044851A1 (ja) * 2019-09-03 2021-03-11 ソニー株式会社 情報処理装置、及び情報処理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109478339A (zh) * 2016-07-29 2019-03-15 三菱电机株式会社 显示装置、显示控制装置和显示控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004320209A (ja) * 2003-04-14 2004-11-11 Sony Corp 通信装置、その表示方法、コンピュータプログラム、および通信方法
JP2007067724A (ja) * 2005-08-30 2007-03-15 Matsushita Electric Ind Co Ltd 携帯端末装置及び表示方法
JP2012212223A (ja) * 2011-03-30 2012-11-01 Nakayo Telecommun Inc 情報配信装置および情報配信方法
JP2013205920A (ja) * 2012-03-27 2013-10-07 Seiko Epson Corp 頭部装着型表示装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003242047A1 (en) * 2002-06-19 2004-01-06 Matsushita Electric Industrial Co., Ltd. Server, electronic apparatus, external apparatus and information processing system using them, and electronic apparatus setting and status acquisition method
JP2007102541A (ja) * 2005-10-05 2007-04-19 Mitsubishi Electric Corp 機器動作設定方式及び機器動作設定方法
KR101463471B1 (ko) * 2007-06-05 2014-11-19 삼성전자주식회사 외부장치의 상태를 알리는 디스플레이장치 및 그 방법
JP2009032276A (ja) * 2008-09-04 2009-02-12 Sharp Corp 遠隔制御装置
US8929877B2 (en) * 2008-09-12 2015-01-06 Digimarc Corporation Methods and systems for content processing
JP5067893B2 (ja) * 2009-03-12 2012-11-07 日本電信電話株式会社 機器操作システムおよび方法
JP5782677B2 (ja) * 2010-03-31 2015-09-24 ヤマハ株式会社 コンテンツ再生装置および音声処理システム
US8937534B2 (en) * 2010-12-08 2015-01-20 At&T Intellectual Property I, L.P. Remote control of electronic devices via mobile device
JP5421316B2 (ja) * 2011-03-22 2014-02-19 パナソニック株式会社 ポータブル端末、ペアリングシステム、ペアリング方法
JP5709649B2 (ja) * 2011-06-02 2015-04-30 三菱電機株式会社 通信システム、自動検針システムおよび監視サーバ
JP6035014B2 (ja) * 2011-08-31 2016-11-30 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 無線操作装置、無線操作システム及び無線操作方法
JP5912456B2 (ja) * 2011-11-28 2016-04-27 富士通テン株式会社 グループ通信システムおよび通信装置
US20130225999A1 (en) * 2012-02-29 2013-08-29 Toshiba Medical Systems Corporation Gesture commands user interface for ultrasound imaging systems
JP2014032501A (ja) 2012-08-02 2014-02-20 Sony Corp 情報処理装置および情報処理方法
US9042827B2 (en) * 2012-11-19 2015-05-26 Lenovo (Singapore) Pte. Ltd. Modifying a function based on user proximity
EP2983137B1 (en) * 2013-04-04 2019-05-22 Sony Corporation Information processing device, information processing method and program
JP5863748B2 (ja) * 2013-10-29 2016-02-17 シャープ株式会社 電気機器制御システム、電気機器制御方法、および電気機器
CN103795785B (zh) * 2014-01-16 2019-01-08 加一联创电子科技有限公司 物联网控制方法和终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004320209A (ja) * 2003-04-14 2004-11-11 Sony Corp 通信装置、その表示方法、コンピュータプログラム、および通信方法
JP2007067724A (ja) * 2005-08-30 2007-03-15 Matsushita Electric Ind Co Ltd 携帯端末装置及び表示方法
JP2012212223A (ja) * 2011-03-30 2012-11-01 Nakayo Telecommun Inc 情報配信装置および情報配信方法
JP2013205920A (ja) * 2012-03-27 2013-10-07 Seiko Epson Corp 頭部装着型表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3144819A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021044851A1 (ja) * 2019-09-03 2021-03-11 ソニー株式会社 情報処理装置、及び情報処理方法

Also Published As

Publication number Publication date
EP3144819A1 (en) 2017-03-22
JP6897696B2 (ja) 2021-07-07
JP2021152928A (ja) 2021-09-30
JP2019114272A (ja) 2019-07-11
US20170031586A1 (en) 2017-02-02
EP3144819A4 (en) 2018-02-21
EP3757808A1 (en) 2020-12-30
JP6481209B2 (ja) 2019-03-13
JPWO2015174112A1 (ja) 2017-04-20

Similar Documents

Publication Publication Date Title
US11693530B2 (en) Information processing device, display control method, and program
KR101706479B1 (ko) 사물인터넷 제어방법, 단말 및 피제어 기기
US11570676B2 (en) Method and system for realizing function by causing elements of hardware to perform linkage operation
US11089463B2 (en) Method and device for activating near field communication card
CN108604181A (zh) 媒体输出设备之间的媒体传送
JP2016524371A (ja) スマート端末制御方法、装置、プログラム及び記憶媒体
CN106462238A (zh) 对智能环境的表示的基于增强现实的管理
KR102561572B1 (ko) 센서 활용 방법 및 이를 구현한 전자 장치
US11023525B2 (en) Electronic device and method for providing content
JP2021152928A (ja) 端末装置、方法、およびプログラム
CN105049922A (zh) 用upnp对与主显示器在相同房间的候选同伴设备的接近检测
JP2014139745A (ja) 機器管理システム、機器管理装置、機器管理方法及びプログラム
US11460994B2 (en) Information processing apparatus and information processing method
CN105049924A (zh) 对与主显示器在相同房间内的候选同伴显示设备的检测
WO2015174113A1 (ja) 情報処理装置、システム、情報処理方法およびプログラム
WO2021044851A1 (ja) 情報処理装置、及び情報処理方法
CN114721281A (zh) 智能场景配置方法、移动终端及服务器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15793166

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016519133

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15303847

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015793166

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015793166

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE