WO2015174120A1 - 情報処理装置、表示制御方法およびプログラム - Google Patents

情報処理装置、表示制御方法およびプログラム Download PDF

Info

Publication number
WO2015174120A1
WO2015174120A1 PCT/JP2015/055748 JP2015055748W WO2015174120A1 WO 2015174120 A1 WO2015174120 A1 WO 2015174120A1 JP 2015055748 W JP2015055748 W JP 2015055748W WO 2015174120 A1 WO2015174120 A1 WO 2015174120A1
Authority
WO
WIPO (PCT)
Prior art keywords
icon
icons
information processing
processing apparatus
link
Prior art date
Application number
PCT/JP2015/055748
Other languages
English (en)
French (fr)
Inventor
唐澤 英了
岳夫 稲垣
弘之 増田
大夢 瀧沢
丈博 萩原
玄大 近藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201580023741.4A priority Critical patent/CN106462404B/zh
Priority to EP21153751.9A priority patent/EP3839673A1/en
Priority to JP2016519136A priority patent/JP6508200B2/ja
Priority to US15/307,575 priority patent/US11216153B2/en
Priority to EP15793171.8A priority patent/EP3144808A4/en
Publication of WO2015174120A1 publication Critical patent/WO2015174120A1/ja
Priority to US17/543,051 priority patent/US11693530B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0426Programming the control sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/23Pc programming
    • G05B2219/23258GUI graphical user interface, icon, function bloc editor, labview
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/25Pc structure of the system
    • G05B2219/25067Graphic configuration control system
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36159Detachable or portable programming unit, display, pc, pda
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements

Definitions

  • This disclosure relates to an information processing apparatus, a display control method, and a program.
  • Patent Literature 1 describes a technique for effectively supporting the use of functions realized by device cooperation.
  • the present disclosure proposes a new and improved information processing apparatus, display control method, and program that enable a user's intuitive operation for setting a linked operation of hardware elements or software elements.
  • the display unit configured to display a plurality of icons indicating hardware elements or software elements operating in cooperation with each other and a link connecting the plurality of icons to each other, and the plurality of the plurality of icons formed by the links.
  • the information processing apparatus corresponding to the temporal sequence of the operation of the software element or the hardware element respectively indicated by the plurality of icons is provided.
  • the plurality of icons formed by the links including displaying a plurality of icons indicating hardware elements or software elements operating in cooperation with each other and a link connecting the plurality of icons to each other.
  • a display control method corresponding to the temporal sequence of the operation of the software element or the hardware element respectively indicated by the plurality of icons is provided.
  • a plurality of icons indicating hardware elements or software elements that operate in cooperation with each other and a link that connects the plurality of icons to each other are displayed by being executed in the processing circuit of the information processing apparatus.
  • the spatial sequence of the plurality of icons formed by the link is provided by a program corresponding to the temporal sequence of the operation of the software element or the hardware element respectively indicated by the plurality of icons. Is done.
  • an intuitive operation of a user for setting a linked operation of hardware elements or software elements can be enabled.
  • FIG. 1 is a diagram illustrating a schematic configuration of a system to which a technology according to an embodiment of the present disclosure can be applied. It is a figure which shows the 1st specific structural example of the system shown by FIG. It is a figure which shows the 2nd specific structural example of the system shown by FIG.
  • FIG. 4 is a diagram illustrating a third specific configuration example of the system illustrated in FIG. 1. It is a figure which shows the 4th specific structural example of the system shown by FIG.
  • FIG. 10 is a diagram illustrating a fifth specific configuration example of the system illustrated in FIG. 1.
  • FIG. 8 is a diagram illustrating a sixth specific configuration example of the system illustrated in FIG. 1.
  • FIG. 8 is a diagram illustrating a seventh specific configuration example of the system illustrated in FIG. 1.
  • FIG. 6 is a diagram illustrating a second example of a UI provided in the system illustrated in FIG. 1. It is a figure for demonstrating the 1st specific example of the cooperation operation
  • FIG. 10 is a diagram for describing deletion of an operation icon according to the first embodiment of the present disclosure.
  • FIG. 10 is a diagram for describing deletion of element icons in the first embodiment of the present disclosure.
  • FIG. 10 is a diagram for describing operation property display according to the first embodiment of the present disclosure. It is a figure which shows the 1st example of the branch formed with the icon and link in 1st Embodiment of this indication. It is a figure showing the 2nd example of the branch formed by an icon and a link in a 1st embodiment of this indication. It is a figure showing an example of multi-line connection formed by an icon and a link in a 1st embodiment of this indication. It is a figure showing an example of serial relation formed by an icon and a link in a 1st embodiment of this indication.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of an information processing apparatus according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating a schematic configuration of a system to which a technique according to an embodiment of the present disclosure can be applied.
  • the system 10 includes an element 100, a manager 200, a server 300, and a UI (User Interface) device 400. These devices are connected to each other via a network NW.
  • the network NW can include, for example, Bluetooth (registered trademark), Wi-Fi, the Internet, and the like.
  • Bluetooth registered trademark
  • Wi-Fi Wireless Fidelity
  • Element 100 is a device including a communication unit 110, a control unit 120, a function unit 130, and a power supply unit 140.
  • the communication unit 110 includes a communication device that communicates with the manager 200 and / or other elements 100 via the network NW.
  • the control unit 120 is realized by, for example, a microcontroller or a CPU (Central Processing Unit), and controls the functional unit 130.
  • the function unit 130 includes, for example, a sensor and an actuator, and realizes a function unique to each element 100.
  • the power supply unit 140 includes a battery, a power plug, and the like, and supplies power for operating the communication unit 110, the control unit 120, and the function unit 130.
  • devices other than the element 100 also have a power supply part, illustration is abbreviate
  • the manager 200 is a device including a communication unit 210, a control unit 220, and a storage unit 230.
  • the communication unit 210 may include a communication device that communicates with the element 100, the server 300, and the UI device 400 via the network NW.
  • the control unit 220 is realized by, for example, a microcontroller or a CPU, and controls communication between the elements 100 and between the element 100 and the server 300 via the communication unit 210.
  • the control unit 220 can include a calculation unit 221.
  • the computation unit 221 performs computations on information received from the element 100, information transmitted to the element 100, information transmitted to the server 300, information received from the server 300, and the like.
  • the storage unit 230 includes a memory or a storage, and stores information exchanged by communication controlled by the control unit 220, information calculated by the calculation unit 221, and the like.
  • the server 300 includes a communication unit 310, a control unit 320, and a storage unit 330.
  • Communication unit 310 includes a communication device that communicates with manager 200 via network NW.
  • the control unit 320 is realized by, for example, a microcontroller or a CPU, and can include a calculation unit 321 and a UI providing unit 323.
  • the calculation unit 321 performs calculations on information received from the element 100 or the manager 200, information transmitted to the element 100 or the manager 200, information received from other servers, information transmitted to other servers, and the like.
  • the UI providing unit 323 provides a UI for the user to specify a combination of the element 100 and / or the manager 200 and to confirm various information.
  • the UI is provided via, for example, a display and a touch panel included in the input / output unit 430 of the UI device 400.
  • the storage unit 330 includes a memory or a storage, and stores various information related to the element 100, a program for operating the plurality of elements 100 in combination, software combined with the elements 100, information calculated by the calculation unit 321, and the like. To do.
  • identification information (ID) of the element 100 in the system 10 is stored in the storage unit 330 of the server 300.
  • the element 100 can be added to the system 10 at any time.
  • the storage unit 330 also stores a program for operating the plurality of elements 100 in combination.
  • the program can be added at any time by, for example, a user, a developer, or a system administrator.
  • the storage unit 330 stores software.
  • the software implements a function by being executed in combination with the element 100.
  • the function may be realized by executing software in combination.
  • Functions realized by the software may include, for example, provision of materials such as voice and images, timers, calendars, analysis functions such as image recognition and voice recognition, information acquisition functions from external services such as weather forecasts and news, etc. .
  • Software can be added at any time by, for example, a user, a developer, or a system administrator.
  • the UI providing unit 323 of the server 300 provides a UI via, for example, a display and a touch panel included in the input / output unit 430 of the UI device 400.
  • the user selects, for example, a program for operating a plurality of elements 100 in combination from a program preinstalled in the element 100 or the manager 200, a program provided by the server 300, or the like. can do.
  • the user can specify a combination of a plurality of elements 100, a combination of the elements 100 and software, and a combination of a plurality of software via the UI.
  • the specified combination is stored as a program in the storage unit 330 of the server 300, and the user can obtain a desired application by executing the program by the element 100 and the software.
  • the UI device 400 is a device that includes a communication unit 410, a control unit 420, and an input / output unit 430.
  • Communication unit 410 may include a communication device that communicates with manager 200 and server 300 via network NW.
  • the control unit 420 is realized by, for example, a microcontroller or a CPU, and controls the input / output unit 430 and the exchange of information through the communication unit 410.
  • the input / output unit 430 includes, for example, a display, a speaker, a touch panel, and the like, presents various types of information to the user via the UI, and accepts an operation input from the user.
  • FIG. 2 is a diagram showing a first specific configuration example of the system shown in FIG. Referring to FIG. 2, system 10 a includes a first tablet that functions as element 100, a second tablet that functions as element 100, manager 200, and UI device 400, and server 300.
  • the first and second tablets similarly include a display, a touch panel, a CPU, a sensor, and the like.
  • one of the two tablets functions as the element 100, the manager 200, and the UI device 400, and the other functions as the element 100.
  • the roles of these tablets may be interchangeable, and the tablets that function as the manager 200 and the UI device 400 may be changed depending on the situation.
  • the functions desired by the user can be realized by using various sensors of the tablet and operating the two tablets in combination.
  • the first and second tablets in the example shown in FIG. 2 include a functional unit 130 (such as a sensor) that functions as the element 100 and a control unit 220 (such as a CPU) that functions as the manager 200.
  • a functional unit 130 such as a sensor
  • a control unit 220 such as a CPU
  • the terminal device which has.
  • Such a terminal device is not limited to a tablet, and may be another device such as a smartphone.
  • the number of terminal devices included in the system 10a is not limited to the illustrated example, and may be three or more, for example.
  • FIG. 3 is a diagram illustrating a second specific configuration example of the system illustrated in FIG. 1.
  • the system 10b includes elements 100a to 100g, a tablet that functions as the manager 200 and the UI device 400, and a server 300.
  • the tablet functions as the manager 200 and the UI device 400. Similar to the first example above, the tablet may be replaced by another device such as a smartphone.
  • the element 100 includes an acceleration sensor 100a, a camera 100b, a human sensor 100c, a button 100d, a speaker 100e, an LED (Light Emitting Diode) lamp 100f, and a microphone 100g.
  • Each element 100 communicates with the tablet by wireless communication such as Bluetooth (registered trademark), and operates in association with the control of the manager 200 realized by the tablet.
  • acceleration sensors 100a to 100g are illustrated as examples of the element 100, but this is intended to limit the types of the elements 100 used in each example. is not.
  • the system 10 may include any of the acceleration sensors 100a to 100g, or any other type of element 100.
  • FIG. 4 is a diagram showing a third specific configuration example of the system shown in FIG. Referring to FIG. 4, the system 10 c includes an element 100, a manager 200, a tablet that functions as the UI device 400, and a server 300.
  • the manager 200 exists separately from the tablet that functions as the UI device 400.
  • the manager 200 may be realized by a dedicated device, for example, or may be realized as one of base station functions such as Wi-Fi. Similar to the first and second examples described above, the tablet functioning as the UI device 400 may be replaced by another device such as a smartphone.
  • the manager 200 and the tablet may be able to communicate with the server 300 independently of each other.
  • the tablet may directly transmit the setting information to the manager 200 via Wi-Fi or the like.
  • Bluetooth registered trademark
  • Wi-Fi Wireless Fidelity
  • a mesh network repeater NW_m using Wi-Fi or the like is used for connection with the element 100 at a remote location.
  • various wireless communications such as Bluetooth (registered trademark) and Wi-Fi are used for communication between the element 100 and the manager 200 and / or between the elements 100. Can be used.
  • FIG. 5 is a diagram showing a fourth specific configuration example of the system shown in FIG. Referring to FIG. 5, the system 10 d includes an element 100 that partially functions as the manager 200, a tablet that functions as the UI device 400, and a server 300.
  • At least one of the elements 100 also functions as the manager 200.
  • the elements 100 form a mesh network using Bluetooth (registered trademark) or the like. With such a configuration, in the system 10d, even when the communication with the server 300 and the UI device 400 (tablet) is temporarily disconnected, the element 100 can operate in an autonomous manner.
  • FIG. 6 is a diagram illustrating a fifth specific configuration example of the system illustrated in FIG. 1.
  • the system 10 e includes an element 100 that partially functions as the manager 200, a tablet that functions as the UI device 400, and a server 300.
  • the system 10e is an example in which the manager 200 is incorporated in one of the elements 100 in the system 10c according to the third example.
  • FIG. 7 is a diagram illustrating a sixth specific configuration example of the system illustrated in FIG. 1.
  • the system 10 f includes an element 100, managers 200 a and 200 b, a tablet that functions as the UI device 400, and a server 300.
  • the system 10f is an example in which a plurality of managers 200 are arranged in the system 10c according to the third example.
  • Each element 100 can be connected to, for example, the closer one of the managers 200a and 200b.
  • the connection state of the element 100 and the program for operating the element 100 in a coordinated manner are synchronized as necessary or periodically.
  • FIG. 8 is a diagram illustrating a seventh specific configuration example of the system illustrated in FIG. 1.
  • the system 10g includes an element 100, a manager 200a, a tablet that functions as the manager 200b and the UI device 400, and a server 300.
  • the system 10g is an example in which the function of the manager 200b is integrated into the tablet in the system 10f according to the sixth example.
  • Each element 100 can be connected to, for example, a manager 200a or a tablet closer to the position. Further, between the manager 200a and the tablet, the connection state of the element 100 and the program for operating the element 100 in a coordinated manner are synchronized as necessary or periodically.
  • FIG. 9 is a diagram illustrating an eighth specific configuration example of the system illustrated in FIG. 1.
  • the system 10 h includes an element 100, a tablet that functions as the UI device 400, and a server 300 that also functions as the manager 200.
  • the system 10h is an example in which the function of the manager 200 is taken into the server 300 in the system 10b according to the second example.
  • Each element 100 communicates directly with the server 300 via, for example, a mobile communication network.
  • FIG. 10 is a diagram showing a first example of a UI provided in the system shown in FIG.
  • a screen 4100 displayed on the display of the terminal device functioning as the UI device 400 includes a user profile 4101, a program list tab 4103, and an element list tab 4105.
  • the program list 4107 is displayed.
  • the program list 4107 includes a program icon 4109, a used element icon 4111, and a description 4113.
  • the screen 4100 can be displayed, for example, as a portal screen when the user uses a service provided by the system 10.
  • FIG. 11 is a diagram showing a second example of a UI provided in the system shown in FIG.
  • a screen 4200 displayed on the display of the terminal device that functions as the UI device 400 includes a toolbar 4201, a canvas 4203, and a tray 4205.
  • the screen 4200 is used, for example, for editing a program for operating the element 100 in association with the system 10.
  • Function buttons such as “Save” and “Redo” are arranged on the toolbar 4201.
  • An element icon 4207, a detailed information icon 4209, and a link 4211 can be arranged or drawn on the canvas 4203. With these icons and links, it is possible to set and confirm the elements 100 used for the linkage operation, the processing executed by each element 100, and the relationship between the elements 100.
  • an element property box 4213 is arranged on the canvas 4203, and for example, the attribute and state of the element 100 arranged as the element icon 4207 are displayed.
  • the elements 100, software, and the like that can be incorporated in the program by being arranged on the canvas 4203 are displayed as icons.
  • UI described with reference to FIGS. 10 and 11 is merely an example, and various forms of UI can be provided in the present embodiment.
  • various UIs used in the screen for visual programming can be applied.
  • FIG. 12 is a diagram for explaining a first specific example of element linking operation in the system shown in FIG. 1.
  • an acceleration sensor 100a and a camera 100b are used among the elements 100.
  • the acceleration sensor 100a is attached to the door of the refrigerator, and the camera 100b is attached to a position where the interior of the refrigerator can be projected.
  • the link 601 from the acceleration sensor 100a to the camera 100b means that “the camera 100b performs shooting based on the detection value of the acceleration sensor 100a”.
  • “upload a captured image to the server” is designated as the operation of the camera 100b.
  • software 603a for detecting that the door is opened based on the acceleration is used.
  • the software 603a is executed by the arithmetic unit 221 of the manager 200, for example, and determines that the refrigerator door is opened based on the analysis result of the detection value of the acceleration sensor 100a.
  • the link 601 performs a process of “when the determination is made that the refrigerator door is opened based on the detection value of the acceleration sensor 100a, the camera 100b performs photographing”.
  • an image captured by the camera 100b when the refrigerator door is opened is uploaded to the server.
  • the user can grasp the change in the contents of the refrigerator and the latest inventory status by browsing the uploaded image.
  • a sensor dedicated to open / close detection using magnetism or the like can also be used.
  • the software 603a it is possible to detect that the door is opened by using the acceleration sensor 100a. Therefore, in order to detect that the door of the refrigerator is opened, for example, the acceleration sensor 100a that has been used for another purpose can be used instead of the dedicated sensor.
  • the acceleration sensor 100a can be diverted to other applications.
  • the same element 100 can be utilized for various uses by changing the combination of software and other elements 100.
  • FIG. 13 is a diagram for explaining a second specific example of element linking operation in the system shown in FIG. 1.
  • an acceleration sensor 100a and a button 100d are used among the elements 100.
  • the acceleration sensor 100a is attached to a toilet door
  • the button 100d is attached to a toilet.
  • software 603a for detecting that the door is opened based on acceleration and software 603b for recording the provided data are further used.
  • a link 601 from the acceleration sensor 100a to the software 603b through the software 603a means that the software 603b records that it is determined that the door is opened based on the detection value of the acceleration sensor 100a.
  • the link 601 from the button 100d to the software 603b means that the software 603b records that a signal is output from the button 100d.
  • the time when the user presses the button 100d in the bathroom and the time when the toilet door is opened are recorded as a log. For example, if the user decides to press the button 100d when washing his face in the bathroom after getting up, the time when the button 100d was pressed can be recorded as the rising time. From such a log, for example, it is possible to refer to changes in daily wake-up time and the time of going to the toilet in time series, which can be used to improve the user's life rhythm.
  • FIG. 14 is a diagram for explaining a third specific example of the element linking operation in the system shown in FIG. Referring to FIG. 14, in this example, among the elements 100, an acceleration sensor 100a and a human sensor 100c are used.
  • the acceleration sensor 100a is attached to a chair
  • the human sensor 100c is attached to a desk in front of the chair.
  • software 603c for recording the time that the user has been sitting on the chair based on the detection results of the acceleration sensor 100a and the human sensor 100c is further used.
  • a link 601 from the acceleration sensor 100a to the software 603c means “providing the detection value of the acceleration sensor 100a to the software 603c”.
  • the link 601 from the human sensor 100c to the software 603c means “providing the detection value of the human sensor 100c to the software 603c”.
  • the time that the user has been sitting on the chair is recorded. Based on this record, the user can grasp the sitting time at the workplace and take a break if the sitting time is too long.
  • software that outputs an alert from a smartphone or the like based on the detection result of the software 603c is further combined, and when the user is sitting continuously over a predetermined time, an alert is output from the smartphone or the like to take a break. You may be encouraged to take it.
  • FIG. 15 is a diagram for explaining a fourth specific example of the element linking operation in the system shown in FIG. 1.
  • an acceleration sensor 100a for example, a speaker 100e, and an LED lamp 100f are used among the elements 100.
  • the acceleration sensor 100a, the speaker 100e, and the LED lamp 100f are each attached to an appropriate part of the body of the user (for example, a child).
  • a plurality of acceleration sensors 100a may be used.
  • software 603d that reproduces sound effects according to the acceleration pattern and software 603e that causes the lamp to blink in a predetermined pattern according to the acceleration pattern are also shown.
  • the acceleration pattern handled by these software 603 may be a single acceleration waveform pattern or a combination of a plurality of acceleration waveforms.
  • a link 601 is set from the acceleration sensor 100a to each of the software 603d and 603e. These links 601 mean “provide the detection values of the acceleration sensor 100a to the software 603d and 603e, respectively”. Further, a link 601 is set from the software 603d to the speaker 100e, and from the software 603e to the LED lamp 100f. These links 601 mean “the speaker 100e outputs sound according to the audio signal provided by the software 603d” and “the LED lamp 100f emits light according to the signal provided by the software 603e”.
  • FIG. 16 is a diagram for explaining a fifth specific example of element linking operation in the system shown in FIG. 1.
  • an acceleration sensor 100a for example, a human sensor 100c, a camera 100b, and an LED lamp 100f are used.
  • the acceleration sensor 100a, the human sensor 100c, and the camera 100b are attached to a bird table, and the LED lamp 100f is attached to a house.
  • software 603f for determining that a bird has stopped on the feeding base based on the detection results of the acceleration sensor 100a and the human sensor 100c is further illustrated.
  • a link 601 is set from the acceleration sensor 100a and the human sensor 100c toward the software 603f.
  • the link 601 from the acceleration sensor 100a means “provide the detection value of the acceleration sensor 100a to the software 603f”. Further, the link 601 from the human sensor 100c means “providing the detection value of the human sensor 100c to the software 603f”. In the software 603f, for example, a condition that is established by a combination of sensor data provided by each of the acceleration sensor 100a and the human sensor 100c is provided. Furthermore, a link 601 is set from the software 603f to the camera 100b and the LED lamp 100f. The link 601 to the camera 100b means that “the camera 100b performs shooting based on the output of the software 603f”. The link to the LED lamp 100f means that the LED lamp 100f is caused to emit light based on the output of the software 603f.
  • FIG. 17 is a diagram for explaining a sixth specific example of element linking operation in the system shown in FIG. 1.
  • a button 100d and a speaker 100e are used among the elements 100.
  • the speaker 100e is disposed in a bedroom and the button 100d is disposed in a washroom.
  • the alarm alarm software 603g is further shown.
  • a link 601 is set to the speaker 100e from the software 603g. This link 601 means that “the speaker 100e outputs audio according to the audio signal output when the software 603 reaches the set time”.
  • a link 601 is set in the software 603g from the button 100d. This link 601 means “when the button 100d is pressed, the output of the audio signal by the software 603g is stopped”.
  • the alarm sound output from the speaker 100e disposed in the bedroom does not stop until the toilet button 100d is pressed.
  • the embodiment of the present disclosure relates to a user interface for creating, editing, or browsing a program for linking elements to each other in a system such as the above example.
  • a system such as the above example.
  • the system 10 described with reference to FIG. 1 and the like will be described as an example.
  • the system according to the embodiment of the present disclosure is not limited to this example, and various forms of systems in which elements are linked to each other can be used.
  • the present technology can be applied.
  • a user interface related to the linking operation between elements is provided via a display included in the input / output unit 430 of the UI device 400.
  • the control unit 420 of the UI device 400 functions as a display control unit that displays a user interface on the display.
  • control unit 220 of the manager 200 and / or the control unit 320 of the server 300 transmits information for displaying the user interface on the UI device 400 via the communication unit 210 and / or the communication unit 310, It can be said that the control unit 220 and / or the control unit 320 also function as a display control unit that displays a user interface on the display of the UI device 400.
  • control unit 420, the control unit 220, and / or the control unit 320 may be used as an operation acquisition unit that acquires the user operation. It can be said that it is functioning.
  • the processing for providing the user interface and acquiring the user operation described below is executed by the display control unit and the operation acquisition unit.
  • FIG. 18 is a diagram illustrating an overview of a user interface provided in the first embodiment of the present disclosure.
  • a screen 5000 displayed on the display as a user interface includes a list 5001, a field 5002, an element icon 5003, and a grid line 5005.
  • the list 5001 displays a list of icons indicating elements that can be used in the system 10.
  • the list 5001 includes a hardware element list 5001a and a software element list 5001b.
  • elements realized by hardware such as a speaker, an LED lamp, a camera, a button, a microphone, an acceleration sensor, and a tag reader are displayed.
  • the elements 100 acceleration sensor 100a, camera 100b, human sensor 100c, button 100d, speaker 100e, LED lamp 100f, microphone 100g) of the system 10 exemplified above are all hardware elements.
  • the software element list 5001b elements realized by software such as timer, list addition, toggle, relay, calendar, and the like are displayed.
  • the software 603 described in the specific example described above with reference to FIGS. 12 to 17 may correspond to the software element here.
  • the software element can have various configurations.
  • the conditions set in the hardware element may be treated independently as software elements as in the above example, or the conditions are defined in the hardware element. Also good.
  • the list 5001 is only an example of a configuration for arranging a new element icon 5003 on the field. For example, even if the list 5001 is not displayed, a pop-up window for arranging a new element icon 5003 may be displayed by executing a predetermined operation such as a tap or click on the field 5002.
  • Element icon 5003 indicates the above hardware element or software element.
  • an element icon 5003 appears on the field 5002 by first selecting any element in the list 5001 and then dragging a row of the list to the desired position. To move.
  • the grid line 5005 is displayed, the positions of the plurality of element icons 5003 can be easily aligned or shifted.
  • the element icon 5003 may be automatically aligned according to the grid line 5005.
  • the grid line 5005 is displayed in a first direction (horizontal direction) defined in the field 5002 in which the element icon 5003 is arranged, and in a second direction (vertical direction) intersecting the first direction. .
  • the grid line 5005 is not necessarily displayed because it is displayed as an aid for the user to place the element icon 5003 on the screen 5000.
  • FIG. 19A and FIG. 19B are diagrams for describing operation icons displayed in the first embodiment of the present disclosure.
  • an element icon 5003 is selected in a state where only the element icon 5003 is displayed (although it is selected by a touch operation in the illustrated example, it may be selected using a mouse cursor or the like).
  • the action list 5007 is displayed according to this selection.
  • an operation icon 5009a is displayed in association with the element icon 5003.
  • the element icon 5003 is further selected while the operation icon 5009a is displayed accompanying the element icon 5003 by the operation shown in FIG. 19A.
  • the operation list 5007 is displayed again.
  • a new operation icon 5009b is displayed along with the operation icon 5009a.
  • the type of hardware element or software element is indicated (in the illustrated example, the element is a button 100d), and the operation type of the element is indicated (in the illustrated example).
  • an operation icon 5009 (which indicates an operation of pressing the button 100d) is displayed.
  • each icon arranged in the field 5002 on the screen 5000 can include an element icon 5003 and an operation icon 5009.
  • the action icon 5009 can include a plurality of action icons 5009a and 5009b indicating a plurality of actions that occur independently of each other. Three or more action icons may be included.
  • FIG. 20 is a diagram for describing setting of a link between icons according to the first embodiment of the present disclosure.
  • an element icon 5003a indicating the button 100d and an element icon 5003b indicating the camera 100b are arranged in the field 5002.
  • the element icon 5003a is accompanied by a “Press” operation icon 5009a
  • the element icon 5003b is accompanied by a “Take Photo” operation icon 5009c.
  • a socket icon 5011 is displayed along with the operation icon 5009.
  • the socket icon 5011 is displayed as a part to which a link 5015 described later is connected.
  • the socket icon 5011a is arranged only on one side (right side) facing the first direction (horizontal direction) defined in the field 5002. Yes.
  • the operation (button press) displayed by the operation icon 5009a is used exclusively as a trigger for an operation by another element.
  • the operation (button pressing) displayed by the operation icon 5009a is not a function realized by an operation by another element as a trigger.
  • Such an operation icon 5009a is also called a terminal icon.
  • the whole of the element icon 5003a and the operation icon 5009a may be called a terminal icon.
  • socket icons 5011b are arranged on both sides (left side and right side) facing the first direction (horizontal direction) defined in the field 5002.
  • This may be a function in which an operation (photographing) displayed by the operation icon 5009c is executed by an operation by another element as a trigger, or this operation may be used as a trigger for an operation by another element. . That is, as in the example shown in the figure, it is possible to take a picture with the camera 100b displayed by the operation icon 5009c using a pressing operation of the button 100d displayed by the operation icon 5009a as a trigger. It is also possible to execute another operation by another element using the execution of taking a picture by 100b as a trigger.
  • Such an operation icon 5009c or the whole of the element icon 5003b and the operation icon 5009c is also called an intermediate icon.
  • the terminal icon and the intermediate icon are represented by, for example, the arrangement of the socket icon 5011, whereby the element or operation used as one of the functions executed by the trigger or the trigger, and the trigger
  • the elements or operations that are used as both functions and functions can be displayed on the screen 5000 in an easy-to-understand manner.
  • the socket icon 5011a displayed together with the element icon 5003a and the operation icon 5009a is selected, and the plug icon 5013 and the link 5015 are extracted from the socket icon 5011a according to this selection.
  • the user can generate a link 5015 that connects the operation icon 5009a and the operation icon 5009c by dragging the plug icon 5013 into the socket icon 5011b.
  • the link 5015 may disappear together with the plug icon 5013.
  • the link 5015 is extinguished together with the plug icon 5013 by selecting the socket icon 5011b, pulling out the plug icon 5013, dragging the plug icon 5013, and releasing the dragging in a state of being detached from the socket icon 5011b. Can do.
  • a plurality of icons indicating elements that operate in association with each other and links that connect these icons to each other are displayed. That is, elements indicated by a plurality of icons connected by links operate in conjunction with each other.
  • the operation icon 5009 a when a pressing operation indicated by the operation icon 5009 a occurs in the button 100 d indicated by the element icon 5003 a, the operation icon 5009 c indicates the camera 100 b indicated by the element icon 5003 b. A photo is taken.
  • a link 5015 expresses such a linked operation of each element.
  • the order in which the linking operation between the elements occurs is determined according to the positional relationship between the element icons 5003 in the first direction (horizontal direction) defined in the field 5002, for example.
  • the left indicates the previous order and the right indicates the subsequent order.
  • the spatial sequence of the plurality of icons formed by the link 5015 corresponds to the temporal sequence of the operation of the element respectively indicated by the plurality of icons.
  • FIG. 21 is a diagram for describing deletion of an operation icon according to the first embodiment of the present disclosure.
  • an element icon 5003 and operation icons 5009a and 5009b associated with the element icon 5003 are displayed by an operation as shown in FIG. 19B.
  • an operation setting list 5017 is displayed.
  • the operation setting list 5017 includes setting and deletion options.
  • the operation icon 5009a can be deleted.
  • the operation icon 5009b can be deleted by the same operation.
  • FIG. 22 is a diagram for describing deletion of an element icon according to the first embodiment of the present disclosure.
  • an element icon 5003 and operation icons 5009a and 5009b associated with the element icon 5003 are displayed by an operation as shown in FIG. 19B.
  • an operation list 5019 is displayed.
  • the action list 5019 includes a deletion option in addition to the action “Long Press” not yet displayed by the action icon 5009. If the user selects delete here, the element icon 5003 can be deleted.
  • the operation icons 5009a and 5009b are also deleted.
  • the operation list 5019 displayed in the example shown in FIG. 22 is another example of the operation list 5007 described above with reference to FIGS. 19A and 19B. That is, in the operation list 5007, all the operations of the element indicated by the element icon 5003 are displayed, whereas in the operation list 5019, only operations that are not yet displayed as the operation icon 5009 are displayed. In the operation list 5007, no deletion option is displayed, whereas in the operation list 5019, a deletion option is displayed. For example, when the operation list 5007 is displayed, an option for deleting the element icon 5003 can be presented by executing another operation such as long press or double press on the element icon 5003.
  • FIG. 23 is a diagram for describing operation property display according to the first embodiment of the present disclosure.
  • an element icon 5003 and an operation icon 5009 are displayed.
  • an element icon 5003 indicates a timer software element.
  • the operation icon 5009 indicates “Date”, that is, a function for operating the timer at a predetermined date and time.
  • an operation property 5021 is displayed.
  • the operation property 5021 indicates the date and time when the timer operates.
  • the action property 5021 may be displayed, for example, only while the user continues to select the action icon 5009, or may continue to be displayed after the user deselects the action icon 5009.
  • the operation property 5021 is continuously displayed, for example, as illustrated, the user may be able to change the display position by dragging the operation property 5021.
  • FIG. 24 is a diagram illustrating a first example of a branch formed by an icon and a link in the first embodiment of the present disclosure.
  • an element icon 5003a indicating the button 100d an element icon 5003d indicating the speaker 100e, and an element icon 5003e indicating the LED lamp 100f are arranged in the field 5002.
  • the element icon 5003a is accompanied by a “Press” action icon 5009a
  • the element icon 5003d is accompanied by a “Play Sound” action icon 5009d
  • the element icon 5003e is accompanied by a “Light Up” action icon 5009e.
  • the link 5015a connects the operation icon 5009a and the operation icon 5009d
  • the link 5015b connects the operation icon 5009a and the operation icon 5009e.
  • the spatial sequence of icons (including element icon 5003 and action icon 5009) arranged in field 5002 formed by link 5015 is the first icon (element icon 5003a and action icon 5009a).
  • first icon element icon 5003a and action icon 5009a
  • second icons element icon 5003d and action icon 5009d, and element icon 5003e and action icon 5009e.
  • operation icon 5009a included in the first icon
  • operation icons 5009d and 5009e included in each of the plurality of second icons
  • Such a spatial sequence indicates a temporal sequence in which, when an action indicated by the first icon occurs, the action indicated by each of the second icons occurs in response to the action.
  • the action indicated by the single action icon can be set as a trigger for the action indicated by the plurality of other action icons.
  • the speaker 100e reproduces sound triggered by the button 100d (element icon 5003a) being pressed (operation icon 5009a) by the links 5015a and 5015b.
  • operation icon 5009d and LED lamp 100f (element icon 5003e) are turned on (operation icon 5009e).
  • the operation in which the speaker 100e reproduces sound and the operation in which the LED lamp 100f is lit occur in synchronization.
  • the synchronization in this specification does not mean that the time at which it occurs is strictly aligned.
  • the manager 200 detects that the button 100d has been pressed, the manager 200 transmits a control signal to the speaker 100e and the LED lamp 100f almost simultaneously, but a delay that occurs inside the communication path and the speaker 100e and the LED lamp 100f. For this reason, the time at which the operation occurs is not always exactly the same.
  • FIG. 25 is a diagram illustrating a second example of a branch formed by an icon and a link in the first embodiment of the present disclosure.
  • element icons 5003a, 5003d, and 5003e are arranged in the field 5002, as in the example of FIG.
  • element icons 5003a, 5003d, and 5003e are displayed with operation icons 5009a, 5009d, and 5009e, respectively.
  • the element icon 5003a is also displayed with an operation icon 5009b of “Double Press”.
  • the link 5015a connects the operation icon 5009a and the operation icon 5009d
  • the link 5015b connects the operation icon 5009b and the operation icon 5009e.
  • the spatial sequence of the icons (including the element icon 5003 and the operation icon 5009) formed by the link 5015 and arranged in the field 5002 is the first.
  • Such a spatial sequence is a multi-line in which when any of the plurality of actions of the element indicated by the first icon occurs, the action indicated by any of the second icons occurs accordingly. Shows a good temporal sequence.
  • each of the operations indicated by the plurality of operation icons attached to the same element icon can be set as a trigger for the operation indicated by the different operation icons.
  • the speaker 100e reproduces sound triggered by the button 50d (element icon 5003a) being pressed (operation icon 5009a) by the links 5015a and 5015b.
  • operation icon 5009d On the other hand, the LED lamp 100f (element icon 5003e) is turned on (operation icon 5009e) when the button 100d (element icon 5003a) is pressed twice (operation icon 5009b) as a trigger. It is expressed.
  • FIG. 26 is a diagram illustrating an example of a multi-line connection formed by icons and links in the first embodiment of the present disclosure.
  • an element icon 5003a indicating the button 100d and an element icon 5003d indicating the speaker 100e are arranged in the field 5002.
  • an operation icon 5009a and a “Double Press” operation icon 5009b are displayed on the element icon 5003a
  • an operation icon 5009f of “Play Sound A” and an operation icon 5009g of “Play Sound B” are displayed on the element icon 5003d.
  • the link 5015a connects the operation icon 5009a and the operation icon 5009f
  • the link 5015b connects the operation icon 5009b and the operation icon 5009g.
  • a spatial sequence of icons formed by the link 5015 and arranged in the field 5002 includes a plurality of operation icons (operations included in the first icon).
  • Each of the icons 5009a and 5009b) includes a multi-line connection with each of the operation icons (operation icons 5009f and 5009g) included in the second icon.
  • Such a spatial sequence is generated when any of the plurality of operations of the element indicated by the first icon occurs, and accordingly, any of the plurality of operations of the element indicated by the second icon occurs. It shows a double-track time sequence.
  • each of the operations indicated by the plurality of operation icons attached to the same element icon can be set as a trigger for the operation indicated by the different operation icons.
  • the speaker 100e reproduces the sound A (operation icon) triggered by the button 100d (element icon 5003a) being pressed (operation icon 5009a) by the links 5015a and 5015b.
  • operation icon 5009a a linked operation in which the speaker 100e reproduces the sound B (operation icon 5009g) when the button 100d (element icon 5003a) is pressed twice (operation icon 5009b) as a trigger is expressed.
  • FIG. 27 is a diagram illustrating an example of serial association formed by icons and links in the first embodiment of the present disclosure.
  • an element icon 5003a indicating the button 100d an element icon 5003d indicating the speaker 100e, and an element icon 5003e indicating the LED lamp 100f are arranged in the field 5002.
  • the element icon 5003a is accompanied by a “Press” action icon 5009a
  • the element icon 5003d is accompanied by a “Play Sound” action icon 5009d
  • the element icon 5003e is accompanied by a “Light Up” action icon 5009e.
  • the link 5015a connects the operation icon 5009a and the operation icon 5009d
  • the link 5015b connects the operation icon 5009d and the operation icon 5009e.
  • the spatial sequence of icons (including the element icon 5003 and the action icon 5009) formed by the link 5015 and included in the field 5002 includes a serial association of a plurality of icons.
  • a spatial sequence indicates a temporal sequence in which operations indicated by a plurality of icons occur in the order of the association described above.
  • the operation indicated by the first operation icon is set as a trigger for the operation indicated by the second icon
  • the operation indicated by the second icon is set by the third icon. Can be set to trigger the indicated action.
  • the speaker 100e reproduces sound (operation icon 5009d) triggered by the button 50a being pressed (operation icon 5009a) by the links 5015a and 5015b.
  • a linked operation is expressed in which the LED lamp 100f (element icon 5003e) is turned on (operation icon 5009e) triggered by the speaker 100e reproducing the sound.
  • the lighting of the LED lamp 100f may be started immediately after the audio reproduction by the speaker 100e is started, may be started after the audio reproduction is completed, or may be started for a predetermined time from the audio reproduction. May be started with a delay of
  • the linkage operation expressed by the series linkage as described above does not necessarily mean that the control signals for each element are transmitted in series.
  • the manager 200 detects that the button 100d is pressed, the manager 200 transmits a control signal to each of the speaker 100e and the LED lamp 100f.
  • paths through which the control signal is transmitted to each element are independent of each other. May be. Even in such a case, the manager 200 adjusts the transmission timing of the control signal, the delay time until the operation is started, and the like so that the sound reproduction by the speaker 100e is started first and then the LED lamp 100f is turned on.
  • FIG. 28 is a diagram illustrating a first example of grid adjustment according to the first embodiment of the present disclosure.
  • a plurality of element icons 5003 are displayed in the field 5002.
  • a grid line 5005 is displayed.
  • each element icon 5003 is automatically aligned according to the grid line 5005.
  • the operation icon 5009 is not shown, it may be displayed accompanying the element icon 5003.
  • the input / output unit 430 of the UI device 400 includes a touch panel, and the user performs a pinch-out operation at a position across a certain grid line 5023.
  • the control unit 420 of the UI device 400 acquires this operation
  • the control unit 420 also implements this operation.
  • the displayed control unit divides the grid line 5023 designated by the pinch-out operation, and inserts a new column 5025 between the divided grid lines.
  • the grid line 5023 is divided. However, this is an appearance, and the grid line 5023 is not necessarily divided for internal processing.
  • a new grid line is generated adjacent to the grid line 5023, and a new column 5025 is created by opening a gap between the new grid line and the grid line 5023. It may be inserted.
  • a new column 5025 is inserted by selecting the vertical grid line 5023. However, if a horizontal grid line is selected by the same operation, a new row can be inserted. .
  • the operation for dividing the grid line 5023 and inserting a new column 5025 is not limited to the pinch-out operation as described above.
  • the grid line 5023 may be designated by a tap operation using a touch panel or an operation using a mouse.
  • an operation mode different from normal such as a position adjustment mode, may be set.
  • the first user operation for designating a grid line can include various operations such as an operation for selecting a grid line or a pinch-out operation at a position across the grid line.
  • FIG. 29 is a diagram illustrating a second example of grid adjustment according to the first embodiment of the present disclosure. Also in the example shown in FIG. 29, a plurality of element icons 5003 are displayed in the field 5002. In the field 5002, a grid line 5005 is displayed. In the illustrated example, each element icon 5003 is automatically aligned along the grid line 5005. Although the operation icon 5009 is not shown, it may be displayed accompanying the element icon 5003.
  • the input / output unit 430 of the UI device 400 includes a touch panel, and the user performs a pinch-in operation at a position across the row 5027 defined by the grid line 5005.
  • the display control unit similarly realized by the control unit 420 deletes the row 5027 specified by the pinch-in operation and deletes the line 5027.
  • the grid lines on both sides of each row are integrated into a single grid line 5029.
  • the grid lines on both sides of the row 5027 are integrated. However, this is an appearance, and the grid lines are not necessarily integrated into the grid line 5029 in the internal processing. Absent. For example, when the above-described pinch-in operation is performed, the grid lines on both sides of the row 5027 may approach each other, and one of the grid lines may be deleted and the grid line 5029 may remain. In the above example, the horizontal row 5027 has been deleted, but it is also possible to delete the vertical column by a similar operation.
  • the operation for deleting the line 5027 is not limited to the pinch-in operation as described above.
  • the row 5027 may be designated by a tap operation using a touch panel or an operation using a mouse.
  • an operation mode different from the normal mode such as the position adjustment mode may be set.
  • the pinch-in operation does not necessarily have to be executed at a position across the entire row 5027, and the pinch-in operation across at least a part of the row 5027 may be executed. .
  • the second user operation for designating a row or a column in this embodiment includes various operations such as an operation for selecting a row or a column or a pinch-in operation at a position across at least a part of the row or the column. Operations can be included.
  • the arrangement of the element icons 5003 and the operation icons 5009 displayed in the field 5002 on the screen 5000 provided as the user interface is intuitive. It can be adjusted by operation.
  • the operation icons 5009 are connected to each other by a link 5015 to express a link operation between elements. Therefore, it may be useful to be able to insert an interval for arranging the link 5015 between icons by an operation like the first example described above.
  • the UI device 400 when a user operation is accepted mainly via a touch panel included in the input / output unit 430, an area including a plurality of icons 5003 is displayed on the screen 5000 unlike an operation using a mouse.
  • the operation to specify is not always easy. If the plurality of icons 5003 can be moved for each field 5002 by the operation as in the above example, the region including the plurality of icons 5003 does not necessarily have to be specified, and the operability on the touch panel can be improved.
  • FIG. 30 is a diagram illustrating a first display example according to the second embodiment of the present disclosure.
  • the screen displayed on the display as a user interface in the present embodiment includes an element icon 6003, a grid line 6005, and an operation icon 6009. These components correspond to the element icon 5003, the grid line 5005, and the operation icon 5009 described in the first embodiment.
  • the element icon 6003 can be given a unique name using the name field 6031.
  • each component of the user interface according to the display example will be described in more detail.
  • the operation icons 6009a1 and 6009a2 are attached to the element icon 6003a indicating the “calendar” software element.
  • the operation icons 6009a1 and 6009a2 indicate the operation of the alarm function provided by the “calendar” software element, but the alarm set times are different.
  • the operation icon 6009a1 is connected to the operation icon 6009b1 of the element icon 6003b indicating the microphone 100g by a link 6015.
  • the operation icon 6009b1 indicates an operation in which the microphone 100g starts streaming audio.
  • the operation icon 6009b1 is connected to the operation icon 6009c of the element icon 6003c indicating the speaker 100e by a link 6015.
  • the operation icon 6009c indicates an operation in which the speaker 100e reproduces a predetermined sound.
  • the serial link from the operation icon 6009a1 to the operation icon 6009b1 through the operation icon 6009b1 causes the microphone 100g to start streaming at 22:00 every day and the speaker 100e to play audio (notifying the user of the start of streaming).
  • the order of operations is defined.
  • the operation icon 6009a2 is connected to the operation icon 6009b2 by a link 6015.
  • the operation icon 6009b2 indicates an operation in which the microphone 100g ends the audio streaming. Streaming starts at 22:00 every day and ends at 24:00 every day due to the multi-line connection from each of the operation icons 6009a1 and 6009a2 to each of the operation icons 6009b1 and 6009b2, and occurs at different times Can be defined.
  • the operation icon 6009a1 is also connected to the operation icon 6009d of the element icon 6003d indicating the LED lamp 100f.
  • the operation icon 6009d indicates an operation in which the LED lamp 100f is lit (faintly).
  • an operation property 6033d1 is displayed on the operation icon 6009d.
  • the operation property 6033d1 indicates the property of the lighting operation of the LED lamp 100f indicated by the operation icon 6009d, more specifically, the setting of the temporal change of the light amount.
  • the user may be able to set the time taken to attenuate the light amount.
  • FIG. 31 is a diagram illustrating a second display example according to the second embodiment of the present disclosure.
  • an operation icon 6009a3 of an element icon 6003a indicating a “calendar” software element is connected to an operation icon 6009d of an element icon 6003d indicating an LED lamp 100f by a link 6015.
  • the operation icon 6009a3 indicates an operation of “notifying 2 hours before the appointment”.
  • the “appointment” portion and the “two hours ago” portion can be set using the operation icon 6009a3.
  • the operation icon 6009d indicates an operation in which the LED lamp 100f is turned on (in a pulse manner).
  • an operation property 6033d2 is displayed on the operation icon 6009d.
  • the operation property 6033d2 indicates the property of the lighting operation of the LED lamp 100f indicated by the operation icon 6009d, more specifically, the setting of the temporal change of the light amount.
  • the user may be able to set a time during which a pulse-like change in the light amount is repeated.
  • FIG. 32 is a diagram illustrating a third display example according to the second embodiment of the present disclosure.
  • the operation icon 6009e of the element icon 6003e indicating the button 100d is connected to the operation icon 6009f1 of the element icon 6003f indicating the camera 100b by a link 6015.
  • the operation icon 6009e indicates an operation of “the button 100d is pressed”.
  • the operation icon 6009f1 indicates an operation of “starting moving image shooting with the camera 100b”.
  • the operation icon 6009f1 is accompanied by an extended portion 6009f1-e indicating the duration of shooting. In the extended portion 6009f1-e, the user may be able to set the shooting duration.
  • the operation icon 6009f1 is connected to an operation icon 6009g of an element icon 6003g indicating a software element of “list” by a link 6015.
  • the operation icon 6009g indicates an operation of adding provided data such as a moving image to the list.
  • a list for storing arbitrary data objects can be provided in a storage realized by a server on a network. By adding data to this list, the user can share data with other users.
  • a “list” software element indicated by an element icon 6003g is prepared for sharing moving image data with grandparents. Therefore, the name “Gran” is set in the name field 6031g.
  • FIG. 33 is a diagram illustrating a fourth display example according to the second embodiment of the present disclosure.
  • FIG. 33 shows another setting example of the linking operation of elements that realizes the same function as in the third example.
  • an operation icon 6009e of an element icon 6003e indicating a button 100d is connected to an operation icon of an element icon 6003h indicating a software element of “toggle switch” by a link 6015.
  • the “toggle switch” software element alternately switches the operation to be executed when a triggering operation occurs in another element.
  • the switch when the operation of pressing the button 100d indicated by the operation icon 6009e occurs, the switch is turned ON (or OFF) as indicated by the operation icon 6009h1 for the first time, and the operation icon for the second time.
  • the switch is turned OFF (or ON) as indicated by 6009h2, and the switch is turned ON (or OFF) for the third time as indicated by the operation icon 6009h1.
  • ON and OFF of a switch are labels set for convenience.
  • the software element of the “toggle switch” can switch not only operations corresponding to ON and OFF, but also all kinds of operations. Further, the number of operations to be switched is not limited to two, and three or more operations may be switched in order and executed.
  • the operation icon 6009h1 indicating the operation of turning on the switch is connected to the operation icon 6009f1 of the element icon 6003f indicating the camera 100b by the link 6015.
  • the operation icon 6009f1 indicates an operation of “starting video shooting with the camera 100b”.
  • the operation icon 6009f1 is connected to an operation icon 6009g of an element icon 6003g indicating a software element of “list” by a link 6015.
  • the operation icon 6009g indicates an operation of adding provided data such as a moving image to the list.
  • the operation icon 6009h1 is also connected to an operation icon 6009d1 indicating that the LED lamp 100f (element icon 6003d) is lit.
  • the operation icon 6009h2 indicating the operation of turning off the switch is connected to the operation icon 6009f2 of the element icon 6003f indicating the camera 100b by the link 6015.
  • the operation icon 6009f2 indicates an operation of “ending the shooting with the camera 100b”.
  • the operation icon 6009h2 is also connected to an operation icon 6009d2 indicating that the LED lamp 100f (element icon 6003d) is turned off.
  • the software element (element icon 6003h) of “toggle switch” is introduced, so that the start and end of moving image shooting by the camera 100b can be arbitrarily set by the user operation via the button 100d Can be controlled.
  • the link 6015 forms a branch from the operation icon 6009h1 to the operation icon 6009f1 and the operation icon 6009d1, and further forms a branch from the operation icon 6009h2 to the operation icon 6009f3 and the operation icon 6009d2.
  • FIG. 34 is a diagram illustrating a fifth display example according to the second embodiment of the present disclosure.
  • an operation icon 6009i of an element icon 6003i indicating a software element of “list” is connected to an operation icon 6009j1 of an element icon 6003j indicating an LED lamp 100f by a link 6015.
  • An operation icon 6009i indicates an operation of detecting a list update.
  • the operation icon 6009j1 indicates an operation of blinking the LED lamp 100f three times.
  • the number of blinks may be set by the user as in the illustrated example.
  • the illustrated example may be a program on the reference side of the mechanism for sharing moving image data described above with reference to FIG. 32 or FIG.
  • the name “Gran” is set by the name field 6031i.
  • the “list” software element indicated by the element icon 6003i can refer to the same list as the “list” software element indicated by the element icon 6003g in the above example.
  • FIG. 35 is a diagram illustrating a sixth display example according to the second embodiment of the present disclosure.
  • icons similar to those in the example described above with reference to FIG. 34 are arranged and the same functions are realized.
  • the operation icon 6009j2 associated with the element icon 6003j is the operation of the above example. It is different from the icon 6009j1.
  • more detailed settings including the lighting time, the standby (light-off) time, and the number of repetitions can be set for the blinking pattern of the LED lamp 100f.
  • FIG. 36 is a diagram illustrating a seventh display example according to the second embodiment of the present disclosure.
  • the NFC reader installed in the key area of the entrance detects whether the mother or father has come home by reading the IC tag embedded in the key ring, and turns on the LED lamp accordingly. And a mechanism for playing music in a playlist.
  • operation icons 6009k1 and 6009k2 are attached to the element icon 6003k indicating the NFC reader.
  • the operation icon 6009k1 indicates an operation in which the mother ID is detected by communication with the IC tag.
  • the operation icon 6009k2 indicates an operation in which the father's ID is detected by communication with the IC tag.
  • a double line connection is formed by a link 6015 between the operation icons 6009k1 and 6009k2 and the operation icons 6009d3 and 6009d4 of the element icon 6003d indicating the LED lamp 100f.
  • the LED lamp 100f blinks with the pattern A (operation icon 6009d3), and when the return of the father is detected (operation icon 6009k2), the LED lamp 100f lights up with pattern B (operation icon 6009d4).
  • an operation property 6035d3 for setting a blinking pattern is displayed for the operation icon 6009d3
  • an operation property 6035d4 for setting a lighting color pattern is displayed for the operation icon 6009d4.
  • the operation icons 6009k1 and 6009k2 are both connected to an operation icon 6009m of an element icon 6003m indicating a software element of “relay switch” by a link 6015.
  • the software element of the “relay switch” switches a switch state according to a state indicated by the operation when a triggering operation occurs in another element.
  • the software element of the “relay switch” indicated by the element icon 6003m in the illustrated example has a state of “home of mother” (“Mom” is ON) indicated by the operation of the operation icon 6009k1, Based on the state “at home of father” (“Dad” is ON) indicated by the operation of the operation icon 6009k2, states A to D as shown in the operation property 6035m are switched. These states A to D are indicated by an extended portion 6009m_e of the operation icon 6009m.
  • the portions corresponding to the four states A to D included in the extended portion 6009m_e are connected to the operation icon of the element icon 6003c indicating the speaker 100e in multiple lines.
  • state A mother only at home
  • state B father only at home
  • state C A mixed playlist is reproduced when the mother and father are at home
  • an operation is realized in which the playlist is not reproduced in state D (both are not at home).
  • FIG. 37 is a diagram illustrating an eighth display example according to the second embodiment of the present disclosure.
  • a mechanism is realized in which sound is reproduced by the speaker 100e at a predetermined date and time and the LED lamp 100f is repeatedly lit in a predetermined pattern during the reproduction of the sound.
  • an operation icon 6009n is attached to an element icon 6003n indicating a software element of “timer”.
  • the operation icon 6009n indicates an operation for generating a trigger at a predetermined date and time (May 17, 19:00).
  • the link 6015 connected to the operation icon 6009n forms a branch to the operation icon 6009c5 of the element icon 6003c indicating the speaker 100e and the operation icon 6009d5 of the element icon 600d indicating the LED lamp 100f. Therefore, in the illustrated example, when a trigger occurs at a predetermined date and time (operation icon 6009n), the LED lamp 100f is set in a predetermined manner in synchronization with an operation (operation icon 6009c) in which sound is reproduced by the speaker 100e.
  • An operation (operation icon 6009d5) that is repeatedly lit in a pattern occurs.
  • the operation icon 6009c5 it may be possible to designate a sound to be reproduced.
  • the operation icon 6009d5 it may be possible to specify the light emission color constituting the lighting pattern.
  • the operation icon 6009c5 is connected to the operation icon 6009d6 of the element icon 6003d. That is, in the illustrated example, the operation indicated by the operation icon 6009c5 (sound reproduction by the speaker 100e) and the operation indicated by the operation icon 6009d5 (lighting of the LED lamp 100f) occur in synchronization with each other, and the operation icon 6009c5 Following the operation indicated by (reproduction of sound by the speaker 100e), the operation indicated by the operation icon 6009d6 (stop of reproduction of sound by the speaker 100e) occurs. In this way, in the present embodiment, it is possible to realize a high-level linkage operation with a limited number of elements by combining link branching and serial linkage of icons.
  • FIG. 38 is a diagram illustrating a ninth display example according to the second embodiment of the present disclosure.
  • icons similar to those in the example described above with reference to FIG. 37 are arranged and the same function is realized, but the element icon 6003d is an element indicating a “loop” software element.
  • the icon 6003p and operation icons 6009p1 and 6009p2 are replaced.
  • the “loop” software element indicated by the element icon 6003p executes control to repeat the operation displayed in the loop setting window 6045.
  • the loop setting window 6045 is arranged as a subwindow on a screen displayed on the display as a user interface.
  • a linked operation it is possible to express a linked operation to be a loop target by an element icon 6003, an operation icon 6009, and a link 6015.
  • an element icon 6003d indicating the LED lamp 100f and an operation icon 6009d7 are arranged in the loop setting window 6045.
  • the operation icon 6009d7 is accompanied by an extended portion 6009d7_e that defines the lighting color and interval.
  • the end portion of the extended portion 6009d7_e and the operation icon 6009d7 are connected in a circular manner by a link 6015, and the loop is completed by the operation of the LED lamp 100f.
  • other element icons 6003 and operation icons 6009 may be arranged in the loop setting window 6045, and a loop process with a plurality of elements and a plurality of operations may be defined.
  • an operation icon 6009p1 associated with the element icon 6003p indicating the “loop” software element indicates a start operation of the loop.
  • loop processing defined in the loop setting window 6045 is started.
  • the operation icon 6009p1 may be accompanied by an extended portion 6009p1_e indicating the duration of the loop processing.
  • an operation icon 6009p2 associated with the element icon 6003p indicates the end operation of the loop processing.
  • the end of the loop processing is defined by both the extended portion 6009p1_e and the operation icon 6009p2 as in the illustrated example, for example, whichever is earlier or whichever is later is preferentially adopted. May be.
  • FIG. 39 is a block diagram illustrating a hardware configuration example of the information processing apparatus according to the embodiment of the present disclosure.
  • the illustrated information processing apparatus 900 can realize, for example, the element 100, the manager 200, the server 300, and / or the UI apparatus 400 in the above-described embodiment.
  • the information processing apparatus 900 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing apparatus 900 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the information processing apparatus 900 may include an imaging device 933 and a sensor 935 as necessary.
  • the information processing apparatus 900 may include a processing circuit called DSP (Digital Signal Processor) or ASIC (Application Specific Integrated Circuit) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 900 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs and calculation parameters used by the CPU 901.
  • the RAM 905 primarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone that supports the operation of the information processing device 900.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901. The user operates the input device 915 to input various data and instruct processing operations to the information processing device 900.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly.
  • the output device 917 can be, for example, a display device such as an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL (Electro-Luminescence) display, an audio output device such as a speaker and headphones, and a printer device.
  • the output device 917 outputs the result obtained by the processing of the information processing device 900 as video such as text or an image, or outputs it as audio such as voice or sound.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 900.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905.
  • the drive 921 writes a record in the attached removable recording medium 927.
  • the connection port 923 is a port for directly connecting a device to the information processing apparatus 900.
  • the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 may be, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network 931 connected to the communication device 925 is a wired or wireless network, such as the Internet, a home LAN, infrared communication, radio wave communication, or satellite communication.
  • the imaging device 933 uses various members such as an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and a lens for controlling the formation of a subject image on the imaging element. It is an apparatus that images a real space and generates a captured image.
  • the imaging device 933 may capture a still image or may capture a moving image.
  • the sensor 935 is various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, and a sound sensor.
  • the sensor 935 acquires information about the state of the information processing apparatus 900 itself, such as the posture of the information processing apparatus 900, and information about the surrounding environment of the information processing apparatus 900, such as brightness and noise around the information processing apparatus 900, for example. To do.
  • the sensor 935 may include a GPS sensor that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the apparatus.
  • GPS Global Positioning System
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • Embodiments of the present disclosure include, for example, an information processing apparatus (a UI apparatus, a manager or server that controls provision of a user interface in the UI apparatus, or an element that also functions as a manager), a system, and an information processing apparatus as described above Alternatively, it may include an information processing method executed in the system, a program for causing the information processing apparatus to function, and a non-temporary tangible medium on which the program is recorded.
  • an information processing apparatus a UI apparatus, a manager or server that controls provision of a user interface in the UI apparatus, or an element that also functions as a manager
  • a system and an information processing apparatus as described above
  • it may include an information processing method executed in the system, a program for causing the information processing apparatus to function, and a non-temporary tangible medium on which the program is recorded.
  • an example in which an element icon and an operation icon are displayed as icons and the operation icons are connected by a link has been described.
  • the embodiment of the present disclosure is not limited to such an example.
  • the element icons are linked to each other or to the motion icon associated with another element icon. It may be connected with.
  • a display control unit that displays a plurality of icons indicating hardware elements or software elements that operate in cooperation with each other and a link that connects the plurality of icons to each other;
  • An information processing apparatus in which a spatial sequence of the plurality of icons formed by the links corresponds to a temporal sequence of operations of the software element or the hardware element respectively indicated by the plurality of icons.
  • the spatial sequence includes a serial association of the plurality of icons.
  • the plurality of icons includes a first icon and a plurality of second icons, The information processing apparatus according to (1) or (2), wherein the spatial sequence includes a branch from the first icon to each of the second icons.
  • Each of the icons includes an element icon indicating a type of the software element or the hardware element, and an operation icon indicating a type of operation of the software element or the hardware element,
  • the information processing apparatus according to any one of (1) to (3), wherein the link connects the operation icons to each other.
  • the operation icons include a plurality of icons indicating a plurality of operations that occur independently of each other.
  • the plurality of icons include a first icon and a second icon, The information according to (5), wherein each of the plurality of operation icons included in the first icon and each of the plurality of operation icons included in the second icon are connected in a double line by the link. Processing equipment.
  • the plurality of icons includes a first icon and a plurality of second icons, Each of the plurality of operation icons included in the first icon and the operation icon included in each second icon are connected by the link, whereby the first icon is changed to each second icon.
  • the information processing apparatus according to (5), wherein a branch is formed.
  • the plurality of icons include a first icon and a plurality of second icons, A branch from the first icon to each second icon by connecting the single operation icon included in the first icon and the operation icon included in each second icon by the link.
  • the information processing apparatus further displays a field in which the plurality of icons are arranged, In the field, a first direction is defined,
  • the information processing apparatus according to any one of (1) to (8), wherein the link is connected to the icons from the first direction.
  • Each icon includes a socket icon to which the link is connected,
  • the plurality of icons include a terminal icon in which the socket icon is arranged only on one side facing the first direction, and an intermediate icon in which the socket icon is arranged on both sides facing the first direction.
  • the information processing apparatus according to (9).
  • (11) The display control unit according to (9) or (10), further displaying the first direction and a grid line in a second direction intersecting the first direction on the field. Information processing device.
  • An operation acquisition unit that acquires a first user operation that specifies the grid line is further provided, The information processing apparatus according to (11), wherein the display control unit divides a grid line designated by the first user operation and inserts a new row or column between the divided grid lines. . (13) The information processing apparatus according to (12), wherein the first user operation includes an operation of selecting the grid line or a pinch-out operation at a position across the grid line. (14) An operation acquisition unit that acquires a second user operation that specifies a row or a column defined by the grid line, The display control unit deletes the row or column specified by the second user operation, and integrates the grid lines on both sides of the deleted row or column.
  • the information processing apparatus according to claim 1.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stored Programmes (AREA)

Abstract

【課題】ハードウェアエレメントまたはソフトウェアエレメントの連係動作を設定するためのユーザの直観的な操作を可能にする。 【解決手段】互いに連係動作するハードウェアエレメントまたはソフトウェアエレメントを示す複数のアイコンと、上記複数のアイコンを互いに接続するリンクとを表示させる表示制御部を備え、上記リンクによって形成される上記複数のアイコンの空間的シークエンスは、上記複数のアイコンによってそれぞれ示される上記ソフトウェアエレメントまたは上記ハードウェアエレメントの動作の時間的シークエンスに対応する情報処理装置が提供される。

Description

情報処理装置、表示制御方法およびプログラム
 本開示は、情報処理装置、表示制御方法およびプログラムに関する。
 家庭などにある複数の機器を連携して機能させることは、既に一般的である。例えば、特許文献1には、機器連携によって実現される機能の利用を効果的に支援するための技術が記載されている。
特開2014-32501号公報
 上記の特許文献1に記載された技術では、スマートフォンの画面に表示されるコンソールを用いて、システムへの機器の登録などの操作が実行される。また、特許文献1に記載された技術では、機器の連係動作をユーザが新たに登録することが可能である。しかしながら、特許文献1で新たな連係動作の登録のために提示されるユーザインターフェースはテキストベースであり、操作の直観性などの面でなおも改善の余地がある。
 そこで、本開示では、ハードウェアエレメントまたはソフトウェアエレメントの連係動作を設定するためのユーザの直観的な操作を可能にする、新規かつ改良された情報処理装置、表示制御方法およびプログラムを提案する。
 本開示によれば、互いに連係動作するハードウェアエレメントまたはソフトウェアエレメントを示す複数のアイコンと、上記複数のアイコンを互いに接続するリンクとを表示させる表示制御部を備え、上記リンクによって形成される上記複数のアイコンの空間的シークエンスは、上記複数のアイコンによってそれぞれ示される上記ソフトウェアエレメントまたは上記ハードウェアエレメントの動作の時間的シークエンスに対応する情報処理装置が提供される。
 また、本開示によれば、互いに連係動作するハードウェアエレメントまたはソフトウェアエレメントを示す複数のアイコンと、上記複数のアイコンを互いに接続するリンクとを表示させることを含み、上記リンクによって形成される上記複数のアイコンの空間的シークエンスは、上記複数のアイコンによってそれぞれ示される上記ソフトウェアエレメントまたは上記ハードウェアエレメントの動作の時間的シークエンスに対応する表示制御方法が提供される。
 また、本開示によれば、情報処理装置の処理回路において実行されることによって、互いに連係動作するハードウェアエレメントまたはソフトウェアエレメントを示す複数のアイコンと、上記複数のアイコンを互いに接続するリンクとを表示させる機能を実現し、上記リンクによって形成される上記複数のアイコンの空間的シークエンスは、上記複数のアイコンによってそれぞれ示される上記ソフトウェアエレメントまたは上記ハードウェアエレメントの動作の時間的シークエンスに対応するプログラムが提供される。
 以上説明したように本開示によれば、ハードウェアエレメントまたはソフトウェアエレメントの連係動作を設定するためのユーザの直観的な操作を可能にすることができる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る技術を適用することが可能なシステムの概略的な構成を示す図である。 図1に示されたシステムの第1の具体的な構成例を示す図である。 図1に示されたシステムの第2の具体的な構成例を示す図である。 図1に示されたシステムの第3の具体的な構成例を示す図である。 図1に示されたシステムの第4の具体的な構成例を示す図である。 図1に示されたシステムの第5の具体的な構成例を示す図である。 図1に示されたシステムの第6の具体的な構成例を示す図である。 図1に示されたシステムの第7の具体的な構成例を示す図である。 図1に示されたシステムの第8の具体的な構成例を示す図である。 図1に示されたシステムにおいて提供されるUIの第1の例を示す図である。 図1に示されたシステムにおいて提供されるUIの第2の例を示す図である。 図1に示されたシステムにおけるエレメントの連係動作の第1の具体的な例について説明するための図である。 図1に示されたシステムにおけるエレメントの連係動作の第2の具体的な例について説明するための図である。 図1に示されたシステムにおけるエレメントの連係動作の第3の具体的な例について説明するための図である。 図1に示されたシステムにおけるエレメントの連係動作の第4の具体的な例について説明するための図である。 図1に示されたシステムにおけるエレメントの連係動作の第5の具体的な例について説明するための図である。 図1に示されたシステムにおけるエレメントの連係動作の第6の具体的な例について説明するための図である。 本開示の第1の実施形態において提供されるユーザインターフェースの概要を示す図である。 本開示の第1の実施形態において表示される動作アイコンについて説明するための図である。 本開示の第1の実施形態において表示される動作アイコンについて説明するための図である。 本開示の第1の実施形態におけるアイコン間のリンクの設定について説明するための図である。 本開示の第1の実施形態における動作アイコンの削除について説明するための図である。 本開示の第1の実施形態におけるエレメントアイコンの削除について説明するための図である。 本開示の第1の実施形態における動作のプロパティの表示について説明するための図である。 本開示の第1の実施形態においてアイコンとリンクとによって形成される分岐の第1の例を示す図である。 本開示の第1の実施形態においてアイコンとリンクとによって形成される分岐の第2の例を示す図である。 本開示の第1の実施形態においてアイコンとリンクとによって形成される複線的な接続の例を示す図である。 本開示の第1の実施形態においてアイコンとリンクとによって形成される直列的な連関の例を示す図である。 本開示の第1の実施形態におけるグリッドの調整の第1の例を示す図である。 本開示の第1の実施形態におけるグリッドの調整の第2の例を示す図である。 本開示の第2の実施形態における第1の表示例を示す図である。 本開示の第2の実施形態における第2の表示例を示す図である。 本開示の第2の実施形態における第3の表示例を示す図である。 本開示の第2の実施形態における第4の表示例を示す図である。 本開示の第2の実施形態における第5の表示例を示す図である。 本開示の第2の実施形態における第6の表示例を示す図である。 本開示の第2の実施形態における第7の表示例を示す図である。 本開示の第2の実施形態における第8の表示例を示す図である。 本開示の第2の実施形態における第9の表示例を示す図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1.適用可能なシステムの例
  1-1.概略的な構成
  1-2.具体的な構成例
  1-3.ユーザインターフェースの例
  1-4.連係動作の例
 2.本開示の実施形態
  2-1.第1の実施形態
  2-2.第2の実施形態
 3.ハードウェア構成
 4.補足
 (1.適用可能なシステムの例)
 (1-1.概略的な構成)
 図1は、本開示の実施形態に係る技術を適用することが可能なシステムの概略的な構成を示す図である。図1を参照すると、システム10は、エレメント100と、マネージャ200と、サーバ300と、UI(User Interface)装置400とを含む。これらの装置は、ネットワークNWで互いに接続されている。ネットワークNWは、例えば、Bluetooth(登録商標)、Wi-Fi、インターネットなどを含みうる。なお、以下では一例としてシステム10について説明するが、本開示の実施形態に係る技術は他の様々なシステムにおいても適用可能である。
 エレメント100は、通信部110と、制御部120と、機能部130と、電源部140とを含む装置である。通信部110は、マネージャ200および/または他のエレメント100と、ネットワークNWを介して通信する通信装置を含む。制御部120は、例えばマイクロコントローラやCPU(Central Processing Unit)などによって実現され、機能部130を制御する。機能部130は、例えばセンサやアクチュエータなどを含み、それぞれのエレメント100に固有の機能を実現する。電源部140は、バッテリーや電源プラグなどを含み、通信部110、制御部120、および機能部130を動作させるための電源を供給する。なお、エレメント100以外の装置も電源部を有するが、図示は省略されている。
 マネージャ200は、通信部210と、制御部220と、記憶部230とを含む装置である。通信部210は、エレメント100、サーバ300およびUI装置400と、ネットワークNWを介して通信する通信装置を含みうる。制御部220は、例えばマイクロコントローラやCPUなどによって実現され、通信部210を介して、エレメント100同士の間、およびエレメント100とサーバ300との間の通信を制御する。制御部220には、演算部221が含まれうる。演算部221は、エレメント100から受信された情報や、エレメント100に送信する情報、サーバ300に送信する情報、サーバ300から受信された情報などについての演算を実施する。記憶部230は、メモリまたはストレージを含み、制御部220が制御する通信によってやりとりされる情報や、演算部221によって算出された情報などを格納する。
 サーバ300は、通信部310と、制御部320と、記憶部330とを含む。通信部310は、マネージャ200とネットワークNWを介して通信する通信装置を含む。制御部320は、例えばマイクロコントローラやCPUなどによって実現され、演算部321、およびUI提供部323を含みうる。演算部321は、エレメント100またはマネージャ200から受信された情報や、エレメント100またはマネージャ200に送信する情報、他のサーバから受信された情報、他のサーバに送信する情報などについての演算を実施する。UI提供部323は、ユーザがエレメント100および/またはマネージャ200の組み合わせを指定したり、各種の情報を確認したりするためのUIを提供する。UIは、例えば、UI装置400の入出力部430に含まれるディスプレイおよびタッチパネルなどを介して提供される。記憶部330は、メモリまたはストレージを含み、エレメント100に関する各種の情報や、複数のエレメント100を組み合わせて動作させるためのプログラム、エレメント100と組み合わせられるソフトウェア、演算部321によって算出された情報などを格納する。
 ここで、サーバ300の記憶部330には、例えばシステム10内のエレメント100の識別情報(ID)が格納される。エレメント100は、システム10に随時追加されうる。また、記憶部330には、複数のエレメント100を組み合わせて動作させるためのプログラムも格納される。プログラムは、例えばユーザや、開発者、システム管理者によって随時追加されうる。さらに、記憶部330には、ソフトウェアが格納される。ソフトウェアは、例えば、エレメント100と組み合わせて実行されることによって機能を実現する。あるいは、ソフトウェア同士が組み合わせて実行されることによって機能を実現してもよい。ソフトウェアが実現する機能は、例えば、音声や画像などの素材提供、タイマー、カレンダー、画像認識や音声認識などの解析機能、天気予報やニュースなどのような外部サービスからの情報取得機能などを含みうる。ソフトウェアは、例えばユーザや、開発者、システム管理者によって随時追加されうる。
 一方、サーバ300のUI提供部323は、例えば、UI装置400の入出力部430に含まれるディスプレイおよびタッチパネルなどを介してUIを提供する。ユーザは、このUIを介して、例えば、複数のエレメント100を組み合わせて動作させるためのプログラムを、エレメント100またはマネージャ200にプリインストールされたプログラムや、サーバ300によって提供されるプログラムなどの中から選択することができる。また、上記のUIを介して、ユーザは、複数のエレメント100の組み合わせや、エレメント100とソフトウェアとの組み合わせ、複数のソフトウェアの組み合わせを指定することもできる。指定された組み合わせがプログラムとしてサーバ300の記憶部330に保存され、このプログラムがエレメント100とソフトウェアとによって実行されることによって、ユーザは所望のアプリケーションを得ることができる。
 UI装置400は、通信部410と、制御部420と、入出力部430とを含む装置である。通信部410は、マネージャ200およびサーバ300とネットワークNWを介して通信する通信装置を含みうる。制御部420は、例えばマイクロコントローラやCPUなどによって実現され、入出力部430を制御するとともに、通信部410を介した情報のやりとりを制御する。入出力部430は、例えばディスプレイ、スピーカ、およびタッチパネルなどを含み、UIを介してユーザに各種の情報を提示するとともに、ユーザからの操作入力を受け付ける。
 (1-2.具体的な構成例)
  (第1の例)
 図2は、図1に示されたシステムの第1の具体的な構成例を示す図である。図2を参照すると、システム10aは、エレメント100として機能する第1のタブレットと、エレメント100、マネージャ200、およびUI装置400として機能する第2のタブレットと、サーバ300とを含む。
 第1および第2のタブレットは、いずれも同じように、ディスプレイ、タッチパネル、CPU、センサなどを含む。システム10aでは、2つのタブレットのうちの一方が、エレメント100、マネージャ200、およびUI装置400としても機能し、他方がエレメント100として機能する。これらのタブレットの役割は互換的であってもよく、状況に応じてマネージャ200やUI装置400として機能するタブレットが変更されてもよい。システム10aでは、例えば、タブレットが有する各種のセンサを利用して、2つのタブレットを組み合わせて動作させ、ユーザが所望する機能を実現することができる。
 なお、図2に示した例における第1および第2のタブレットは、エレメント100として機能するための機能部130(センサなど)と、マネージャ200として機能するための制御部220(CPUなど)とを有する端末装置の例である。こうした端末装置はタブレットには限られず、スマートフォンなどの他の装置であってもよい。また、システム10aに含まれる端末装置の数は図示された例には限られず、例えば3つ以上であってもよい。
  (第2の例)
 図3は、図1に示されたシステムの第2の具体的な構成例を示す図である。図3を参照すると、システム10bは、エレメント100a~100gと、マネージャ200およびUI装置400として機能するタブレットと、サーバ300とを含む。
 システム10bでは、タブレットがマネージャ200およびUI装置400として機能する。上記の第1の例と同様に、タブレットは、スマートフォンなどの他の装置によって代替されてもよい。図示された例では、エレメント100が、加速度センサ100a、カメラ100b、人感センサ100c、ボタン100d、スピーカ100e、LED(Light Emitting Diode)ランプ100f、マイクロフォン100gを含む。それぞれのエレメント100は、Bluetooth(登録商標)などの無線通信によってタブレットと通信し、タブレットが実現するマネージャ200の制御に従って連係動作する。
 なお、以下の例では、エレメント100の例として、加速度センサ100a~マイクロフォン100gの一部または全部が図示されるが、これはそれぞれの例において用いられるエレメント100の種類を限定することを意図したものではない。それぞれの例において、システム10は、加速度センサ100a~マイクロフォン100gのうちのいずれか、またはそれ以外の任意の種類のエレメント100を含みうる。
  (第3の例)
 図4は、図1に示されたシステムの第3の具体的な構成例を示す図である。図4を参照すると、システム10cは、エレメント100と、マネージャ200と、UI装置400として機能するタブレットと、サーバ300とを含む。
 システム10cでは、マネージャ200が、UI装置400として機能するタブレットとは別に存在する。マネージャ200は、例えば専用の装置によって実現されてもよいし、Wi-Fiなどの基地局の機能の1つとして実現されてもよい。上記の第1および第2の例と同様に、UI装置400として機能するタブレットは、スマートフォンなどの他の装置によって代替されてもよい。マネージャ200とタブレットとは、それぞれ独立してサーバ300と通信可能でありうる。また、タブレットが提供するUIを介してシステム10cの設定が変更された場合、タブレットはWi-Fiなどを介して直接的にマネージャ200に設定情報を送信してもよい。
 また、図4の例では、マネージャ200とエレメント100との間の通信に、Bluetooth(登録商標)だけではなくWi-Fiも利用されることが示されている。また、離れた場所にあるエレメント100との接続のために、Wi-Fiなどによるメッシュネットワーク中継器NW_mが利用されている。図示された第3の例に限らず、他の例でも、エレメント100とマネージャ200、および/またはエレメント100同士の間の通信には、Bluetooth(登録商標)やWi-Fiなど、各種の無線通信が用いられうる。
  (第4の例)
 図5は、図1に示されたシステムの第4の具体的な構成例を示す図である。図5を参照すると、システム10dは、一部がマネージャ200としても機能するエレメント100と、UI装置400として機能するタブレットと、サーバ300とを含む。
 システム10dでは、上記の第1~第3の例とは異なり、エレメント100のうちの少なくとも1つがマネージャ200としても機能する。また、システム10dでは、エレメント100同士がBluetooth(登録商標)などによってメッシュネットワークを形成している。このような構成によって、システム10dでは、サーバ300およびUI装置400(タブレット)との通信が一時的に切断されたような場合でも、エレメント100が自律的に連係動作することが可能である。
  (第5の例)
 図6は、図1に示されたシステムの第5の具体的な構成例を示す図である。図6を参照すると、システム10eは、一部がマネージャ200としても機能するエレメント100と、UI装置400として機能するタブレットと、サーバ300とを含む。システム10eは、上記の第3の例に係るシステム10cにおいて、マネージャ200をいずれかのエレメント100に取り込んだ例である。
  (第6の例)
 図7は、図1に示されたシステムの第6の具体的な構成例を示す図である。図7を参照すると、システム10fは、エレメント100と、マネージャ200a,200bと、UI装置400として機能するタブレットと、サーバ300とを含む。システム10fは、上記の第3の例に係るシステム10cにおいて、マネージャ200を複数配置した例である。それぞれのエレメント100は、例えば、マネージャ200a,200bのうち位置的に近い方に接続されうる。また、複数のマネージャ200a,200bの間では、エレメント100の接続状態や、エレメント100を連係動作させるためのプログラムが、必要に応じて、または定期的に同期される。
  (第7の例)
 図8は、図1に示されたシステムの第7の具体的な構成例を示す図である。図8を参照すると、システム10gは、エレメント100と、マネージャ200aと、マネージャ200bおよびUI装置400として機能するタブレットと、サーバ300とを含む。システム10gは、上記の第6の例に係るシステム10fにおいて、マネージャ200bの機能をタブレットに統合した例である。それぞれのエレメント100は、例えば、マネージャ200a、またはタブレットのうち位置的に近い方に接続されうる。また、マネージャ200aとタブレットとの間では、エレメント100の接続状態や、エレメント100を連係動作させるためのプログラムが、必要に応じて、または定期的に同期される。
  (第8の例)
 図9は、図1に示されたシステムの第8の具体的な構成例を示す図である。図9を参照すると、システム10hは、エレメント100と、UI装置400として機能するタブレットと、マネージャ200としても機能するサーバ300とを含む。システム10hは、上記の第2の例に係るシステム10bにおいて、マネージャ200の機能をサーバ300に取り込んだ例である。それぞれのエレメント100は、例えば、移動体通信網などを介して、直接的にサーバ300と通信する。
 以上、図1に示されたシステム10のいくつかの具体的な構成例について説明した。なお、システム10の具体的な構成例は、以上で説明した例には限られず、これらの例に基づいて当業者には明らかに理解される各種の変形例を含みうる。
 (1-3.ユーザインターフェースの例)
 図10は、図1に示されたシステムにおいて提供されるUIの第1の例を示す図である。図10を参照すると、UI装置400として機能する端末装置のディスプレイに表示される画面4100は、ユーザプロファイル4101と、プログラム一覧タブ4103と、エレメント一覧タブ4105とを含む。図示された例では、プログラム一覧タブ4103が選択されているため、プログラムリスト4107が表示されている。プログラムリスト4107は、プログラムアイコン4109と、使用エレメントアイコン4111と、説明4113とを含む。画面4100は、例えば、ユーザがシステム10によって提供されるサービスを利用するときのポータル画面として表示されうる。
 図11は、図1に示されたシステムにおいて提供されるUIの第2の例を示す図である。図11を参照すると、UI装置400として機能する端末装置のディスプレイに表示される画面4200は、ツールバー4201と、キャンバス4203と、トレー4205とを含む。画面4200は、例えば、システム10においてエレメント100を連係動作させるためのプログラムの編集に利用される。ツールバー4201には、「保存」や「やり直し」などの機能ボタンが配置される。キャンバス4203には、エレメントアイコン4207や、詳細情報アイコン4209、リンク4211を配置または描画することが可能である。これらのアイコンやリンクによって、連係動作に使用されるエレメント100と、それぞれのエレメント100が実行する処理、エレメント100同士の関係を設定および確認することができる。さらに、キャンバス4203には、エレメントプロパティボックス4213が配置され、例えばエレメントアイコン4207として配置されているエレメント100の属性や状態を表示する。トレー4205には、キャンバス4203に配置することによってプログラムに組み込むことが可能なエレメント100やソフトウェアなどがアイコンとして表示される。
 なお、図10および図11を参照して説明したUIは一例にすぎず、本実施形態ではさまざまな形態のUIが提供されうる。例えば、図11を参照して説明したプログラムの編集のための画面では、ビジュアルプログラミングのための画面において用いられる各種のUIを応用することができる。
 (1-4.連係動作の例)
 以下、図1に示されたシステムにおけるエレメントの連係動作の具体的な例について、さらに説明する。なお、以下の説明では、理解を容易にするために、エレメント100を連係動作させるためのプログラムを視覚的に表現した図が参照される。なお、これらの図は、UI装置400によって提供されるUI(例えば、図11で画面4200として例示されたUI)とは必ずしも関係がない。以下で説明されるソフトウェアは、エレメント100(ハードウェアエレメント)と同様のエレメント(ソフトウェアエレメント)として提供されてもよいし、エレメント100の機能または動作の一部として提供されてもよい。
  (第1の具体的な例)
 図12は、図1に示されたシステムにおけるエレメントの連係動作の第1の具体的な例について説明するための図である。図12を参照すると、本例では、エレメント100のうち、加速度センサ100aと、カメラ100bとが使用される。例えば、加速度センサ100aは冷蔵庫のドアに取り付けられ、カメラ100bは、冷蔵庫の庫内を映すことのできる位置に取り付けられる。図示された例において、加速度センサ100aからカメラ100bに向かうリンク601は、「加速度センサ100aの検出値に基づいてカメラ100bが撮影を実行する」ことを意味する。さらに、図示された例では、カメラ100bの動作として「撮影した画像をサーバにアップロードする」ことが指定されている。
 さらに、図示された例では、加速度に基づいてドアが開いたことを検出するためのソフトウェア603aが使用されている。ソフトウェア603aは、例えばマネージャ200の演算部221で実行され、加速度センサ100aの検出値の解析結果に基づいて、冷蔵庫のドアが開いたことを判定する。ソフトウェア603aが導入されることによって、リンク601は「加速度センサ100aの検出値に基づいて、冷蔵庫のドアが開いたことが判定された場合に、カメラ100bが撮影を実行する」という処理になる。
 以上のようなプログラムの設定によって、本例では、冷蔵庫のドアが開いたときにカメラ100bが撮影した画像が、サーバにアップロードされる。ユーザは、アップロードされた画像を閲覧することによって、冷蔵庫の内容物の変化や、最新の在庫状況を把握することができる。
 ここで、冷蔵庫のドアが開いたことを検出したいのであれば、磁気などを用いた開閉検出専用のセンサを使用することもできる。しかし、本例では、ソフトウェア603aを導入することによって、加速度センサ100aを利用してドアが開いたことを検出することを可能にしている。従って、冷蔵庫のドアが開いたことを検出するために、専用のセンサではなく、例えばそれまで別の用途で使用していた加速度センサ100aを流用することができる。また、冷蔵庫のドアが開いたことを検出することがもはや必要ではなくなった場合には、他の用途に加速度センサ100aを転用することができる。このように、本実施形態では、ソフトウェアや他のエレメント100との組み合わせを変更することによって、同じエレメント100を多様な用途で活用することができる。
  (第2の具体的な例)
 図13は、図1に示されたシステムにおけるエレメントの連係動作の第2の具体的な例について説明するための図である。図13を参照すると、本例では、エレメント100のうち、加速度センサ100aと、ボタン100dとが使用される。例えば、加速度センサ100aはトイレのドアに取り付けられ、ボタン100dは洗面所に取り付けられる。図示された例では、さらに、加速度に基づいてドアが開いたことを検出するためのソフトウェア603aと、提供されたデータを記録するソフトウェア603bとが使用されている。加速度センサ100aからソフトウェア603aを経てソフトウェア603bに向かうリンク601は、「加速度センサ100aの検出値に基づいてドアが開いたことが判定されたことを、ソフトウェア603bが記録する」ことを意味する。また、ボタン100dからソフトウェア603bに向かうリンク601は、「ボタン100dから信号が出力されたことをソフトウェア603bが記録する」ことを意味する。
 以上のようなプログラムの設定によって、本例では、ユーザが洗面所でボタン100dを押下した時刻と、トイレのドアを開いた時刻とが、ログとして記録される。例えば、ユーザが起床後に洗面所で顔を洗うときにボタン100dを押すことに決めれば、ボタン100dが押下された時刻を起床時刻として記録することができる。このようなログから、例えば、毎日の起床時刻とトイレに行った時刻との変化を時系列で参照することができ、ユーザの生活リズムの改善などに役立てることができる。
  (第3の具体的な例)
 図14は、図1に示されたシステムにおけるエレメントの連係動作の第3の具体的な例について説明するための図である。図14を参照すると、本例では、エレメント100のうち、加速度センサ100aと、人感センサ100cとが使用される。例えば、加速度センサ100aは椅子に取り付けられ、人感センサ100cは椅子の前の机に取り付けられる。図示された例では、さらに、加速度センサ100aと人感センサ100cとの検出結果に基づいて、ユーザが椅子に座っていた時間を記録するためのソフトウェア603cが使用されている。加速度センサ100aからソフトウェア603cに向かうリンク601は、「加速度センサ100aの検出値をソフトウェア603cに提供する」ことを意味する。また、人感センサ100cからソフトウェア603cに向かうリンク601は、「人感センサ100cの検出値をソフトウェア603cに提供する」ことを意味する。
 以上のようなプログラムの設定によって、本例では、ユーザが椅子に座っていた時間が記録される。この記録に基づいて、ユーザは、職場などで座っている時間を把握し、連続して座っている時間が長すぎるようであれば休憩をとったりすることができる。あるいは、ソフトウェア603cの検出結果に基づいてスマートフォンなどからアラートを出力するソフトウェアがさらに組み合わされ、ユーザが所定の時間を超えて連続して座っている場合にはスマートフォンなどからアラートを出力して休憩をとることを促してもよい。
  (第4の具体的な例)
 図15は、図1に示されたシステムにおけるエレメントの連係動作の第4の具体的な例について説明するための図である。図15を参照すると、本例では、エレメント100のうち、加速度センサ100aと、スピーカ100eと、LEDランプ100fとが使用される。例えば、加速度センサ100a、スピーカ100e、LEDランプ100fは、それぞれ、ユーザ(例えば子供)の身体の適切な部位に取り付けられる。なお、加速度センサ100aは、複数用いられてもよい。図示された例では、さらに、加速度のパターンに応じて効果音を再生するソフトウェア603dと、同じく加速度のパターンに応じて所定のパターンでランプを点滅させるソフトウェア603eとが示されている。なお、これらのソフトウェア603が扱う加速度のパターンは、単一の加速度波形のパターンであってもよいし、複数の加速度波形の組み合わせのパターンであってもよい。加速度センサ100aからは、ソフトウェア603d,603eのそれぞれに向かってリンク601が設定されている。これらのリンク601は、「ソフトウェア603d,603eのそれぞれに加速度センサ100aの検出値を提供する」ことを意味する。さらに、ソフトウェア603dからはスピーカ100eに、ソフトウェア603eからはLEDランプ100fに、それぞれリンク601が設定されている。これらのリンク601は、「ソフトウェア603dによって提供される音声信号に従ってスピーカ100eが音声を出力すること」および「ソフトウェア603eによって提供される信号に従ってLEDランプ100fが発光すること」を意味する。
 以上のようなプログラムの設定によって、本例では、ユーザ(例えば子供)が手足を特定のパターンで動かすと、スピーカ100eから効果音が出力されたり、LEDランプ100fが発光したりする。これによって、例えば子供がスーパーヒーローになりきって遊ぶときに、効果音や光を加えてエキサイティングな体験をすることができる。
  (第5の具体的な例)
 図16は、図1に示されたシステムにおけるエレメントの連係動作の第5の具体的な例について説明するための図である。図16を参照すると、本例では、エレメント100のうち、加速度センサ100aと、人感センサ100cと、カメラ100bと、LEDランプ100fとが使用される。例えば、加速度センサ100a、人感センサ100c、およびカメラ100bは庭のえさ台(bird table)に取り付けられ、LEDランプ100fは家の中に取り付けられる。図示された例では、さらに、加速度センサ100aと人感センサ100cとの検出結果に基づいて、えさ台に鳥がとまったことを判定するためのソフトウェア603fが示されている。加速度センサ100aおよび人感センサ100cからは、それぞれソフトウェア603fに向かってリンク601が設定されている。加速度センサ100aからのリンク601は、「加速度センサ100aの検出値をソフトウェア603fに提供する」ことを意味する。また、人感センサ100cからからのリンク601は、「人感センサ100cの検出値をソフトウェア603fに提供する」ことを意味する。ソフトウェア603fでは、例えば、加速度センサ100aおよび人感センサ100cのそれぞれによって提供されるセンサデータの組み合わせによって成立する条件が提供される。さらに、ソフトウェア603fからカメラ100bおよびLEDランプ100fに向かうリンク601が設定されている。カメラ100bへのリンク601は「ソフトウェア603fの出力に基づいてカメラ100bが撮影を実行する」ことを意味する。LEDランプ100fへのリンクは「ソフトウェア603fの出力に基づいてLEDランプ100fを発光させる」ことを意味する。
 以上のようなプログラムの設定によって、本例では、えさ台に鳥がとまったときに自動的にカメラ100bによって静止画または動画が撮影され、どのような鳥が来たかを知ることができる。また、えさ台に鳥がとまったときに家の中のLEDランプ100fが発光することによって、庭に出て実際に来ている鳥を観察することができる。
  (第6の具体的な例)
 図17は、図1に示されたシステムにおけるエレメントの連係動作の第6の具体的な例について説明するための図である。図17を参照すると、本例では、エレメント100のうち、ボタン100dと、スピーカ100eとが使用される。例えば、スピーカ100eが寝室に配置され、ボタン100dが洗面所に配置される。図示された例では、さらに、目覚ましアラームのソフトウェア603gが示されている。ソフトウェア603gからは、スピーカ100eにリンク601が設定されている。このリンク601は、「ソフトウェア603が設定時刻になったら出力する音声信号に従って、スピーカ100eが音声を出力する」ことを意味する。また、ボタン100dからは、ソフトウェア603gにリンク601が設定されている。このリンク601は、「ボタン100dが押下されたら、ソフトウェア603gによる音声信号の出力を停止する」ことを意味する。
 以上のようなプログラムの設定によって、本例では、寝室に配置されたスピーカ100eから出力される目覚ましアラームの音が、洗面所のボタン100dを押下するまで止まらなくなる。これによって、寝たままアラームを止めてしまうといったような事態が生じにくくなり、予定した時刻に確実に目覚めることができる。
 (2.本開示の実施形態)
 本開示の実施形態は、例えば上記の例のようなシステムにおいて、エレメント同士を連係動作させるためのプログラムを作成、編集、または閲覧するためのユーザインターフェースに関する。なお、以下では図1などを参照して説明したシステム10を例として説明するが、本開示の実施形態に係るシステムはこの例には限られず、エレメント同士が連係動作するさまざまな形態のシステムに本技術が適用されうる。
 上記のシステム10では、エレメント同士の連係動作に関するユーザインターフェースが、UI装置400の入出力部430に含まれるディスプレイなどを介して提供される。この場合、UI装置400の制御部420は、ディスプレイにユーザインターフェースを表示させる表示制御部として機能しているといえる。
 また、マネージャ200の制御部220および/またはサーバ300の制御部320が、通信部210および/または通信部310を介してUI装置400にユーザインターフェースを表示させるための情報を送信している場合、制御部220および/または制御部320も、UI装置400のディスプレイにユーザインターフェースを表示させる表示制御部として機能しているといえる。
 さらに、UI装置400の入出力部430において、タッチパネルなどを介してユーザ操作が取得される場合、制御部420、制御部220および/または制御部320は、ユーザ操作を取得する操作取得部としても機能しているといえる。
 以下で説明されるユーザインターフェースの提供やユーザ操作の取得の処理は、上記の表示制御部および操作取得部によって実行される。
 (2-1.第1の実施形態)
  (ユーザインターフェースの概要)
 図18は、本開示の第1の実施形態において提供されるユーザインターフェースの概要を示す図である。図18を参照すると、ユーザインターフェースとしてディスプレイに表示される画面5000には、リスト5001と、フィールド5002と、エレメントアイコン5003と、グリッド線5005とが含まれる。
 リスト5001には、システム10において利用可能なエレメントを示すアイコンが一覧表示される。図示された例において、リスト5001は、ハードウェアエレメントリスト5001aと、ソフトウェアエレメントリスト5001bとを含む。
 ハードウェアエレメントリスト5001aには、例えば、スピーカ、LEDランプ、カメラ、ボタン、マイクロフォン、加速度センサ、タグリーダといったような、ハードウェアによって実現されるエレメントが表示される。上記で例示されたシステム10のエレメント100(加速度センサ100a、カメラ100b、人感センサ100c、ボタン100d、スピーカ100e、LEDランプ100f、マイクロフォン100g)は、いずれもハードウェアエレメントである。
 ソフトウェアエレメントリスト5001bには、例えば、タイマー、リスト追加、トグル、リレー、カレンダーといったような、ソフトウェアによって実現されるエレメントが表示される。上記で図12~図17を参照して説明した具体的な例において説明されたソフトウェア603は、ここでいうソフトウェアエレメントに対応するものでありうる。ソフトウェアエレメントには様々な構成がありえ、例えば上記の例のようにハードウェアエレメントに設定される条件が独立してソフトウェアエレメントとして扱われてもよいし、条件はハードウェアエレメントの中で定義されてもよい。
 なお、リスト5001は、フィールド上に新たなエレメントアイコン5003を配置するための構成の一例にすぎない。例えば、リスト5001が表示されなくても、フィールド5002上で所定の操作、例えばタップやクリックなどを実行することによって、新たなエレメントアイコン5003を配置するためのポップアップウインドウなどが表示されてもよい。
 エレメントアイコン5003は、上記のハードウェアエレメントまたはソフトウェアエレメントを示す。図示された例では、数字で示されているように、まずリスト5001において任意のエレメントを選択し、次にリストの行をドラッグすることによってエレメントアイコン5003をフィールド5002上に出現させ、所望の位置まで移動させる。このとき、グリッド線5005が表示されていることによって、複数のエレメントアイコン5003の位置を揃えたり、ずらしたりすることが容易になる。エレメントアイコン5003は、グリッド線5005に従って自動的にアライメントされてもよい。
 ここで、グリッド線5005は、エレメントアイコン5003が配置されるフィールド5002において定義される第1の方向(水平方向)と、第1の方向に交差する第2の方向(垂直方向)に表示される。なお、グリッド線5005は、ユーザが画面5000においてエレメントアイコン5003を配置するための補助として表示されるものであるため、必ずしも表示されなくてもよい。
  (動作アイコンについての例)
 図19Aおよび図19Bは、本開示の第1の実施形態において表示される動作アイコンについて説明するための図である。図19Aを参照すると、まず、エレメントアイコン5003だけが表示された状態で、エレメントアイコン5003が選択され(図示された例ではタッチ操作によって選択されているが、マウスカーソルなどを用いて選択されてもよい。以下の例において同様)、この選択に応じて動作リスト5007が表示されている。動作リスト5007において任意の動作を選択すると(図示された例では「Press」が選択された)、エレメントアイコン5003に付随して動作アイコン5009aが表示される。
 図19Bでは、例えば図19Aに示されたような操作によってエレメントアイコン5003に付随して動作アイコン5009aが表示された状態で、さらにエレメントアイコン5003が選択されている。この場合、再度動作リスト5007が表示される。動作リスト5007において、さらに任意の動作を選択すると(図示された例では「Double Press」が選択された)、動作アイコン5009aに付随して新たな動作アイコン5009bが表示される。
 図示された例では、ハードウェアエレメントまたはソフトウェアエレメントの種類を示す(図示された例ではエレメントがボタン100dであることを示す)エレメントアイコン5003とともに、当該エレメントの動作の種類を示す(図示された例ではボタン100dが押下されるという動作を示す)動作アイコン5009が表示される。このような場合、画面5000においてフィールド5002に配置される各アイコンは、エレメントアイコン5003と動作アイコン5009とを含みうる。また、特に図19Bに示されるように、動作アイコン5009は、互いに独立して発生する複数の動作を示す複数の動作アイコン5009a,5009bを含みうる。3つ以上の複数の動作アイコンが含まれてもよい。
  (リンクの設定についての例)
 図20は、本開示の第1の実施形態におけるアイコン間のリンクの設定について説明するための図である。図20に示された例では、フィールド5002に、ボタン100dを示すエレメントアイコン5003aと、カメラ100bを示すエレメントアイコン5003bとが配置されている。また、エレメントアイコン5003aには「Press」の動作アイコン5009aが、エレメントアイコン5003bには「Take Photo」の動作アイコン5009cが、それぞれ付随して表示される。さらに、図示された例では、動作アイコン5009に付随してソケットアイコン5011が表示されている。ソケットアイコン5011は、後述するリンク5015が接続される部分として表示される。
 ここで、エレメントアイコン5003a(ボタン100dを示す)に付随する動作アイコン5009aでは、フィールド5002において定義される第1の方向(水平方向)に面する片側(右側)だけにソケットアイコン5011aが配置されている。これは、動作アイコン5009aによって表示される動作(ボタンの押下)が、専ら他のエレメントによる動作のトリガとして用いられることを意味する。逆にいえば、動作アイコン5009aによって表示される動作(ボタンの押下)は、他のエレメントによる動作をトリガとして実現される機能にはならない。このような動作アイコン5009aは、末端アイコンとも呼ばれる。また、図示された例のように、エレメントアイコン5003aに付随する動作アイコン5009のすべてが末端アイコンである場合、エレメントアイコン5003aと動作アイコン5009aとを合わせた全体が末端アイコンと呼ばれてもよい。
 一方、エレメントアイコン5003b(カメラ100bを示す)に付随する動作アイコン5009cでは、フィールド5002において定義される第1の方向(水平方向)に面する両側(左側および右側)にソケットアイコン5011bが配置されている。これは、動作アイコン5009cによって表示される動作(写真の撮影)が、他のエレメントによる動作をトリガとして実行される機能にもなりうるし、この動作を他のエレメントによる動作のトリガとして用いてもよい。つまり、図示された例のように、動作アイコン5009aによって表示されるボタン100dの押下の動作をトリガとして動作アイコン5009cによって表示されるカメラ100bによる写真の撮影を実行することも可能であるし、カメラ100bによる写真の撮影の実行をトリガとして、さらに他のエレメントによる他の動作を実行させることも可能である。このような動作アイコン5009c、またはエレメントアイコン5003bと動作アイコン5009cとを合わせた全体は、中間アイコンとも呼ばれる。
 図示された例のように、例えばソケットアイコン5011の配置によって末端アイコンと中間アイコンとが表現されることによって、トリガまたはトリガによって実行される機能のうちのいずれかとして用いられるエレメントまたは動作と、トリガとしても機能としても用いられるエレメントまたは動作とを、画面5000においてわかりやすく表示することができる。
 さて、図20に示した例では、エレメントアイコン5003aおよび動作アイコン5009aとともに表示されているソケットアイコン5011aが選択され、この選択に応じてソケットアイコン5011aからプラグアイコン5013とリンク5015とが引き出される。ユーザは、プラグアイコン5013をドラッグしてソケットアイコン5011bに差し込むことによって、動作アイコン5009aと動作アイコン5009cとを接続するリンク5015を生成することができる。
 なお、プラグアイコン5013がソケットアイコン5011に差し込まれていない状態で、プラグアイコン5013のドラッグが解除された場合、プラグアイコン5013とともにリンク5015が消滅してもよい。この場合、例えば、ソケットアイコン5011bを選択してプラグアイコン5013を引き出し、プラグアイコン5013をドラッグしてソケットアイコン5011bから引き離した状態でドラッグを解除することによって、プラグアイコン5013とともにリンク5015を消滅させることができる。
 これまで説明したように、本実施形態において提供されるユーザインターフェースでは、互いに連係動作するエレメントを示す複数のアイコンと、これらのアイコンを互いに接続するリンクとが表示される。つまり、リンクで接続された複数のアイコンによって示されるエレメントは、互いに連係動作する。図20に示された例では、エレメントアイコン5003aによって示されるボタン100dにおいて、動作アイコン5009aによって示される押下の動作が発生した場合に、エレメントアイコン5003bによって示されるカメラ100bにおいて、動作アイコン5009cによって示される写真の撮影が実行される。リンク5015は、このようなそれぞれのエレメントの連係動作を表現している。
 ここで、エレメント間の連係動作がどのような順序で発生するかは、例えばフィールド5002において定義される第1の方向(水平方向)におけるエレメントアイコン5003同士の位置関係に応じて決定される。図示された例では、水平方向において、左が先の順序を示し、右が後の順序を示す。この基準によれば、エレメントアイコン5003aによって示されるボタン100dの動作が発生した場合に、これに応じてエレメントアイコン5003bによって示されるカメラ100bの動作が発生することが特定できる。例えばこのようにして、本実施形態では、リンク5015によって形成される複数のアイコンの空間的シークエンスが、複数のアイコンによってそれぞれ示されるエレメントの動作の時間的シークエンスに対応する。
  (動作アイコンの削除についての例)
 図21は、本開示の第1の実施形態における動作アイコンの削除について説明するための図である。図21を参照すると、例えば図19Bに示されたような操作によって、エレメントアイコン5003と、エレメントアイコン5003に付随する動作アイコン5009a,5009bとが表示されている。この状態で動作アイコン5009aを選択すると、動作設定リスト5017が表示される。図示された例において、動作設定リスト5017には設定および削除の選択肢が含まれる。ここでユーザが削除を選択すると、動作アイコン5009aを削除することができる。同様の操作によって動作アイコン5009bも削除することが可能である。
  (エレメントアイコンの削除についての例)
 図22は、本開示の第1の実施形態におけるエレメントアイコンの削除について説明するための図である。図22を参照すると、例えば図19Bに示されたような操作によって、エレメントアイコン5003と、エレメントアイコン5003に付随する動作アイコン5009a,5009bとが表示されている。この状態でエレメントアイコン5003を選択すると、動作リスト5019が表示される。図示された例において、動作リスト5019には、まだ動作アイコン5009によって表示されていない動作「Long Press」に加えて、削除の選択肢が含まれる。ここでユーザが削除を選択すると、エレメントアイコン5003を削除することができる。エレメントアイコン5003が削除される場合、動作アイコン5009a,5009bも付随して削除される。
 なお、図22に示された例で表示される動作リスト5019は、上記で図19Aおよび図19Bを参照して説明した動作リスト5007の別の例である。つまり、動作リスト5007ではエレメントアイコン5003によって示されるエレメントの動作がすべて表示されたのに対し、動作リスト5019ではまだ動作アイコン5009として表示されていない動作だけが表示される。また、動作リスト5007では削除の選択肢が表示されなかったのに対して、動作リスト5019では削除の選択肢が表示される。例えば動作リスト5007が表示される場合、エレメントアイコン5003の削除の選択肢は、例えばエレメントアイコン5003に対して長押しや2回押しなどといった別の操作を実行することによって提示されうる。
  (動作のプロパティの表示の例)
 図23は、本開示の第1の実施形態における動作のプロパティの表示について説明するための図である。図23を参照すると、エレメントアイコン5003と動作アイコン5009とが表示されている。図23の例において、エレメントアイコン5003は、タイマーのソフトウェアエレメントを示す。動作アイコン5009は「Date」、つまり、タイマーを所定の日付時刻に作動させる機能を示す。
 ここで、ユーザが動作アイコン5009を選択した場合、動作プロパティ5021が表示される。図示された例において、動作プロパティ5021は、タイマーが動作する日付時刻を示す。動作プロパティ5021は、例えば、ユーザが動作アイコン5009の選択を継続している間だけ表示されてもよいし、ユーザは動作アイコン5009の選択を解除した後も引き続き表示されてもよい。動作プロパティ5021が引き続き表示される場合、例えば、図示されたように、ユーザは、動作プロパティ5021をドラッグすることによって表示位置を変更することが可能であってもよい。
  (分岐の例・その1)
 図24は、本開示の第1の実施形態においてアイコンとリンクとによって形成される分岐の第1の例を示す図である。図24に示された例では、フィールド5002に、ボタン100dを示すエレメントアイコン5003aと、スピーカ100eを示すエレメントアイコン5003dと、LEDランプ100fを示すエレメントアイコン5003eとが配置される。また、エレメントアイコン5003aには「Press」の動作アイコン5009aが、エレメントアイコン5003dには「Play Sound」の動作アイコン5009dが、エレメントアイコン5003eには「Light Up」の動作アイコン5009eが、それぞれ付随して表示される。さらに、リンク5015aが動作アイコン5009aと動作アイコン5009dとを接続し、リンク5015bが動作アイコン5009aと動作アイコン5009eとを接続する。
 図示された例では、リンク5015によって形成される、フィールド5002に配置されたアイコン(エレメントアイコン5003および動作アイコン5009を含む)の空間的シークエンスが、第1のアイコン(エレメントアイコン5003aおよび動作アイコン5009a)から複数の第2のアイコンのそれぞれ(エレメントアイコン5003dおよび動作アイコン5009d、ならびにエレメントアイコン5003eおよび動作アイコン5009e)への分岐を含む。また、図示された例では、第1のアイコンに含まれる単一の動作アイコン(動作アイコン5009a)と、複数の第2のアイコンのそれぞれに含まれる動作アイコン(動作アイコン5009d,5009e)とがリンク5015a,5015bで接続されることによって、第1のアイコンから第2のアイコンへの分岐が形成されている。
 このような空間的シークエンスは、第1のアイコンによって示される動作が発生した場合に、これに応じて第2のアイコンのそれぞれによって示される動作が同期して発生するという時間的シークエンスを示す。本実施形態では、このようにして、単一の動作アイコンによって示される動作を、他の複数の動作アイコンによって示される動作のトリガに設定することができる。逆に、複数の動作アイコンによって示される動作を、単一の動作アイコンによって示される動作のトリガ(and条件/or条件)に設定することが可能であってもよい。
 より具体的には、図示された例では、リンク5015a,5015bによって、ボタン100d(エレメントアイコン5003a)が押下(動作アイコン5009a)されたことをトリガとして、スピーカ100e(エレメントアイコン5003d)が音声を再生する(動作アイコン5009d)とともに、LEDランプ100f(エレメントアイコン5003e)が点灯する(動作アイコン5009e)という連係動作が表現されている。ここで、スピーカ100eが音声を再生する動作と、LEDランプ100fが点灯するという動作とは、同期して発生する。
 なお、本明細書でいう同期は、発生する時刻を厳密に揃えることまでは意味していない。例えば、マネージャ200は、ボタン100dが押下されたことを検出した場合に、スピーカ100eおよびLEDランプ100fにほぼ同時に制御信号を送信するが、通信経路やスピーカ100e、LEDランプ100fの内部で発生する遅延などのために、動作が発生する時刻は厳密に揃うとは限らない。
  (分岐の例・その2)
 図25は、本開示の第1の実施形態においてアイコンとリンクとによって形成される分岐の第2の例を示す図である。図25に示された例では、上記の図24の例と同じく、フィールド5002にエレメントアイコン5003a,5003d,5003eが配置される。また、エレメントアイコン5003a,5003d,5003eには、それぞれ動作アイコン5009a,5009d,5009eが付随して表示される。さらに、図24の例と異なる点として、エレメントアイコン5003aには、「Double Press」の動作アイコン5009bも付随して表示される。リンク5015aは動作アイコン5009aと動作アイコン5009dとを接続し、リンク5015bは動作アイコン5009bと動作アイコン5009eとを接続する。
 図示された例でも、上記の図24の例と同様に、リンク5015によって形成される、フィールド5002に配置されたアイコン(エレメントアイコン5003および動作アイコン5009を含む)の空間的シークエンスが、第1のアイコン(エレメントアイコン5003aおよび動作アイコン5009a,5009b)から複数の第2のアイコンのそれぞれ(エレメントアイコン5003dおよび動作アイコン5009d、ならびにエレメントアイコン5003eおよび動作アイコン5009e)への分岐を含む。一方、図示された例では、第1のアイコンに含まれる複数の動作アイコン(動作アイコン5009a,5009b)のそれぞれと、第2のアイコンのそれぞれに含まれる動作アイコン(動作アイコン5009d,5009e)とがリンク5015a,5015bで接続されることによって、第1のアイコンから第2のアイコンへの分岐が形成されている。
 このような空間的シークエンスは、第1のアイコンによって示されるエレメントの複数の動作のいずれかが発生した場合に、これに応じて第2のアイコンのいずれかによって示される動作が発生するという複線的な時間的シークエンスを示す。本実施形態では、このようにして、同じエレメントアイコンに付随する複数の動作アイコンによって示される動作のそれぞれを、互いに異なる他の動作アイコンによって示される動作のトリガに設定することができる。逆に、互いに異なる他の動作アイコンによって示される動作を、同じエレメントアイコンに付随する複数の動作アイコンによって示される動作のそれぞれのトリガに設定することが可能であってもよい。
 より具体的には、図示された例では、リンク5015a,5015bによって、ボタン100d(エレメントアイコン5003a)が押下(動作アイコン5009a)されたことをトリガとしてスピーカ100e(エレメントアイコン5003d)が音声を再生する(動作アイコン5009d)一方で、ボタン100d(エレメントアイコン5003a)が2回押し(動作アイコン5009b)されたことをトリガとしてLEDランプ100f(エレメントアイコン5003e)が点灯する(動作アイコン5009e)という連係動作が表現されている。
  (複線的な接続の例)
 図26は、本開示の第1の実施形態においてアイコンとリンクとによって形成される複線的な接続の例を示す図である。図26に示された例では、フィールド5002に、ボタン100dを示すエレメントアイコン5003aと、スピーカ100eを示すエレメントアイコン5003dとが配置される。また、エレメントアイコン5003aに「Press」の動作アイコン5009aおよび「Double Press」の動作アイコン5009bが、エレメントアイコン5003dには「Play Sound A」の動作アイコン5009fおよび「Play Sound B」の動作アイコン5009gが、それぞれ付随して表示される。さらに、リンク5015aが動作アイコン5009aと動作アイコン5009fとを接続し、リンク5015bが動作アイコン5009bと動作アイコン5009gとを接続する。
 図示された例では、リンク5015によって形成される、フィールド5002に配置されたアイコン(エレメントアイコン5003および動作アイコン5009を含む)の空間的シークエンスが、第1のアイコンに含まれる複数の動作アイコン(動作アイコン5009a,5009b)のそれぞれと、第2のアイコンに含まれる動作アイコン(動作アイコン5009f,5009g)のそれぞれとの複線的な接続を含む。
 このような空間的シークエンスは、第1のアイコンによって示されるエレメントの複数の動作のいずれかが発生した場合に、これに応じて第2のアイコンによって示されるエレメントの複数の動作のいずれかが発生するという複線的な時間的シークエンスを示す。本実施形態では、このようにして、同じエレメントアイコンに付随する複数の動作アイコンによって示される動作のそれぞれを、互いに異なる他の動作アイコンによって示される動作のトリガに設定することができる。逆に、互いに異なる他の動作アイコンによって示される動作を、同じエレメントアイコンに付随する複数の動作アイコンによって示される動作のそれぞれのトリガに設定することが可能であってもよい。
 より具体的には、図示された例では、リンク5015a,5015bによって、ボタン100d(エレメントアイコン5003a)が押下(動作アイコン5009a)されたことをトリガとして、スピーカ100eが音声Aを再生する(動作アイコン5009f)一方で、ボタン100d(エレメントアイコン5003a)が2回押し(動作アイコン5009b)されたことをトリガとして同じくスピーカ100eが音声Bを再生する(動作アイコン5009g)という連係動作が表現されている。
  (直列的な連関の例)
 図27は、本開示の第1の実施形態においてアイコンとリンクとによって形成される直列的な連関の例を示す図である。図27に示された例では、フィールド5002に、ボタン100dを示すエレメントアイコン5003aと、スピーカ100eを示すエレメントアイコン5003dと、LEDランプ100fを示すエレメントアイコン5003eとが配置される。また、エレメントアイコン5003aには「Press」の動作アイコン5009aが、エレメントアイコン5003dには「Play Sound」の動作アイコン5009dが、エレメントアイコン5003eには「Light Up」の動作アイコン5009eが、それぞれ付随して表示される。さらに、リンク5015aが動作アイコン5009aと動作アイコン5009dとを接続し、リンク5015bが動作アイコン5009dと動作アイコン5009eとを接続する。
 図示された例では、リンク5015によって形成される、フィールド5002に配置されたアイコン(エレメントアイコン5003および動作アイコン5009を含む)の空間的シークエンスが、複数のアイコンの直列的な連関を含む。このような空間的シークエンスは、複数のアイコンによってそれぞれ示される動作が、上記の連関の順序で発生するという時間的シークエンスを示す。本実施形態では、このようにして、第1の動作アイコンによって示される動作を第2のアイコンによって示される動作のトリガに設定するとともに、当該第2のアイコンによって示される動作を第3のアイコンによって示される動作のトリガに設定することができる。
 より具体的には、図示された例では、リンク5015a,5015bによって、ボタン100aが押下(動作アイコン5009a)されたことをトリガとしてスピーカ100e(エレメントアイコン5003d)が音声を再生し(動作アイコン5009d)、さらに、スピーカ100eが音声を再生したことをトリガとしてLEDランプ100f(エレメントアイコン5003e)が点灯する(動作アイコン5009e)という連係動作が表現されている。ここで、LEDランプ100fの点灯は、スピーカ100eによる音声の再生が開始された直後に開始されてもよいし、音声の再生が終了した後に開始されてもよいし、音声の再生から所定の時間の遅延をもって開始されてもよい。
 なお、上記のような直列的な連関によって表現される連係動作は、必ずしも、各エレメントのための制御信号が直列的に伝達されることを意味しない。例えば、マネージャ200は、ボタン100dが押下されたことを検出した場合に、スピーカ100eおよびLEDランプ100fにそれぞれ制御信号を送信するが、それぞれのエレメントに制御信号が送信される経路は互いに独立していてもよい。そのような場合も、マネージャ200は、まずスピーカ100eによる音声の再生が開始され、次にLEDランプ100fが点灯するように、制御信号の送信タイミングや動作開始までの遅延時間などを調整する。
  (グリッドの調整の例・その1)
 図28は、本開示の第1の実施形態におけるグリッドの調整の第1の例を示す図である。図28に示された例では、フィールド5002に、複数のエレメントアイコン5003が表示されている。また、フィールド5002にはグリッド線5005が表示されている。図示された例において、各エレメントアイコン5003は、グリッド線5005に従って自動的にアライメントされている。なお、動作アイコン5009は図示されていないが、エレメントアイコン5003に付随して表示されていてもよい。
 ここで、図示された例では、UI装置400の入出力部430がタッチパネルを含み、ユーザが、あるグリッド線5023をまたいだ位置でのピンチアウト操作を実行している。UI装置400の制御部420(またはマネージャ200の制御部220もしくはサーバ300の制御部320。以下の説明において同様)によって実現される操作取得部がこの操作を取得した場合、同じく制御部420によって実現される表示制御部は、ピンチアウト操作によって指定されたグリッド線5023を分割し、該分割されたグリッド線の間に新たな列5025を挿入する。
 なお、上記の説明ではグリッド線5023が分割されることとしているが、これは見た目上のことであって、内部処理上は必ずしもグリッド線5023が分割されているとは限らない。例えば、上記のピンチアウト操作が実行された場合に、グリッド線5023に隣接して新たなグリッド線が生成され、当該新たなグリッド線とグリッド線5023との間を開くことによって新たな列5025が挿入されてもよい。上記の例では上下方向のグリッド線5023が選択されたことによって新たな列5025が挿入されているが、同様の操作によって左右方向のグリッド線が選択された場合には新たな行が挿入されうる。
 また、グリッド線5023を分割して新たな列5025を挿入するための操作は、上記のようなピンチアウト操作には限られない。例えば、タッチパネルを用いたタップ操作や、マウスを用いた操作によってグリッド線5023が指定されてもよい。この場合、グリッド線5023を指定する操作が列5025の挿入を意味することを特定するために、例えば位置調整モードのような通常とは異なる操作モードが設定されてもよい。このように、本実施形態においてグリッド線を指定する第1のユーザ操作は、例えばグリッド線を選択する操作、またはグリッド線をまたいだ位置でのピンチアウト操作など、さまざまな操作を含みうる。
  (グリッドの調整の例・その2)
 図29は、本開示の第1の実施形態におけるグリッドの調整の第2の例を示す図である。図29に示された例でも、フィールド5002に、複数のエレメントアイコン5003が表示されている。また、フィールド5002にはグリッド線5005が表示されている。図示された例でも、各エレメントアイコン5003は、グリッド線5005に沿って自動的にアライメントされている。なお、動作アイコン5009は図示されていないが、エレメントアイコン5003に付随して表示されてもよい。
 ここで、図示された例では、UI装置400の入出力部430がタッチパネルを含み、ユーザが、グリッド線5005によって定義される行5027をまたいだ位置でのピンチイン操作を実行している。UI装置400の制御部420によって実現される操作取得部がこの操作を取得した場合、同じく制御部420によって実現される表示制御部は、ピンチイン操作によって指定された行5027を削除し、該削除された行の両側のグリッド線を統合して単一のグリッド線5029にする。
 なお、上記の説明では行5027の両側のグリッド線が統合されることとしているが、これは見た目上のことであって、内部処理上は必ずしもグリッド線が統合されてグリッド線5029になるとは限らない。例えば、上記のピンチイン操作が実行された場合に、行5027の両側のグリッド線が接近し、両者が隣接した段階でいずれかのグリッド線が削除されてグリッド線5029が残ってもよい。上記の例では左右方向の行5027が削除されているが、同様の操作によって上下方向の列を削除することも可能でありうる。
 また、行5027を削除するための操作は、上記のようなピンチイン操作には限られない。例えば、タッチパネルを用いたタップ操作や、マウスを用いた操作によって行5027が指定されてもよい。この場合、行5027を指定する操作が行5027の削除を意味することを特定するために、例えば位置調整モードのような通常とは異なる操作モードが設定されてもよい。ピンチイン操作に応じて行5027を削除する場合も、必ずしも行5027の全体をまたいだ位置でピンチイン操作が実行されなくてもよく、行5027の少なくとも一部をまたいだピンチイン操作が実行されてもよい。このように、本実施形態において行または列を指定する第2のユーザ操作は、例えば行もしくは列を選択する操作、または行もしくは列の少なくとも一部をまたいだ位置でのピンチイン操作など、さまざまな操作を含みうる。
 以上で説明したようなグリッド調整の第1および第2の例によれば、ユーザインターフェースとして提供される画面5000において、フィールド5002に表示されるエレメントアイコン5003や動作アイコン5009の配置を、直観的な操作によって調整することができる。例えば、上記の例のように、本実施形態では、動作アイコン5009同士がリンク5015で接続されることによってエレメント同士の連係動作が表現される。従って、例えば上記の第1の例のような操作によってアイコン同士の間にリンク5015を配置する間隔を挿入できることは有用でありうる。例えば、UI装置400において、主に入出力部430に含まれるタッチパネルを介してユーザ操作が受け付けられるような場合、マウスを用いた操作とは異なり、画面5000上で複数のアイコン5003を含む領域を指定する操作は必ずしも容易ではない。上記の例のような操作によって、フィールド5002ごと複数のアイコン5003を移動させることができれば、必ずしも複数のアイコン5003を含む領域を指定しなくてもよいため、タッチパネルでの操作性が向上しうる。
 (2-2.第2の実施形態)
 続いて、本開示の第2の実施形態について説明する。本実施形態において提供されるユーザインターフェースやユーザ操作は、上記の第1の実施形態と同様であるが、一部について異なる。以下の説明では、そのような点について主に説明し、第1の実施形態と同様の構成については重複した説明を省略する。
  (第1の表示例)
 図30は、本開示の第2の実施形態における第1の表示例を示す図である。図30を参照すると、本実施形態においてユーザインターフェースとしてディスプレイに表示される画面には、エレメントアイコン6003と、グリッド線6005と、動作アイコン6009とが含まれる。これらの構成要素は、上記の第1の実施形態で説明されたエレメントアイコン5003と、グリッド線5005と、動作アイコン5009とに対応する。ただし、本実施形態では、エレメントアイコン6003について、名前フィールド6031を利用してエレメントに固有の名称を与えることが可能である。また、本実施形態では、図示された例における動作アイコン6009a1,6009a2や、動作アイコン6009dのように、動作アイコン6009を用いて動作に関連する時刻や動作のパターンの名称などの設定することが可能でありうる。以下、表示例に係るユーザインターフェースのそれぞれの構成要素についてさらに詳しく説明する。
 「カレンダー」のソフトウェアエレメントを示すエレメントアイコン6003aには、動作アイコン6009a1,6009a2が付随している。動作アイコン6009a1,6009a2はいずれも「カレンダー」のソフトウェアエレメントによって提供されるアラーム機能の動作を示すが、アラームの設定時刻が異なっている。動作アイコン6009a1は、リンク6015によって、マイクロフォン100gを示すエレメントアイコン6003bの動作アイコン6009b1に接続されている。動作アイコン6009b1は、マイクロフォン100gが音声のストリーミングを開始する動作を示す。
 さらに、動作アイコン6009b1は、リンク6015によって、スピーカ100eを示すエレメントアイコン6003cの動作アイコン6009cに接続されている。動作アイコン6009cは、スピーカ100eが所定の音声を再生する動作を示す。動作アイコン6009a1から動作アイコン6009b1を経由して動作アイコン6009cへの直列的な連関によって、毎日22:00に、マイクロフォン100gがストリーミングを開始し、スピーカ100eが音声(ストリーミングの開始をユーザに通知するものでありうる)を再生するという動作の順序が定義されている。
 一方、動作アイコン6009a2は、リンク6015によって、動作アイコン6009b2に接続されている。動作アイコン6009b2は、マイクロフォン100gが音声のストリーミングを終了する動作を示す。動作アイコン6009a1,6009a2のそれぞれから動作アイコン6009b1,6009b2のそれぞれへの複線的な接続によって、毎日22:00にストリーミングが開始され、毎日24:00にはストリーミングが終了するという、互いに異なる時刻に発生する動作を定義することができる。
 その上さらに、動作アイコン6009a1は、LEDランプ100fを示すエレメントアイコン6003dの動作アイコン6009dにも接続されている。動作アイコン6009dは、LEDランプ100fが(ほのかに)点灯する動作を示す。ここで、動作アイコン6009dには、動作プロパティ6033d1が表示されている。動作プロパティ6033d1は、動作アイコン6009dによって示されるLEDランプ100fの点灯動作のプロパティ、より具体的には光量の時間的な変化の設定を示す。動作プロパティ6033d1では、例えば図示された例のように、光量の減衰にかかる時間をユーザが設定可能であってもよい。
  (第2の表示例)
 図31は、本開示の第2の実施形態における第2の表示例を示す図である。図31の例では、「カレンダー」のソフトウェアエレメントを示すエレメントアイコン6003aの動作アイコン6009a3が、リンク6015によって、LEDランプ100fを示すエレメントアイコン6003dの動作アイコン6009dに接続されている。動作アイコン6009a3は、「アポイントメントの2時間前に通知する」動作を示す。図示された例では、「アポイントメント」の部分と、「2時間前」の部分とを、動作アイコン6009a3を用いて設定可能である。動作アイコン6009dは、LEDランプ100fが(パルス的に)点灯する動作を示す。ここで、動作アイコン6009dには、動作プロパティ6033d2が表示されている。動作プロパティ6033d2は、上記の第1の例における動作プロパティ6033d1と同様に、動作アイコン6009dによって示されるLEDランプ100fの点灯動作のプロパティ、より具体的には光量の時間的な変化の設定を示す。動作プロパティ6033d2では、例えば図示された例のように、光量のパルス的な変化が繰り返される時間をユーザが設定可能であってもよい。
  (第3の表示例)
 図32は、本開示の第2の実施形態における第3の表示例を示す図である。図32の例では、ボタン100dを示すエレメントアイコン6003eの動作アイコン6009eが、リンク6015によって、カメラ100bを示すエレメントアイコン6003fの動作アイコン6009f1に接続されている。動作アイコン6009eは、「ボタン100dが押下される」動作を示す。一方、動作アイコン6009f1は、「カメラ100bで動画の撮影を開始する」動作を示す。動作アイコン6009f1には、撮影の持続時間を示す拡張部分6009f1-eが付随している。拡張部分6009f1-eでは、撮影の持続時間をユーザが設定可能であってもよい。
 さらに、動作アイコン6009f1は、リンク6015によって、「リスト」のソフトウェアエレメントを示すエレメントアイコン6003gの動作アイコン6009gに接続されている。動作アイコン6009gは、提供された動画などのデータをリストに追加する動作を示す。なお、本実施形態では、例えばネットワーク上のサーバによって実現されるストレージにおいて、任意のデータオブジェクトを格納するリストが提供されうる。このリストにデータを追加することによって、ユーザは、他のユーザとの間でデータを共有することができる。図示された例では、具体的な利用方法の一例として、エレメントアイコン6003gによって示される「リスト」のソフトウェアエレメントは、祖父母との動画のデータを共有するために用意されている。そのため、名前フィールド6031gには「Gran」という名称が設定されている。
  (第4の表示例)
 図33は、本開示の第2の実施形態における第4の表示例を示す図である。図33では、上記の第3の例と同様の機能を実現するエレメントの連係動作の別の設定例が示されている。図33の例では、ボタン100dを示すエレメントアイコン6003eの動作アイコン6009eが、リンク6015によって、「トグルスイッチ」のソフトウェアエレメントを示すエレメントアイコン6003hの動作アイコンに接続されている。「トグルスイッチ」のソフトウェアエレメントは、特殊な機能として、トリガになる動作が他のエレメントにおいて発生した場合に、実行される動作を交互に切り替える。
 図示された例では、動作アイコン6009eによって示されるボタン100dの押下の動作が発生した場合に、1回目は動作アイコン6009h1によって示されるようにスイッチがON(またはOFF)になり、2回目は動作アイコン6009h2によって示されるようにスイッチがOFF(またはON)になり、3回目はまた動作アイコン6009h1によって示されるようにスイッチがON(またはOFF)になる。なお、スイッチのONおよびOFFは便宜的に設定されたラベルである。「トグルスイッチ」のソフトウェアエレメントは、ONおよびOFFに相当する動作だけではなく、あらゆる種類の動作を切り替えることができる。また、切り替えの対象になる動作は2つには限られず、3つ以上の動作が順番に切り替えて実行されてもよい。
 「トグルスイッチ」のソフトウェアエレメントを示すエレメントアイコン6003hの動作アイコンのうち、スイッチをONにする動作を示す動作アイコン6009h1は、リンク6015によって、カメラ100bを示すエレメントアイコン6003fの動作アイコン6009f1に接続されている。動作アイコン6009f1は、「カメラ100bで動画の撮影を開始する」動作を示す。さらに、動作アイコン6009f1は、リンク6015によって、「リスト」のソフトウェアエレメントを示すエレメントアイコン6003gの動作アイコン6009gに接続されている。動作アイコン6009gは、提供された動画などのデータをリストに追加する動作を示す。また、動作アイコン6009h1は、LEDランプ100f(エレメントアイコン6003d)が点灯することを示す動作アイコン6009d1にも接続されている。
 一方、エレメントアイコン6003hの動作アイコンのうち、スイッチをOFFにする動作を示す動作アイコン6009h2は、リンク6015によって、カメラ100bを示すエレメントアイコン6003fの動作アイコン6009f2に接続されている。動作アイコン6009f2は、「カメラ100bでの撮影を終了する」動作を示す。また、動作アイコン6009h2は、LEDランプ100f(エレメントアイコン6003d)が消灯すること示す動作アイコン6009d2にも接続されている。
 上記で図33に示した例では、「トグルスイッチ」のソフトウェアエレメント(エレメントアイコン6003h)が導入されることによって、カメラ100bによる動画の撮影の開始および終了を、ボタン100dを介したユーザ操作によって任意に制御することができる。さらに、上記の例では、リンク6015によって、動作アイコン6009h1から動作アイコン6009f1および動作アイコン6009d1への分岐が形成され、さらに、動作アイコン6009h2から動作アイコン6009f3および動作アイコン6009d2への分岐が形成される。このような複線的な分岐が形成されることによって、ボタン100dの押下によるカメラ100bでの動作の撮影の開始および終了と、LEDランプ100fの点灯および消灯とを同期させることができる。従って、ユーザは、ボタン100dを押下したことによって撮影が開始されたのか終了したかを、LEDランプ100fの点灯状態によって容易に認識することができる。
  (第5の表示例)
 図34は、本開示の第2の実施形態における第5の表示例を示す図である。図34の例では、「リスト」のソフトウェアエレメントを示すエレメントアイコン6003iの動作アイコン6009iが、リンク6015によって、LEDランプ100fを示すエレメントアイコン6003jの動作アイコン6009j1に接続されている。動作アイコン6009iは、リストの更新を検出する動作を示す。一方、動作アイコン6009j1は、LEDランプ100fを3回点滅させる動作を示す。動作アイコン6009j1では、例えば図示された例のように、点滅の回数をユーザが設定可能であってもよい。
 図示された例は、上記で図32または図33を参照して説明された動画データの共有のための仕組みの、参照側でのプログラムでありうる。「リスト」のソフトウェアエレメントを示すエレメントアイコン6003iでは、名前フィールド6031iによって「Gran」という名称が設定されている。つまり、エレメントアイコン6003iによって示される「リスト」のソフトウェアエレメントは、上記の例においてエレメントアイコン6003gによって示された「リスト」のソフトウェアエレメントと同一のリストを参照しうる。例えば、動作アイコン6009gによって示されたように、リストに動作データを追加する動作が実行されると、動作アイコン6009iによって示されるようにリストの更新が検出され、「リスト」のソフトウェアエレメントとLEDランプ100fとの連係動作によって、LEDランプ100fが3回点滅してリストの更新(動画データの追加)を通知する。
  (第6の表示例)
 図35は、本開示の第2の実施形態における第6の表示例を示す図である。図35の例では、上記で図34を参照して説明した例と同様のアイコンが配置され、同様の機能が実現されるが、エレメントアイコン6003jに付随する動作アイコン6009j2が、上記の例の動作アイコン6009j1とは異なっている。動作アイコン6009j2では、LEDランプ100fの点滅のパターンについて、点灯時間、待機(消灯)時間、および繰り返し回数を含む、より詳細な設定が可能である。
  (第7の表示例)
 図36は、本開示の第2の実施形態における第7の表示例を示す図である。図36の例では、玄関の鍵の置場に設置されたNFCリーダが、キーリングに埋め込まれたICタグを読み取ることによって母親または父親のどちらが帰宅したのかを検出し、それに合わせてLEDランプを点灯させたり、プレイリストの音楽を再生したりする仕組みが実現される。
 図示された例では、NFCリーダを示すエレメントアイコン6003kに、動作アイコン6009k1,6009k2が付随している。動作アイコン6009k1は、ICタグとの通信によって母親のIDが検出される動作を示す。一方、動作アイコン6009k2は、ICタグとの通信によって父親のIDが検出される動作を示す。動作アイコン6009k1,6009k2と、LEDランプ100fを示すエレメントアイコン6003dの動作アイコン6009d3,6009d4との間には、リンク6015によって複線的な接続が形成されている。これによって、母親の帰宅が検出された場合には(動作アイコン6009k1)LEDランプ100fがパターンAで点滅し(動作アイコン6009d3)、父親の帰宅が検出された場合には(動作アイコン6009k2)LEDランプ100fがパターンBで点灯する(動作アイコン6009d4)。なお、動作アイコン6009d3については点滅パターンを設定するための動作プロパティ6035d3が表示され、動作アイコン6009d4については点灯色のパターンを設定するための動作プロパティ6035d4が表示されている。
 その一方で、動作アイコン6009k1,6009k2は、いずれも、リンク6015によって、「リレースイッチ」のソフトウェアエレメントを示すエレメントアイコン6003mの動作アイコン6009mに接続されている。「リレースイッチ」のソフトウェアエレメントは、特殊な機能として、トリガになる動作が他のエレメントにおいて発生した場合に、当該動作によって示される状態に応じてスイッチの状態を切り替える。より具体的には、図示された例においてエレメントアイコン6003mによって示される「リレースイッチ」のソフトウェアエレメントは、動作アイコン6009k1の動作によって示される「母親の在宅」という状態(「Mom」がON)と、動作アイコン6009k2の動作によって示される「父親の在宅」という状態(「Dad」がON)とに基づいて、動作プロパティ6035mに示されるような状態A~Dを切り替える。これらの状態A~Dは、動作アイコン6009mの拡張部分6009m_eによって示されている。
 上記の拡張部分6009m_eに含まれる4つの状態A~Dに対応する部分は、それぞれがスピーカ100eを示すエレメントアイコン6003cの動作アイコンに、複々線的に接続されている。これによって、状態A(母親のみ在宅)では母親用のプレイリストが再生され(動作アイコン6009c1)、状態B(父親のみ在宅)では父親用のプレイリストが再生され(動作アイコン6009c2)、状態C(母親および父親が在宅)では混合のプレイリストが再生され、状態D(どちらも在宅せず)ではプレイリストが再生されないという動作が実現される。
  (第8の表示例)
 図37は、本開示の第2の実施形態における第8の表示例を示す図である。図37の例では、所定の日付時刻にスピーカ100eによって音声が再生されるとともに、音声の再生中にLEDランプ100fが所定のパターンで繰り返し点灯する仕組みが実現される。
 図示された例では、「タイマー」のソフトウェアエレメントを示すエレメントアイコン6003nに動作アイコン6009nが付随している。動作アイコン6009nは、所定の日付時刻(5月17日19:00)にトリガを発生させる動作を示す。動作アイコン6009nに接続されるリンク6015は、スピーカ100eを示すエレメントアイコン6003cの動作アイコン6009c5と、LEDランプ100fを示すエレメントアイコン600dの動作アイコン6009d5への分岐を形成する。従って、図示された例では、所定の日付時刻にトリガが発生した(動作アイコン6009n)場合に、スピーカ100eによって音声が再生される動作(動作アイコン6009c)に同期して、LEDランプ100fが所定のパターンで繰り返し点灯する動作(動作アイコン6009d5)が発生する。動作アイコン6009c5では、再生する音声を指定することが可能であってもよい。また、動作アイコン6009d5では、点灯パターンを構成する発光色を指定することが可能であってもよい。
 さらに、図示された例では、動作アイコン6009c5が、エレメントアイコン6003dの動作アイコン6009d6に接続されている。つまり、図示された例において、動作アイコン6009c5によって示される動作(スピーカ100eによる音声の再生)と動作アイコン6009d5によって示される動作(LEDランプ100fの点灯)とが同期して発生するとともに、動作アイコン6009c5によって示される動作(スピーカ100eによる音声の再生)に続いて、動作アイコン6009d6によって示される動作(スピーカ100eによる音声の再生の停止)が発生する。このようにして、本実施形態では、リンクの分岐と、アイコンの直列的な連関とを組み合わせることによって、限られた数のエレメントによって高度な連係動作を実現させることも可能である。
  (第9の表示例)
 図38は、本開示の第2の実施形態における第9の表示例を示す図である。図38の例では、上記で図37を参照して説明した例と同様のアイコンが配置され、同様の機能が実現されるが、エレメントアイコン6003dの部分が、「ループ」のソフトウェアエレメントを示すエレメントアイコン6003pおよび動作アイコン6009p1,6009p2に置き換えられている。
 エレメントアイコン6003pによって示される「ループ」のソフトウェアエレメントは、ループ設定ウインドウ6045で表示されている動作を繰り返す制御を実行する。ループ設定ウインドウ6045は、ユーザインターフェースとしてディスプレイに表示される画面にサブウインドウとして配置される。ループ設定ウインドウ6045内では、エレメントアイコン6003、動作アイコン6009、およびリンク6015によって、ループの対象になる連係動作を表現することが可能である。図示された例では、ループ設定ウインドウ6045内に、LEDランプ100fを示すエレメントアイコン6003dと、動作アイコン6009d7とが配置されている。動作アイコン6009d7には、点灯の色と間隔とを定義する拡張部分6009d7_eが付随している。図示された例では、拡張部分6009d7_eの終端部と、動作アイコン6009d7とがリンク6015で循環状に接続され、LEDランプ100fの動作によってループが完結することが示されている。他の例では、ループ設定ウインドウ6045内に他のエレメントアイコン6003や動作アイコン6009が配置され、複数のエレメント、および複数の動作によるループ処理が定義されてもよい。
 一方、「ループ」のソフトウェアエレメントを示すエレメントアイコン6003pに付随する動作アイコン6009p1は、ループの開始動作を示す。図示された例では、動作アイコン6009nに示される動作によって所定の日付時刻にトリガが発生した場合に、ループ設定ウインドウ6045において定義されているループ処理が開始される。動作アイコン6009p1には、ループ処理の持続時間を示す拡張部分6009p1_eが付随していてもよい。一方、エレメントアイコン6003pに付随する動作アイコン6009p2は、ループ処理の終了動作を示す。図示された例では、動作アイコン6009c5に示される音声の再生動作が終了した場合に、ループ設定ウインドウ6045において定義されているループ処理が終了される。図示された例のように、拡張部分6009p1_eと、動作アイコン6009p2との両方によってループ処理の終了が定義されている場合、例えばいずれか早い方、またはいずれか遅い方の処理が優先的に採用されてもよい。
 (3.ハードウェア構成)
 次に、図39を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図39は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置900は、例えば、上記の実施形態におけるエレメント100、マネージャ200、サーバ300、および/またはUI装置400を実現しうる。
 情報処理装置900は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、情報処理装置900は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。情報処理装置900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
 CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置900内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
 入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりする。
 出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro-Luminescence)ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置917は、情報処理装置900の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。
 ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
 ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
 接続ポート923は、機器を情報処理装置900に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート923は、RS-232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、情報処理装置900と外部接続機器929との間で各種のデータが交換されうる。
 通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
 撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
 センサ935は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えば情報処理装置900の筐体の姿勢など、情報処理装置900自体の状態に関する情報や、情報処理装置900の周辺の明るさや騒音など、情報処理装置900の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。
 以上、情報処理装置900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
 (4.補足)
 本開示の実施形態は、例えば、上記で説明したような情報処理装置(UI装置、UI装置におけるユーザインターフェースの提供を制御するマネージャもしくはサーバ、またはマネージャとしても機能するエレメント)、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上記の実施形態では、アイコンとしてエレメントアイコンと動作アイコンとが表示され、動作アイコン同士がリンクによって接続される例について説明したが、本開示の実施形態はこのような例には限られない。例えば少なくとも一部のエレメントの動作が、動作アイコンを表示しなくても実質的に特定されるような場合には、エレメントアイコン同士、またはエレメントアイコンと他のエレメントアイコンに付随する動作アイコンとがリンクで接続されてもよい。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)互いに連係動作するハードウェアエレメントまたはソフトウェアエレメントを示す複数のアイコンと、前記複数のアイコンを互いに接続するリンクとを表示させる表示制御部を備え、
 前記リンクによって形成される前記複数のアイコンの空間的シークエンスは、前記複数のアイコンによってそれぞれ示される前記ソフトウェアエレメントまたは前記ハードウェアエレメントの動作の時間的シークエンスに対応する情報処理装置。
(2)前記空間的シークエンスは、前記複数のアイコンの直列的な連関を含む、前記(1)に記載の情報処理装置。
(3)前記複数のアイコンは、第1のアイコンと複数の第2のアイコンとを含み、
 前記空間的シークエンスは、前記第1のアイコンから前記各第2のアイコンへの分岐を含む、前記(1)または(2)に記載の情報処理装置。
(4)前記各アイコンは、前記ソフトウェアエレメントまたは前記ハードウェアエレメントの種類を示すエレメントアイコンと、前記ソフトウェアエレメントまたは前記ハードウェアエレメントの動作の種類を示す動作アイコンとを含み、
 前記リンクは、前記動作アイコンを互いに接続する、前記(1)~(3)のいずれか1項に記載の情報処理装置。
(5)前記動作アイコンは、互いに独立して発生する複数の動作を示す複数のアイコンを含む、前記(4)に記載の情報処理装置。
(6)前記複数のアイコンは、第1のアイコンと第2のアイコンとを含み、
 前記第1のアイコンに含まれる複数の動作アイコンのそれぞれと、前記第2のアイコンに含まれる複数の動作アイコンのそれぞれとが前記リンクによって複線的に接続される、前記(5)に記載の情報処理装置。
(7)前記複数のアイコンは、第1のアイコンと複数の第2のアイコンとを含み、
 前記第1のアイコンに含まれる複数の動作アイコンのそれぞれと前記各第2のアイコンに含まれる動作アイコンとが前記リンクで接続されることによって前記第1のアイコンから前記各第2のアイコンへの分岐が形成される、前記(5)に記載の情報処理装置。
(8)前記複数のアイコンは、第1のアイコンと複数の第2のアイコンとを含み、
 前記第1のアイコンに含まれる単一の動作アイコンと前記各第2のアイコンに含まれる動作アイコンとが前記リンクで接続されることによって前記第1のアイコンから前記各第2のアイコンへの分岐が形成される、前記(4)に記載の情報処理装置。
(9)前記表示制御部は、さらに、前記複数のアイコンが配置されるフィールドを表示させ、
 前記フィールドでは、第1の方向が定義され、
 前記リンクは、前記第1の方向から前記各アイコンに接続される、前記(1)~(8)のいずれか1項に記載の情報処理装置。
(10)前記各アイコンは、前記リンクが接続されるソケットアイコンを含み、
 前記複数のアイコンは、前記第1の方向に面する片側だけに前記ソケットアイコンが配置される末端アイコンと、前記第1の方向に面する両側に前記ソケットアイコンが配置される中間アイコンとを含む、前記(9)に記載の情報処理装置。
(11)前記表示制御部は、さらに、前記フィールド上で前記第1の方向および前記第1の方向に交差する第2の方向のグリッド線を表示させる、前記(9)または(10)に記載の情報処理装置。
(12)前記グリッド線を指定する第1のユーザ操作を取得する操作取得部をさらに備え、
 前記表示制御部は、前記第1のユーザ操作によって指定されたグリッド線を分割し、該分割されたグリッド線の間に新たな行または列を挿入する、前記(11)に記載の情報処理装置。
(13)前記第1のユーザ操作は、前記グリッド線を選択する操作、または前記グリッド線をまたいだ位置でのピンチアウト操作を含む、前記(12)に記載の情報処理装置。
(14)前記グリッド線によって定義される行または列を指定する第2のユーザ操作を取得する操作取得部をさらに備え、
 前記表示制御部は、前記第2のユーザ操作によって指定された行または列を削除し、該削除された行または列の両側の前記グリッド線を統合する、前記(11)~(13)のいずれか1項に記載の情報処理装置。
(15)前記第2のユーザ操作は、前記行もしくは前記列を選択する操作、または前記行もしくは前記列の少なくとも一部をまたいだ位置でのピンチイン操作を含む、前記(14)に記載の情報処理装置。
(16)前記各アイコンは、前記グリッド線に従ってアライメントされる、前記(11)~(15)のいずれか1項に記載の情報処理装置。
(17)互いに連係動作するハードウェアエレメントまたはソフトウェアエレメントを示す複数のアイコンと、前記複数のアイコンを互いに接続するリンクとを表示させることを含み、
 前記リンクによって形成される前記複数のアイコンの空間的シークエンスは、前記複数のアイコンによってそれぞれ示される前記ソフトウェアエレメントまたは前記ハードウェアエレメントの動作の時間的シークエンスに対応する表示制御方法。
(18)情報処理装置の処理回路において実行されることによって、互いに連係動作するハードウェアエレメントまたはソフトウェアエレメントを示す複数のアイコンと、前記複数のアイコンを互いに接続するリンクとを表示させる機能を実現し、
 前記リンクによって形成される前記複数のアイコンの空間的シークエンスは、前記複数のアイコンによってそれぞれ示される前記ソフトウェアエレメントまたは前記ハードウェアエレメントの動作の時間的シークエンスに対応するプログラム。
 10  システム
 100  エレメント
 110  通信部
 120  制御部
 130  機能部
 140  電源部
 200  マネージャ
 210  通信部
 220  制御部
 230  記憶部
 300  サーバ
 310  通信部
 320  制御部
 330  記憶部
 400  UI装置
 410  通信部
 420  制御部
 430  入出力部
 5002  フィールド
 5003  エレメントアイコン
 5005  グリッド線
 5009  動作アイコン
 5011  ソケットアイコン
 5015  リンク

Claims (18)

  1.  互いに連係動作するハードウェアエレメントまたはソフトウェアエレメントを示す複数のアイコンと、前記複数のアイコンを互いに接続するリンクとを表示させる表示制御部を備え、
     前記リンクによって形成される前記複数のアイコンの空間的シークエンスは、前記複数のアイコンによってそれぞれ示される前記ソフトウェアエレメントまたは前記ハードウェアエレメントの動作の時間的シークエンスに対応する情報処理装置。
  2.  前記空間的シークエンスは、前記複数のアイコンの直列的な連関を含む、請求項1に記載の情報処理装置。
  3.  前記複数のアイコンは、第1のアイコンと複数の第2のアイコンとを含み、
     前記空間的シークエンスは、前記第1のアイコンから前記各第2のアイコンへの分岐を含む、請求項1に記載の情報処理装置。
  4.  前記各アイコンは、前記ソフトウェアエレメントまたは前記ハードウェアエレメントの種類を示すエレメントアイコンと、前記ソフトウェアエレメントまたは前記ハードウェアエレメントの動作の種類を示す動作アイコンとを含み、
     前記リンクは、前記動作アイコンを互いに接続する、請求項1に記載の情報処理装置。
  5.  前記動作アイコンは、互いに独立して発生する複数の動作を示す複数のアイコンを含む、請求項4に記載の情報処理装置。
  6.  前記複数のアイコンは、第1のアイコンと第2のアイコンとを含み、
     前記第1のアイコンに含まれる複数の動作アイコンのそれぞれと、前記第2のアイコンに含まれる複数の動作アイコンのそれぞれとが前記リンクによって複線的に接続される、請求項5に記載の情報処理装置。
  7.  前記複数のアイコンは、第1のアイコンと複数の第2のアイコンとを含み、
     前記第1のアイコンに含まれる複数の動作アイコンのそれぞれと前記各第2のアイコンに含まれる動作アイコンとが前記リンクで接続されることによって前記第1のアイコンから前記各第2のアイコンへの分岐が形成される、請求項5に記載の情報処理装置。
  8.  前記複数のアイコンは、第1のアイコンと複数の第2のアイコンとを含み、
     前記第1のアイコンに含まれる単一の動作アイコンと前記各第2のアイコンに含まれる動作アイコンとが前記リンクで接続されることによって前記第1のアイコンから前記各第2のアイコンへの分岐が形成される、請求項4に記載の情報処理装置。
  9.  前記表示制御部は、さらに、前記複数のアイコンが配置されるフィールドを表示させ、
     前記フィールドでは、第1の方向が定義され、
     前記リンクは、前記第1の方向から前記各アイコンに接続される、請求項1に記載の情報処理装置。
  10.  前記各アイコンは、前記リンクが接続されるソケットアイコンを含み、
     前記複数のアイコンは、前記第1の方向に面する片側だけに前記ソケットアイコンが配置される末端アイコンと、前記第1の方向に面する両側に前記ソケットアイコンが配置される中間アイコンとを含む、請求項9に記載の情報処理装置。
  11.  前記表示制御部は、さらに、前記フィールド上で前記第1の方向および前記第1の方向に交差する第2の方向のグリッド線を表示させる、請求項9に記載の情報処理装置。
  12.  前記グリッド線を指定する第1のユーザ操作を取得する操作取得部をさらに備え、
     前記表示制御部は、前記第1のユーザ操作によって指定されたグリッド線を分割し、該分割されたグリッド線の間に新たな行または列を挿入する、請求項11に記載の情報処理装置。
  13.  前記第1のユーザ操作は、前記グリッド線を選択する操作、または前記グリッド線をまたいだ位置でのピンチアウト操作を含む、請求項12に記載の情報処理装置。
  14.  前記グリッド線によって定義される行または列を指定する第2のユーザ操作を取得する操作取得部をさらに備え、
     前記表示制御部は、前記第2のユーザ操作によって指定された行または列を削除し、該削除された行または列の両側の前記グリッド線を統合する、請求項11に記載の情報処理装置。
  15.  前記第2のユーザ操作は、前記行もしくは前記列を選択する操作、または前記行もしくは前記列の少なくとも一部をまたいだ位置でのピンチイン操作を含む、請求項14に記載の情報処理装置。
  16.  前記各アイコンは、前記グリッド線に従ってアライメントされる、請求項11に記載の情報処理装置。
  17.  互いに連係動作するハードウェアエレメントまたはソフトウェアエレメントを示す複数のアイコンと、前記複数のアイコンを互いに接続するリンクとを表示させることを含み、
     前記リンクによって形成される前記複数のアイコンの空間的シークエンスは、前記複数のアイコンによってそれぞれ示される前記ソフトウェアエレメントまたは前記ハードウェアエレメントの動作の時間的シークエンスに対応する表示制御方法。
  18.  情報処理装置の処理回路において実行されることによって、互いに連係動作するハードウェアエレメントまたはソフトウェアエレメントを示す複数のアイコンと、前記複数のアイコンを互いに接続するリンクとを表示させる機能を実現し、
     前記リンクによって形成される前記複数のアイコンの空間的シークエンスは、前記複数のアイコンによってそれぞれ示される前記ソフトウェアエレメントまたは前記ハードウェアエレメントの動作の時間的シークエンスに対応するプログラム。
PCT/JP2015/055748 2014-05-15 2015-02-27 情報処理装置、表示制御方法およびプログラム WO2015174120A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201580023741.4A CN106462404B (zh) 2014-05-15 2015-02-27 信息处理装置、显示控制方法和程序
EP21153751.9A EP3839673A1 (en) 2014-05-15 2015-02-27 Information processing device, display control method, and program
JP2016519136A JP6508200B2 (ja) 2014-05-15 2015-02-27 情報処理装置、表示制御方法およびプログラム
US15/307,575 US11216153B2 (en) 2014-05-15 2015-02-27 Information processing device, display control method, and program
EP15793171.8A EP3144808A4 (en) 2014-05-15 2015-02-27 Information processing device, display control method, and program
US17/543,051 US11693530B2 (en) 2014-05-15 2021-12-06 Information processing device, display control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014101510 2014-05-15
JP2014-101510 2014-05-15

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/307,575 A-371-Of-International US11216153B2 (en) 2014-05-15 2015-02-27 Information processing device, display control method, and program
US17/543,051 Continuation US11693530B2 (en) 2014-05-15 2021-12-06 Information processing device, display control method, and program

Publications (1)

Publication Number Publication Date
WO2015174120A1 true WO2015174120A1 (ja) 2015-11-19

Family

ID=54479667

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/055748 WO2015174120A1 (ja) 2014-05-15 2015-02-27 情報処理装置、表示制御方法およびプログラム

Country Status (5)

Country Link
US (2) US11216153B2 (ja)
EP (2) EP3144808A4 (ja)
JP (3) JP6508200B2 (ja)
CN (1) CN106462404B (ja)
WO (1) WO2015174120A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017228013A (ja) * 2016-06-21 2017-12-28 株式会社リコー 情報処理システム、情報処理装置、及び情報処理方法
WO2018155483A1 (ja) * 2017-02-24 2018-08-30 Vivita株式会社 制御装置、制御方法、情報処理装置、情報処理方法及びプログラム
WO2018163520A1 (ja) * 2017-03-07 2018-09-13 オムロン株式会社 センサのメタデータ生成装置、センサのメタデータ生成システム、センサのメタデータ生成方法及びセンサのメタデータ生成プログラム
WO2019013316A1 (ja) * 2017-07-14 2019-01-17 ダイキン工業株式会社 機器制御システム
JP2019179343A (ja) * 2018-03-30 2019-10-17 ブラザー工業株式会社 画面作成プログラム、情報処理装置及び画面作成方法
JP2020009204A (ja) * 2018-07-09 2020-01-16 富士ゼロックス株式会社 情報処理装置及びプログラム
JP7467103B2 (ja) 2019-11-19 2024-04-15 キヤノン電子株式会社 アプリケーション作成画面の表示制御方法、プログラムおよび情報処理装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD814516S1 (en) * 2014-12-18 2018-04-03 Rockwell Automation Technologies, Inc. Display screen with icon
USD800772S1 (en) * 2015-09-04 2017-10-24 Jaguar Land Rover Limited Display screen or portion thereof with icon
USD801388S1 (en) * 2016-02-11 2017-10-31 Sears Brands, L.L.C. Display screen or portion thereof with icon
US11279042B2 (en) * 2019-03-12 2022-03-22 Bear Robotics, Inc. Robots for serving food and/or drinks
WO2022231899A1 (en) * 2021-04-26 2022-11-03 Kp Inventions, Llc System and method for tracking patient activity
CN114281447B (zh) * 2021-12-02 2024-03-19 武汉华工激光工程有限责任公司 一种载板激光加工软件界面处理方法、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1139145A (ja) * 1997-07-24 1999-02-12 Casio Comput Co Ltd プログラム構築支援装置及び記憶媒体
JP2008282260A (ja) * 2007-05-11 2008-11-20 Mitsubishi Electric Corp ラダー図編集装置
JP2012521056A (ja) * 2009-03-16 2012-09-10 アール・エイチ・ケイ・テクノロジー・インコーポレイテッド プログラマブル機器構成方法および装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000236585A (ja) 1999-02-15 2000-08-29 Nippon Telegr & Teleph Corp <Ntt> 機器制御方法及び装置並びに制御サーバ
US6816837B1 (en) * 1999-05-06 2004-11-09 Hewlett-Packard Development Company, L.P. Voice macros for scanner control
JP2004046317A (ja) * 2002-07-09 2004-02-12 Sharp Corp 情報処理装置、情報処理方法、情報処理プログラム、及び、情報処理プログラムを記録した記録媒体
KR100523907B1 (ko) 2003-06-30 2005-10-25 주식회사 팬택 네트워크 환경 하에서의 홈 및 빌딩 오토메이션을 위한지능형 제어 및 감시 시스템
JP2005065156A (ja) 2003-08-20 2005-03-10 Victor Co Of Japan Ltd 音声認識処理システム及びそれに用いる映像信号記録再生装置
JP2005072764A (ja) 2003-08-21 2005-03-17 Hitachi Ltd 機器制御システムとそのための装置及び機器制御方法
US20070067373A1 (en) * 2003-11-03 2007-03-22 Steven Higgins Methods and apparatuses to provide mobile applications
JP4408039B2 (ja) * 2003-11-13 2010-02-03 キヤノン株式会社 情報処理装置、印刷システム、情報処理方法、印刷方法
JP4515892B2 (ja) 2003-11-20 2010-08-04 パナソニック株式会社 連携制御装置、連携制御方法およびサービス連携システム
JP2005346169A (ja) * 2004-05-31 2005-12-15 Sony Corp 情報処理装置および方法、並びにプログラム
JP2006196956A (ja) 2005-01-11 2006-07-27 Matsushita Electric Ind Co Ltd 端末装置
JP2006215206A (ja) 2005-02-02 2006-08-17 Canon Inc 音声処理装置およびその制御方法
JP4631501B2 (ja) 2005-03-28 2011-02-16 パナソニック電工株式会社 宅内システム
JP2006344076A (ja) 2005-06-09 2006-12-21 Nec Electronics Corp プログラム生成装置、プログラム生成方法及びプログラム
JP4432963B2 (ja) 2005-12-22 2010-03-17 パナソニック電工株式会社 制御システム
JP5016670B2 (ja) * 2006-05-03 2012-09-05 クラウド システムズ, インコーポレイテッド 装置間接続を管理、ルート設定、制御するシステム及び方法
JP4181590B2 (ja) 2006-08-30 2008-11-19 株式会社東芝 インタフェース装置及びインタフェース処理方法
US20080192906A1 (en) * 2007-02-14 2008-08-14 Winbond Electronics Corporation Method and system for message management for audio storage devices
US20080263447A1 (en) * 2007-04-18 2008-10-23 Man Mohan Garg System and method for audiovisual control of document processing devices
US20090024440A1 (en) * 2007-07-18 2009-01-22 Siemens Medical Solutions Usa, Inc. Automated Workflow Via Learning for Image Processing, Documentation and Procedural Support Tasks
JP4720874B2 (ja) * 2008-08-14 2011-07-13 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP5229083B2 (ja) * 2009-04-14 2013-07-03 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US8773370B2 (en) * 2010-07-13 2014-07-08 Apple Inc. Table editing systems with gesture-based insertion and deletion of columns and rows
US9311061B2 (en) * 2011-02-10 2016-04-12 International Business Machines Corporation Designing task execution order based on location of the task icons within a graphical user interface
KR20130081593A (ko) * 2012-01-09 2013-07-17 삼성전자주식회사 디스플레이 장치 및 그 아이템 선택 방법
US20130257780A1 (en) * 2012-03-30 2013-10-03 Charles Baron Voice-Enabled Touchscreen User Interface
JP2014032501A (ja) 2012-08-02 2014-02-20 Sony Corp 情報処理装置および情報処理方法
US9098164B2 (en) * 2012-08-03 2015-08-04 National Instruments Corporation Physics based diagram editor
US9131266B2 (en) 2012-08-10 2015-09-08 Qualcomm Incorporated Ad-hoc media presentation based upon dynamic discovery of media output devices that are proximate to one or more users
US9271111B2 (en) 2012-12-14 2016-02-23 Amazon Technologies, Inc. Response endpoint selection
US9535570B2 (en) * 2013-03-15 2017-01-03 WIN—911 Software Method and system for remote alarm event notifications for automated machinery
JP6123394B2 (ja) * 2013-03-15 2017-05-10 株式会社リコー 定義情報作成システム、情報処理装置
US20140372856A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation Natural Quick Functions Gestures

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1139145A (ja) * 1997-07-24 1999-02-12 Casio Comput Co Ltd プログラム構築支援装置及び記憶媒体
JP2008282260A (ja) * 2007-05-11 2008-11-20 Mitsubishi Electric Corp ラダー図編集装置
JP2012521056A (ja) * 2009-03-16 2012-09-10 アール・エイチ・ケイ・テクノロジー・インコーポレイテッド プログラマブル機器構成方法および装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KENTA MISHIMA: "LabVIEW de Manabu [Saishin] LEGO?R?", MINDSTORMS NXT NYUMON, 1 June 2011 (2011-06-01), pages 56 - 57 , 69 to 71, XP008185605 *
See also references of EP3144808A4 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017228013A (ja) * 2016-06-21 2017-12-28 株式会社リコー 情報処理システム、情報処理装置、及び情報処理方法
JPWO2018155483A1 (ja) * 2017-02-24 2020-01-16 Vivita株式会社 制御装置、制御方法、情報処理装置、情報処理方法及びプログラム
WO2018155483A1 (ja) * 2017-02-24 2018-08-30 Vivita株式会社 制御装置、制御方法、情報処理装置、情報処理方法及びプログラム
US11024196B2 (en) 2017-02-24 2021-06-01 Vivita Japan, Inc. Control device, control method, information processing device, information processing method, and program
WO2018163520A1 (ja) * 2017-03-07 2018-09-13 オムロン株式会社 センサのメタデータ生成装置、センサのメタデータ生成システム、センサのメタデータ生成方法及びセンサのメタデータ生成プログラム
US11372932B2 (en) 2017-03-07 2022-06-28 Omron Corporation Sensor metadata generation device, sensor metadata generation system, sensor metadata generation method, and sensor metadata generation program
WO2019013316A1 (ja) * 2017-07-14 2019-01-17 ダイキン工業株式会社 機器制御システム
JPWO2019013316A1 (ja) * 2017-07-14 2020-08-06 ダイキン工業株式会社 機器制御システム
JP7060811B2 (ja) 2017-07-14 2022-04-27 ダイキン工業株式会社 機器制御システム
JP7067201B2 (ja) 2018-03-30 2022-05-16 ブラザー工業株式会社 画面作成プログラム、情報処理装置及び画面作成方法
JP2019179343A (ja) * 2018-03-30 2019-10-17 ブラザー工業株式会社 画面作成プログラム、情報処理装置及び画面作成方法
JP2020009204A (ja) * 2018-07-09 2020-01-16 富士ゼロックス株式会社 情報処理装置及びプログラム
JP7139735B2 (ja) 2018-07-09 2022-09-21 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7467103B2 (ja) 2019-11-19 2024-04-15 キヤノン電子株式会社 アプリケーション作成画面の表示制御方法、プログラムおよび情報処理装置

Also Published As

Publication number Publication date
JP2021005413A (ja) 2021-01-14
US20220091728A1 (en) 2022-03-24
CN106462404A (zh) 2017-02-22
JP2019114296A (ja) 2019-07-11
JPWO2015174120A1 (ja) 2017-04-20
US20170052678A1 (en) 2017-02-23
US11693530B2 (en) 2023-07-04
EP3144808A4 (en) 2017-12-20
EP3144808A1 (en) 2017-03-22
US11216153B2 (en) 2022-01-04
CN106462404B (zh) 2020-09-15
EP3839673A1 (en) 2021-06-23
JP7088253B2 (ja) 2022-06-21
JP6508200B2 (ja) 2019-05-08

Similar Documents

Publication Publication Date Title
JP7088253B2 (ja) システムおよび装置
JP6520442B2 (ja) パラメータ制御装置およびパラメータ制御プログラム
WO2017088392A1 (zh) 视频播放方法及装置
CN104135683B (zh) 一种智能设备的遥控方法及相关设备、系统
CN108604180A (zh) 用于语音用户界面的视觉效果的led设计语言
JP5666530B2 (ja) 制御装置、制御装置の制御方法、サーバ、被制御装置、制御システム、制御プログラム、および記録媒体
CN107294793A (zh) 智能家居设备的替换方法、装置、设备及存储介质
CN107005750A (zh) 信息处理装置、信息处理方法和程序
KR102498714B1 (ko) 콘텐트 제공을 위한 전자 장치 및 방법
US20230350939A1 (en) Systems and methods for displaying media files
TW201516698A (zh) 遠端播放系統與方法
WO2018028082A1 (zh) 定时方法及装置
US11842707B2 (en) Systems and methods for adjusting light emitted from a display
JP2021152928A (ja) 端末装置、方法、およびプログラム
AU2011305074B2 (en) Method and system for configuring a sequence of positions of a camera
US11418406B2 (en) Information processing apparatus and information processing method
WO2015174113A1 (ja) 情報処理装置、システム、情報処理方法およびプログラム
CN106603652A (zh) 一种家庭音乐控制系统及控制家庭音乐播放的方法
CN207424652U (zh) 一种球幕影院控制系统
CN116962729A (zh) 一种双摄像头直播方法及显示设备、服务器
JP2014014003A (ja) コンテンツ再生システム、再生装置、及びコンテンツ再生方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15793171

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016519136

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15307575

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015793171

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015793171

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE