WO2014118967A1 - 端末装置、制御方法及びコンピュータプログラム - Google Patents

端末装置、制御方法及びコンピュータプログラム Download PDF

Info

Publication number
WO2014118967A1
WO2014118967A1 PCT/JP2013/052370 JP2013052370W WO2014118967A1 WO 2014118967 A1 WO2014118967 A1 WO 2014118967A1 JP 2013052370 W JP2013052370 W JP 2013052370W WO 2014118967 A1 WO2014118967 A1 WO 2014118967A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame image
display
terminal device
image
display unit
Prior art date
Application number
PCT/JP2013/052370
Other languages
English (en)
French (fr)
Inventor
勘太 大江
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2013/052370 priority Critical patent/WO2014118967A1/ja
Publication of WO2014118967A1 publication Critical patent/WO2014118967A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/40Remote control systems using repeaters, converters, gateways
    • G08C2201/42Transmitting or receiving remote control signals via a network

Definitions

  • the present invention relates to a technical field of a terminal device capable of remotely operating a device such as a home appliance, a method for controlling the terminal device, and a computer program.
  • Patent Document 1 a system that enables remote control of home appliances installed in a house from outside the home via the Internet has been proposed.
  • PC personal computer that operates the home appliance
  • an indoor layout diagram is displayed on the screen of a personal computer that operates a facility in a house such as a bath, and the operation content related to the target device is input on the indoor layout diagram to activate the target device.
  • a home automation system has been proposed (see Patent Document 3).
  • the present invention has been made in view of the above problems, for example, and an object of the present invention is to provide a terminal device, a control method, and a computer program that allow a user to intuitively select a target device.
  • the terminal device is a terminal device capable of remotely operating one or a plurality of target devices that can communicate via a network, and includes a display unit and user input.
  • Receivable input means an indoor space in which each of the one or more target devices is installed, and on the frame image, which is an image including orientation information, device information on each of the one or more target devices and
  • Display control means for controlling the display unit so as to display a device selection screen in which one or a plurality of device labels that are images associated with the identifier are arranged
  • the display control means includes the input means
  • the operation screen When one device label arranged on the frame image is selected via the, the operation screen according to the device information associated with the selected one device label is displayed.
  • a signal indicating a control command received via the input means is a target corresponding to an identifier associated with the selected one device indication.
  • the apparatus further includes transmission means for transmitting to the device via the network.
  • the control method according to claim 7 is a control method in a terminal device that can remotely control one or a plurality of target devices that can communicate via a network, and includes an input unit that can receive a display unit and user input.
  • a device selection screen display step for controlling the display unit to display a device selection screen, in which one or a plurality of device markings as images are arranged, and are arranged on the frame image via the input means. Operation for controlling the display unit to display an operation screen corresponding to device information associated with the selected one device indication when the one device indication is selected.
  • a transmission step of transmitting via the network is provided.
  • the computer program according to claim 8 is capable of remotely operating one or a plurality of target devices that can communicate via a network, and capable of receiving a display unit and user input.
  • a computer installed in a terminal device comprising: an indoor space in which each of the one or more target devices is installed, and each of the one or more target devices on a frame image that is an image including orientation information
  • the display unit is controlled to display a device selection screen on which one or a plurality of device labels that are images associated with the device information and the identifier are arranged, and the frame image is displayed on the frame image via the input unit.
  • an operation screen corresponding to the device information associated with the selected one device label is displayed.
  • the target device corresponding to the identifier is caused to function as transmission means for transmitting via the network.
  • the terminal device includes a display unit, an input unit, a display control unit, and a transmission unit.
  • the display unit is a liquid crystal display, for example, but may be configured as a touch panel.
  • size of a display part It is desirable that it is a magnitude
  • the input means is configured to accept user input.
  • the input means is not limited to a physical mechanism such as a button or a switch, but may be configured as a touch panel, or a touch panel and a physical mechanism may be combined.
  • the display control means including a memory, a processor, etc. controls the display unit so as to display the device selection screen.
  • the device selection screen includes a frame image showing an indoor space in which each of one or more target devices is installed, and one or more device indications corresponding to the one or more target devices, respectively. It is configured.
  • Each device label is associated with device information and an identifier related to the corresponding target device.
  • the device label is, for example, an icon that imitates the shape of the device, a character string that indicates the device model number, and the like.
  • Device information includes information indicating the type and application of the target device, as well as executable functions.
  • the “identifier” is typically “an identifier on the network”, and means information for identifying a target device in a network such as the Internet or a LAN (Local Area Network). Examples of such “identifiers on the network” include a Mac (Media Access Control) address and an IP (Internet Protocol) address.
  • the frame image does not need to accurately indicate an indoor space such as a room, for example, and may have a shape that allows a user to recognize that the target device is an indoor space.
  • the frame image may be set by a manufacturer preparing several types of templates in advance and selecting by the user from the prepared templates, or by setting the prepared template by the user. May be. Therefore, the frame image is set before processing by the display control means.
  • the frame image includes orientation information.
  • “Direction information” means information indicating the correspondence between one direction in a frame image and an actual direction.
  • the display control means further selects the one device label arranged on the frame image via the input means (that is, when one device label is selected on the device selection screen).
  • the display unit is controlled to display an operation screen corresponding to the device information associated with the one device label.
  • the “operation screen according to the device information” is, for example, an operation button for playback, stop, fast-forward, or a list of reproducible content if the target device is a content playback device, for example, a lighting device. And an operation button for turning on / off the power.
  • the transmission means including a memory, a processor, etc.
  • a signal indicating a control command received via the input means is sent to the selected one device indication (that is, the operation indication) It transmits via a network with respect to the object apparatus corresponding to the identifier linked
  • the “control command signal” is, for example, content reproduction or the like, and is set according to the target device (for example, according to device information).
  • the frame image includes orientation information. Then, for example, the frame image is displayed so that the actual orientation detected by the geomagnetic sensor or the like corresponds to the orientation information related to the frame image (that is, according to the orientation of the terminal device, If configured so that the orientation is changed, the user can intuitively select the target device.
  • the control method according to the embodiment is a control method in a terminal device that can remotely control one or a plurality of target devices that can communicate via a network and includes an input unit that can receive a display unit and user input.
  • the control method indicates an indoor space in which each one or a plurality of target devices are installed, and is associated with device information and an identifier related to each one or a plurality of target devices on a frame image that is an image including orientation information.
  • a device selection screen display step for controlling the display unit to display a device selection screen, on which one or a plurality of device markings that are images are arranged, and one of the images arranged on the frame image via the input means
  • an operation screen display process for controlling the display unit to display an operation screen corresponding to the device information associated with the selected one device label, and the operation screen are displayed.
  • a signal indicating a control command received via the input means is transmitted to the target device corresponding to the identifier associated with the selected one device indication via the network.
  • the user can intuitively select the target device, like the terminal device according to the above-described embodiment.
  • the computer program according to the embodiment is a computer installed in a terminal device that can remotely control one or a plurality of target devices that can communicate via a network and includes an input unit that can receive a display unit and user input.
  • This is an image associated with device information and an identifier associated with each of one or a plurality of target devices on a frame image that represents an indoor space in which each of the one or a plurality of target devices is installed and includes orientation information.
  • Display control means for controlling the display unit to display an operation screen corresponding to the device information associated with the selected one device indication, and the operation screen is displayed.
  • Transmitting means for transmitting a signal indicating a control command received via the input means to the target device corresponding to the identifier associated with the selected one device indication via the network.
  • the terminal device According to the computer program of this embodiment, from a recording medium such as a RAM (Random Access Memory), a CD-ROM (Compact Disc Only Memory), a DVD-ROM (DVD Read Only Memory) or the like for storing the computer program.
  • a recording medium such as a RAM (Random Access Memory), a CD-ROM (Compact Disc Only Memory), a DVD-ROM (DVD Read Only Memory) or the like for storing the computer program.
  • the terminal device If the computer program is read and executed by a computer provided in the terminal device, or if the computer program is executed after being downloaded through the communication means, the terminal device according to the above-described embodiment is compared. Can be realized easily. Thereby, similarly to the terminal device according to the above-described embodiment, the user can intuitively select the target device.
  • FIG. 1 is a block diagram illustrating a configuration of each of the terminal device and the operation target device according to the embodiment.
  • FIG. 1 only one operation target device is shown for simplification, but a plurality of operation target devices may exist.
  • the terminal device 10 includes a CPU (Central Processing Unit) 11, a memory 12, a wireless communication interface 13, operation keys 14, an operation panel 15, and a geomagnetic sensor 16.
  • the CPU 11, the memory 12, the wireless communication interface 13, the operation keys 14, the operation panel 15, and the geomagnetic sensor 16 are connected to each other via a bus 17.
  • the terminal device 10 is demonstrated on the assumption that the terminal device is provided with a touch panel such as a smartphone or a tablet terminal.
  • the operation panel 15 also has a function as a display unit (display screen).
  • the operation target device 20 includes a CPU 21, a memory 22, a wireless communication (or wired communication) interface 23, an operation key 24, an LED (Light Emitting Diode) 25, and an operation panel 26.
  • the CPU 21, memory 22, wireless communication (or wired communication) interface 23, operation key 24, LED 25, and operation panel 26 are connected to each other via a bus 27.
  • examples of the operation target device 20 include an audio device such as a CD player and a video device such as a DVD player.
  • an audio device and a video device not only an audio device and a video device, but also a device that includes a wireless communication interface or a wired communication interface and can participate in the same network as the terminal device, for example, a lighting device corresponds to the “operation target device 20”.
  • FIG. 2 is an example of an image displayed on the terminal device when the operation target device is registered.
  • FIG. 3 is a flowchart showing processing of the terminal device at the time of operation target device registration.
  • the CPU 11 of the terminal device 10 uses the Mac address and the IP address related to the operation target device 20 according to at least one of the Mac address and the IP address.
  • the operation target device 20 is recognized (step S102).
  • device group data that can be operated by the terminal device 10 is stored in a computer program (application) installed in the terminal device 10, and the device group data among devices that participate in the same network as the terminal device 10 is stored. Only the corresponding device may be recognized as the operation target device 20.
  • the device group data may be configured to be acquired from, for example, an external server, and may be configured to be updated as appropriate.
  • a mutually recognizable procedure is registered in advance (that is, before joining the network) between the terminal device 10 and the operation target device 20 so that a predetermined recognition flow is executed when joining the network. What is necessary is just to comprise.
  • the CPU 11 of the terminal device 10 acquires device information related to the operation target device 20 via the wireless communication interface 13, and uses the acquired device information for the Mac address and the IP address related to the operation target device 20. It is stored in the memory 12 in association with at least one.
  • the CPU 11 further displays an icon corresponding to the acquired device information (and an icon corresponding to device information related to a device recognized other than the operation target device 20) in one area 15b of the screen of the operation panel 15.
  • the operation panel 15 is controlled to do so (step S103) (see FIG. 2A). As a result, a list of recognized devices is displayed in one area 15 b of the screen of the operation panel 15.
  • the CPU 11 also displays the operation panel 15 on another area 15a of the screen of the operation panel 15 so as to display a frame image that is an image showing a room where the operation target device (not limited to the operation target device 20) is installed. Control.
  • the area where the frame image is displayed in the screen of the operation panel 15 is appropriately referred to as “mapping space”.
  • mapping space the area where the frame image is displayed in the screen of the operation panel 15.
  • the screen when the screen is divided, the area in which the frame image is displayed (“other area 15a” in FIG. 2) corresponds to the mapping space, and the screen must be divided.
  • the entire screen corresponds to the mapping space. A specific example of the frame image will be described later.
  • the “icon” according to the present embodiment is an example of “apparatus marking” according to the present invention.
  • a character string indicating a product number or the like related to the operation target device 20 may be used.
  • the “icon” may be configured by combining not only graphics but also graphics and characters.
  • the CPU 11 coordinates the placement icon in the mapping space. (In other words, the coordinates on the frame image) are stored in the memory 12 in association with the arranged icon (step S104).
  • a device selection screen in which an icon indicating the operation target device 20 is arranged on the frame image is displayed in another area 15a of the screen of the operation panel 15.
  • many users reflect the arrangement of the operation target device 20 in an actual room, so that a more intuitive operation can be performed. For this reason, the user can select an icon indicating the operation target device 20 on the device selection screen with the same feeling as in the actual room.
  • the user can rearrange it by selecting the icon (that is, in the mapping space associated with the icon).
  • the coordinates can be changed). For this reason, even when the position of the operation target device 20 is changed in an actual room, for example, it can be handled relatively easily, which is very advantageous in practice.
  • the CPU 11 of the terminal device 10 causes the Mac associated with the device information corresponding to the selected icon. Based on the address or the like, a signal indicating selection is transmitted to the operation target device 20.
  • the operation target device 20 receives the signal indicating that it has been selected, for example, the LED 25 is lit or blinked.
  • the user can relatively easily check the correspondence between the icon displayed on the operation panel 15 and the actual operation target device 20, which is very advantageous in practice.
  • a sound may be emitted from the operation target apparatus 20, or a predetermined melody may be reproduced.
  • the icon indicating the operation target device 20 is not an area different from the mapping space ("one area 15b" in FIG. 2), but the mapping space. You may comprise the terminal device 10 so that it may be arrange
  • FIG. 4 is an example of a device selection screen according to the embodiment.
  • FIG. 5 is another example of the device selection screen according to the embodiment.
  • the CPU 11 of the terminal device 10 displays one group icon as shown in FIG.
  • the operation panel 15 is controlled as described above.
  • the “group icon” according to the embodiment is an example of the “group mark” according to the present invention.
  • the CPU 11 controls the operation panel 15 to display only a plurality of icons associated with the group icon on the operation panel 15 as shown in FIG.
  • the angle of the displayed icon is changed by the user tracing the operation panel 15.
  • the change in the angle of the icon can be realized, for example, by giving each icon with coordinate information and orientation information in the mapping space and a three-dimensional method as an object indicated by the icon.
  • the direction information may be any convenient direction in the mapping space and does not necessarily match the actual direction.
  • the operation panel 15 is operated so that a list of contents stored in advance in the memory 12 of the terminal device 10 is displayed in one area 15 b of the screen of the operation panel 15.
  • the CPU 11 When the user selects one of the displayed contents (here, “Title A”) and moves it to the selected one icon by drag and drop, the CPU 11 First, an operation target device corresponding to the selected icon is identified based on a Mac address or the like associated with the device information corresponding to the selected icon. Subsequently, the CPU 11 transmits information related to the selected one content and a control command signal indicating reproduction of the one content to the specified operation target device. As a result, one content selected by the operation target device is reproduced.
  • an operation screen related to the operation target device corresponding to the one icon for example, power ON / OFF, play, stop, fast forward, Rewind etc.
  • the CPU 11 of the terminal device 10 may acquire a content stored in the first device and transmit a control command signal for reproducing the acquired content to the second device.
  • the CPU 11 transmits a control command signal indicating that the content stored in the first device is transmitted to the second device, and reproduces the content transmitted to the second device.
  • the control command signal may be transmitted.
  • a plurality of types of frame images are stored in advance in the memory 12 (see FIG. 1) of the terminal device 10.
  • a frame image for example, an image as shown in FIG. 7 is displayed on the screen of the operation panel 15 (see FIG. 1) of the terminal device 10.
  • FIG. 7 is an example of an image displayed on the terminal device when a frame image is selected.
  • Each frame image may be configured so that the user can create a new frame image by adjusting an arbitrary frame image among a plurality of types of frame images stored in advance.
  • the frame image is not limited to a flat (two-dimensional) image, and there is also a stereoscopic (three-dimensional) image as shown in FIG.
  • the present embodiment is configured such that a planar frame image and a stereoscopic frame image can be switched between each other in accordance with a user input.
  • the frame image is configured to be able to arrange a mark such as a window, a door, a pillar, furniture, a houseplant, etc. (see FIG. 8).
  • FIG. 8 is an example of a frame image displayed in three dimensions.
  • the direction information is associated with the frame image.
  • the user presses an azimuth setting button (not shown), whereby the geomagnetic sensor 16 (
  • the orientation typically “north” detected by (see FIG. 1) is associated with the orientation when one end of the frame image is viewed from the center of the frame image.
  • the operation panel 15 is changed according to the orientation of the terminal device 10 (that is, according to the orientation detected by the geomagnetic sensor 16).
  • the orientation of the frame image (device selection screen) displayed on the screen is also changed. Therefore, the user can intuitively select an icon corresponding to the operation target device, which is very advantageous in practice.
  • the terminal device 10 is configured to be able to set room allocation so that operation target devices respectively installed in a plurality of rooms can be registered. If comprised in this way, the operation object apparatus in a house can be managed centrally, for example, and it is very advantageous practically.
  • FIG. 9 is an example of an image displayed on the terminal device when selecting a room layout.
  • the room layout is set by the user selecting one room layout pattern from the plurality of room layout patterns displayed on the operation panel 15. In this case, after the room layout is set, a frame image is set for each room (such as “Space01” and “Space02” in FIG. 9). Information relating to the room layout pattern is stored in the memory 12 in advance.
  • the room layout pattern may be arbitrarily created by the user.
  • the icon indicating the operation target device is arranged on the frame image indicating the corresponding room as described above, thereby creating a device selection screen for each room.
  • a room number is assigned to each room, and based on the assigned room number, the screen can be switched from the device selection screen corresponding to one room to the device selection screen corresponding to another room. That's fine. More specifically, for example, a room search screen as shown in FIG. 10A or a room selection screen as shown in FIG. 10B is displayed on the screen of the operation panel 15, and the user selects the room number. By inputting or selecting, a device selection screen corresponding to the input or selected room number may be displayed on the screen of the operation panel 15.
  • the device corresponding to another room is displayed when the user wipes the screen of the operation panel 15 while the device selection screen corresponding to one room is displayed.
  • the selection screen may be displayed.
  • a plan view (see FIG. 10D) or an overhead view (see FIG. 10E) of the entire room layout is displayed on the screen of the operation panel 15, and the user selects the desired room, A device selection screen corresponding to the selected room may be displayed.
  • FIG.10 (d) and (e) when the image of the whole room allocation as shown in FIG.10 (d) and (e) is displayed, it is comprised so that a top view and a bird's-eye view can be switched mutually by a user's operation.
  • the CPU 11 of the terminal device 10 displays on the screen of the operation panel 15 a screen including a plurality of room layout patterns, for example, as shown in FIG.
  • the operation panel 15 is controlled. Thereafter, when one of the plurality of room layout patterns is selected by the user, the CPU 11 sets the selected room layout pattern as a room layout (step S201).
  • the CPU 11 controls the operation panel 15 so that, for example, an image as shown in FIG. 10 is displayed on the screen of the operation panel 15. Thereafter, when one of the plurality of rooms is selected by the user, the CPU 11 displays the operation panel 15 so that the frame image related to the selected one room is displayed on the screen of the operation panel 15. Control (step S202).
  • step S1 the CPU 11 controls the operation panel 15 so that, for example, a dialog indicating whether or not to set another room is displayed on the screen of the operation panel 15 (step S203).
  • step S203 Yes
  • step S203 the CPU 11 performs the process of step S202.
  • step S203: No the CPU 11 ends the process.
  • CPU 11 CPU 11
  • wireless communication interface 13 wireless communication interface 13
  • geomagnetic sensor 16 are examples of “display control means”, “transmission means”, and “azimuth measurement means” according to the present invention, respectively.
  • the “operation panel 15” according to the present embodiment is an example of the “display unit” and “input unit” according to the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Selective Calling Equipment (AREA)

Abstract

 端末装置(10)は、ネットワークを介して通信可能な対象機器(20)を遠隔操作可能な端末装置である。該端末装置は、表示部(15)と、入力手段(15)と、対象機器が設置されている屋内空間を示し、方位情報を含む画像であるフレーム画像上に、対象機器に係る機器情報及び識別子に関連付けられた画像である機器標示が配置された、機器選択画面を表示するように表示部を制御する表示制御手段(11)と、を備える。該表示制御手段は、入力手段を介して、フレーム画像上に配置された一の機器標示が選択された場合に、選択された一の機器標示に関連付けられた機器情報に応じた操作画面を表示するように表示部を制御する。当該端末装置は、操作画面が表示されている際に、入力手段を介して受け付けられた制御命令を示す信号を、選択された一の機器標示に対応する対象機器に対し、ネットワークを介して送信する送信手段(13)を更に備える。

Description

端末装置、制御方法及びコンピュータプログラム
 本発明は、例えば家電機器等の機器を遠隔操作可能な端末装置、該端末装置の制御方法、及びコンピュータプログラムの技術分野に関する。
 この種の装置として、例えば、宅外からインターネットを介して、住宅内に設置された家電機器を遠隔操作可能にするシステムが提案されている(特許文献1参照)。
 或いは、家電機器を操作するパーソナルコンピュータ(以降、適宜“パソコン”と称する)の画面上に、家電機器が配置された部屋のイメージを表した家電制御インターフェイスを実現するシステムが提案されている(特許文献2参照)。
 或いは、例えば風呂等の住宅内設備を操作するパソコンの画面上に、屋内配置図を表示し、該屋内配置図上で対象機器に係る操作内容が入力されることよって、該対象機器を作動させるホームオートメーションシステムが提案されている(特許文献3参照)。
特開2002-44765号公報 特許第3016350号 特許第3014532号
 しかしながら、上述の背景技術によれば、例えばユーザが直観的に対象機器を選択しにくいという技術的問題点がある。
 本発明は、例えば上記問題点に鑑みてなされたものであり、ユーザが直観的に対象機器を選択することができる端末装置、制御方法及びコンピュータプログラムを提供することを課題とする。
 請求項1に記載の端末装置は、上記課題を解決するために、ネットワークを介して通信可能な一又は複数の対象機器を遠隔操作可能な端末装置であって、表示部と、ユーザの入力を受け付け可能な入力手段と、前記一又は複数の対象機器各々が設置されている屋内空間を示し、方位情報を含む画像であるフレーム画像上に、前記一又は複数の対象機器各々に係る機器情報及び識別子に関連付けられた画像である一又は複数の機器標示が配置された、機器選択画面を表示するように前記表示部を制御する表示制御手段と、を備え、前記表示制御手段は、前記入力手段を介して、前記フレーム画像上に配置された一の機器標示が選択された場合に、前記選択された一の機器標示に関連付けられた機器情報に応じた操作画面を表示するように前記表示部を制御し、前記操作画面が表示されている際に、前記入力手段を介して受け付けられた制御命令を示す信号を、前記選択された一の機器標示に関連付けられた識別子に対応する対象機器に対し、前記ネットワークを介して送信する送信手段を更に備える。
 請求項7に記載の制御方法は、ネットワークを介して通信可能な一又は複数の対象機器を遠隔操作可能であり、表示部及びユーザの入力を受け付け可能な入力手段を備える端末装置における制御方法であって、前記一又は複数の対象機器各々が設置されている屋内空間を示し、方位情報を含む画像であるフレーム画像上に、前記一又は複数の対象機器各々に係る機器情報及び識別子に関連付けられた画像である一又は複数の機器標示が配置された、機器選択画面を表示するように前記表示部を制御する機器選択画面表示工程と、前記入力手段を介して、前記フレーム画像上に配置された一の機器標示が選択された場合に、前記選択された一の機器標示に関連付けられた機器情報に応じた操作画面を表示するように前記表示部を制御する操作画面表示工程と、前記操作画面が表示されている際に、前記入力手段を介して受け付けられた制御命令を示す信号を、前記選択された一の機器標示に関連付けられた識別子に対応する対象機器に対し、前記ネットワークを介して送信する送信工程と、を備える。
 請求項8に記載のコンピュータプログラムは、上記課題を解決するために、ネットワークを介して通信可能な一又は複数の対象機器を遠隔操作可能であり、表示部及びユーザの入力を受け付け可能な入力手段を備える端末装置に搭載されたコンピュータを、前記一又は複数の対象機器各々が設置されている屋内空間を示し、方位情報を含む画像であるフレーム画像上に、前記一又は複数の対象機器各々に係る機器情報及び識別子に関連付けられた画像である一又は複数の機器標示が配置された、機器選択画面を表示するように前記表示部を制御すると共に、前記入力手段を介して、前記フレーム画像上に配置された一の機器標示が選択された場合に、前記選択された一の機器標示に関連付けられた機器情報に応じた操作画面を表示するように前記表示部を制御する表示制御手段と、前記操作画面が表示されている際に、前記入力手段を介して受け付けられた制御命令を示す信号を、前記選択された一の機器標示に関連付けられた識別子に対応する対象機器に対し、前記ネットワークを介して送信する送信手段と、して機能させる。
 本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。
実施例に係る端末装置及び操作対象機器各々の構成を示すブロック図である。 操作対象機器の登録時に、端末装置に表示される画像の一例である。 操作対象機器登録時における端末装置の処理を示すフローチャートである。 実施例に係る機器選択画面の一例である。 実施例に係る機器選択画面の他の例である。 実施例に係る操作画面の一例である。 フレーム画像の選択時に、端末装置に表示される画像の一例である。 立体的に表示されたフレーム画像の一例である。 実施例に係る端末装置の向きと、表示されるフレーム画像との関係の一例を示す概念図である。 部屋割りの選択時に、端末装置に表示される画像の一例である。 部屋切り替え時、端末装置に表示される画像の一例である。 部屋割り及びフレーム画像の選択時における端末装置の処理を示すフローチャートである。
 以下、本発明の端末装置、制御方法及びコンピュータプログラム各々に係る実施形態について説明する。
 (端末装置)
 実施形態に係る端末装置は、表示部、入力手段、表示制御手段及び送信手段を備えて構成されている。
 表示部は、例えば液晶ディスプレイ等であるが、タッチパネルとして構成されていてもよい。表示部の大きさについては制限はないが、当該端末装置がユーザにとって持ち運び易い大きさになるような、大きさであることが望ましい。
 入力手段は、ユーザの入力を受け付け可能に構成されている。入力手段は、ボタンやスイッチ等の物理的な機構に限らず、タッチパネルとして構成されていてもよい、或いはタッチパネルと物理的な機構とが組み合わされていてもよい。
 例えばメモリ、プロセッサ等を備えてなる表示制御手段は、機器選択画面を表示するように表示部を制御する。ここで、機器選択画面は、一又は複数の対象機器各々が設置されている屋内空間を示すフレーム画像と、該一又は複数の対象機器に夫々対応する一又は複数の機器標示と、を含んで構成されている。
 各機器標示は、対応する対象機器に係る機器情報及び識別子に関連付けられている。機器標示は、例えば、機器の形状を模したアイコン、機器の形式番号を示す文字列、等である。
 「機器情報」には、対象機器の種別や用途、更には実行可能な機能を示す情報が含まれている。「識別子」は、典型的には「ネットワーク上における識別子」であり、例えばインターネットやLAN(Local Area Network)等のネットワークにおいて、対象機器を判別するための情報を意味する。このような「ネットワーク上における識別子」としては、例えばMac(Media Access Control)アドレスや、IP(Internet Protocol)アドレス等が挙げられる。
 フレーム画像は、例えば部屋等の屋内空間を正確に示している必要はなく、対象機器が設置されている屋内空間であることをユーザが認識できる程度の形状を示していればよい。また、フレーム画像は、製造者が予め数種類のひな型を用意し、該用意されたひな型からユーザが選択することにより設定されてもよいし、該用意されたひな型をユーザが調整することにより設定されてもよい。従って、フレーム画像は、上記表示制御手段による処理の前に設定される。
 本実施形態では特に、フレーム画像が方位情報を含んでいる。「方位情報」は、フレーム画像における一の方向と、実際の方位との対応関係を示す情報を意味する。
 表示制御手段は、更に、入力手段を介して、フレーム画像上に配置された一の機器標示が選択された場合(即ち、機器選択画面において、一の機器標示が選択された場合)、該選択された一の機器標示に関連付けられた機器情報に応じた操作画面を表示するように表示部を制御する。
 「機器情報に応じた操作画面」は、例えば対象機器がコンテンツ再生装置であれば、再生、停止、早送り等の操作ボタン、或いは、再生可能なコンテンツの一覧等であり、例えば照明機器であれば、電源ON/OFF等の操作ボタンである。
 例えばメモリ、プロセッサ等を備える送信手段は、表示部に操作画面が表示されている際に、入力手段を介して受け付けられた制御命令を示す信号を、選択された一の機器標示(即ち、操作画面に対応する機器標示)に関連付けられた識別子に対応する対象機器に対し、ネットワークを介して送信する。ここで、「制御命令信号」は、例えばコンテンツの再生等であり、対象機器に応じて(例えば、機器情報に応じて)設定されている。
 本実施形態では特に、上述の如く、フレーム画像が方位情報を含んでいる。そして、例えば地磁気センサ等により検出された実際の方位と、フレーム画像に係る方位情報とが対応するように、フレーム画像を表示するように(つまり、当該端末装置の向きに応じて、フレーム画像の向きが変更されるように)構成すれば、ユーザが直観的に対象機器を選択することができる。
 (制御方法)
 実施形態に係る制御方法は、ネットワークを介して通信可能な一又は複数の対象機器を遠隔操作可能であり、表示部及びユーザの入力を受け付け可能な入力手段を備える端末装置における制御方法である。
 当該制御方法は、一又は複数の対象機器各々が設置されている屋内空間を示し、方位情報を含む画像であるフレーム画像上に、一又は複数の対象機器各々に係る機器情報及び識別子に関連付けられた画像である一又は複数の機器標示が配置された、機器選択画面を表示するように表示部を制御する機器選択画面表示工程と、入力手段を介して、フレーム画像上に配置された一の機器標示が選択された場合に、選択された一の機器標示に関連付けられた機器情報に応じた操作画面を表示するように表示部を制御する操作画面表示工程と、記操作画面が表示されている際に、入力手段を介して受け付けられた制御命令を示す信号を、選択された一の機器標示に関連付けられた識別子に対応する対象機器に対し、ネットワークを介して送信する送信工程と、を備える。
 実施形態に係る制御方法によれば、上述した実施形態に係る端末装置と同様に、ユーザが直観的に対象機器を選択することができる。
 (コンピュータプログラム)
 実施形態に係るコンピュータプログラムは、ネットワークを介して通信可能な一又は複数の対象機器を遠隔操作可能であり、表示部及びユーザの入力を受け付け可能な入力手段を備える端末装置に搭載されたコンピュータを、一又は複数の対象機器各々が設置されている屋内空間を示し、方位情報を含む画像であるフレーム画像上に、一又は複数の対象機器各々に係る機器情報及び識別子に関連付けられた画像である一又は複数の機器標示が配置された、機器選択画面を表示するように表示部を制御すると共に、入力手段を介して、フレーム画像上に配置された一の機器標示が選択された場合に、選択された一の機器標示に関連付けられた機器情報に応じた操作画面を表示するように表示部を制御する表示制御手段と、操作画面が表示されている際に、入力手段を介して受け付けられた制御命令を示す信号を、選択された一の機器標示に関連付けられた識別子に対応する対象機器に対し、ネットワークを介して送信する送信手段と、して機能させる。
 本実施形態のコンピュータプログラムによれば、当該コンピュータプログラムを格納するRAM(Random Access Memory)、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(DVD Read Only Memory)等の記録媒体から、当該コンピュータプログラムを、端末装置に備えられたコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを、通信手段を介してダウンロードさせた後に実行させれば、上述した実施形態に係る端末装置を比較的容易にして実現できる。これにより、上述した実施形態に係る端末装置と同様に、ユーザが直観的に対象機器を選択することができる。
 以下、本発明の端末装置に係る実施例について、図面に基づいて説明する。
 (端末装置の構成)
 実施例に係る端末装置の構成について、図1を参照して説明する。図1は、実施例に係る端末装置及び操作対象機器各々の構成を示すブロック図である。尚、図1では単純化のために、操作対象機器は一台のみであるが、操作対象機器は複数台存在してよい。
 図1において、端末装置10は、CPU(Central Processing Unit)11、メモリ12、無線通信インターフェイス13、操作キー14、操作パネル15及び地磁気センサ16を備えて構成されている。CPU11、メモリ12、無線通信インターフェイス13、操作キー14、操作パネル15及び地磁気センサ16各々は、バス17を介して互いに接続されている。
 尚、本実施例では、端末装置10は、例えばスマートフォンやタブレット端末等のタッチパネルを備える端末装置を前提として説明する。操作パネル15は、表示部(表示画面)としての機能も備えている。
 操作対象機器20は、CPU21、メモリ22、無線通信(又は有線通信)インターフェイス23、操作キー24、LED(Light Emitting Diode)25及び操作パネル26を備えて構成されている。CPU21、メモリ22、無線通信(又は有線通信)インターフェイス23、操作キー24、LED25及び操作パネル26各々は、バス27を介して互いに接続されている。
 本実施例では、操作対象機器20として、例えば、CDプレーヤ等の音響機器や、DVDプレーヤ等の映像機器を一例として挙げる。ただし、音響機器や映像機器に限らず、無線通信インターフェイス又は有線通信インターフェイスを備え、端末装置と同じネットワークに参加可能な機器であれば、例えば照明機器等も「操作対象機器20」に該当する。
 端末装置10及び操作対象機器20各々の構成要素については、公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。
 (操作対象機器登録時の動作)
 次に、操作対象機器20が端末装置10に登録される際の該端末装置10の動作について、図2及び図3を参照して説明する。図2は、操作対象機器の登録時に、端末装置に表示される画像の一例である。図3は、操作対象機器登録時における端末装置の処理を示すフローチャートである。
 端末装置10及び操作対象機器20が、例えば家庭内LAN等の同一ネットワークに参加した場合(ステップS101)、端末装置10のCPU11は、操作対象機器20に係るMacアドレス及びIPアドレスの少なくとも一方により該操作対象機器20を認識する(ステップS102)。
 尚、端末装置10が、操作対象機器20を認識する方法については、公知の各種態様を適用可能である。例えば、端末装置10に搭載されるコンピュータプログラム(アプリケーション)に、当該端末装置10が操作可能な機器群データを格納しておき、端末装置10と同じネットワークに参加した機器のうち、機器群データに該当する機器のみを操作対象機器20として認識すればよい。ここで、機器群データは、例えば外部サーバ等から取得可能に構成し、適宜更新されるように構成すればよい。或いは、端末装置10と操作対象機器20との間で、予め(即ち、ネットワーク参加前に)相互に認識可能な手続を登録しておき、ネットワーク参加時に、所定の認識フローが実行されるように構成すればよい。
 次に、端末装置10のCPU11は、無線通信インターフェイス13を介して、操作対象機器20に係る機器情報を取得し、該取得された機器情報を、操作対象機器20に係るMacアドレス及びIPアドレスの少なくとも一方と関連付けてメモリ12に格納する。
 CPU11は、更に、取得された機器情報に応じたアイコン(及び、操作対象機器20以外に認識された機器に係る機器情報に応じたアイコン)を、操作パネル15の画面の一の領域15bに表示するように操作パネル15を制御する(ステップS103)(図2(a)参照)。この結果、操作パネル15の画面の一の領域15bには、認識された機器の一覧が表示されることとなる。
 CPU11は、また、操作パネル15の画面の他の領域15aに、操作対象機器(操作対象機器20に限らない)が設置された部屋を示す画像であるフレーム画像を表示するように操作パネル15を制御する。以降、操作パネル15の画面のうちフレーム画像が表示される領域を、適宜「マッピング空間」と称する。例えば、図2に示すように、画面が分割されている場合、フレーム画像が表示されている領域(図2では、“他の領域15a”)がマッピング空間に該当し、画面が分割されていなければ、画面全体がマッピング空間に該当する。尚、フレーム画像の具体例については後述する。
 ここで、本実施例に係る「アイコン」は、本発明に係る「機器標示」の一例である。尚、「アイコン」に限らず、例えば、操作対象機器20に係る製品番号等を示す文字列であってもよい。また、「アイコン」についても、図形だけでなく、図形及び文字が組み合わされて構成されていてもよい。
 次に、端末装置10のユーザにより、表示されたアイコンが、図2(b)に示すように、操作パネル15マッピング空間に配置されると、CPU11は、該配置されたアイコンのマッピング空間における座標(即ち、フレーム画像上の座標)を、該配置されたアイコンに対応付けてメモリ12に格納する(ステップS104)。
 この結果、フレーム画像上に、操作対象機器20を示すアイコンが配置された機器選択画面が、操作パネル15の画面の他の領域15aに表示されることとなる。尚、ユーザがアイコンをマッピング空間に配置する場合、多くのユーザが、現実の部屋における操作対象機器20の配置を反映させるので、より直観的な操作をすることが可能となる。このため、ユーザは機器選択画面において、現実の部屋と同様の感覚で、操作対象機器20を示すアイコンを選択することができる。
 また、マッピング空間に一旦配置されたアイコンであっても、図2(c)に示すように、ユーザが該アイコンを選択することにより再配置可能に(即ち、アイコンに対応付けられたマッピング空間における座標を変更可能に)構成されている。このため、実際の部屋において、例えば操作対象機器20の位置が変更された場合にも、比較的容易に対応することができ、実用上非常に有利である。
 ところで、端末装置10の操作パネル15に表示された、操作対応機器20に対応するアイコンが選択された場合、端末装置10のCPU11は、該選択されたアイコンに対応する機器情報に関連付けられたMacアドレス等に基づいて、操作対象機器20に対して、選択されたことを示す信号を送信する。本実施例では特に、操作対象機器20が、該選択されたことを示す信号を受信した場合に、例えばLED25を点灯又は点滅するように構成されている。
 このように構成すれば、操作パネル15に表示されたアイコンと実際の操作対象機器20との対応関係をユーザが比較的容易に確認でき、実用上非常に有利である。尚、LED25の点灯等に限らず、操作対象機器20から音が発せられたり、所定のメロディが再生されたりしてもよい。
 尚、端末装置10が操作対象機器20を認識した場合に、該操作対象機器20を示すアイコンが、マッピング空間とは別の領域(図2では、“一の領域15b”)ではなく、マッピング空間に直接配置されるように、端末装置10を構成してもよい。
 ここで、機器選択画面について、図4及び図5を参照して説明を加える。図4は、実施例に係る機器選択画面の一例である。図5は、実施例に係る機器選択画面の他の例である。
 複数の操作対象機器に夫々対応する複数のアイコンが、マッピング空間において互いに近接して配置された場合、端末装置10のCPU11は、図4(a)に示すように、一つのグループアイコンを表示するように操作パネル15を制御する。尚、実施例に係る「グループアイコン」は、本発明に係る「グループ標示」の一例である。
 このように構成すれば、ユーザの視認性を向上させることができる。加えて、実際の部屋において、例えばテレビとDVDプレーヤとのように互いに近接して配置される機器が操作対象機器20に該当する場合に、実際の配置と同じように対応するアイコンを配置することができる。
 グループアイコンが選択された場合、CPU11は、図4(b)に示すように、操作パネル15上に、グループアイコンに対応付けられた複数のアイコンのみを表示するように操作パネル15を制御する。
 また、図5に示すように機器選択画面が立体的な画像で表示される場合、ユーザが操作パネル15上をなぞることにより、表示されたアイコンのアングルが変更されるように構成されている。尚、アイコンのアングルの変更は、例えば各アイコンに、マッピング空間における座標情報及び方位情報、並びにアイコンが示す物体としての3次元方法等を付与することにより実現可能である。方位情報は、マッピング空間における便宜的な方位であればよく、実際の方位と必ずしも一致している必要はない。
 機器選択画面において、一のアイコンが選択された場合(ここでは、一のアイコンに対応する操作対象機器がコンテンツ再生装置であるとする)、例えば図6に示すように、端末装置10のCPU11は、操作パネル15の画面の一の領域15bに、該端末装置10のメモリ12に予め格納されているコンテンツの一覧を表示するように操作パネル15を操作する。
 そして、ユーザが、表示されたコンテンツのうち一のコンテンツ(ここでは、“Title A”)を選択して、ドラッグアンドドロップにより、上記選択された一のアイコン上に移動させた場合、CPU11は、先ず、選択された一のアイコンに対応する機器情報に関連付けられたMacアドレス等に基づいて、選択された一のアイコンに対応する操作対象機器を特定する。続いて、CPU11は、選択された一のコンテンツに係る情報と、該一のコンテンツの再生を示す制御命令信号と、を特定された操作対象機器に対して送信する。この結果、操作対象機器により選択された一のコンテンツが再生されることとなる。
 機器選択画面において一のアイコンが選択された場合、コンテンツの一覧に限らず、例えば、該一のアイコンに対応する操作対象機器に係る操作画面(例えば、電源ON/OFF、再生、停止、早送り、巻き戻し等)が表示されてもよい。
 尚、端末装置10とは異なる第1の機器にコンテンツが格納されており、該第1の機器とは異なる第2の機器において、該第1の機器に格納されたコンテンツが再生される場合、例えば、端末装置10のCPU11は、第2の機器に対して、第1の機器に格納されたコンテンツを取得すると共に、該取得されたコンテンツを再生する旨の制御命令信号を送信すればよい。或いは、CPU11は、第1の機器に対して格納されているコンテンツを第2の機器に送信する旨の制御命令信号を送信すると共に、第2の機器に対して送信されたコンテンツを再生する旨の制御命令信号を送信すればよい。
 尚、制御命令信号の設定等には、公知の各種態様を適用可能であるので、その詳細についての説明は割愛する(例えば、特開2002-95073号公報参照)。
 (フレーム画像)
 次に、フレーム画像について、図7乃至図12を参照して説明する。
 端末装置10のメモリ12(図1参照)には、複数種類のフレーム画像が予め格納されている。ユーザがフレーム画像を選択する際には、例えば図7に示すような画像が、端末装置10の操作パネル15(図1参照)の画面上に表示される。図7は、フレーム画像の選択時に、端末装置に表示される画像の一例である。
 ユーザが、操作パネル15の画面上に表示された複数種類のフレーム画像から任意のフレーム画像を選択することにより、操作対象機器20に対応するアイコンを配置するフレーム画像が設定される。尚、ユーザが、予め格納されている複数種類のフレーム画像のうち任意のフレーム画像を調整して新しいフレーム画像を作成するこができるように、各フレーム画像が構成されていてもよい。
 フレーム画像は、平面的な(2次元の)画像に限らず、例えば図8に示すような、立体的な(3次元の)画像も存在する。本実施例では特に、平面的なフレーム画像と立体的なフレーム画像とを、ユーザの入力に応じて相互に切り替え可能に構成されている。また、フレーム画像は、例えば窓、ドア、柱、家具、観葉植物等の目印となるものを配置可能に構成されている(図8参照)。尚、図8は、立体的に表示されたフレーム画像の一例である。
 本実施例では特に、フレーム画像に方位情報が対応付けられている。具体的には例えば、端末装置10の操作パネル15の画面上にフレーム画像が表示されている状態で、ユーザが方位設定ボタン(図示せず)を押すことにより、端末装置10の地磁気センサ16(図1参照)により検出された方位(典型的には“北”)が、フレーム画像の中心から該フレーム画像の一の端部を見た方位に対応付けられる。
 この結果、図9に示すように、端末装置10の向きが変更されると、該端末装置10の向きに応じて(即ち、地磁気センサ16により検出された方位に応じて)、操作パネル15の画面上に表示されるフレーム画像(機器選択画面)の向きも変更される。従って、ユーザは直感的に操作対象機器に対応するアイコンを選択することができ、実用上非常に有利である。
 また、端末装置10は、複数の部屋に夫々設置された操作対象機器を登録可能なように、部屋割りを設定可能に構成されている。このように構成すれば、例えば自宅内の操作対象機器を一元管理することができ、実用上非常に有利である。
 具体的には、ユーザが部屋割りを選択する際には、例えば図9に示すような、複数の部屋割りパターンを含む画像が、端末装置10の操作パネル15の画面上に表示される。図9は、部屋割りの選択時に、端末装置に表示される画像の一例である。
 ユーザが、操作パネル15に表示された複数の部屋割りパターンから一の部屋割りパターンを選択することにより部屋割りが設定される。この場合、部屋割りが設定された後に、各部屋(図9における“Space01”、“Space02”等)について、フレーム画像が設定されることとなる。尚、部屋割りパターンに係る情報は、予めメモリ12に格納されている。また、部屋割りパターンは、ユーザが任意に作成してもよい。
 各部屋についてフレーム画像が設定された後に、上述の如く、操作対象機器を示すアイコンが対応する部屋を示すフレーム画像上に配置されることによって、各部屋についての機器選択画面が作成される。
 ここで、部屋割りが設定された場合に各部屋の機器選択画面を切り替える方法としては、例えば以下に示すようにすればよい。
 部屋割りが設定された後、各部屋に部屋番号を付与し、該付与された部屋番号に基づいて、一の部屋に対応する機器選択画面から、他の部屋に対応する機器選択画面へと切り替えればよい。より具体的には、例えば図10(a)に示すような部屋検索画面や、図10(b)に示すような部屋選択画面等が操作パネル15の画面上に表示され、ユーザが部屋番号を入力又は選択することにより、入力又は選択された部屋番号に対応する機器選択画面が操作パネル15の画面上に表示されるようにすればよい。
 或いは、図10(c)に示すように、一の部屋に対応する機器選択画面が表示されている状態で、ユーザが操作パネル15の画面上をワイプすることにより、他の部屋に対応する機器選択画面が表示されるようにすればよい。
 或いは、部屋割り全体の平面図(図10(d)参照)又は俯瞰図(図10(e)参照)が操作パネル15の画面上に表示され、ユーザが所望の部屋を選択することにより、該選択された部屋に対応する機器選択画面が表示されるようにすればよい。尚、図10(d)及び(e)に示すような部屋割り全体の画像が表示される場合、平面図と俯瞰図とが、ユーザの操作により相互に切り替えられるように構成されている。
 次に、部屋割り及びフレーム画像が選択される際の端末装置10の動作について、図11のフローチャートを参照して説明する。
 ユーザにより部屋割り設定の要求があったことを条件に、端末装置10のCPU11は、操作パネル15の画面上に、例えば図9に示すような複数の部屋割りパターンを含む画面を表示するように操作パネル15を制御する。その後、ユーザにより複数の部屋割りパターンのうち一の部屋割りパターンが選択された場合、CPU11は、該選択された部屋割りパターンを部屋割りとして設定する(ステップS201)。
 部屋割りが設定され各部屋についてフレーム画像が設定された後、CPU11は、操作パネル15の画面上に、例えば図10に示すような画像が表示されるように操作パネル15を制御する。その後、ユーザにより複数の部屋のうち一の部屋が選択された場合、CPU11は、操作パネル15の画面上に該選択された一の部屋に係るフレーム画像が表示されるように、操作パネル15を制御する(ステップS202)。
 次に、上述したステップS101~S104の処理が実施される(ステップS1)。次に、CPU11は、例えば、他の部屋の設定を行うか否かを示すダイアログ等が操作パネル15の画面上に表示されるように操作パネル15を制御する(ステップS203)。他の部屋の設定を行うことが選択された場合(ステップS203:Yes)、CPU11は、ステップS202の処理を実施する。他方、他の部屋の設定を行わないことが選択された場合(ステップS203:No)、CPU11は処理を終了する。
 本実施例に係る「CPU11」、「無線通信インターフェイス13」及び「地磁気センサ16」は、夫々、本発明に係る「表示制御手段」、「送信手段」及び「方位測定手段」の一例である。本実施例に係る「操作パネル15」は、本発明に係る「表示部」及び「入力手段」の一例である。
 本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う端末装置、制御方法及びコンピュータプログラムもまた本発明の技術的範囲に含まれるものである。
 10…端末装置、11、21…CPU、12、22…メモリ、13、23…無線通信インターフェイス、14、24…操作キー、15、26…操作パネル、16…地磁気センサ、17、27…バス、20…操作対象機器、25…LED

Claims (8)

  1.  ネットワークを介して通信可能な一又は複数の対象機器を遠隔操作可能な端末装置であって、
     表示部と、
     ユーザの入力を受け付け可能な入力手段と、
     前記一又は複数の対象機器各々が設置されている屋内空間を示し、方位情報を含む画像であるフレーム画像上に、前記一又は複数の対象機器各々に係る機器情報及び識別子に関連付けられた画像である一又は複数の機器標示が配置された、機器選択画面を表示するように前記表示部を制御する表示制御手段と、
     を備え、
     前記表示制御手段は、前記入力手段を介して、前記フレーム画像上に配置された一の機器標示が選択された場合に、前記選択された一の機器標示に関連付けられた機器情報に応じた操作画面を表示するように前記表示部を制御し、
     前記操作画面が表示されている際に、前記入力手段を介して受け付けられた制御命令を示す信号を、前記選択された一の機器標示に関連付けられた識別子に対応する対象機器に対し、前記ネットワークを介して送信する送信手段を更に備える
     ことを特徴とする端末装置。
  2.  当該端末装置の一の部分が向いている方位を測定する方位測定手段を更に備え、
     前記表示制御手段は、前記方位測定手段により測定された方位と、前記フレーム画像に係る方位情報とが対応するように、前記機器選択画面を表示するように前記表示部を制御する
     ことを特徴とする請求項1に記載の端末装置。
  3.  前記フレーム画像には、前記フレーム画像が示す屋内空間における目印が含まれることを特徴とする請求項1に記載の端末装置。
  4.  前記表示制御手段は、前記フレーム画像上において、複数の機器標示が互いに近接する又は同一の位置に配置された場合には、所定のグループ標示を、前記フレーム画像上に表示するように前記表示部を制御することを特徴とする請求項1に記載の端末装置。
  5.  前記フレーム画像は、前記屋内空間を平面的に示す2次元フレーム画像と、前記屋内空間を立体的に示す3次元フレーム画像とを含み、
     前記表示制御手段は、前記入力手段を介して受け付けられた入力に応じて、前記2次元フレーム画像と前記3次元フレーム画像とを相互に切り換えて表示するように前記表示部を制御する
     ことを特徴とする請求項1に記載の端末装置。
  6.  前記フレーム画像は、前記屋内空間として、複数の部屋各々に対応する画像を含むことを特徴とする請求項1に記載の端末装置。
  7.  ネットワークを介して通信可能な一又は複数の対象機器を遠隔操作可能であり、表示部及びユーザの入力を受け付け可能な入力手段を備える端末装置における制御方法であって、
     前記一又は複数の対象機器各々が設置されている屋内空間を示し、方位情報を含む画像であるフレーム画像上に、前記一又は複数の対象機器各々に係る機器情報及び識別子に関連付けられた画像である一又は複数の機器標示が配置された、機器選択画面を表示するように前記表示部を制御する機器選択画面表示工程と、
     前記入力手段を介して、前記フレーム画像上に配置された一の機器標示が選択された場合に、前記選択された一の機器標示に関連付けられた機器情報に応じた操作画面を表示するように前記表示部を制御する操作画面表示工程と、
     前記操作画面が表示されている際に、前記入力手段を介して受け付けられた制御命令を示す信号を、前記選択された一の機器標示に関連付けられた識別子に対応する対象機器に対し、前記ネットワークを介して送信する送信工程と、
     を備えることを特徴とする制御方法。
  8.  ネットワークを介して通信可能な一又は複数の対象機器を遠隔操作可能であり、表示部及びユーザの入力を受け付け可能な入力手段を備える端末装置に搭載されたコンピュータを、
     前記一又は複数の対象機器各々が設置されている屋内空間を示し、方位情報を含む画像であるフレーム画像上に、前記一又は複数の対象機器各々に係る機器情報及び識別子に関連付けられた画像である一又は複数の機器標示が配置された、機器選択画面を表示するように前記表示部を制御すると共に、前記入力手段を介して、前記フレーム画像上に配置された一の機器標示が選択された場合に、前記選択された一の機器標示に関連付けられた機器情報に応じた操作画面を表示するように前記表示部を制御する表示制御手段と、
     前記操作画面が表示されている際に、前記入力手段を介して受け付けられた制御命令を示す信号を、前記選択された一の機器標示に関連付けられた識別子に対応する対象機器に対し、前記ネットワークを介して送信する送信手段と、
     して機能させることを特徴とするコンピュータプログラム。
PCT/JP2013/052370 2013-02-01 2013-02-01 端末装置、制御方法及びコンピュータプログラム WO2014118967A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/052370 WO2014118967A1 (ja) 2013-02-01 2013-02-01 端末装置、制御方法及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/052370 WO2014118967A1 (ja) 2013-02-01 2013-02-01 端末装置、制御方法及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2014118967A1 true WO2014118967A1 (ja) 2014-08-07

Family

ID=51261710

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/052370 WO2014118967A1 (ja) 2013-02-01 2013-02-01 端末装置、制御方法及びコンピュータプログラム

Country Status (1)

Country Link
WO (1) WO2014118967A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018127993A1 (ja) * 2017-01-05 2019-07-25 三菱電機株式会社 無線通信システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0583764A (ja) * 1991-09-21 1993-04-02 Hitachi Ltd ホームオートメーシヨンシステム装置
JPH0744477A (ja) * 1993-07-30 1995-02-14 Canon Inc マルチメディア機器の制御システム
JP3016350B2 (ja) * 1995-04-27 2000-03-06 日本電気株式会社 家電パソコン用エージェントインタフェース方式
JP2002199474A (ja) * 2000-12-26 2002-07-12 Kenwood Corp Ieee1394ネットワークシステム及びその管理方法
JP2007266772A (ja) * 2006-03-27 2007-10-11 Toshiba Corp 機器操作装置および機器操作方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0583764A (ja) * 1991-09-21 1993-04-02 Hitachi Ltd ホームオートメーシヨンシステム装置
JPH0744477A (ja) * 1993-07-30 1995-02-14 Canon Inc マルチメディア機器の制御システム
JP3016350B2 (ja) * 1995-04-27 2000-03-06 日本電気株式会社 家電パソコン用エージェントインタフェース方式
JP2002199474A (ja) * 2000-12-26 2002-07-12 Kenwood Corp Ieee1394ネットワークシステム及びその管理方法
JP2007266772A (ja) * 2006-03-27 2007-10-11 Toshiba Corp 機器操作装置および機器操作方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018127993A1 (ja) * 2017-01-05 2019-07-25 三菱電機株式会社 無線通信システム

Similar Documents

Publication Publication Date Title
KR102133536B1 (ko) 애플리케이션 실행 방법 및 시스템
US9201577B2 (en) User interfaces for controlling audio playback devices and related systems and devices
US9621434B2 (en) Display apparatus, remote control apparatus, and method for providing user interface using the same
CN1813240B (zh) 用于显示媒体内容数据的方法和系统
CN100426208C (zh) 空间交互系统
JP6399748B2 (ja) コンテンツ再生装置、そのui提供方法、ネットワークサーバ及びその制御方法
US10848871B2 (en) Content output system, display apparatus and control method thereof
US10108392B2 (en) User terminal apparatus, display apparatus connected to user terminal apparatus, server, connected system, controller, and controlling method thereof
JP4687691B2 (ja) 機器間操作インターフェース、機器制御端末、及びプログラム
JP2006318329A (ja) 通信システム、通信方法、通信プログラムおよび記録媒体、遠隔制御装置、コマンドセット格納装置、ならびに、電子または電気機器
US20160006971A1 (en) Display apparatus and controlling method thereof
KR102428934B1 (ko) 디스플레이 장치, 사용자 단말 장치, 시스템 및 그 제어 방법
US20240149163A1 (en) Software-Enabled Mobile Game Controller with Integrated Platform Operating Service
WO2014118967A1 (ja) 端末装置、制御方法及びコンピュータプログラム
US20100201614A1 (en) Method and Apparatus for Computer Interface
KR20170064417A (ko) 소스 디바이스의 컨텐츠 공유 방법 및 시스템
JP2014150420A (ja) 端末装置、制御方法及びコンピュータプログラム
KR20190018358A (ko) 외부 디스플레이 장치에서 제공한 컨텐츠를 이어서 제공하기 위한 디스플레이 장치 및 이의 컨텐츠 제공 방법
JP2007109335A (ja) 制御データ一覧表示システム、表示方法及びコンピュータプログラム
JP2011130417A (ja) コンテンツ再生装置、コントローラ、コンテンツ再生システム、通信方法及び再生装置決定方法
JP6613426B2 (ja) 拡張映像再生システム、映像再生システム、拡張映像再生システムの制御方法、映像再生システムの制御方法、並びに、それらの方法のプログラム及びそのプログラムを記録した記録媒体
KR20090087541A (ko) 자연영상 기반 사용자 인터페이스를 이용하여 개인화된서비스를 제공하는 원격제어 장치와 이를 구비하는원격제어 시스템 및 그 방법, 상기 방법을 구현하는프로그램이 기록된 기록매체
JP2009246423A (ja) テレビ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13873973

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13873973

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP