WO2009090872A1 - ユーザ・インタフェース制御装置 - Google Patents

ユーザ・インタフェース制御装置 Download PDF

Info

Publication number
WO2009090872A1
WO2009090872A1 PCT/JP2009/000118 JP2009000118W WO2009090872A1 WO 2009090872 A1 WO2009090872 A1 WO 2009090872A1 JP 2009000118 W JP2009000118 W JP 2009000118W WO 2009090872 A1 WO2009090872 A1 WO 2009090872A1
Authority
WO
WIPO (PCT)
Prior art keywords
program
list
unit
storage unit
user interface
Prior art date
Application number
PCT/JP2009/000118
Other languages
English (en)
French (fr)
Inventor
Hidehiko Sin
Hideaki Yajima
Original Assignee
Panasonic Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corporation filed Critical Panasonic Corporation
Priority to JP2009549984A priority Critical patent/JP5179514B2/ja
Priority to US12/812,608 priority patent/US8677246B2/en
Publication of WO2009090872A1 publication Critical patent/WO2009090872A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Definitions

  • the present invention provides a UI control device, a UI control method, a UI control program, and a UI control that can provide a user interface (hereinafter also referred to as “UI”) that is optimal for the user by cooperation between devices.
  • UI user interface
  • the present invention relates to a recording medium on which a program is recorded and a UI control integrated circuit.
  • the present invention solves the above-described conventional problems, and an object of the present invention is to provide a UI control device and the like that can provide an optimum UI for a user without a data management server.
  • a UI control device of the present invention is a user interface control device provided in a device and realizing a user interface function, and has a function corresponding to an instruction from a user to the device.
  • a UI storage unit that stores a UI program that is a program for realizing; a UI list storage unit that stores a UI list that is a list of UI programs stored in the UI storage unit; UI list acquisition that acquires a list of UI programs stored in the remote device from a remote device connected to the device via a communication path, and adds to the UI list stored in the UI list storage unit Stored in the UI list storage unit, a request reception unit that receives a request from the user to use the user interface, and the UI list storage unit A UI selection unit that selects a UI program corresponding to the user interface received by the request reception unit from among the UI programs registered in the UI list, and the UI selection unit UI acquisition that determines whether or not the selected UI program is
  • the UI acquisition unit determines that the UI program selected by the UI selection unit is not stored in the UI storage unit
  • the UI acquisition unit acquires the UI program from the remote device via the communication path.
  • the display unit may be configured to execute a UI program acquired by the UI acquisition unit from the remote device.
  • the UI acquisition unit includes a UI delegation unit that delegates execution of the UI program to the remote device when it is determined that the UI program selected by the UI selection unit is not stored in the UI storage unit It is good also as a structure.
  • the UI program is acquired and executed from a remote device, or the execution of the UI program is delegated to the remote device. As a result, it is possible to provide an optimal UI for the user.
  • the UI control device of the present invention even if there is no data management server, it is possible to update the UI by cooperation between devices and provide an optimal UI for the user. .
  • the present invention improves the user interface of devices, and in particular, the practical value is very high nowadays that devices can be linked with each other due to the spread of home networks.
  • FIG. 1 is a network configuration diagram relating to a device including a UI control device according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram of the UI control apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a flowchart until the UI list is stored according to the first embodiment of the present invention.
  • FIG. 4 is a flowchart until information based on the execution of the UI program in the first embodiment of the present invention is displayed.
  • FIG. 5 (a) is a diagram showing a UI list of device A in the first embodiment of the present invention
  • FIG. 5 (b) is a diagram showing a UI list of device B in the first embodiment of the present invention. is there.
  • FIG. 1 is a network configuration diagram relating to a device including a UI control device according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram of the UI control apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is
  • FIG. 6 is a diagram showing UI list information stored in the device according to the first embodiment of the present invention.
  • FIG. 7 is a diagram of information regarding the UI stored in the device according to the first embodiment of the present invention.
  • FIG. 8 is a diagram of a UI control device according to Embodiment 2 of the present invention.
  • FIG. 9 is a flowchart until the resource priority is stored in the second embodiment of the present invention.
  • FIG. 10 is a flowchart until the information based on the execution of the UI program in the second embodiment of the present invention is displayed.
  • FIG. 11 is a diagram showing an example of a UI program according to Embodiment 2 of the present invention.
  • FIG. 12 (a) is a diagram showing a display screen when the photo resource stored in the device A in the second embodiment of the present invention is displayed
  • FIG. 12 (b) is a second embodiment of the present invention. It is the figure which showed the display screen when displaying the photography resource which the apparatus B in FIG.
  • FIG. 13 is a diagram showing an example of setting information stored in the resource priority storage unit according to Embodiment 2 of the present invention.
  • FIG. 14 is a diagram of a UI control apparatus according to Embodiment 3 of the present invention.
  • FIG. 15 is a flowchart until information based on the execution of the UI program in the third embodiment of the present invention is displayed.
  • FIG. 16 is a diagram showing an example of an operation screen when UI delegation is performed according to the third embodiment of the present invention.
  • FIG. 17 is a diagram of a UI control apparatus according to Embodiment 4 of the present invention.
  • the UI is realized by a UI program corresponding to each UI.
  • the UI program here is a program for realizing a function corresponding to an instruction from the user to the device, and means a program that defines a display format of information for the user, a user data input method, and the like.
  • it may be a program such as an HTML browser represented by Internet Explorer (registered trademark), or may be an execution format or script format program executed on a virtual machine such as Java (registered trademark).
  • a program such as a photo display function, a character editing function, and a call display function may be used.
  • FIG. 1 is a network configuration diagram related to the UI control apparatus according to the first embodiment.
  • the home network 100 is a network having the own device 101 that holds the UI control device, and is realized by a wireless network or a wired network.
  • the own device 101 is a device such as a TV, a recorder, a player, a mobile phone, a fixed phone, a printer, a FAX, a PDA, a PC, a digital camera, a refrigerator, a microwave oven, and a washing machine.
  • the remote device 120 is a device such as a TV, a recorder, a player, a mobile phone, a fixed phone, a printer, a FAX, a PDA, a PC, a digital camera, a refrigerator, a microwave oven, and a washing machine.
  • the home network 100 is connected to the remote device 120 via the external network 110. Then, the own device 101 and the remote device 120 cooperate to update the UI of the own device 101.
  • the remote device 120 may be a device that exists in the home network 100. In this case, the own device 101 and the remote device 120 existing in the home network 100 cooperate to perform processing such as updating the UI of the own device 101.
  • FIG. 2 is a configuration diagram of the UI control apparatus 200 according to the first embodiment.
  • the UI control device is a device that is provided in the above-described device such as a TV and realizes a user interface function, and includes a notification reception unit 201, a UI list acquisition unit 202, a UI list storage unit 203, and a request reception unit 204.
  • the remote device 120 and the user 210 are also shown.
  • the notification receiving unit 201 is a network interface card or the like and receives a notification from the remote device 120.
  • This notification is a notification indicating that the remote device 120 has joined the home network 100 when the remote device 120 joins the home network 100 through the external network 110 or directly. This notification may be made to all devices existing in the home network 100.
  • the UI storage unit 207 is a non-volatile memory or the like that stores various UI programs that realize functions corresponding to instructions from the user to the device including the UI control apparatus 200.
  • the UI list storage unit 203 is a nonvolatile memory or the like that stores a UI list that is information indicating a list of UI programs stored in the UI storage unit 207.
  • the UI list acquisition unit 202 acquires a list of UI programs (UI list) held by the remote device 120 from the remote device 120. If there are a plurality of remote devices 120 to participate in, a list of UI programs (UI list) may be obtained from all devices. Thereafter, the acquired UI list is stored in the UI list storage unit 203.
  • the request reception unit 204 is an operation button or the like that receives an instruction from the user 210 such as a request to use the UI.
  • the UI selection unit 205 selects an optimal UI program that the user 210 wants to use from the UI list stored in the UI list storage unit 203.
  • the UI acquisition unit 206 acquires an optimal UI program. Specifically, the UI acquisition unit 206 determines whether the optimal UI program selected by the UI selection unit 205 is stored in the UI storage unit 207, and determines that the UI storage unit 207 stores the optimal UI program. If the UI program is read from the UI storage unit 207, and the UI program selected by the UI selection unit 205 is determined not to be stored in the UI storage unit 207, the remote device 120 can connect to the home network. The UI program is acquired via 100, and the acquired UI program is stored in the UI storage unit 207.
  • the display unit 208 includes an execution engine such as a virtual machine that executes a UI program and a display screen such as an LCD display.
  • the display unit 208 executes the UI program acquired by the UI acquisition unit 206, so that a UI ( Information based on the execution of the UI program) is displayed on the screen.
  • each processing unit such as the notification receiving unit 201, the UI list acquisition unit 202, the request reception unit 204, the UI selection unit 205, the UI acquisition unit 206, and the display unit 208 is a memory such as a CPU, ROM, RAM, a communication interface, and the like. It may be realized by a program executed in a computer environment including the hardware, or may be realized by hardware such as a dedicated electronic circuit. The same applies to other embodiments.
  • FIG. 3 is a processing flow from when the remote device 120 joins the home network 100 until the UI list is stored.
  • the notification receiving unit 201 receives a participation notification from the remote device 120 (S301). Upon receiving this notification, the notification receiving unit 201 instructs the UI list acquisition unit 202 to acquire the UI list.
  • the UI list acquisition unit 202 acquires a UI list from the remote device 120 when an instruction is received from the notification reception unit 201 (S302). Thereafter, the acquired UI list is stored in the UI list storage unit 203 (S303), and the process is terminated (S304).
  • the device 101 is the device A and the remote device 120 is the device B.
  • the device A has a UI program corresponding to the row 501 in FIG. 5A and a UI program corresponding to the row 502, and the UI list 500 of the device A shown in FIG. 5A is stored in the UI list. Assume that it is stored in the unit 203.
  • the device B has a UI program corresponding to the row 503, the row 504, and the row 505 in FIG. 5B, and has the UI list 510 of the device B shown in FIG. To do.
  • the “device name” shown in FIGS. 5A and 5B stores the name of the device. This time, since the own device 101 is the device A and the remote device 120 is the device B, “device A” and “device B” are described. “Category” indicates what category the device belongs to. Device A is a “recorder” and device B is a “mobile phone”. “Function” indicates a UI function that can be used by each device. The device A has a photo display function and a character editing function, and the device B has a photo display function, a character editing function, and a call display function. “Address” indicates information (a place where the UI program is placed) for accessing the corresponding function (UI program).
  • the device A receives a participation notification from the device B (S301).
  • the device A that has received the participation notification acquires a UI list of the device B from the device B (S302).
  • the UI list held by itself is merged with the currently acquired UI list (S303).
  • An example of the UI list after merging stored in the device A is shown in FIG.
  • the UI list 600 stored in the device A is a combination of the UI list 500 of the device A in FIG. 5A and the UI list 510 of the device B in FIG. 5B.
  • the UI list may be edited so that only a necessary item is included.
  • FIG. 4 is a processing flow from when the user 210 requests to use the UI until the UI (information based on execution of the UI program) is displayed.
  • the request reception unit 204 receives a UI request indicating that the user wants to use the UI from the user 210 (S401)
  • the request reception unit 204 selects an optimal UI program for the UI selection unit 205. Instruct them to do so.
  • the UI selection unit 205 selects an optimal UI program that the user 210 wants to use from the UI list stored in the UI list storage unit 203 (S402).
  • the criteria for selection may be anything.
  • the remote device 120 in the same category may be given priority, or the version may be given priority. If priority is given to the category, the search is performed based on the category, and if priority is given to the version, the search is performed based on the version. If priority is given to usability, search is performed based on usability.
  • the UI list stored in the UI list storage unit 203 includes information on functions held by the UI program, and may be selected based on the information.
  • the optimal UI program may be determined by combining information existing in the UI list. There may be a plurality of search results, and it may be possible to select which UI the user 210 uses from a plurality of search results. That is, at least one of “category”, “version”, and “usability” constituting the UI list is used as a priority for selecting an optimal UI program from a plurality of UI programs.
  • the fact may be notified to the own device 101 and reflected in the UI list stored in the own device 101.
  • the device 101 selects a UI program that cannot be used at the same time as the optimum UI program, the next optimum UI program may be sequentially searched.
  • an optimal UI program there is no display function realized by software or hardware necessary for displaying the UI (information based on execution of the UI program) If there is no operation function for operation, the next optimal UI program may be sequentially searched. If a display function implemented by hardware does not exist, an optimal UI program may be selected as long as the display function can be substituted by software. Further, as an index for searching for an optimal UI program, use frequency of the UI program, screen size and content size, information (version or theme) indicating consistency with the screen transition source, and the like may be used. When the optimum UI program is selected, the UI acquisition unit 206 is notified of the address where the optimum UI program exists.
  • the UI selection unit 205 notifies the UI acquisition unit 206 of the address of the selected UI program.
  • the UI acquisition unit 206 uses the address received from the UI selection unit 205 to determine whether or not the UI program selected by the UI selection unit 205 exists in the UI storage unit 207. Is confirmed (S403). If there is a corresponding UI program in the UI storage unit 207 (S403: Yes), the UI program is acquired from the UI storage unit 207 (S404).
  • the corresponding UI program is acquired from the remote device 120 based on the address received from the UI selection unit 205 (S405).
  • the UI program thus stored is stored in the UI storage unit 207 (S406).
  • the UI acquisition unit 206 instructs the display unit 208 to display the acquired UI (information based on the execution of the UI program), and the display unit 208 that has received the instruction receives the UI ( Information based on the execution of the UI program) is displayed on the screen (S407), and the process ends (S408).
  • the UI storage unit 207 may store the address of the UI program acquired from the remote device 120 instead of the UI program. In this case, when there is a UI request from the user 210 again, this address can be reused to access the remote device 120 and acquire the UI program.
  • the flow of a specific processing example is shown using FIG. 4, FIG. 6, and FIG.
  • the own device 101 is the device A and the remote device 120 is the device B.
  • the device B has already participated in the home network 100, and the UI list 600 stored in the device A in FIG. 6 has already been stored in the UI list storage unit 203 of the device A. Assume a situation where no request is made.
  • the device A stores the UI program corresponding to the row 501 in FIG. 5A and the UI program corresponding to 502 in the UI storage unit 207.
  • the device A receives a UI request from the user 210 that he / she wants to use a UI called a photo display function (S401).
  • the device A selects a UI program having an optimal photo display function from the UI list 600 stored in the device A of FIG. 6 (S402).
  • the device A searches for a UI program having a photo display function from the UI list 600 stored in the device A.
  • the UI program corresponding to the row 601 and the UI program corresponding to the row 603 match the photo display function.
  • the UI program corresponding to the row 601 and the UI program corresponding to the row 603 are searched by version. This time, the UI program corresponding to the row 603 has a higher version than the UI program corresponding to the row 601. Therefore, the UI program corresponding to the row 603 is selected as the optimum UI program.
  • the UI program corresponding to the row 603 is acquired from the device B (S405).
  • the UI program address “http: //B/photoUI.html” of the UI program corresponding to the selected row 603 is used.
  • HTTP Hyper Text Transfer Protocol
  • the protocol is not limited to HTTP as long as the address can identify the device. Then, the UI program corresponding to the acquired row 603 is stored in the UI storage unit 207 (S406).
  • FIG. 7 is a diagram illustrating an example of the UI storage unit 207 after the device A acquires the UI program from the device B.
  • the UI program 710 stored in the device A and the UI program 710 are related to the UI program 710.
  • An example of information 700 is shown.
  • the information 700 related to the UI program 710 stored in the device A includes the UI program 710a corresponding to the row 501 in FIG. 5A and the UI program 710b corresponding to the row 502 that the device A originally has.
  • a UI program 710c corresponding to the row 503 acquired from the device B shown in FIG. 5B is added.
  • the UI storage unit 207 may store only information related to the UI program and address, or may store only the address.
  • the device A displays the UI (information based on the execution of the UI program) corresponding to the acquired row 603 (S407), and the process ends (S408).
  • a necessary UI program is acquired from a remote device and executed when the devices cooperate with each other, so that it is possible to provide an optimal UI for the user. There is an effect that it becomes possible.
  • the UI control apparatus 800 for example, when a user 210 wants to use a resource such as a photograph existing in the remote device 120 when exchanging a UI program having a photo display function with the remote device 120. There is. Further, when the resource is used to display a UI (information based on execution of a UI program), a UI (information based on execution of the UI program) displayed by the user 210 on the remote device 120 is displayed. You need to use this resource if you want a similar display.
  • a UI program such as an HTML browser represented by Internet Explorer (registered trademark)
  • Internet Explorer registered trademark
  • the resources of the remote device 120 can be used, it is possible to operate the UI as if operating the UI on the remote device 120.
  • the resource is at least one of image data, video data, and audio data required when the UI program is executed, and refers to AV contents such as photographs, videos, and music, for example.
  • the resource may be information that exists only in the device, such as an operation history of the user 210, as well as AV content.
  • FIG. 8 is a diagram illustrating a configuration of the UI control apparatus 800 according to the second embodiment.
  • the UI control device 800 is a device that is provided in the above-described device such as a TV and realizes a user interface function.
  • the UI control device 800 includes a notification reception unit 201, a UI list acquisition unit 202, a UI list storage unit 203, and a request reception unit. 204, UI selection unit 205, UI acquisition unit 206, UI storage unit 207, resource priority setting unit 801, resource priority storage unit 802, UI analysis unit 803, resource acquisition unit 804, resource storage unit 805, and display unit 806.
  • the remote device 120 and the user 210 are also shown.
  • the same parts as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the differences between the second embodiment and the first embodiment are a resource priority setting unit 801, a resource priority storage unit 802, a UI analysis unit 803, a resource acquisition unit 804, a resource storage unit 805, and a display unit 806.
  • the resource priority setting unit 801 sets (that is, determines) which of the resources held by the own device 101 or the resources held by the remote device 120 is used with priority.
  • the resource priority may be determined in advance.
  • the resource priority storage unit 802 is a memory that stores information set by the resource priority setting unit 801.
  • the UI analysis unit 803 analyzes the UI program acquired by the UI acquisition unit 206 and acquires necessary resource information. Then, the resource acquisition unit 804 is instructed to acquire resources. After that, using the resource received from the resource acquisition unit 804, the display unit 806 is instructed to redisplay the UI (information based on the execution of the UI program).
  • the resource acquisition unit 804 acquires a resource to be displayed on the display unit 806 using the resource information received from the UI analysis unit 803 and the resource priority stored in the resource priority storage unit 802.
  • the resource storage unit 805 stores resources.
  • the display unit 806 has a function of displaying the resource acquired by the resource acquisition unit 804 in addition to the function of the display unit 208 in the first embodiment.
  • FIG. 9 is a processing flow until the resource priority is stored.
  • the resource priority setting unit 801 sets the resource priority (S901). Then, the resource priority setting unit 801 stores the resource priority set by the user 210 in the resource priority storage unit 802 (S902), and ends the process (S903).
  • FIG. 10 is a flow from when the UI analysis unit 803 acquires a UI program from the UI acquisition unit 206 to when a UI (information based on execution of the UI program) is displayed.
  • the UI analysis unit 803 When the process is started (S1000) and the UI analysis unit 803 acquires a UI program from the UI acquisition unit 206 (S1001), the acquired UI program is analyzed (S1002). Details of the analysis processing will be described later. Then, the acquired UI program is analyzed to acquire necessary resource information (S1003). For example, if it is determined from the resource information that the photo resource needs to be used, the UI analysis unit 803 requests the resource acquisition unit 804 to acquire the photo resource. The resource acquisition unit 804 that has received the request from the UI analysis unit 803 acquires setting information indicating which resource of the own device 101 or the remote device 120 is to be acquired with priority from the resource priority storage unit 802 (S1003). ).
  • the resource acquisition unit 804 confirms which of the resources held by the own device 101 or the resources held by the remote device 120 is used with priority (S1005).
  • the resource acquisition unit 804 acquires the resource from the resource storage unit 805 (S1006).
  • giving priority to the resource of the remote device 120 (S1005: Yes)
  • the corresponding resource is acquired from the remote device 120 that acquired the UI program (S1008), and stored in the resource storage unit 805 (S1009). ). If there is a resource having the same name as the corresponding resource in the resource storage unit 805 (S1007: Yes), the resource is acquired from the remote device 120 that acquired the UI program (S1010). Thereafter, the UI (information based on the execution of the UI program) is displayed using the acquired UI program and resources (S1011), and the process ends (S1012).
  • FIG. 11 shows an example of the acquired UI program 1100.
  • a statement 1103 indicates a function called function loadBody that is called when the entire UI program 1100 is read.
  • Statement 1104 shows an HTML element for displaying a photograph.
  • a statement 1101 indicates the content of a function called function loadBody to be called.
  • the statement 1102 is the contents of the function, and defines a process for displaying a photograph “A.jpg” for the HTML element 1104 with the ID “photo1”.
  • FIG. 12 shows a screen display example 1200 (FIG. 12A) in which the image resource 1201 held by the device A is displayed in the UI, and a screen display example 1210 in which the image resource 1211 held by the device B is displayed in the UI (FIG. 12B). )).
  • the UI analysis unit 803 acquires a UI program from the UI acquisition unit 206 (S1001), and analyzes the acquired UI program (S1002). Then, resource information indicating that the necessary resource is “A.jpg” is acquired (S1003), and setting information is acquired (S1004). Furthermore, when the setting information stored in the resource priority storage unit 802 is set so as to give priority to the resource of the own device 101 as shown in FIG.
  • the resource acquisition unit 804 acquires “A.jpg” from the resource storage unit 805 (S1006), and the display unit 806 stores “A.jpg” of the device A as in the screen display example 1200 shown in FIG.
  • the used UI is displayed (S1011). If the setting information stored in the resource priority storage unit 802 is set to give priority to the resource of the remote device 120 (S1005: Yes), this time, the name of the resource corresponding to the resource storage unit 805 has the same name. Since it is assumed that there is a resource (S1007: Yes), the resource acquisition unit 804 acquires “A.jpg” from the remote device 120 (S1010), and the display unit 806 displays the information shown in FIG. As shown in the screen display example 1210, the UI display using “A.jpg” of the device B is performed (S1011).
  • the resource of the remote device 120 can be used by setting the resource priority, it is possible to operate the UI as if operating the UI on the remote device 120.
  • a UI program such as an HTML browser represented by the Internet Explorer (registered trademark) is exchanged with the remote device 120, normally, when the UI program is acquired from the remote device 120, unless otherwise specified,
  • the resource that the remote device 120 has can be used, so whether the UI has been operated on the remote device 120 or not. It becomes possible to operate like this.
  • the UI control apparatus 1300 uses the UI of the remote device 120, which is more convenient, when the UI of the remote device 120 is more convenient than the UI of the own device 101. It is something that can be done.
  • a UI control apparatus 1300 according to Embodiment 3 of the present invention will be described with reference to the drawings.
  • FIG. 14 is a diagram illustrating a configuration of the UI control device 1300 according to the third embodiment.
  • the UI control device 1300 is a device that is provided in the above-described device such as a TV and realizes a user interface function, and includes a notification reception unit 201, a UI list acquisition unit 202, a UI list storage unit 203, and a request reception unit. 204, a UI selection unit 205, a UI acquisition unit 206a, a UI storage unit 207, a temporary storage unit 1302, and a display unit 208.
  • the remote device 120 and the user 210 are also shown.
  • the same parts as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the difference between the third embodiment and the first embodiment is that the UI acquisition unit 206a has a UI delegation unit 1301 in addition to the function of the UI acquisition unit 206 in the first embodiment, and a temporary storage unit 1302.
  • the UI delegation unit 1301 performs UI delegation processing. Specifically, the UI delegation unit 1301 executes the UI program when the UI acquisition unit 206a determines that the UI program selected by the UI selection unit 205 is not stored in the UI storage unit 207. Delegate to.
  • the temporary storage unit 1302 is a memory or the like that temporarily stores the input result received by the UI delegation unit 1301 from the request reception unit 204 via the UI selection unit 205.
  • FIG. 15 is a flow from receiving notification of an optimal UI program from the UI selection unit 205 to displaying UI (information based on execution of the UI program).
  • S1400 When the process is started (S1400) and the UI acquisition unit 206a receives notification of the optimal UI program from the UI selection unit 205 (S1401), is the UI program selected by the UI selection unit 205 stored in the UI storage unit 207? It is confirmed whether or not (S1402). If the UI program selected by the UI selection unit 205 is stored in the UI storage unit 207 (S1402: Yes), the UI program is acquired from the UI storage unit 207 (S1403).
  • the UI delegation unit 1301 activates the UI program held by the remote device 120 on the remote device 120. (S1404).
  • the user delegation unit 1301 receives the result input by the user 210 using the request reception unit 204 (S1405), the UI delegation unit 1301 stores the input result in the temporary storage unit 1302. Then, at a certain timing, the remote device 120 is notified of the input result stored in the temporary storage unit 1302 (S1406). This timing may be set by the user 210, or may be determined in advance by the UI control apparatus 1300.
  • the UI delegation unit 1301 receives the processing result processed by the remote device 120 (S1407). Thereafter, the UI delegation unit 1301 instructs the display unit 208 to display, and the display unit 208 that has received the instruction displays the UI (S1408), and the process ends (S1409).
  • the user 210 requests the request reception unit 204 to use a character editing UI.
  • the request reception unit 204 instructs the UI selection unit 205 to select a character editing UI program that is optimal for the user 210.
  • the UI selection unit 205 that has received the instruction selects a character editing UI program corresponding to the address “http: //B/fepUI.html”.
  • the UI acquisition unit 206a receives an instruction from the UI selection unit 205, the UI acquisition unit 206a refers to the UI storage unit 207 and stores the character editing UI program corresponding to the address “http: //B/fepUI.html”. Check if it exists.
  • the display unit 208 is instructed to display the UI (information based on the execution of the UI program). If not stored, the UI delegation unit 1301 instructs the remote device 120 to send the address “ Requests activation of a character editing UI program corresponding to "http: //B/fepUI.html". Thereafter, when the user 210 inputs characters using the request receiving unit 204, the input result is reflected in the character editing UI program of the remote device 120. The timing indicating when the character editing UI program of the remote device 120 is reflected may be for each character or when the user 210 converts the character.
  • the result processed by the character editing UI program of the remote device 120 is notified to the UI delegation unit 1301.
  • the UI delegation unit 1301 notifies the display unit 208 of the processing result, and the display unit 208 that has received the notification displays a UI.
  • the user 210 can use the character editing UI of the remote device 120, when it is troublesome to download the UI program, there is not enough storage area to download the UI program. Even in such a case, the user 210 can be operated using the optimum UI program.
  • the user 210 may directly start the character editing UI program of the remote device 120. Further, the UI delegation unit 1301 may detect that the use of the delegated UI program has been interrupted (execution of another operation, network disconnection, battery exhaustion, etc.) and notify the user 210 of this.
  • An example of the operation screen when UI delegation is specifically described with reference to FIG. 16 is connected to the player 1501 and displays an output related to the display of the player 1501.
  • the player 1501 is an example of the device itself, and is a device that reproduces media such as BD, DVD, and CD.
  • the mobile phone 1502 is an example of a remote device and exists on the same home network 100 as the player 1501.
  • a player operation screen 1510 shows an operation screen when characters are edited by the player 1501.
  • a mobile phone operation screen 1511 shows an operation screen at the time of character editing in the mobile phone 1502.
  • the character editing screen 1512 is a screen when a character input request such as title editing is issued from the user 210 to the player 1501 (operation procedure 1).
  • a character editing operation that should be performed on the player 1501 is performed on the mobile phone 1502 is shown.
  • a DVD recorder may record video, send the recorded result to a DVD player, and store the recorded result on the DVD player.
  • the user 210 has the UI of the remote device 120 with high convenience. Since it can be used, even if it is troublesome to download the UI program or when the storage area for downloading the UI program is insufficient, the UI 210 can be operated using the optimum UI program. .
  • the fourth embodiment corresponds to the UI program in the third embodiment replaced with “function”.
  • the “function” refers to a function provided in a device provided with the UI control apparatus, and specifically includes not only a UI program but also a program and data for exhibiting the function of the device.
  • FIG. 17 is a diagram illustrating a configuration of the UI control device 1600 according to the fourth embodiment.
  • the UI control device 1600 is a device that is provided in the above-described device such as a TV and implements various functions.
  • the UI control device 1600 is a notification reception unit 201, a function list acquisition unit 1601, a function list storage unit 1602, a request reception unit 1603, a function.
  • An access detection unit 1604, a function selection unit 1605, a function result acquisition unit 1606, a function storage unit 1607, and a display unit 1608 are provided.
  • the remote device 120 and the user 210 are also shown.
  • the same parts as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the difference between the fourth embodiment and the first embodiment is that a function list acquisition unit 1601, a function list storage unit 1602, a request reception unit 1603, a function access detection unit 1604, a function selection unit 1605, a function result acquisition unit 1606, a function A storage unit 1607 and a display unit 1608.
  • the functions in the fourth embodiment refer to functions for controlling the remote device 120 such as a program reservation function, a moving image analysis function, and a character editing function in a DVD recorder, and functions by accessing hardware.
  • the function list acquisition unit 1601 in FIG. 17 acquires a list of functions from the remote device 120. If there are a plurality of remote devices 120 to participate in, a list of functions may be acquired from all the devices. Thereafter, the acquired function list is stored in the function list storage unit 1602.
  • the function list storage unit 1602 stores a list of functions and addresses where the functions exist.
  • the request receiving unit 1603 notifies the function access detecting unit 1604 to perform processing.
  • the function access detection unit 1604 detects whether the UI requested by the user 210 has accessed a function held by the own device 101 or the remote device 120. When the function access detection unit 1604 detects that the UI has accessed the function, the function access detection unit 1604 notifies the function selection unit 1605 to perform processing.
  • the function access detection unit 1604 detects that the UI A is accessing a function held by the own device 101 or the remote device 120, the function access detection unit 1604 notifies the function selection unit 1605 to the user 210. You will be notified to select the most appropriate function.
  • the function selection unit 1605 selects an address of a device having an optimal function that the user 210 wants to use from the function list stored in the function list storage unit 1602.
  • This address may be HTTP (Hyper Text Transfer Protocol), and the protocol is not limited to HTTP as long as the device can be identified.
  • the function result acquisition unit 1606 is notified of the address.
  • the function result acquisition unit 1606 checks whether or not the function storage unit 1607 has the function selected by the function selection unit 1605 based on the address notified from the function selection unit 1605. If the function selected by the function selection unit 1605 is in the function storage unit 1607, the result of executing the function is acquired. If the function selected by the function selection unit 1605 is not in the function storage unit 1607, the function is executed by the remote device 120 and the execution result is acquired from the remote device 120. Thereafter, the display unit 1608 is notified of the display. Upon receiving the notification, the display unit 1608 displays the execution result.
  • the remote device 120 here may be the remote device 120 that has acquired the UI, or may be a device having an optimal function regardless of the remote device 120 that has acquired the UI.
  • the priority of this function may be determined in advance or may be set by the user 210.
  • the function result acquisition unit 1606 when the function result acquisition unit 1606 receives the address of the function selected by the function selection unit 1605, the function result acquisition unit 1606 checks which device the function result is acquired by using the function priority. If the own device 101 is higher, the function is acquired from the function storage unit 1607 and the execution result is acquired. If the remote device 120 is higher, the remote device 120 executes the function and acquires the execution result from the remote device 120.
  • the necessary functions are acquired and executed from the remote device by cooperation between the devices, so that it is possible to provide the optimum function for the user. The effect that it becomes.
  • the fourth embodiment corresponds to the UI program in the third embodiment replaced by “function”
  • the present invention is not limited to this, and the UI program in the first and second embodiments is “ It may be realized as a replacement for “function”.
  • the present invention is not limited to these embodiments.
  • Forms realized by arbitrarily combining the components in each embodiment without departing from the gist of the present invention, and forms obtained by subjecting each embodiment to various modifications conceived by those skilled in the art are also included in the present invention. include.
  • the present invention is not only realized as the UI control device in the first to fourth embodiments, but may also be realized as a UI control method, or realized as a UI control program or a recording medium on which a UI control program is recorded. May be.
  • the constituent elements to be realized as a one-chip integrated circuit may be all the constituent elements in each embodiment, or may be a part thereof, and this UI control device is provided. Equipment components may also be included.
  • the notification reception unit 201, the UI list acquisition unit 202, the UI list storage unit 203, the request reception unit 204, the UI selection unit 205, the UI acquisition unit 206, the UI storage unit 207, and the display The portion of the unit 208 excluding the display may be realized as a one-chip integrated circuit.
  • the UI control device, the UI control method, the computer program using the UI control method, the recording medium storing the computer program, and the UI control integrated circuit according to the present invention can be obtained by cooperation between devices without a data management server. It has the effect of providing an optimal UI for users, and is used for devices such as TVs, recorders, players, mobile phones, landline phones, printers, FAX, PDA, PCs, digital cameras, refrigerators, microwave ovens, washing machines, etc. It is useful as

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

データ管理サーバがなくても、ユーザにとって最適なUIを提供するUI制御装置は、UIプログラムを記憶しているUI記憶部と、それらUIプログラムの一覧を示すUI一覧を記憶するUI一覧記憶部と、リモート機器が記憶しているUIプログラムの一覧を取得し、UI一覧記憶部に追加して登録するUI一覧取得部と、ユーザからUIの要求を受け付ける要求受付部と、受け付けたUIに対応するUIプログラムを、UI一覧に登録されたUIプログラムの中から選択するUI選択部と、選択されたUIプログラムがUI記憶部に記憶されているか否かを判断し、記憶されていると判断した場合に、UI記憶部からUIプログラムを読み出すUI取得部と、取得されたUIプログラムを実行することで、ユーザに情報を提示する表示部とを備える。

Description

[規則37.2に基づきISAが決定した発明の名称] ユーザ・インタフェース制御装置
 本発明は、機器同士が連携することにより、ユーザにとって最適なユーザ・インタフェース(以下、「UI」ともいう)を提供することを可能とするUI制御装置、UI制御方法、UI制御プログラム、UI制御プログラムを記録した記録媒体、UI制御集積回路に関するものである。
 UI制御装置の従来技術としては、データ管理サーバでユーザ所有の家電の機種、更新状況等を一元管理し、ネットワークに接続可能な家電にインストールされる更新データを提供する技術がある。
 そして、このような従来の技術としては、例えば特許文献1に記載されたものが知られている。
特開2004-341880号公報
 しかしながら、従来技術においては、UIの更新をするためにはネットワークに接続されたデータ管理サーバが必要となるので、UIの更新をする場合には、データ管理サーバを介さなければならない。したがって、データ管理サーバがないと、ユーザにとって最適なUIを提供することができないという課題を有している。
 本発明は上記従来の課題を解決するものであり、データ管理サーバがなくても、ユーザにとって最適なUIを提供することを可能とするUI制御装置等を提供することを目的とする。
 上記目的を達成するために、本発明のUI制御装置は、機器に備えられ、ユーザ・インタフェースの機能を実現するユーザ・インタフェース制御装置であって、前記機器に対するユーザからの指示に対応した機能を実現するためのプログラムであるUIプログラムを記憶しているUI記憶部と、前記UI記憶部に記憶されているUIプログラムの一覧を示す情報であるUI一覧を記憶しているUI一覧記憶部と、前記機器と通信路で接続されたリモート機器から、当該リモート機器が記憶しているUIプログラムの一覧を取得し、前記UI一覧記憶部に記憶されているUI一覧に追加して登録するUI一覧取得部と、ユーザから、ユーザ・インタフェースを利用したい旨の要求を受け付ける要求受付部と、前記UI一覧記憶部に記憶されているUI一覧を参照することにより、前記要求受付部が受け付けたユーザ・インタフェースに対応するUIプログラムを、前記UI一覧に登録されたUIプログラムの中から選択するUI選択部と、前記UI選択部が選択したUIプログラムが前記UI記憶部に記憶されているか否かを判断し、前記UI記憶部に記憶されていると判断した場合に、前記UI記憶部から前記UIプログラムを読み出して取得するUI取得部と、前記UI取得部で取得されたUIプログラムを実行することで、前記ユーザに情報を提示する表示部とを備える。
 ここで、前記UI取得部は、前記UI選択部が選択したUIプログラムが前記UI記憶部に記憶されていないと判断した場合に、前記リモート機器から前記通信路を介して当該UIプログラムを取得し、前記表示部は、前記UI取得部が前記リモート機器から取得したUIプログラムを実行する構成としてもよい。
 あるいは、前記UI取得部は、前記UI選択部が選択したUIプログラムが前記UI記憶部に記憶されていないと判断した場合に、当該UIプログラムの実行を前記リモート機器に委譲するUI委譲部を有する構成としてもよい。
 本構成によって、データ管理サーバがなくても、リモート機器からUIプログラムを取得して実行する、あるいは、リモート機器にUIプログラムの実行を委譲するので、機器同士が連携することによってUIの更新等をし、ユーザにとって最適なUIを提供することが可能となるという効果が得られる。
 本発明のUI制御装置によれば、データ管理サーバがなくても、機器同士が連携することによってUIの更新等をし、ユーザにとって最適なUIを提供することが可能となるという効果が得られる。
 本発明により、機器のユーザ・インタフェースが向上され、特に、家庭内ネットワークの普及によって機器同士の連携が可能になってきた今日における実用的価値は極めて高い。
図1は、本発明の実施の形態1におけるUI制御装置を含む機器に関するネットワーク構成図である。 図2は、本発明の実施の形態1におけるUI制御装置の図である。 図3は、本発明の実施の形態1におけるUI一覧が記憶されるまでのフローチャートである。 図4は、本発明の実施の形態1におけるUIプログラムの実行に基づく情報が表示されるまでのフローチャートである。 図5(a)は本発明の実施の形態1における機器AのUI一覧を示した図であり、図5(b)は本発明の実施の形態1における機器BのUI一覧を示した図である。 図6は、本発明の実施の形態1における機器が記憶しているUI一覧情報を示した図である。 図7は、本発明の実施の形態1における機器が記憶しているUIに関する情報の図である。 図8は、本発明の実施の形態2におけるUI制御装置の図である。 図9は、本発明の実施の形態2におけるリソース優先度が記憶されるまでのフローチャートである。 図10は、本発明の実施の形態2におけるUIプログラムの実行に基づく情報が表示されるまでのフローチャートである。 図11は、本発明の実施の形態2におけるUIプログラムの一例を示した図である。 図12(a)は本発明の実施の形態2における機器Aが記憶している写真リソースを表示したときの表示画面を示した図であり、図12(b)は本発明の実施の形態2における機器Bが記憶している写真リソースを表示したときの表示画面を示した図である。 図13は、本発明の実施の形態2におけるリソース優先度記憶部に記憶された設定情報の一例を示す図である。 図14は、本発明の実施の形態3におけるUI制御装置の図である。 図15は、本発明の実施の形態3におけるUIプログラムの実行に基づく情報が表示されるまでのフローチャートである。 図16は、本発明の実施の形態3におけるUI委譲をする場合の操作画面の一例を示した図である。 図17は、本発明の実施の形態4におけるUI制御装置の図である。
符号の説明
 100  家庭内ネットワーク
 101  UI制御装置を保持する自機器
 110  外部ネットワーク
 120  リモート機器
 200、800、1300、1600  UI制御装置
 201  通知受付部
 202  UI一覧取得部
 203  UI一覧記憶部
 204、1603  要求受付部
 205  UI選択部
 206、206a  UI取得部
 207  UI記憶部
 208、806、1608  表示部
 210  ユーザ
 500  機器AのUI一覧
 501~505  UI一覧
 510  機器BのUI一覧
 600  機器Aが記憶しているUI一覧
 601~605  UI一覧
 700  機器Aが記憶しているUIに関する情報の一例
 710  機器Aが記憶しているUIプログラムの一例
 801  リソース優先度設定部
 802  リソース優先度記憶部
 803  UI解析部
 804  リソース取得部
 805  リソース記憶部
 1100  UIプログラム
 1101  function loadBodyという関数の具体的な内容
 1102  function loadBodyという関数の具体的な処理の内容
 1103  function loadBodyという関数
 1104  写真を表示するためのHTML要素
 1200、1210  画面表示例
 1201、1211  画像リソース
 1301  UI委譲部
 1302  一時記憶部
 1500  TV
 1501  プレイヤ
 1502  携帯電話
 1510  プレイヤ操作画面
 1511  携帯電話操作画面
 1512~1515  文字編集画面
 1601  機能一覧取得部
 1602  機能一覧記憶部
 1604  機能アクセス検知部
 1605  機能選択部
 1606  機能結果取得部
 1607  機能記憶部
 以下、本発明の実施の形態におけるUI制御装置について、図面を参照しながら説明する。なお、UIは、個々のUIに対応するUIプログラムによって実現される。ここでいうUIプログラムとは、機器に対するユーザからの指示に対応した機能を実現するためのプログラムであり、ユーザに対する情報の表示様式や、ユーザのデータ入力方式を規定したプログラム等をいう。例えば、Internet Explorer(登録商標)に代表されるHTMLブラウザ等のプログラムであってもよいし、Java(登録商標)等の仮想マシンで実行される実行形式又はスクリプト形式のプログラムであってもよいし、写真表示機能や文字編集機能、通話表示機能等のプログラムであってもよい。
 (実施の形態1)
 まず、本発明の実施の形態1におけるUI制御装置について説明する。
 図1は実施の形態1のUI制御装置に関するネットワーク構成図である。家庭内ネットワーク100は、UI制御装置を保持する自機器101を有するネットワークであり、無線ネットワークや有線ネットワークで実現される。自機器101は、TV、レコーダ、プレイヤ、携帯電話、固定電話、プリンター、FAX、PDA、PC、デジタルカメラ、冷蔵庫、電子レンジ、洗濯機などの機器である。リモート機器120も同様で、TV、レコーダ、プレイヤ、携帯電話、固定電話、プリンター、FAX、PDA、PC、デジタルカメラ、冷蔵庫、電子レンジ、洗濯機などの機器である。
 家庭内ネットワーク100は、外部ネットワーク110経由で、リモート機器120と繋がっている。そして、自機器101とリモート機器120とが連携して、自機器101のUIを更新等する。また、リモート機器120は、家庭内ネットワーク100に存在する機器でもよい。この場合は、自機器101と家庭内ネットワーク100に存在するリモート機器120とが連携して、自機器101のUIの更新等の処理を行うことになる。
 以上のように構成されたUI制御装置について、以下、その動作を説明する。図2は実施の形態1におけるUI制御装置200の構成図である。このUI制御装置は、上述したTV等の機器に備えられ、ユーザ・インタフェースの機能を実現する装置であって、通知受付部201、UI一覧取得部202、UI一覧記憶部203、要求受付部204、UI選択部205、UI取得部206、UI記憶部207及び表示部208を備える。なお、本図には、リモート機器120及びユーザ210も併せて図示されている。
 通知受付部201は、ネットワーク・インタフェース・カード等であり、リモート機器120から通知を受け取る。この通知は、リモート機器120が外部ネットワーク110を通じて、または直接、家庭内ネットワーク100に参加した場合に、リモート機器120が家庭内ネットワーク100に参加したことを示す旨の通知である。なお、この通知は、家庭内ネットワーク100に存在する機器全てに対して行われてもよい。
 UI記憶部207は、本UI制御装置200を備える機器に対するユーザからの指示に対応した機能を実現する各種UIプログラムを記憶している不揮発性のメモリ等である。
 UI一覧記憶部203は、UI記憶部207に記憶されているUIプログラムの一覧を示す情報であるUI一覧を記憶している不揮発性のメモリ等である。
 UI一覧取得部202は、リモート機器120から、リモート機器120が保持するUIプログラムの一覧(UI一覧)を取得する。参加するリモート機器120が複数あれば、全ての機器からUIプログラムの一覧(UI一覧)を取得してもよい。その後、取得したUI一覧をUI一覧記憶部203に記憶する。
 要求受付部204は、ユーザ210からUIを利用したいという要求等の指示を受け付ける操作ボタン等である。
 UI選択部205は、UI一覧記憶部203に記憶されているUI一覧の中から、ユーザ210が利用したい最適なUIプログラムを選択する。
 UI取得部206は、最適なUIプログラムを取得する。具体的には、このUI取得部206は、UI選択部205が選択した最適なUIプログラムがUI記憶部207に記憶されているか否かを判断し、UI記憶部207に記憶されていると判断した場合に、UI記憶部207から、そのUIプログラムを読み出し、一方、UI選択部205が選択したUIプログラムがUI記憶部207に記憶されていないと判断した場合に、リモート機器120から家庭内ネットワーク100を介して当該UIプログラムを取得し、UI記憶部207に、取得してきたUIプログラムを記憶する。
 表示部208は、UIプログラムを実行する仮想マシン等の実行エンジンとLCDディスプレイ等の表示画面を有し、UI取得部206が取得したUIプログラムを実行することで、ユーザ210に対して、UI(UIプログラムの実行に基づく情報)を画面に表示する。
 なお、通知受付部201、UI一覧取得部202、要求受付部204、UI選択部205、UI取得部206、表示部208等の各処理部は、CPU、ROM、RAM等のメモリ、通信インタフェース等のハードウェアを備えるコンピュータ環境において実行されるプログラムによって実現されてもよいし、専用の電子回路等のハードウェアによって実現されてもよい。他の実施の形態についても同様である。
 図3は、リモート機器120が家庭内ネットワーク100に参加してから、UI一覧が記憶されるまでの処理のフローである。
 処理が開始され(S300)、リモート機器120が外部ネットワーク110を通じて、または直接、家庭内ネットワーク100に参加した場合に、通知受付部201は、リモート機器120から参加通知を受け付ける(S301)。この通知を受けた通知受付部201は、UI一覧取得部202にUI一覧を取得するように指示する。UI一覧取得部202は、通知受付部201から指示があった場合に、リモート機器120からUI一覧を取得する(S302)。その後、取得したUI一覧をUI一覧記憶部203に記憶して(S303)、処理を終了する(S304)。
 ここで、具体的な処理例のフローを図3、図5、図6を用いて示す。なお、この説明では、自機器101を機器Aとし、リモート機器120を機器Bとしている。また、機器Aは、図5(a)の行501に対応するUIプログラムと行502に対応するUIプログラムを持っており、図5(a)に示される機器AのUI一覧500がUI一覧記憶部203に記憶されているものとする。また、機器Bは、図5(b)の行503、行504、行505に対応するUIプログラムを持っており、図5(b)に示される機器BのUI一覧510を持っているものとする。
 図5(a)及び(b)に示す「機器名」は、機器の名前が格納される。今回は、自機器101が機器Aで、リモート機器120が機器Bとしているので、“機器A”と“機器B”とが記載されている。「カテゴリ」は、機器がどのようなカテゴリに属するものかを示す。機器Aは“レコーダ”で、機器Bは“携帯電話”である。「機能」は、それぞれの機器が利用できるUIの機能を示す。機器Aは写真表示機能と、文字編集機能を有し、機器Bは写真表示機能と文字編集機能、通話表示機能を有している。「アドレス」は、該当する機能(UIプログラム)にアクセスするための情報(UIプログラムの置き場所)を示す。機器Aの写真表示機能にアクセスしたい場合は、http://A/photoUI.htmlにアクセスすればよいことになる。「バージョン」は、該当する機能を持つUIプログラムのバージョンを示す。機器Aの写真表示機能を持つUIプログラムのバージョンは00001となっている。「ユーザビリティ」は、使いやすさを示す。機器Aの写真表示機能を持つUIプログラムのユーザビリティはAであり、使いやすいことを示している。なお、これらの項目は、予めUI一覧内に含まれていてもよいし、ユーザ210によって設定ができるようにしておいてもよい。
 機器Bが外部ネットワーク110を通じて、または直接、家庭内ネットワーク100に参加した場合に、機器Aは、機器Bから参加通知を受け付ける(S301)。参加通知を受けた機器Aは、機器Bから、機器BのUI一覧を取得する(S302)。そして、取得したUI一覧を記憶することで、自分が保持していたUI一覧と、いま取得したUI一覧とをマージする(S303)。機器Aが記憶している、マージ後のUI一覧の一例が図6である。機器Aが記憶しているUI一覧600は、図5(a)の機器AのUI一覧500と図5(b)の機器BのUI一覧510を合わせた形になっているが、機器Aが機器BからUI一覧を取得した場合に、必要な項目だけで構成するように編集しても良い。
 図4は、ユーザ210からUIを利用したい旨の要求があってから、UI(UIプログラムの実行に基づく情報)が表示されるまでの処理のフローである。処理が開始され(S400)、要求受付部204が、ユーザ210からUIを利用したい旨のUI要求を受け付けると(S401)、要求受付部204は、UI選択部205に最適なUIプログラムを選択するよう指示をする。UI選択部205は、要求受付部204からの指示を受けると、UI一覧記憶部203に記憶されているUI一覧の中から、ユーザ210が利用したい最適なUIプログラムを選択する(S402)。
 選択する場合の基準は、何でもよく、例えば、同じカテゴリであるリモート機器120を優先してもよいし、バージョンを優先してもよい。カテゴリを優先する場合は、カテゴリを元に検索を行い、バージョンを優先する場合は、バージョンを元に検索を行う。また、使いやすさを優先する場合は、ユーザビリティを元に検索を行う。また、UI一覧記憶部203に記憶されているUI一覧には、UIプログラムが保持する機能に関する情報が入っていて、これを元に選択してもよい。また、最適なUIプログラムはUI一覧に存在する情報を組み合わせて決定されてもよい。検索した結果は複数あってもよく、複数の中からユーザ210がどのUIを利用するか選択できてもよい。つまり、UI一覧を構成する「カテゴリ」、「バージョン」、「ユーザビリティ」の少なくとも一つが、複数個のUIプログラムの中から最適なUIプログラムを選択するための優先度として利用される。
 なお、自機器101のUIプログラムとリモート機器120のUIプログラムとが同時に使えない場合は、その旨を自機器101に通知し、自機器101が記憶しているUI一覧に反映させてもよい。この場合、自機器101が、同時に使えないUIプログラムを最適なUIプログラムとして選択したときは、その次に最適なUIプログラムを順次、検索していくようにしてもよい。
 さらに、最適なUIプログラムを選択した場合であっても、そのUI(UIプログラムの実行に基づく情報)を表示するために必要となるソフトウェアやハードウェアで実現される表示機能が存在しない場合や、操作するための操作機能が存在しない場合は、次に最適なUIプログラムを順次、検索していくようにしてもよい。ハードウェアで実現される表示機能が存在しない場合は、ソフトウェアで表示機能を代用することができれば、最適なUIプログラムとして選択してもよい。また、最適なUIプログラムを検索するための指標として、UIプログラムの利用頻度、画面のサイズやコンテンツサイズ、画面遷移元との整合性を示す情報(バージョンやテーマ)などを利用してもよい。そして、最適なUIプログラムを選択したら、最適なUIプログラムが存在しているアドレスをUI取得部206に通知する。
 その後、UI選択部205は、選択したUIプログラムのアドレスをUI取得部206に通知する。そして、UI取得部206は、UI選択部205から通知を受けると、UI選択部205から受け取ったアドレスを用いて、UI選択部205が選択したUIプログラムがUI記憶部207に存在するか否かを確認する(S403)。UI記憶部207に該当するUIプログラムが存在すれば(S403:Yes)、UI記憶部207からUIプログラムを取得する(S404)。一方、UI記憶部207に最適なUIプログラムが存在しなければ(S403:No)、UI選択部205から受け取ったアドレスを元に、リモート機器120から該当するUIプログラムを取得し(S405)、取得したUIプログラムをUI記憶部207に記憶する(S406)。その後、UI取得部206は、表示部208に取得したUI(UIプログラムの実行に基づく情報)を表示するよう指示をし、指示を受けた表示部208は、UI取得部206が取得したUI(UIプログラムの実行に基づく情報)を画面に表示し(S407)、処理が終了する(S408)。なお、UI記憶部207には、UIプログラムではなく、リモート機器120から取得したUIプログラムのアドレスを記憶しておいてもよい。この場合は、再度、ユーザ210からUIの要求があった場合に、このアドレスを再利用してリモート機器120へアクセスし、UIプログラムを取得することができる。
 ここで、具体的な処理例のフローを図4、図6、図7を用いて示す。なお、この説明でも同様に、自機器101を機器Aとし、リモート機器120を機器Bとしている。さらに、機器Bは既に家庭内ネットワーク100に参加しており、図6の機器Aが記憶しているUI一覧600が既に機器AのUI一覧記憶部203に記憶されていて、未だユーザ210からUI要求がされていない状況を想定している。さらに、当然、機器Aは、図5(a)の行501に対応するUIプログラムと502に対応するUIプログラムをUI記憶部207に記憶している。
 この場合に、機器Aがユーザ210から写真表示機能というUIを利用したいというUI要求を受け付けたとする(S401)。この場合、機器Aは、図6の機器Aが記憶しているUI一覧600の中から、最適な写真表示機能を持つUIプログラムを選択する(S402)。
 ここでは、バージョンを優先する場合の具体的な例を説明する。機器Aは、機器Aが記憶しているUI一覧600の中から、写真表示機能を持つUIプログラムを検索する。写真表示機能に合致するのは、行601に対応するUIプログラムと行603に対応するUIプログラムである。次に、行601に対応するUIプログラムと行603に対応するUIプログラムに対してバージョンで検索を行う。今回は、行603に対応するUIプログラムの方が行601に対応するUIプログラムよりバージョンが高いので、最適なUIプログラムとして、行603に対応するUIプログラムを選択する。
 行603に対応するUIプログラムは、機器Bにあり、まだUI記憶部207に記憶されていないので(S403:No)、機器Bから行603に対応するUIプログラムを取得する(S405)。選択した行603に対応するUIプログラムを機器Bから取得する場合には、選択した行603に対応するUIプログラムのアドレス「http://B/photoUI.html」を用いて行う。なお、ここではHTTP(Hyper Text Transfer Protocol)を利用しているが、機器を特定できるアドレスであれば、プロトコルはHTTPに限らない。そして、取得した行603に対応するUIプログラムをUI記憶部207に記憶する(S406)。
 図7は、機器Aが機器BからUIプログラムを取得した後におけるUI記憶部207の一例を示す図であり、ここでは、機器Aが記憶しているUIプログラム710と、それらのUIプログラム710に関する情報700の一例を示している。機器Aが記憶しているUIプログラム710に関する情報700には、機器Aが元から持っている図5(a)の行501に対応するUIプログラム710a、行502に対応するUIプログラム710bに加えて、図5(b)に示される機器Bから取得した行503に対応するUIプログラム710cが追加されている。なお、今回の具体例ではバージョンを元に検索しているので、バージョン情報も記憶されているが、ユーザビリティ等その他の情報を追加してもよい。また、UI記憶部207には、UIプログラムとアドレスに関する情報のみを記憶していてもよいし、アドレスのみ記憶していてもよい。
 その後、機器Aは、取得した行603に対応するUI(UIプログラムの実行に基づく情報)を表示し(S407)、処理が終了する(S408)。
 本実施の形態によれば、データ管理サーバがなくても、機器同士が連携することによって、リモート機器から必要なUIプログラムが取得されて実行されるので、ユーザにとって最適なUIを提供することが可能となるという効果を奏する。
 (実施の形態2)
 次に、本発明の実施の形態2におけるUI制御装置について説明する。
 本発明の実施の形態2におけるUI制御装置800は、例えば、写真表示機能を有するUIプログラムをリモート機器120とやりとりする場合に、リモート機器120に存在する写真等のリソースをユーザ210が利用したい場合がある。また、そのリソースがUI(UIプログラムの実行に基づく情報)を表示するために利用されるものである場合に、ユーザ210がリモート機器120で表示されるUI(UIプログラムの実行に基づく情報)と同じような表示をしたいと思ったときには、このリソースを利用する必要がある。
 さらに、例えば、Internet Explorer(登録商標)に代表されるHTMLブラウザ等のUIプログラムをリモート機器120とやりとりする場合、通常だと、リモート機器120からUIプログラムを取得したときは、特別な指定がない限りは、リモート機器120に存在するリソースを用いて表示が行われることになる。
 上記のような場合に、リモート機器120が有するリソースを利用できるようにすれば、リモート機器120上でUIを操作したかのように動作させることも可能となる。
 したがって、本発明の実施の形態2におけるUI制御装置800は、リモート機器120が有するリソースを利用できるようにして、リモート機器120上でUIを操作したかのように動作させることを目的とする。
 ここで、リソースとは、なお、UIプログラムが実行された場合に必要となる画像データ、映像データ及び音声データの少なくとも一つであり、例えば、写真、ビデオ、音楽のようなAVコンテンツをいう。また、リソースは、AVコンテンツだけでなく、ユーザ210の操作履歴など、その機器にしか存在しないような情報であってもよい。
 以下、本発明の実施の形態2におけるUI制御装置800について、図面を参照しながら説明する。
 図8は、実施の形態2におけるUI制御装置800の構成を示す図である。このUI制御装置800は、上述したTV等の機器に備えられ、ユーザ・インタフェースの機能を実現する装置であって、通知受付部201、UI一覧取得部202、UI一覧記憶部203、要求受付部204、UI選択部205、UI取得部206、UI記憶部207、リソース優先度設定部801、リソース優先度記憶部802、UI解析部803、リソース取得部804、リソース記憶部805及び表示部806を備える。なお、本図には、リモート機器120及びユーザ210も併せて図示されている。
 実施の形態2において、実施の形態1と同様の部分については同一符号を付し、その詳細な説明は省略する。実施の形態2と実施の形態1との相違点は、リソース優先度設定部801、リソース優先度記憶部802、UI解析部803、リソース取得部804、リソース記憶部805、表示部806である。
 リソース優先度設定部801は、自機器101が保持するリソースか、リモート機器120が保持するリソースのどちらを優先して利用するかを設定(つまり、決定)する。なお、予めリソースの優先度は決めておいても良い。また、UIプログラムを取得したリモート機器120に存在するリソースを利用することを設定できてもよいし、UIプログラムを取得したリモート機器120に関係なく、その他の機器を含めて、その中から最適なリソースを利用することを設定できてもよい。
 リソース優先度記憶部802は、リソース優先度設定部801で設定した情報を記憶するメモリ等である。
 UI解析部803は、UI取得部206が取得したUIプログラムを解析し、必要なリソース情報を取得する。そして、リソース取得部804にリソースを取得するように指示する。その後、リソース取得部804から受け取ったリソースを用いて、UI(UIプログラムの実行に基づく情報)を再表示するように表示部806に指示する。
 リソース取得部804は、UI解析部803から受け取ったリソース情報と、リソース優先度記憶部802に記憶されているリソース優先度とを用いて、表示部806で表示させるリソースを取得する。
 リソース記憶部805は、リソースを記憶する。
 表示部806は、実施の形態1における表示部208の機能に加えて、リソース取得部804が取得したリソースを表示する機能を有する。
 図9は、リソース優先度が記憶されるまでの処理のフローである。
 処理が開始され(S900)、ユーザ210がリソース優先度設定部801に対してリソースの設定を行った場合、リソース優先度設定部801はリソース優先度の設定を行う(S901)。そして、リソース優先度設定部801は、ユーザ210が設定したリソース優先度をリソース優先度記憶部802に記憶して(S902)、処理を終了する(S903)。
 図10は、UI解析部803がUI取得部206からUIプログラムを取得してから、UI(UIプログラムの実行に基づく情報)が表示されるまでのフローである。
 処理が開始され(S1000)、UI解析部803が、UI取得部206からUIプログラムを取得すると(S1001)、取得したUIプログラムを解析する(S1002)。解析処理の詳細は後述する。そして、取得したUIプログラムを解析して、必要なリソースの情報を取得する(S1003)。例えば、リソースの情報から写真リソースを利用する必要があると判断した場合は、UI解析部803は、リソース取得部804に、その写真リソースの取得を要求する。UI解析部803から要求を受けたリソース取得部804は、リソース優先度記憶部802から、自機器101とリモート機器120のどちらのリソースを優先して取得するかを示す設定情報を取得する(S1003)。リソース取得部804は、取得した設定情報を用いて、自機器101が保持するリソースか、リモート機器120が保持するリソースのどちらを優先して利用するかを確認する(S1005)。そして、自機器101のリソースを優先して利用する場合(S1005:No)は、リソース取得部804は、リソース記憶部805からリソースを取得する(S1006)。リモート機器120のリソースを優先する場合(S1005:Yes)、リソース記憶部805に該当するリソースと同じ名前のリソースがあるか否かを確認する(S1007)。リソース記憶部805に該当するリソースと同じ名前のリソースがない場合(S1007:No)、UIプログラムを取得したリモート機器120から該当するリソースを取得し(S1008)、リソース記憶部805に記憶する(S1009)。リソース記憶部805に該当するリソースと同じ名前のリソースがある場合(S1007:Yes)、UIプログラムを取得したリモート機器120からリソースを取得する(S1010)。その後、取得したUIプログラムとリソースを用いてUI(UIプログラムの実行に基づく情報)を表示し(S1011)、処理が終了する(S1012)。
 図11は、取得したUIプログラム1100の一例を示している。ステートメント1103は、UIプログラム1100全てが読み込まれた際に呼び出されるfunction loadBodyという関数を示す。ステートメント1104は写真を表示するためのHTML要素を示す。ステートメント1101は、呼び出されるfunction loadBodyという関数の内容を示す。ステートメント1102は、その関数の中身であり、“photo1”というIDの付いたHTML要素1104に対して、“A.jpg”という写真を表示させるための処理を定義している。
 図12は、機器Aが保持する画像リソース1201をUI表示した画面表示例1200(図12(a))と、機器Bが保持する画像リソース1211をUI表示した画面表示例1210(図12(b))を示している。
 ここで、リモート機器120から図11に示すUIプログラムを取得した場合であって、既にリソース記憶部805に同じ名前のリソースがある場合を説明する。なお、自機器101を機器Aとし、リモート機器120を機器Bとしている。この場合、UI解析部803は、UI取得部206からUIプログラムを取得し(S1001)、取得したUIプログラムを解析する(S1002)。そして、必要なリソースが“A.jpg”であることを示すリソース情報を取得し(S1003)、設定情報を取得する(S1004)。さらに、リソース優先度記憶部802に記憶されている設定情報が、図13に示されるように、自機器101のリソースを優先するように設定されている場合は(S1005:No)、リソース取得部804は、リソース記憶部805から“A.jpg”を取得し(S1006)、表示部806は、図13(a)に示される画面表示例1200のように、機器Aの“A.jpg”を用いたUI表示する(S1011)。リソース優先度記憶部802に記憶されている設定情報がリモート機器120のリソースを優先するよう設定されている場合には(S1005:Yes)、今回、リソース記憶部805に該当するリソースと同じ名前のリソースがある状況を想定しているので(S1007:Yes)、リソース取得部804は、リモート機器120から“A.jpg”を取得し(S1010)、表示部806は、図13(b)に示される画面表示例1210のように、機器Bの“A.jpg”を用いたUI表示する(S1011)。
 このように、本願発明によれば、リソース優先度の設定によって、リモート機器120が有するリソースを利用できるようになるので、リモート機器120上でUIを操作したかのように動作させることが可能となる。例えば、Internet Explorer(登録商標)に代表されるHTMLブラウザ等のUIプログラムをリモート機器120とやりとりする場合、通常だと、リモート機器120からUIプログラムを取得したときは、特別な指定がない限りは、リモート機器120に存在するリソースを用いて表示が行われることになるが、本実施の形態では、リモート機器120が有するリソースを利用できるようになるので、リモート機器120上でUIを操作したかのように動作させることが可能となる。
 (実施の形態3)
 次に、本発明の実施の形態3におけるUI制御装置について説明する。
 本発明の実施の形態3におけるUI制御装置1300は、リモート機器120のUIの方が自機器101のUIと比較して利便性が良い場合には、利便性の高いリモート機器120のUIを利用できるようにしたものである。以下、本発明の実施の形態3におけるUI制御装置1300について、図面を参照しながら説明する。
 図14は、実施の形態3におけるUI制御装置1300の構成を示す図である。このUI制御装置1300は、上述したTV等の機器に備えられ、ユーザ・インタフェースの機能を実現する装置であって、通知受付部201、UI一覧取得部202、UI一覧記憶部203、要求受付部204、UI選択部205、UI取得部206a、UI記憶部207、一時記憶部1302及び表示部208を備える。なお、本図には、リモート機器120及びユーザ210も併せて図示されている。
 実施の形態3において、実施の形態1と同様の部分については同一符号を付し、その詳細な説明は省略する。実施の形態3と実施の形態1との相違点は、UI取得部206aが実施の形態1におけるUI取得部206の機能に加えてUI委譲部1301を有する点と、一時記憶部1302である。
 UI委譲部1301は、UIの委譲処理を行う。具体的には、このUI委譲部1301は、UI選択部205が選択したUIプログラムがUI記憶部207に記憶されていないとUI取得部206aが判断した場合に、当該UIプログラムの実行をリモート機器に委譲する。
 一時記憶部1302は、UI委譲部1301が要求受付部204からUI選択部205を介して受け取った入力結果を一時的に記憶しておくメモリ等である。
 図15は、UI選択部205から最適なUIプログラムの通知を受けてから、UI(UIプログラムの実行に基づく情報)が表示されるまでのフローである。処理が開始され(S1400)、UI取得部206aがUI選択部205から最適なUIプログラムの通知を受けると(S1401)、UI記憶部207にUI選択部205が選択したUIプログラムが記憶されているか否かを確認する(S1402)。そして、UI記憶部207にUI選択部205が選択したUIプログラムが記憶されていれば(S1402:Yes)、そのUIプログラムをUI記憶部207から取得する(S1403)。一方、UI記憶部207にUI選択部205が選択したUIプログラムが記憶されていなければ(S1402:No)、UI委譲部1301は、リモート機器120が保持するUIプログラムをリモート機器120上で起動させる(S1404)。そして、UI委譲部1301は、ユーザ210が要求受付部204で入力した結果を受け取ると(S1405)、その入力結果を一時記憶部1302に記憶しておく。そして、あるタイミングで、一時記憶部1302に記憶されている入力結果をリモート機器120に通知する(S1406)。このタイミングはユーザ210が設定できるようにしてもよいし、予めUI制御装置1300が決めておいてもよい。また、UIプログラムが文字編集UIである場合には、このタイミングは、入力した文字を変換するときでもよいし、一文字毎に変換したときでもよい。そして、UI委譲部1301は、リモート機器120が処理した処理結果を受け取る(S1407)。その後、UI委譲部1301は表示部208に表示するように指示し、指示を受け取った表示部208はUI表示(S1408)し、処理が終了する(S1409)。
 例えば、ユーザ210から要求受付部204に対して文字編集UIを利用したいという要求が発生したとする。この場合、要求受付部204は、UI選択部205に対して、ユーザ210にとって最適な文字編集UIプログラムを選択するよう指示する。ここで、指示を受けたUI選択部205は、アドレス「http://B/fepUI.html」に相当する文字編集UIプログラムを選択したとする。この場合、UI取得部206aは、UI選択部205から指示を受けると、UI記憶部207を参照し、アドレス「http://B/fepUI.html」に相当する文字編集UIプログラムが記憶されているか否かを確認する。記憶されていればそのUI(UIプログラムの実行に基づく情報)を表示するように表示部208に指示するが、記憶されていなければ、UI委譲部1301は、リモート機器120に対して、アドレス「http://B/fepUI.html」に相当する文字編集UIプログラムの起動を依頼する。その後、ユーザ210が要求受付部204で文字を入力した場合には、その入力結果がリモート機器120の文字編集UIプログラムに反映される。いつリモート機器120の文字編集UIプログラムに反映させるかを示すタイミングは、一文字毎でもよいし、ユーザ210が文字を変換したときでもよい。リモート機器120の文字編集UIプログラムへの文字入力を完了させた場合、リモート機器120の文字編集UIプログラムで処理された結果は、UI委譲部1301へ通知される。UI委譲部1301は、その処理結果を表示部208に通知し、通知を受けた表示部208はUI表示をする。
 このように、本願発明によれば、ユーザ210はリモート機器120の文字編集UIを利用することができるので、UIプログラムをダウンロードするのが面倒だと感じる場合やUIプログラムをダウンロードする記憶領域が不足している場合等でも、ユーザ210にとって最適なUIプログラムを用いて動作させることが可能となる。
 なお、ユーザ210が直接、リモート機器120の文字編集UIプログラムを起動できるようにしてもよい。また、UI委譲部1301は、委譲したUIプログラムの利用が中断(他の操作を実行、ネットワーク切断、電池切れなど)したことを検知でき、それをユーザ210に通知できるようにしてもよい。
 図16を用いて、UI委譲をする場合の操作画面の例を具体的に説明する。図16のTV1500は、プレイヤ1501と接続されており、プレイヤ1501の表示に関する出力を表示する。プレイヤ1501は、自機器の一例であり、BDやDVD、CDといったメディアを再生する機器である。携帯電話1502は、リモート機器の一例であり、プレイヤ1501と同じ家庭内ネットワーク100上に存在する。プレイヤ操作画面1510は、プレイヤ1501における文字編集時の操作画面を示す。携帯電話操作画面1511は、携帯電話1502における文字編集時の操作画面を示す。文字編集画面1512は、ユーザ210から、プレイヤ1501に対して、タイトル編集などの文字入力要求が発生した場合(操作手順1)の画面である。ここでは、本来であれば、プレイヤ1501に対して行うべき文字編集の操作が、携帯電話1502で行われている例が示されている。
 UI委譲部1301経由で、携帯電話1502上の文字編集画面の起動(文字編集画面1513)を行う場合(操作手順2)、文字編集画面1512の画面上には、UI委譲部1301がどの機器へ画面を委譲したのかが示されてもよい。文字編集画面1514では、携帯電話1502の文字編集のUIプログラムを利用して、ユーザ210が文字を入力する。ユーザ210の文字編集の入力が完了した場合(操作手順3)は、UI委譲部1301に文字入力の結果を返す。プレイヤ1501は、携帯電話1502で入力された文字入力結果をプレイヤ1501の結果として反映する(文字編集画面1515)。その際、画面への反映だけでなく、プレイヤ1501が保持する文字入力辞書データベースへ、今回の結果が反映されてもよい。
 なお、図16では、文字入力の例で説明したが、この場合に限らない。あるDVDレコーダで、映像を録画し、録画した結果をDVDプレイヤへ送りつけ、DVDプレイヤに録画した結果を保存できてもよい。
 このように、本願発明によれば、リモート機器120のUIの方が自機器101のUIと比較して利便性が良い場合であっても、ユーザ210は利便性の高いリモート機器120のUIが利用できるため、UIプログラムをダウンロードするのが面倒だと感じる場合やUIプログラムをダウンロードする記憶領域が不足している場合等でも、ユーザ210にとって最適なUIプログラムを用いて動作させることが可能となる。
 (実施の形態4)
 次に、本発明の実施の形態4におけるUI制御装置について説明する。
 以下、本発明の実施の形態4におけるUI制御装置1600について、図面を参照しながら説明する。本実施の形態4は、実施の形態3におけるUIプログラムを「機能」に置き換えたものに相当する。ここで、「機能」とは、UI制御装置が備えられる機器が備える機能をいい、具体的には、UIプログラムだけでなく、機器の機能を発揮するためのプログラム及びデータである。
 図17は、実施の形態4におけるUI制御装置1600の構成を示す図である。このUI制御装置1600は、上述したTV等の機器に備えられ、各種機能を実現する装置であって、通知受付部201、機能一覧取得部1601、機能一覧記憶部1602、要求受付部1603、機能アクセス検知部1604、機能選択部1605、機能結果取得部1606、機能記憶部1607及び表示部1608を備える。なお、本図には、リモート機器120及びユーザ210も併せて図示されている。
 実施の形態4において、実施の形態1と同様の部分については同一符号を付し、その詳細な説明は省略する。実施の形態4と実施の形態1との相違点は、機能一覧取得部1601、機能一覧記憶部1602、要求受付部1603、機能アクセス検知部1604、機能選択部1605、機能結果取得部1606、機能記憶部1607、表示部1608である。
 なお、実施の形態4においての機能とは、DVDレコーダにおける番組予約機能、動画解析機能、文字編集機能などのリモート機器120を制御するための機能や、ハードウェアへのアクセスによる機能などをいう。
 図17の機能一覧取得部1601は、リモート機器120から機能の一覧を取得する。参加するリモート機器120が複数あれば、全ての機器から機能の一覧を取得してもよい。その後、取得した機能一覧を機能一覧記憶部1602に記憶する。機能一覧記憶部1602は、機能の一覧とその機能が存在しているアドレスを記憶している。要求受付部1603は、ユーザ210からUIの要求を受け付けると、機能アクセス検知部1604に処理をするように通知する。通知を受けた機能アクセス検知部1604は、ユーザ210が要求したUIが、自機器101またはリモート機器120が保持する機能にアクセスしたか否かを検知する。機能アクセス検知部1604は、UIが機能にアクセスしたことを検知したら、機能選択部1605に処理をするように通知する。
 例えば、ユーザ210から要求受付部1603に対して、AというUIを利用したいという要求が発生したとする。この場合には、機能アクセス検知部1604は、AというUIが、自機器101やリモート機器120が保持する機能へアクセスしたことを検知した場合には、機能選択部1605に対して、ユーザ210にとって最適な機能の選択をするように通知することになる。
 通知を受けた機能選択部1605は、機能一覧記憶部1602に記憶されている機能一覧の中から、ユーザ210が利用したい最適な機能を有する機器のアドレスを選択する。このアドレスは、HTTP(Hyper Text Transfer Protocol)でもよいし、機器を特定できるアドレスであれば、プロトコルはHTTPに限らない。
 その後、そのアドレスを機能結果取得部1606に通知する。通知を受けた機能結果取得部1606は、機能選択部1605から通知されたアドレスをもとに、機能記憶部1607に、機能選択部1605が選択した機能があるか否かを確認する。機能選択部1605が選択した機能が機能記憶部1607にあれば、その機能を実行した結果を取得する。機能選択部1605が選択した機能が機能記憶部1607になければ、リモート機器120にその機能を実行させ、その実行結果をリモート機器120から取得する。その後、表示部1608に表示するよう通知をする。通知を受けた表示部1608は、実行結果を表示する。
 なお、自機器101が保持する機能かリモート機器120が保持する機能のどちらを優先して利用するかを示した機能の優先度を用いてもよい。ここでいうリモート機器120とは、UIを取得したリモート機器120であってもよいし、UIを取得したリモート機器120に関係なく、最適な機能を持つ機器であってもよい。そして、この機能の優先度は、予め決めておいても良いし、ユーザ210が設定できるようにしてもよい。
 このような場合に、機能結果取得部1606は、機能選択部1605が選択した機能のアドレスを受け取ると、機能の優先度を用いて、どちらの機器から機能の結果を取得するかを確認する。自機器101の方が高ければ、機能記憶部1607から機能を取得し、その実行結果を取得する。また、リモート機器120の方が高ければ、リモート機器120にその機能を実行させ、その実行結果をリモート機器120から取得することになる。
 本実施の形態によれば、データ管理サーバがなくても、機器同士が連携することによって、リモート機器から必要な機能が取得されて実行されるので、ユーザにとって最適な機能を提供することが可能となるという効果を奏する。
 なお、本実施の形態4は、実施の形態3におけるUIプログラムを「機能」に置き換えたものに相当したが、本発明は、これに限定されず、実施の形態1及び2おけるUIプログラムを「機能」に置き換えたものとして実現してもよい。
 以上、本発明に係るUI制御装置について、実施の形態1~4に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の主旨を逸脱しない範囲で各実施の形態における構成要素を任意に組み合わせて実現される形態や、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態も、本発明に含まれる。
 また、本発明は、上記実施の形態1~4におけるUI制御装置として実現されるだけでなく、UI制御方法として実現してもよいし、UI制御プログラムやUI制御プログラムを記録した記録媒体として実現してもよい。
 さらに、単一の半導体基板に作り込んだLSI(Large Scale Integrated circuit)等の集積回路として構成されてもよい。そのときに、1チップの集積回路として実現する構成要素としては、各実施の形態における全ての構成要素であってもよいし、その一部であってもよいし、このUI制御装置が備えられる機器の構成要素も含まれてもよい。たとえば、実施の形態1であれば、通知受付部201、UI一覧取得部202、UI一覧記憶部203、要求受付部204、UI選択部205、UI取得部206、UI記憶部207、及び、表示部208のうちディスプレイを除く部分を1チップの集積回路として実現してもよい。
 本発明のUI制御装置、UI制御方法、UI制御方法を用いたコンピュータプログラム及びそのコンピュータプログラムを記録した記録媒体、UI制御集積回路は、データ管理サーバがなくても、機器同士が連携することによって、ユーザにとって最適なUIを提供できるという効果を有し、TV、レコーダ、プレイヤ、携帯電話、固定電話、プリンター、FAX、PDA、PC、デジタルカメラ、冷蔵庫、電子レンジ、洗濯機などの機器に用いられるものとして有用である。

Claims (15)

  1.  機器に備えられ、ユーザ・インタフェースの機能を実現するユーザ・インタフェース制御装置であって、
     前記機器に対するユーザからの指示に対応した機能を実現するためのプログラムであるUIプログラムを記憶しているUI記憶部と、
     前記UI記憶部に記憶されているUIプログラムの一覧を示す情報であるUI一覧を記憶しているUI一覧記憶部と、
     前記機器と通信路で接続されたリモート機器から、当該リモート機器が記憶しているUIプログラムの一覧を取得し、前記UI一覧記憶部に記憶されているUI一覧に追加して登録するUI一覧取得部と、
     ユーザから、ユーザ・インタフェースを利用したい旨の要求を受け付ける要求受付部と、
     前記UI一覧記憶部に記憶されているUI一覧を参照することにより、前記要求受付部が受け付けたユーザ・インタフェースに対応するUIプログラムを、前記UI一覧に登録されたUIプログラムの中から選択するUI選択部と、
     前記UI選択部が選択したUIプログラムが前記UI記憶部に記憶されているか否かを判断し、前記UI記憶部に記憶されていると判断した場合に、前記UI記憶部から前記UIプログラムを読み出して取得するUI取得部と、
     前記UI取得部で取得されたUIプログラムを実行することで、前記ユーザに情報を提示する表示部と
     を備えるユーザ・インタフェース制御装置。
  2.  前記UI取得部は、前記UI選択部が選択したUIプログラムが前記UI記憶部に記憶されていないと判断した場合に、前記リモート機器から前記通信路を介して当該UIプログラムを取得し、
     前記表示部は、前記UI取得部が前記リモート機器から取得したUIプログラムを実行する
     請求項1記載のユーザ・インタフェース制御装置。
  3.  さらに、前記リモート機器が前記通信路に接続された旨の通知を受け取る通知受付部を備え、
     前記UI一覧取得部は、前記通知受付部が前記通知を受け付けた場合に、前記リモート機器から、当該リモート機器が記憶しているUIプログラムの一覧を取得する
     請求項1記載のユーザ・インタフェース制御装置。
  4.  前記UI一覧では、当該UI一覧が示すUIプログラムごとに、当該UIプログラムによって実現される機能が対応づけられ、
     前記UI選択部は、前記UI一覧に、前記要求受付部が受け付けたユーザ・インタフェースの機能を実現するUIプログラムが複数個登録されている場合には、前記複数個のUIプログラムの中から、最適なUIプログラムを選択する
     請求項1記載のユーザ・インタフェース制御装置。
  5.  前記UI一覧では、当該UI一覧が示すUIプログラムごとに、当該UIプログラムの選択に関する優先度が対応づけられ、
     前記UI選択部は、前記UI一覧における前記優先度を参照することで、前記複数個のUIプログラムの中から、最適なUIプログラムを選択する
     請求項4記載のユーザ・インタフェース制御装置。
  6.  前記UI一覧では、当該UI一覧が示すUIプログラムごとに、当該UIプログラムの置き場所を示すアドレスが対応づけられ、
     前記UI取得部は、前記UI一覧における前記アドレスを参照することで、前記UI選択部が選択したUIプログラムに対応づけられた前記アドレスが示す置き場所から、前記UIプログラムを取得する
     請求項1記載のユーザ・インタフェース制御装置。
  7.  さらに、
     前記UI取得部で取得されたUIプログラムを解析することで、当該UIプログラムが実行された場合に必要となる画像データ、映像データ及び音声データの少なくとも一つであるリソースを特定するリソース解析部と、
     前記リソース解析部で特定されたリソースを、前記機器又は前記リモート機器から取得するリソース取得部とを備え、
     前記表示部は、前記UIプログラムを実行したときに、前記リソース取得部で取得されたリソースを提示する
     請求項1記載のユーザ・インタフェース制御装置。
  8.  さらに、
     前記UI記憶部に記憶されているUIプログラムで必要とされるリソースを記憶しているリソース記憶部と、
     リソースの取得先として、前記機器及び前記リモート機器のいずれを優先するかを示す情報である優先度を記憶しているリソース優先度記憶部とを備え、
     前記リソース取得部は、前記リソース優先度記憶部に記憶されている優先度に従って、前記機器又は前記リモート機器から前記リソースを取得する
     請求項7記載のユーザ・インタフェース制御装置。
  9.  前記UI取得部は、前記UI選択部が選択したUIプログラムが前記UI記憶部に記憶されていないと判断した場合に、当該UIプログラムの実行を前記リモート機器に委譲するUI委譲部を有する
     請求項1記載のユーザ・インタフェース制御装置。
  10.  前記UI委譲部は、委譲した前記UIプログラムによる処理結果を前記リモート機器から受け取り、
     前記表示部は、前記UI委譲部が受け取った前記処理結果を提示する
     請求項9記載のユーザ・インタフェース制御装置。
  11.  前記UIプログラムは、仮想マシンで実行されるプログラム、又は、スクリプト言語で記述されたプログラムであり、
     前記機器及び前記リモート機器は、前記仮想マシン、又は、前記スクリプト言語用のインタプリタを備える
     請求項1記載のユーザ・インタフェース制御装置。
  12.  通信路で接続された複数の電子機器から構成される通信システムであって、
     前記複数の電子機器のそれぞれは、請求項1記載のユーザ・インタフェース制御装置を備える
     ことを特徴とする通信システム。
  13.  機器に備えられ、前記機器に対するユーザからの指示に対応した機能を実現するためのプログラムであるUIプログラムを記憶しているUI記憶部と、前記UI記憶部に記憶されているUIプログラムの一覧を示す情報であるUI一覧を記憶しているUI一覧記憶部とを有するユーザ・インタフェース制御装置によるユーザ・インタフェース制御方法であって、
     前記機器と通信路で接続されたリモート機器から、当該リモート機器が記憶しているUIプログラムの一覧を取得し、前記UI一覧記憶部に記憶されているUI一覧に追加して登録するUI一覧取得ステップと、
     ユーザから、ユーザ・インタフェースを利用したい旨の要求を受け付ける要求受付ステップと、
     前記UI一覧記憶部に記憶されているUI一覧を参照することにより、前記要求受付ステップが受け付けたユーザ・インタフェースに対応するUIプログラムを、前記UI一覧に登録されたUIプログラムの中から選択するUI選択ステップと、
     前記UI選択ステップで選択したUIプログラムが前記UI記憶部に記憶されているか否かを判断し、前記UI記憶部に記憶されていると判断した場合に、前記UI記憶部から前記UIプログラムを読み出して取得するUI取得ステップと、
     前記UI取得ステップで取得されたUIプログラムを実行することで、前記ユーザに情報を提示する表示ステップと
     を含むユーザ・インタフェース制御方法。
  14.  請求項2記載のユーザ・インタフェース制御装置のためのプログラムであって、
     請求項13記載のステップをコンピュータに実行させるプログラム。
  15.  機器に備えられ、ユーザ・インタフェースの機能を実現するユーザ・インタフェース制御装置のための集積回路であって、
     前記機器に対するユーザからの指示に対応した機能を実現するためのプログラムであるUIプログラムを記憶しているUI記憶部と、
     前記UI記憶部に記憶されているUIプログラムの一覧を示す情報であるUI一覧を記憶しているUI一覧記憶部と、
     前記機器と通信路で接続されたリモート機器から、当該リモート機器が記憶しているUIプログラムの一覧を取得し、前記UI一覧記憶部に記憶されているUI一覧に追加して登録するUI一覧取得部と、
     ユーザから、ユーザ・インタフェースを利用したい旨の要求を受け付ける要求受付部と、
     前記UI一覧記憶部に記憶されているUI一覧を参照することにより、前記要求受付部が受け付けたユーザ・インタフェースに対応するUIプログラムを、前記UI一覧に登録されたUIプログラムの中から選択するUI選択部と、
     前記UI選択部が選択したUIプログラムが前記UI記憶部に記憶されているか否かを判断し、前記UI記憶部に記憶されていると判断した場合に、前記UI記憶部から前記UIプログラムを読み出して取得するUI取得部と、
     前記UI取得部で取得されたUIプログラムを実行することで、前記ユーザに情報を提示する表示部と
     を備える集積回路。
PCT/JP2009/000118 2008-01-15 2009-01-15 ユーザ・インタフェース制御装置 WO2009090872A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009549984A JP5179514B2 (ja) 2008-01-15 2009-01-15 ユーザ・インタフェース制御装置、その方法及び通信システム
US12/812,608 US8677246B2 (en) 2008-01-15 2009-01-15 User interface control apparatus, user interface control method, program, storage medium storing program, and integrated circuit

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-005335 2008-01-15
JP2008005335 2008-01-15

Publications (1)

Publication Number Publication Date
WO2009090872A1 true WO2009090872A1 (ja) 2009-07-23

Family

ID=40885264

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/000118 WO2009090872A1 (ja) 2008-01-15 2009-01-15 ユーザ・インタフェース制御装置

Country Status (3)

Country Link
US (1) US8677246B2 (ja)
JP (1) JP5179514B2 (ja)
WO (1) WO2009090872A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012017897A1 (ja) * 2010-08-05 2012-02-09 ソニー株式会社 制御装置、制御システム、及び制御方法
WO2014156316A1 (ja) * 2013-03-29 2014-10-02 ソニー株式会社 情報処理装置、情報処理方法、及び情報処理システム
WO2016000375A1 (zh) * 2014-07-04 2016-01-07 京东方科技集团股份有限公司 Osd主题文件获取、提供方法、装置及更新系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677330A (zh) * 2011-12-21 2020-01-10 英特尔公司 用于促进计算设备和非计算设备的基于代理用户界面的远程管理和控制的机制
WO2013128934A1 (ja) 2012-02-28 2013-09-06 パナソニック株式会社 制御情報表示装置、制御情報表示方法、および、制御情報表示システム
JP2015097356A (ja) * 2013-11-15 2015-05-21 キヤノン株式会社 通信システム、画像形成装置及びそれらの制御方法、並びにプログラム
CN109205589B (zh) * 2017-07-07 2022-04-01 天津大学 多孔肋骨状碳材料的制备方法
US11891750B2 (en) 2022-06-09 2024-02-06 Haier Us Appliance Solutions, Inc. Dryer appliance and methods for additive dispensing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001356976A (ja) * 2000-06-15 2001-12-26 Sharp Corp デジタル情報家電ネットワークにおけるユーザーインターフェース装置およびその制御方法、並びにその記録媒体
JP2003036180A (ja) * 2001-07-24 2003-02-07 Yamatake Sangyo Systems Co Ltd 通信方法及び通信システム
JP2004535625A (ja) * 2001-04-24 2004-11-25 トムソン ライセンシング ソシエテ アノニム バスシステムを介して接続されるネットワーク機器の制御方法
JP2006146404A (ja) * 2004-11-17 2006-06-08 Mitsubishi Electric Corp 映像表示装置、ネットワーク接続機器及び映像表示システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6850252B1 (en) * 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
DE69810131T2 (de) * 1997-06-25 2003-05-15 Samsung Electronics Co Ltd Browser-basiertes verbessertes internes netzwerk, befehl und kontrolle
FR2779595B1 (fr) * 1998-06-08 2000-07-21 Thomson Multimedia Sa Procede de gestion de priorites d'acces a des ressources dans un reseau domestique et appareil de mise en oeuvre
US6963784B1 (en) * 1998-10-16 2005-11-08 Sony Corporation Virtual device control modules and function control modules implemented in a home audio/video network
US6499062B1 (en) * 1998-12-17 2002-12-24 Koninklijke Philips Electronics N.V. Synchronizing property changes to enable multiple control options
KR20020027337A (ko) * 2000-04-04 2002-04-13 요트.게.아. 롤페즈 인터넷을 통한 홈 네트워크 액세스 시스템
DE10063390A1 (de) * 2000-12-19 2002-06-20 Bosch Gmbh Robert Verfahren zur Steuerung von Verbindungen in einem Kommunikationssystem hierzu
JP2002304333A (ja) * 2001-04-03 2002-10-18 Sony Corp 伝送方法及び伝送装置
JP2002366469A (ja) * 2001-06-06 2002-12-20 Hitachi Ltd ネットワーク装置、ネットワークシステム及びネットワーク装置のソフトウェア更新方法
EP1376937A1 (en) * 2002-06-28 2004-01-02 Deutsche Thomson-Brandt Gmbh Method for establishing a default connection in network, and associated source and sink devices
JP2004341880A (ja) * 2003-05-16 2004-12-02 Toshiba Corp ソフトウェア提供システム
DE602004011517T2 (de) * 2003-06-30 2009-02-05 Koninklijke Philips Electronics N.V. Einbetten einer upnp av mediaserverobjektidentifikation in einem uri
US7136709B2 (en) * 2003-11-04 2006-11-14 Universal Electronics Inc. Home appliance control system and methods in a networked environment
JP2008152343A (ja) * 2006-12-14 2008-07-03 Toshiba Corp 家電制御装置および家電制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001356976A (ja) * 2000-06-15 2001-12-26 Sharp Corp デジタル情報家電ネットワークにおけるユーザーインターフェース装置およびその制御方法、並びにその記録媒体
JP2004535625A (ja) * 2001-04-24 2004-11-25 トムソン ライセンシング ソシエテ アノニム バスシステムを介して接続されるネットワーク機器の制御方法
JP2003036180A (ja) * 2001-07-24 2003-02-07 Yamatake Sangyo Systems Co Ltd 通信方法及び通信システム
JP2006146404A (ja) * 2004-11-17 2006-06-08 Mitsubishi Electric Corp 映像表示装置、ネットワーク接続機器及び映像表示システム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012017897A1 (ja) * 2010-08-05 2012-02-09 ソニー株式会社 制御装置、制御システム、及び制御方法
JP2012038032A (ja) * 2010-08-05 2012-02-23 Sony Corp 制御装置、制御システム、及び制御方法
CN103180836A (zh) * 2010-08-05 2013-06-26 索尼公司 控制设备、控制系统和控制方法
EP2602720A4 (en) * 2010-08-05 2015-12-16 Sony Corp CONTROL DEVICE, CONTROL SYSTEM AND CONTROL METHOD
CN103180836B (zh) * 2010-08-05 2016-01-20 索尼公司 控制设备、控制系统和控制方法
WO2014156316A1 (ja) * 2013-03-29 2014-10-02 ソニー株式会社 情報処理装置、情報処理方法、及び情報処理システム
WO2016000375A1 (zh) * 2014-07-04 2016-01-07 京东方科技集团股份有限公司 Osd主题文件获取、提供方法、装置及更新系统

Also Published As

Publication number Publication date
JP5179514B2 (ja) 2013-04-10
US20100299610A1 (en) 2010-11-25
US8677246B2 (en) 2014-03-18
JPWO2009090872A1 (ja) 2011-05-26

Similar Documents

Publication Publication Date Title
JP5179514B2 (ja) ユーザ・インタフェース制御装置、その方法及び通信システム
US10750234B2 (en) User terminal device and content sharing method thereof
US9442687B2 (en) Method and apparatus for moving web object based on intent
US9298747B2 (en) Deployable, consistent, and extensible computing environment platform
US9003301B2 (en) Image management method and system using thumbnail in DLNA system
JP3635005B2 (ja) 電子番組ガイドを使用した個人的な優先視聴
KR100716995B1 (ko) 개인 컨텐츠 공유를 위한 인증 및 개인 컨텐츠 전송 방법과그에 적합한 디스플레이 장치와 서버
JP5932982B2 (ja) 複数の異なるファイル・ホストによるファイル・アクセス
CN113747376A (zh) 消息扩展应用程序商店
US20120159388A1 (en) System and method for in-context applications
KR20050072072A (ko) 계산 시스템에서 오디오/비디오 컨텐츠를 렌더링할 때대체 뷰를 제공하는 방법 및 시스템
KR20070012179A (ko) 온라인 서비스 스위칭 및 고객 주문화
US20090019364A1 (en) Method and apparatus for generating electronic content guide
US20120109952A1 (en) System, method, and computer program for remote management of digital content
US20120030237A1 (en) Communication system, communication terminal, server, data storing method and recording medium
US20140026067A1 (en) Method and apparatus for processing movement of web object based on intent
EP2146294A1 (en) Mthod and apparatus for managing media
US20070025197A1 (en) Information-processing apparatus, recording medium and information-processing method
US20060059202A1 (en) Image capture device
KR101638190B1 (ko) 사용자 입력 피드백을 이용한 디지털 미디어 서버의 콘텐츠 플립 리스트를 저장하는 장치 및 방법
JP2012521055A (ja) 全てのメディアコンテンツのための単一ライブラリ
JP5025119B2 (ja) 情報処理装置及びその制御方法及びプログラム
WO2011158804A1 (ja) 制御装置、コンテンツ処理システム、遠隔制御方法、制御プログラム、および、記録媒体
JP7163348B2 (ja) システム、情報処理端末、その制御方法及びプログラム、オペレーティングシステム。
JP6181468B2 (ja) 情報処理端末および情報処理システム

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09702379

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12812608

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2009549984

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09702379

Country of ref document: EP

Kind code of ref document: A1