WO2015194386A1 - 表示制御装置、表示制御方法及びコンピュータプログラム - Google Patents
表示制御装置、表示制御方法及びコンピュータプログラム Download PDFInfo
- Publication number
- WO2015194386A1 WO2015194386A1 PCT/JP2015/066267 JP2015066267W WO2015194386A1 WO 2015194386 A1 WO2015194386 A1 WO 2015194386A1 JP 2015066267 W JP2015066267 W JP 2015066267W WO 2015194386 A1 WO2015194386 A1 WO 2015194386A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- display
- item
- display control
- displayed
- additional
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Definitions
- the present disclosure relates to a display control device, a display control method, and a computer program.
- the first information related to the additional display item displayed in addition to the screen in response to the display item addition request, and the existing information displayed on the screen before the additional display item is displayed.
- a display form determining unit that determines the display form of the additional display item, and the screen based on the display form of the additional display item determined by the display form determining unit
- a display control device comprising: an issuing unit that issues display control information for controlling the display of the display.
- the first information related to the additional display item that is added and displayed on the screen in response to the display item addition request, and the screen is displayed on the screen before the additional display item is displayed.
- Display control information for controlling the display of the screen based on the determined display form of the additional display item and the display form of the additional display item determined based on the second information related to the existing display item A display control method is provided.
- the computer displays the first information related to the additional display item that is added and displayed on the screen in response to the display item addition request, and is displayed on the screen before the additional display item is displayed.
- the display form of the additional display item is determined based on the second information related to the displayed item being displayed, and the display of the screen is controlled based on the determined display form of the additional display item
- a computer program is provided for executing display control information.
- a new and improved display control apparatus and display capable of automatically optimizing and displaying objects having various forms A control method and a computer program can be provided.
- FIG. 3 is an explanatory diagram illustrating a configuration example of a display system 1 according to an embodiment of the present disclosure.
- FIG. 3 is an explanatory diagram illustrating a functional configuration example of a display control apparatus 100 according to an embodiment of the present disclosure.
- FIG. 4 is an explanatory diagram illustrating a functional configuration example of a control unit 130 included in the display control apparatus 100.
- FIG. 4 is an explanatory diagram showing an example of a layout pattern 200 used for displaying items on the display device 10.
- FIG. 4 is an explanatory diagram showing an example of a layout pattern 200 used for displaying items on the display device 10.
- FIG. 4 is an explanatory diagram showing an example of a layout pattern 200 used for displaying items on the display device 10.
- FIG. 4 is an explanatory diagram showing an example of a layout pattern 200 used for displaying items on the display device 10.
- FIG. 5 is a flowchart illustrating an operation example of the display control device 100 configuring the display system 1 according to an embodiment of the present disclosure. It is explanatory drawing which shows the state by which the item is applied to the layout pattern and displayed. It is explanatory drawing which shows the state by which the item is applied to the layout pattern and displayed. It is explanatory drawing which shows the example in case the display control apparatus 100 determines the display of an item in consideration of the priority of an item. It is explanatory drawing which illustrates the re-layout process of an old item. It is explanatory drawing which illustrates the re-layout process of an old item. It is explanatory drawing which illustrates a layout pattern. It is explanatory drawing which illustrates a layout pattern. It is explanatory drawing which illustrates a layout pattern.
- FIG. 20 is an explanatory diagram showing a pattern in which the two items shown in FIG. 19 are displayed on the display device 10 by the display control device 100. It is explanatory drawing which shows the variation of the change of the layout pattern accompanying the additional display of an item. It is explanatory drawing which shows the hardware structural example.
- FIG. 1 is an explanatory diagram illustrating a configuration example of a display system 1 according to an embodiment of the present disclosure.
- FIG. 1 is an explanatory diagram illustrating a configuration example of a display system 1 according to an embodiment of the present disclosure.
- FIG. 1 is an explanatory diagram illustrating a configuration example of a display system 1 according to an embodiment of the present disclosure.
- FIG. 1 is an explanatory diagram illustrating a configuration example of a display system 1 according to an embodiment of the present disclosure.
- FIG. 1 is an explanatory diagram illustrating a configuration example of a display system 1 according to an embodiment of the present disclosure.
- FIG. 1 is an explanatory diagram illustrating a configuration example of a display system 1 according to an embodiment of the present disclosure.
- FIG. 1 is an explanatory diagram illustrating a configuration example of a display system 1 according to an embodiment of the present disclosure.
- FIG. 1 is an explanatory diagram illustrating a configuration example of a display system 1 according to an embodiment of the present disclosure.
- the display system 1 includes a display device 10, an input device 20, a server device 30, and a display control device 100.
- the display system 1 according to an embodiment of the present disclosure is a system having a high degree of freedom in layout.
- the display system 1 according to an embodiment of the present disclosure is configured to be able to automatically optimize and display objects having various forms in a system with a high degree of layout freedom.
- the display device 10 is a device that displays characters, images, and other information under the control of the display control device 100.
- the display device 10 may display information by itself, or may display information by projecting an image on another object (for example, a wall surface, a desk, a human body, etc.).
- the display device 10 displays information such as a liquid crystal display, an organic EL display, a projector, a head mounted display (HMD), a wearable device, a display device used in a navigation system mounted on an automobile, a display device for surgery, and the like. It can be a device capable of displaying.
- the display device 10 When the display device 10 is a projector, the display device 10 is provided at a position where information is projected onto, for example, a wall surface of a room or a screen installed in the room.
- the display device 10 When the display device 10 is a wearable device, the display device 10 can be mounted on a user's head, arm, or the like, for example.
- each of characters, images, and other information displayed on the display device 10 under the control of the display control device 100 is referred to as an “item”.
- the item is an example of the object of the present disclosure, and the display position and the display form of each item are determined by the control of the display control device 100.
- the display form determined by the control of the display control device 100 the size of the item and the information amount of the item can be determined. An example in which the item size and the information amount of the item are determined by the control of the display control device 100 will be described in detail later.
- the input device 20 may be configured by a device capable of inputting all information and commands from the user, such as a touch panel, a keyboard, a mouse, a camera, a microphone, and a sensor. Information input by the input device 20 is sent to the display control device 100.
- the display control device 100 can control the display of the display device 10 based on information input by the input device 20.
- the server device 30 is a device that stores various information related to the display system 1 and provides it to the display control device 100 as necessary.
- the server device 30 is connected to the display control device 100 via the Internet or other network (not shown).
- the information stored in the server device 30 may include, for example, various types of information regarding the user who uses the display system 1 to be displayed on the display device 10. Examples of various information related to the user who uses the display system 1 include a schedule of the user and the user's family, an email and other messages transmitted to the user, a weather forecast of the user's residence and destination, and the like. May be included.
- the schedule may include not only the user's schedule but also an event schedule set by the user.
- the server device 30 can provide various services to the user who uses the display system 1. Examples of services provided by the server device 30 include a mail service and a social networking service (SNS).
- SNS social networking service
- server apparatus 30 may be one or plural.
- the display control device 100 is a device that controls display of information on the display device 10.
- the display control device 100 may be a general-purpose device such as a personal computer (PC), or may be a device specialized for controlling display of information on the display device 10.
- the display control apparatus 100 performs display control such that objects having various forms are automatically optimized and displayed on the display apparatus 10.
- the display control apparatus 100 may use information stored in the display control apparatus 100, and the information stored in the display control apparatus 100 may be used.
- information stored in the server apparatus 30 may be used instead of the information stored inside the display control apparatus 100. The configuration and detailed operation of the display control apparatus 100 will be described in detail later.
- the display control device 100 and the display device 10 may be directly connected by wire or may be connected wirelessly by a network.
- the display control device 100 may be configured as a server device connected to the Internet, for example.
- the display control apparatus 100 may be configured integrally with the server apparatus 30 illustrated in FIG. 1, and is configured as a separate body from the server apparatus 30 illustrated in FIG. 1. Also good.
- FIG. 2 is an explanatory diagram illustrating a functional configuration example of the display control apparatus 100 according to an embodiment of the present disclosure.
- a functional configuration example of the display control apparatus 100 according to an embodiment of the present disclosure will be described with reference to FIG.
- the display control apparatus 100 includes a communication unit 110, an input unit 120, a control unit 130, a storage unit 140, and an output unit 150. Composed.
- the communication unit 110 communicates information with other devices, for example, the server device 30 shown in FIG. 1 through the network.
- the communication unit 110 may perform information communication by wire or wirelessly.
- the communication unit 110 provides information received from another device to the control unit 130.
- the communication unit 110 transmits the information provided from the control unit 130 to another device to which the information is transmitted.
- the input unit 120 is an interface that accepts input of information and commands to the display control device 100.
- the input unit 120 may receive information and commands for the display control device 100 by wire or wirelessly.
- Information for the display control device 100 can be input from the input device 20, for example.
- Information for the display control apparatus 100 may include character information, image information, and audio information.
- the command with respect to the display control apparatus 100 may include a command for controlling display of information on the display device 10, for example.
- the control unit 130 controls the operation of the display control device 100.
- the control unit 130 may be configured as, for example, a CPU (Central Processing Unit) or other arithmetic unit.
- the operation of the display control device 100 controlled by the control unit 130 includes, for example, control of display of information (items) on the display device 10, control of transmission / reception of information via the communication unit 110 with other devices, For example, storage of information in the storage unit 140, reading of information from the storage unit 140, control of output of information via the output unit 150, and the like may be included.
- the control unit 130 detects a request to display an item on the display device 10, and based on the detection, an appropriate template for displaying the item on the display device 10 (in the present embodiment, the template). Is also referred to as “layout pattern”), and control for displaying the item on the display device 10 is executed using the template.
- the display control apparatus 100 according to an embodiment of the present disclosure has a configuration as illustrated in FIG. In the system, objects having various forms can be automatically optimized and displayed. A detailed functional configuration example of the control unit 130 will be described in detail later.
- the storage unit 140 stores various information.
- the storage unit 140 can be configured by various storage media such as ROM (Read Only Memory), RAM (Random Access Memory), HDD (Hard Disk Drive), SSD (Solid State Drive), and the like.
- the information stored in the storage unit 140 may include, for example, a layout pattern that is a basis for displaying information on the display device 10, a setting for displaying information on the display device 10, and the like.
- the storage unit 140 can store a computer program read by the control unit 130.
- the output unit 150 is an interface that outputs information and commands from the display control device 100.
- the output unit 150 may output information and instructions from the display control device 100 by wire or wirelessly.
- the output unit 150 outputs, for example, information (display control information) for controlling display on the display device 10 to the display device 10 as information output from the display control device 100.
- the display control information for controlling the display of the display device 10 includes, for example, information based on a video signal, information based on HTML (HyperText Markup Language) and other markup languages. Further, the display control information for controlling the display of the display device 10 may include information based on a video stream generated by the server device.
- the display control apparatus 100 can control the display of information on the display apparatus 10 by having the configuration illustrated in FIG.
- the display control apparatus 100 according to an embodiment of the present disclosure has a configuration as illustrated in FIG. 2 and automatically optimizes objects having various forms in a system having a high degree of freedom in layout. It is possible to display.
- control unit 130 included in the display control apparatus 100 Subsequently, a functional configuration example of the control unit 130 included in the display control apparatus 100 according to an embodiment of the present disclosure will be described.
- FIG. 3 is an explanatory diagram illustrating a functional configuration example of the control unit 130 included in the display control apparatus 100 according to an embodiment of the present disclosure.
- a functional configuration example of the control unit 130 included in the display control apparatus 100 according to an embodiment of the present disclosure will be described with reference to FIG.
- control unit 130 included in the display control apparatus 100 includes a detection unit 132, a model selection unit 134, and a display form determination unit 136. Is done.
- the detection unit 132 detects a request to display an item on the display device 10.
- a request for displaying an item on the display device 10 is also referred to as an “additional display request”.
- the item additional display request may occur in various forms. For example, an item addition display request may be generated at the timing when the display device 10 or the display control device 100 is turned on, or even if the user explicitly inputs an additional display request using the input device 20.
- an additional display request may be transmitted from the server device 30, and an additional display request is generated when a predetermined time, date, and day of the week are reached. May be.
- the input of the additional display request by the user may be performed by an input device such as a keyboard, a mouse, or a touch panel, or may be performed by a user's gesture or voice.
- the input device 20 may be provided with a camera for imaging a user's gesture.
- the detection part 132 may analyze the content of the user's gesture imaged with the camera with which the input device 20 was equipped, and may determine what additional display request
- the input device 20 may be provided with a microphone that collects the content of the user's utterance. And the detection part 132 may judge what kind of additional display request
- the process of analyzing the image and the process of analyzing the sound may be executed by a functional block different from the detection unit 132 in the display control apparatus 100, and a device different from the display control apparatus 100, for example, an input It may be performed in the device 20.
- the detection unit 132 acquires those analysis results and what kind of additional display is performed based on the analysis content. It may be determined whether the request is input from the user.
- the detection unit 132 notifies the model selection unit 134 that the additional display request has been detected.
- the model selection unit 134 selects a layout pattern suitable for the situation when displaying the item on the display device 10.
- the model selection unit 134 may select a layout pattern from the storage unit 140, for example.
- the model selection unit 134 selects a layout pattern suitable for the item to be added based on the content of the item.
- the model selection unit 134 may have a function of newly generating a layout pattern when a layout pattern suitable for the item to be added cannot be selected from the storage unit 140.
- the display form determination unit 136 determines an arrangement pattern of items on the layout pattern selected by the model selection unit 134 and a display form when displaying items on the layout pattern.
- the items displayed on the display device 10 according to the layout pattern can have various display forms as will be described later.
- the display form determination unit 136 determines an arrangement pattern of items in the layout pattern selected by the model selection unit 134 and a display form for displaying the items in the layout pattern based on various indexes as will be described later.
- the concept of “display mode” includes not only a state in which an item is displayed but also a state in which no item is displayed.
- the display form determining unit 136 When the display form of the item is determined, the display form determining unit 136 generates display control information for displaying the item on the display device 10 based on the display form, and outputs the generated display control information to the output unit 150. Let Therefore, the output unit 150 functions as an example of the issuing unit of the present disclosure.
- FIGS. 4A to 4C are explanatory diagrams illustrating an example of a layout pattern 200 used for displaying items on the display device 10.
- the layout pattern 200 in the present embodiment is generated in advance according to the information display area of the display device 10.
- the layout pattern 200 may be designed when the display device 10 is designed and stored in the display control device 100, but may be newly designed after the display device 10 is shipped.
- the layout pattern 200 in this embodiment includes a main display area 210 and sub display areas 220a to 220d.
- the main display area 210 is an area for mainly displaying information that is desired to be displayed, and may be provided at the center of the screen as shown in FIG. 4A, for example.
- the sub display areas 220a to 220d are areas that are not mainly displayed but for displaying information that is desired to be displayed. Information displayed in the sub display areas 220a to 220d may or may not be related to information displayed in the main display area 210.
- the layout pattern 200 includes the number of display areas as elements, the coordinates of each display area, the type of content to be displayed in each display area (text, list, illustration, still image, moving image, etc., dynamic effect, map, Such as a browser, SNS, or a combination thereof).
- the display control device 100 uses the information of the layout pattern 200, the information about the item to be displayed on the display device 10, and the information about the item if there is an item already displayed on the display device 10, A layout pattern 200 suitable for display is selected.
- the display control device 100 selects a layout pattern 200 suitable for displaying an item, the display control device 100 sends a signal to the display device 10 that displays the layout pattern 200 with the item applied.
- the layout pattern 200 can have various layouts.
- 4A shows a layout pattern 200 having only one main display area 210
- FIG. 4B shows a layout having three main display areas 210a, 210b, 210c and two sub display areas 220a, 220b.
- a pattern 200 is shown.
- 4C shows a layout pattern 200 having an area for displaying an image as a main display area 210 and two sub display areas 220a and 220b on the right side of the main display area 210.
- the layout pattern 200 is not limited to that shown in FIGS. 4A to 4C.
- the display control apparatus 100 has the above-described configuration, and thus, in a system with a high degree of freedom in layout, the layout pattern 200 is preferably selected, and objects having various display forms (Item) can be automatically optimized and displayed.
- FIG. 5 is a flowchart illustrating an operation example of the display control device 100 configuring the display system 1 according to an embodiment of the present disclosure.
- FIG. 5 shows an operation example of the display control device 100 when an additional display request for an item to be displayed on the display device 10 is detected and the item is displayed on the display device 10 in response to the additional display request.
- an operation example of the display control apparatus 100 will be described with reference to FIG.
- the display control device 100 When displaying an item on the display device 10 in response to an additional display request, the display control device 100 first detects the addition of a new item to be displayed on the display device 10 (step S101).
- the detection of the addition of a new item can be executed by, for example, the detection unit 132 described above.
- the user may input an additional display request for adding an item to the display device 10 for display using the input device 20.
- the input of the additional display request may be performed by an input device such as a keyboard, a mouse, or a touch panel provided as the input device 20, or may be performed by a user gesture or voice.
- the input of the additional display request may be performed by a so-called push-type notification from the service provided by the server device 30 to the display control device 100.
- the display control device 100 periodically inquires the server device 30 and It may be performed by a so-called polling type notification transmitted from a service provided by the server device 30 in response to an inquiry.
- the service provided by the server device 30 is a mail or SNS service
- it may be acquired as an additional display request such as a message addressed to the user.
- the server device 30 provides information that can change at a predetermined interval such as weather information
- the display control device 100 obtains the information from the server device 30 at a predetermined cycle, thereby making an additional display request. You may get it.
- the display control device 100 also displays the physical state of the user, for example, the position of the user (distance between the display surface and the user by the display device 10), the user's line of sight, the face orientation, and the user in front of the display surface by the display device 10.
- the arrangement, content, and display form of the item to be added can be changed. For example, if the distance between the display surface of the display device 10 and the user is less than or equal to a predetermined distance, the display control device 100 displays the item on the display device 10 small, or reduces the font if the item is text. If the distance is equal to or greater than the predetermined distance, the display control device 100 can control the display device 10 to display the item larger, or to increase the font if the item is text.
- step S101 the display control apparatus 100 determines whether there is an item already displayed by the display apparatus 10 (step S102).
- the determination of whether or not there is an item already displayed by the display device 10 in step S102 can be executed by, for example, the display form determination unit 136.
- step S102 when it is determined that there is no item displayed by the display device 10 (No in step S102), the display control device 100 determines the optimal layout for the new item detected in step S101.
- a process of acquiring a pattern is executed (step S103).
- the model selection unit 134 can execute the process of acquiring the optimum layout pattern for the new item in step S103.
- the determination of whether or not the layout pattern in step S104 has been acquired can be executed by, for example, the model selection unit 134.
- step S104 when it is determined that the optimum layout pattern for the new item has been acquired (step S104, No), the display control apparatus 100 subsequently determines the display form using the acquired layout pattern. Then, the display device 10 is instructed to display the new item in the determined display form (step S105).
- the processing in step S105 can be executed by the display form determination unit 136, for example.
- the display control device 100 can display, for example, as illustrated in FIGS. 4A and 4C.
- a layout pattern 200 having only one main display area 210 is selected, and one layout pattern 200 suitable for the item to be displayed is selected from the selected layout patterns 200.
- the display control apparatus 100 may select the layout pattern 200 as shown in FIG. 4A.
- the display control apparatus 100 may select the layout pattern 200 as shown in FIG. 4C.
- each display area may have information on the corresponding content of the layout pattern 200. Further, for example, if a display area is specified for an item to be additionally displayed, the display control apparatus 100 causes the model selection unit 134 to select a layout pattern in accordance with the specification, and the display form determination unit 136 determines the arrangement of the item. You may let them. For example, when it is designated that an item is necessarily arranged in the center of the screen, the display control apparatus 100 causes the model selection unit 134 to select a layout pattern that matches the designation, and displays the arrangement of the item as a display form determination unit. 136 may be determined.
- 6A and 6B are explanatory diagrams showing a state in which items are applied to the layout pattern and displayed.
- 6A is an explanatory diagram showing a state in which icons are displayed in the main display area 210 of the layout pattern 200 shown in FIG. 4A under the control of the display control device 100, and FIG. It is explanatory drawing which showed a mode that the image was displayed on the main display area 210 of the layout pattern 200 shown to FIG. 4C by control.
- the layout pattern 200 can be specialized for displaying specific content because each display area has information on the corresponding content.
- the item newly displayed on the display device 10 may have a display priority and a display area request.
- Each display area of the layout pattern 200 may also have a corresponding priority and display area.
- the display control apparatus 100 may select a layout pattern using the display priority and display area requirement of the item and the priority and display area information of each display area of the layout pattern 200.
- the display control apparatus 100 can perform an optimal display for the item to be displayed.
- FIG. 7 is an explanatory diagram illustrating an example in which the display control apparatus 100 determines the display of an item in consideration of the priority of the item.
- the example shown in FIG. 7 considers a system that has only one area for displaying text as the main display area, but has layout pattern-1 and layout pattern-2 with different display areas.
- FIG. 7 shows an example in which the layout pattern-2 has a larger area for displaying text than the layout pattern-1.
- FIG. 7 shows two items A and B, and an example is shown in which the priorities are 30 and 85, respectively, with the maximum being 100, for example.
- the display control apparatus 100 When a new item A is added, since the priority is (absolutely) low, the display control apparatus 100 has a layout pattern of -1, and when a new item B is added, the priority is (absolutely). Since it is high, the display control apparatus 100 selects the layout pattern-2. Even with such similar items and layout patterns, flexible display can be performed by using the priority and display area. Of course, it goes without saying that the item to be displayed can be applied to an item other than text, such as an image.
- the display control apparatus 100 may change the place where the item is put out according to the priority of the item. For example, the display control apparatus 100 may control to display an item in the main display area if the priority of the item is higher than a predetermined threshold, and in the sub display area if the priority is lower than the predetermined threshold. The display control apparatus 100 may detect the user's line of sight and change the place where the item is put out according to the line of sight. Further, the display control apparatus 100 may change the size of an area for displaying an item even if the layout pattern is the same.
- step S104 if it is determined that the optimum layout pattern for the new item has not been acquired (step S104, Yes), the display control apparatus 100 subsequently executes a process for creating a new layout pattern ( Step S106).
- the process of creating a layout pattern in step S106 can be executed by, for example, the model selection unit 134.
- the display control apparatus 100 may store the created layout pattern in the storage unit 140, for example.
- the layout pattern cannot be found, for example, there can be a case where there is no layout pattern to which the item is applied, or a case where there is no content to be applied to the display area.
- the display control device 100 may search for a server device, for example, and download a suitable layout pattern. For example, when a layout pattern used by another user is disclosed and the layout pattern is suitable for a new display of an item, the display control apparatus 100 may download and use the layout pattern.
- the display control apparatus 100 may also use a similar layout pattern, for example. For example, when an additional display request for displaying an item having an undefined ⁇ Movie> content type as an attribute on the display device 10 is input, the display control device 100 displays other attributes (for example, a display area) or the like. A layout pattern suitable for display may be searched from the above. Then, the display control apparatus 100 may control the display apparatus 10 so as to display the layout pattern that has been found by applying an item to be additionally displayed.
- the display control apparatus 100 displays an item having an attribute of ⁇ movie> that is an undefined content type.
- a moving image may be applied to a layout pattern that allows still images.
- the display control device 100 may store the correspondence so that it can be handled from the next time onward.
- the display control apparatus 100 displays the obtained layout pattern when displaying an item having ⁇ video> as the content type attribute. May be used.
- the display control apparatus 100 may determine whether the layout pattern is similar by looking at only the display area regardless of the content type of the item to be additionally displayed.
- the display control apparatus 100 may also cause the user to create a layout pattern, for example.
- the user may create the layout pattern dynamically at the timing of additionally displaying the item, or the user may create the item in advance before additionally displaying the item.
- the display control apparatus 100 may have an application that causes the user to generate a layout pattern, for example, and may allow the user to customize and generate the layout pattern using a mouse, a gesture, a keyboard, voice, or the like.
- the display control apparatus 100 may generate a new layout pattern, or make corrections based on the existing layout pattern or after duplicating the existing layout pattern. You may let them.
- the display control apparatus 100 allows the user to customize, for example, a font size change, a display after the second line, or a display that is omitted from the middle for an area displaying text. You may make it perform, and you may make a user perform customization which changes the magnitude
- the display control apparatus 100 may send a message requesting the creation of the layout pattern from the communication unit 110 to the server apparatus 30, for example.
- This message can be generated by, for example, the model selection unit 134.
- step S102 the processing when it is determined that the item displayed by the display device 10 does not exist as a result of the determination in step S102 has been described (No in step S102).
- the display control device 100 may ignore the presence of the existing item. It is not possible to change to the new display state from the correspondence with the already displayed item.
- the number of items already displayed is not limited to one, and a plurality of items may already be displayed on the display device 10. In the following, it is assumed that both the case where the number of items already displayed on the display device 10 is only one and the case where there are two or more items are included.
- the display control device 100 When there is an item that is already displayed by the display device 10, the display control device 100 first acquires the current layout pattern that is used when the item is displayed on the display device 10 (step S107). Acquisition of the current layout pattern can be executed by the model selection unit 134, for example.
- step S107 the display control device 100 subsequently determines whether the item already displayed on the display device 10 and the item to be newly added are applicable to the current layout pattern (step S108).
- the determination in step S108 can be executed by the display form determination unit 136, for example.
- step S ⁇ b> 108 when it is determined that the item displayed on the display device 10 and the item to be newly added are applicable to the current layout pattern, the display control device 100 subsequently displays on the display device 10.
- the item (old item) is laid out again (step S109).
- the display form determination unit 136 can execute the re-layout process of the old item in step S109.
- the item displayed on the display device 10 may be a case where there are groups to which each item belongs, such as “weather”, “clock”, and “news”.
- the display control apparatus 100 may determine whether to apply the layout pattern and re-layout the old item in consideration of the group of items to be added.
- FIG. 8 is an explanatory diagram illustrating an example of the old item relayout process.
- FIG. 8 shows a state in which the item A-1 of the A group is already displayed on the display device 10.
- the A group is, for example, a “weather” group
- the item A-1 is, for example, a weather forecast for Tokyo.
- the transition is as shown in FIG. It may branch off.
- the item A-2 is, for example, a New York weather forecast
- the B group is, for example, a “clock” group
- the item B-1 is, for example, a time in Tokyo.
- the display control apparatus 100 continues to use one layout pattern in the main display area, and the item A-1 that has been displayed until then is transferred to the sub display area.
- the main display area may be switched to use two layout patterns.
- the template selection unit 134 can execute this layout pattern switching. In this way, the display control apparatus 100 can switch the layout pattern to be applied using the attribute of the item group.
- FIG. 9 is an explanatory diagram illustrating an old item relayout process.
- FIG. 9 shows a state where an item having the priority P10 is already displayed on the display device 10.
- FIG. 9 shows an example in which items having the priorities P20, P10, and P5 are added in a state where the items having the priority P10 are already displayed on the display device 10.
- the display control apparatus 100 When an item having a priority higher than the priority of an already displayed item is added, the display control apparatus 100 causes the new item to be displayed in the main display area as shown in FIG. For example, it is determined by the display form determination unit 136. In addition, when an item having a priority lower than that of an already displayed item is added, the display control apparatus 100 determines that the new item is displayed in the sub display area. If items having the same priority are added, the display control device 100 switches to a layout pattern having two main display areas. For example, the model selection unit 134 can execute this layout pattern switching. For example, the display control apparatus 100 may change the layout pattern when the sum of the priorities of the items exceeds a predetermined threshold.
- the display control apparatus 100 may control, for example, the display form determination unit 136 to display an item to be additionally displayed so that an animation is displayed when the item is additionally displayed.
- the display control apparatus 100 displays, for example, the next item after the animation of the item displayed first is completed, for example, the display form determination unit 136. You may control by.
- the display control apparatus 100 may determine the stacking order based on the time order in which the item additional display request is generated, or may determine the order based on an index such as a priority in the item additional display request that arrives within a certain period of time. May be.
- the display control apparatus 100 may sequentially display items for which an additional display request has been detected within the predetermined time on the display device 10 after the predetermined time has elapsed. With respect to the display, the display control apparatus 100 may sequentially display on the display apparatus 10 in time order, or sequentially display on the display apparatus 10 in order of priority. Further, the display control apparatus 100 may discard an item having a priority level equal to or lower than a predetermined threshold without displaying it even after a predetermined time has elapsed, and may display the item on the display apparatus 10 at a predetermined time (for example, after one minute).
- the display control device 100 may display an item with extremely high priority on the display device 10 by interruption even before a predetermined time has elapsed.
- Each layout pattern may have various allowable limit values.
- each layout pattern may have the number of slots that allow the display of items, may have a total value of allowable priorities, or may have an allowable display area.
- FIG. 10 is an explanatory diagram illustrating a layout pattern.
- FIG. 10 shows an example of a layout pattern having two empty slots.
- the layout pattern defines the maximum number of items to be displayed.
- the display control apparatus 100 hides appropriate items.
- the display control device 100 may switch the display to the different layout pattern and display the item on the display device 10.
- FIG. 11 is an explanatory diagram illustrating a layout pattern.
- FIG. 11 shows a state where an item having the priority P70 is already displayed on the display device 10.
- this layout pattern permits display of items up to priority P100, if an item having priority P70 is already displayed on display device 10, items up to priority P30 can be displayed. . That is, the display control apparatus 100 performs control to display items so that the total priority of displayed items does not exceed the maximum priority applied to the layout pattern.
- the display control apparatus 100 gives priority to the information with high priority or reduces unnecessary display so that the user can notice the item. The effect to make it easy can be expected.
- FIG. 12 is an explanatory diagram illustrating a layout pattern.
- FIG. 12 shows a state where there is a displayable area of 300 pixels vertically and 400 pixels horizontally.
- the display control apparatus 100 controls the display of items so that the items are displayed in an area smaller than the displayable area.
- the display control apparatus 100 changes the size of the item to be displayed, applies another layout pattern, and displays a new item, for example. It is possible to execute control such as discarding.
- the display control apparatus 100 may determine the number of items that can be simultaneously displayed according to the attribute of the item that is additionally displayed on the display device 10, and display the items on the display device 10 based on the number of simultaneously displayable items. For example, two items called weather forecasts (for example, Tokyo weather forecast and New York weather forecast) are already displayed on the display device 10 as items, and one weather forecast (eg London weather forecast) is also displayed as an item. When trying to display, the display control apparatus 100 may change the layout pattern and display three weather forecasts together. For example, two weather forecasts (for example, Tokyo weather forecast and New York weather forecast) are already displayed as items, and another group of clocks (for example, New York clock) is displayed as an item.
- two weather forecasts for example, Tokyo weather forecast and New York weather forecast
- another group of clocks for example, New York clock
- the display control apparatus 100 may display one weather forecast and one clock without changing the layout pattern. Also, for example, if two weather forecasts are already displayed as items (for example, the Tokyo weather forecast and the New York weather forecast), and if you want to display an email as an item, do not change the layout pattern. May be displayed.
- Each item displayed on the display device 10 may have a display duration (lifetime) for sustaining the display.
- the display control apparatus 100 may change the display of an item according to the lifetime which each item has. As the lifetime, for example, the following can be considered.
- ⁇ Erase after a certain display -After a certain display, the display remains with a smaller size. When the display remains, it may be moved from the main display area to the sub display area. -Always display. -The user or system is forcibly instructed to disappear.
- FIG. 13 is an explanatory diagram illustrating an example of an item display form.
- FIG. 13 shows three display forms A, B, and C for an item.
- the display form A is a display form in which, for example, the information amount is 10 and the display amount is 85.
- the display form B is a display form in which, for example, the information amount is 5 and the display amount is 48.
- the display form C is a display form in which, for example, the information amount is 1 and the display amount is 28.
- the display form determination unit 136 takes the selected layout pattern and the display form of the item into consideration when displaying an item having a plurality of display forms on the display device 10, and arranges and displays the items. To decide. Since each item displayed on the display device 10 has a plurality of display states in this way, the display control device 100 applies the current layout pattern as it is without changing when the new item is additionally displayed. This has the effect of increasing the possibility of display.
- FIG. 14 shows that the three items ITa, ITb, and ITc are displayed on the display device 10, and the items ITa, ITb, and ITc are deleted from the screen by moving toward the top of the screen one by one in order.
- An example of control of animation display is shown.
- FIG. 15 shows an example of animation display control when a new item ITb is additionally displayed in a state where one item ITa is displayed on the display device 10.
- FIG. 16 shows a control example of animation display when displaying three items in a state where no items are displayed on the display device 10.
- FIG. 16 shows a display control apparatus for displaying items ITa, ITb, and ITc in the order of weather forecast, news, and baseball results when the user utters “tell me the weather, news, and baseball results”.
- 10 is a control example of animation display by 100. Therefore, in the example shown in FIG. 16, the item ITa is an item indicating a weather forecast, the item ITb is a news item, and ITc is an item indicating a baseball game result.
- FIGS. 17 and 18 are explanatory diagrams illustrating an example of control of additional display of items by the display control apparatus 100.
- the current layout pattern is a layout pattern that additionally displays items ITa, ITb, and ITc in order from right to left as shown in FIG. 17, or items ITa, ITb, and ITc in order from bottom to top as shown in FIG.
- the display control device 100 may execute control to display items on the display device 10 in the order of addition.
- the display control device 100 may sort and display the information on the display device 10 based on information such as the creation date, update date, and priority of the item instead of the time when the item is added.
- ⁇ ⁇ Various display patterns can be considered depending on the content type of the added item. For example, when an item of ⁇ text> content type and an item of ⁇ image> are displayed on the display device 10, it is not always determined that the next item is displayed when one item is added. . That is, when the first item is added, the display control apparatus 100 selects an optimal layout pattern at that time, but even if the final display for displaying the two items is the same, a different display form is used. There is a possibility of passing. Of course, when the item to be added is known in advance, the display control apparatus 100 may select the final layout pattern in advance, and sequentially add and display the items in accordance with the layout pattern.
- FIG. 19 is an explanatory diagram showing an example of items displayed on the display device 10 by the display control device 100.
- FIG. 20 shows two items shown in FIG. 19 displayed on the display device 10 by the display control device 100. It is explanatory drawing which shows a pattern.
- FIG. 19 shows two items, an image item IT1 and a text item IT2.
- FIG. 20 shows five patterns in which text items are additionally displayed on the display device 10 when only the image item is initially displayed on the display device 10.
- additional display patterns of five text items by the display control device 100 will be described in order from the left in FIG.
- Text display This is a pattern in which the text item is displayed in the main display area in the main display area on the display device 10 when the priority is similar to the item already displayed.
- the newly added text item may be displayed, for example, on the right side of the already displayed image item.
- the display pattern controlled by the display control apparatus 100 is not limited to these five patterns.
- the display control apparatus 100 deletes an appropriate item when the number of display items in the layout pattern exceeds the upper limit due to the addition of items.
- the display slot may be opened. Examples of the rule for deleting items include an item having the lowest priority and an item having the longest display time.
- the display control apparatus 100 may switch to a layout pattern having an optimal display slot by adding an item if the layout pattern has a different number of display slots. . If the display control device 100 has a layout pattern having the maximum number of display slots and cannot be displayed, the display control device 100 may delete an appropriate item as described above. The display control apparatus 100 may discard the new item as described above without viewing the new item if the priority of the item is low.
- the display control apparatus 100 may block the update of the layout and maintain the display when newly displaying an item. For example, the display control apparatus 100 may block the update of the layout by detecting the user state. At that time, the entire layout may be blocked, or only a part may be blocked. For example, the display control apparatus 100 may block updating only the main display area. The display control apparatus 100 can display items in the sub display area while the update is blocked only in the main display area. Conversely, the display control apparatus 100 may block updating only the sub display area.
- the display control apparatus 100 may block the layout update. For example, when a user's intentional operation such as a user's predetermined gesture, speech utterance, mouse, keyboard, or touch panel operation is detected, the display control apparatus 100 may block the layout update.
- the display control apparatus 100 blocks the update of the layout, and places the item with the high priority so that the user can easily see it. It may be arranged.
- the display control device 100 may release the block for updating the layout when, for example, the user's line of sight or posture is no longer facing the screen or after an arbitrary time has elapsed. Further, the display control apparatus 100 may cancel the layout update block when an item with a high priority is no longer displayed. Further, the display control apparatus 100 may cancel the block for updating the layout when the user intentionally desires a new item. The display control device 100 may cause the display device 10 to display the items that have been stacked while being blocked when the block for updating the layout is released.
- Priority given to items can be changed over time.
- the display control device 100 may continuously attenuate (or increase) the priority of an item with the passage of time, maintain the priority for a certain period of time, and attenuate (or increase) after the lapse of time. You may let them. For example, when displaying the timer which notifies working time as an item, the display control apparatus 100 increases the priority of the item with progress of time. Then, the display control apparatus 100 may dynamically change the layout pattern to one that matches the priority according to a change in the priority set for the item.
- the display control apparatus 100 maintains the priority until an item displayed by a method such as a user directing his / her eyes, speaking a voice, operating a mouse, a keyboard, a touch panel, etc. is in a previously-viewed state.
- the priority may be attenuated (or increased) when the item is already viewed. For example, when displaying a mail reception notification as an item on the display device 10, if the user places the mail reception notification in the already-viewed state, the display control device 100 may reduce the priority of the item.
- the display control apparatus 100 detects the user's line of sight, tracks the user's line of sight until the text is read, or views the user according to the amount of text. The time until the state is reached may be calculated.
- the display control device 100 may maintain or increase the priority of an item when the item is in a visible state. For example, when a long sentence such as news is displayed as an item, or when there are multiple viewers at the same time, when the item is already viewed, the priority of the item is maintained or the priority is increased. You may do it.
- the priority at the time of the already-viewed state can be appropriately determined according to the content type (image, text, etc.) and the type of service provided by the server device 30 (news, SNS, weather, clock, etc.).
- the display control apparatus 100 may change the priority of items according to external factors. For example, when the train delay information has been output as an item, the display control device 100 may reduce the priority of the item when the train has already restarted and the information has become old. For example, although the recommendation notification of the TV program from 19:00 was displayed as an item, the display control apparatus 100 may reduce the priority of the item when the program ends after the time has passed. In addition, for example, when information indicating a heavy rain warning is displayed as an item, when the alarm is downgraded from a warning to a warning, the display control apparatus 100 may reduce the priority of the item.
- the display control apparatus 100 may compare the item group of the item that is already displayed with the item group of the item that is to be additionally displayed, and change the display generation position based on the comparison result. For example, if the same item group is added, the display control apparatus 100 displays items from the already displayed item group in order to show the relevance between items, and displays from the outside if the item group is another item group. You may make it do. Therefore, the display control apparatus 100 may change the appearance of the transition even when the transition to the same layout pattern is finally made.
- FIG. 21 is an explanatory diagram showing variations in the layout pattern change accompanying the additional display of items.
- the layout pattern -A that can display only one item in the main display area is applied, and when the item A-1 is already displayed in the main display area by the display device 10, Three types of layout pattern changes are shown.
- three layout pattern changes by the display control apparatus 100 will be described in order from the left in FIG.
- a layout pattern is maintained when an item of an item group different from the item group of an already displayed item is additionally displayed.
- the display control apparatus 100 can display only one item in the main display area. While maintaining the layout pattern -A, the item A-1 is moved to the sub display area, and the item B-1 is displayed in the main display area.
- the layout pattern is changed when an item of the same item group as the item group of the already displayed item is additionally displayed.
- the display control apparatus 100 can display two items in the main display area. After changing to pattern-B, items A-1 and A-2 are displayed in the main display area.
- the layout pattern is changed when an item of an item group different from the item group of the already displayed item is additionally displayed.
- the display control apparatus 100 can display two items in the display area. After changing to -B, items A-1 and B-1 are displayed in the main display area.
- the change of the layout pattern by the control of the display control apparatus 100 is not limited to these three patterns.
- the display control device 100 may change the layout pattern according to the number of users who are viewing the screen displayed on the display device 10. When there are two or more users who are viewing the screen displayed on the display device 10, the display control device 100 may change the number of items (slot number) that can be displayed in the main display area and the sub display area for each user. Good. When there are two or more users who are viewing the screen displayed by the display device 10, the display control device 100 may perform display control such that the screen is divided and displayed. When there are two or more users who are viewing the screen displayed by the display device 10, the display control device 100 may perform display control according to the user who spoke. The user who has spoken can be identified by the sound source direction, voice color, and the like.
- the plurality of users can include either a case where the user is actually in front of the same screen or a case where the user is in a remote place connected by a network.
- FIG. 22 is a block diagram illustrating a hardware configuration example of the display control apparatus 100 according to the embodiment of the present disclosure.
- Each of the above algorithms can be executed using, for example, the hardware configuration of the information processing apparatus illustrated in FIG. That is, the processing of each algorithm is realized by controlling the hardware shown in FIG. 22 using a computer program.
- the form of this hardware is arbitrary, for example, personal information terminals such as personal computers, mobile phones, PHS, PDAs, game machines, contact or non-contact IC chips, contact or non-contact ICs This includes cards or various information appliances.
- PHS is an abbreviation of Personal Handy-phone System.
- the PDA is an abbreviation for Personal Digital Assistant.
- this hardware mainly includes a CPU 902, a ROM 904, a RAM 906, a host bus 908, and a bridge 910. Further, this hardware includes an external bus 912, an interface 914, an input unit 916, an output unit 918, a storage unit 920, a drive 922, a connection port 924, and a communication unit 926.
- the CPU is an abbreviation for Central Processing Unit.
- the ROM is an abbreviation for Read Only Memory.
- the RAM is an abbreviation for Random Access Memory.
- the CPU 902 functions as, for example, an arithmetic processing unit or a control unit, and controls the overall operation of each component or a part thereof based on various programs recorded in the ROM 904, the RAM 906, the storage unit 920, or the removable recording medium 928.
- the ROM 904 is a means for storing a program read by the CPU 902, data used for calculation, and the like.
- a program read by the CPU 902 various parameters that change as appropriate when the program is executed, and the like are temporarily or permanently stored.
- a host bus 908 capable of high-speed data transmission.
- the host bus 908 is connected to an external bus 912 having a relatively low data transmission speed via a bridge 910, for example.
- a bridge 910 for example.
- the input unit 916 for example, a mouse, a keyboard, a touch panel, a button, a switch, a lever, or the like is used.
- a remote controller capable of transmitting a control signal using infrared rays or other radio waves may be used.
- a display device such as a CRT, LCD, PDP, or ELD
- an audio output device such as a speaker or a headphone, a printer, a mobile phone, or a facsimile, etc.
- the above CRT is an abbreviation of Cathode Ray Tube.
- the LCD is an abbreviation for Liquid Crystal Display.
- the PDP is an abbreviation for Plasma Display Panel.
- the above ELD is an abbreviation for Electro-Luminescence Display.
- the storage unit 920 is a device for storing various data.
- a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like is used.
- HDD hard disk drive
- the above HDD is an abbreviation for Hard Disk Drive.
- the drive 922 is a device that reads information recorded on a removable recording medium 928 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable recording medium 928.
- the removable recording medium 928 is, for example, a DVD medium, a Blu-ray medium, an HD DVD medium, various semiconductor storage media, or the like.
- the removable recording medium 928 may be, for example, an IC card on which a non-contact type IC chip is mounted, an electronic device, or the like.
- the above IC is an abbreviation for Integrated Circuit.
- the connection port 924 is a port for connecting an external connection device 930 such as a USB port, an IEEE 1394 port, a SCSI, an RS-232C port, or an optical audio terminal.
- the external connection device 930 is, for example, a printer, a portable music player, a digital camera, a digital video camera, or an IC recorder.
- the USB is an abbreviation for Universal Serial Bus.
- the SCSI is an abbreviation for Small Computer System Interface.
- the communication unit 926 is a communication device for connecting to the network 932.
- a wired or wireless LAN for example, a wired or wireless LAN, Bluetooth (registered trademark), or a WUSB communication card, an optical communication router, an ADSL router, or a contact Or a device for non-contact communication.
- the network 932 connected to the communication unit 926 is configured by a wired or wireless network, such as the Internet, home LAN, infrared communication, visible light communication, broadcast, or satellite communication.
- the above LAN is an abbreviation for Local Area Network.
- the WUSB is an abbreviation for Wireless USB.
- the above ADSL is an abbreviation for Asymmetric Digital Subscriber Line.
- Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
- a display control apparatus 100 capable of displaying is provided.
- the display control apparatus 100 can automatically optimize objects having various forms and display them on the display apparatus 10 by applying items to the layout pattern.
- the display control apparatus 100 uses a layout pattern to be used according to the content of an item that is already displayed or the content of an item that is to be additionally displayed. To decide.
- the contents of the item may include the item content type, the item priority, and the like.
- the display control apparatus 100 according to an embodiment of the present disclosure automatically optimizes objects having various forms and displays them on the display apparatus 10 by determining a layout pattern to be used according to the content of the item. I can do it.
- each step in the processing executed by each device in this specification does not necessarily have to be processed in chronological order in the order described as a sequence diagram or flowchart.
- each step in the processing executed by each device may be processed in an order different from the order described as the flowchart, or may be processed in parallel.
- the display control apparatus 100 is different from an apparatus including a display that displays an image displayed as a result of processing of the display control apparatus 100 (for example, a display via a network such as the Internet).
- the server device may be implemented as a server device that is connected to a device provided with a terminal device that receives information from the server device.
- the configuration of the display control apparatus 100 according to an embodiment of the present disclosure may be realized by a single apparatus, or may be realized by a system in which a plurality of apparatuses cooperate.
- a system in which a plurality of devices are linked may include, for example, a combination of a plurality of server devices, a combination of a server device and a terminal device, or the like.
- the software that implements the user interface and application shown in the above embodiment may be realized as a web application used via a network such as the Internet.
- the web application may be realized by, for example, a markup language such as HTML (HyperText Markup Language), SGML (Standard Generalized Markup Language), or XML (Extensible Markup Language).
- First information related to an additional display item displayed in addition to the screen in response to a display item addition request, and second information related to an existing display item displayed on the screen before the additional display item is displayed A display form determination unit that determines a display form of the additional display item based on the information; Based on the display form of the additional display item determined by the display form determination unit, an issuing unit that issues display control information for controlling the display of the screen; A display control device.
- the displayed item is plural, and the display form determination unit determines the display form of the additional display item according to the related information of the displayed item and the related information of the additional display item.
- the display control apparatus according to 1).
- the display control device determines the arrangement of the additional display item and the display form of the additional display item according to the position of the user as the physical state of the user.
- the display control apparatus determines a display size of a display item according to a priority of the additional display item.
- the display control apparatus determines the arrangement of display items based on the priority of the already displayed items.
- the display control device determines any one of (1) to (9), wherein if the additional display item has a display area specified, the display form determining unit determines the arrangement of the display item according to the specification.
- the display control apparatus according to any one of (1) to (10), wherein the display form determination unit determines an arrangement of display items based on attributes of the already displayed items. (12) The display control apparatus according to any one of (1) to (11), wherein the display form determination unit controls display of each display item based on a display duration set for each display item. (13) Any one of (1) to (12), further comprising a model selection unit that selects a model on which a display item is laid out according to the first information and the second information when a display item addition request is generated A display control device according to claim 1. (14) The display model according to (13), wherein the model includes a main display area and one or more sub display areas.
- the display control device acquires a new template if there is no suitable template that can be selected by the template selection unit.
- the model selection unit determines whether or not the model has been changed in response to a display item addition request.
- the model selection unit changes the model when the number of display items exceeds a predetermined threshold due to a display item addition request.
- the model selection unit changes the model when the sum of the priority of display items exceeds a predetermined threshold.
- First information related to an additional display item displayed in addition to the screen in response to a display item addition request, and second information related to an existing display item displayed on the screen before the additional display item is displayed Determining a display form of the additional display item based on the information; Issuing display control information for controlling the display of the screen based on the determined display form of the additional display item; Including a display control method.
- First information related to an additional display item displayed in addition to the screen in response to a display item addition request, and second information related to an existing display item displayed on the screen before the additional display item is displayed Determining a display form of the additional display item based on the information; Issuing display control information for controlling the display of the screen based on the determined display form of the additional display item;
- Display system 10 Display device 20: Input device 30: Server device 100: Display control device 110: Communication unit 120: Input unit 130: Control unit 132: Detection unit 134: Model selection unit 136: Display form determination unit 140: Storage unit 150: output unit
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】レイアウトの自由度が高いシステムにおいて、様々な形態をもつオブジェクトを自動的に最適化して表示することが可能な表示制御装置を提供する。 【解決手段】表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定する表示形態決定部と、前記表示形態決定部により決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行する発行部と、を備える、表示制御装置が提供される。
Description
本開示は、表示制御装置、表示制御方法及びコンピュータプログラムに関する。
例えば特許文献1で開示された技術のように、レイアウトの自由度が高いシステムにおいて、自動的に画面レイアウトを決定して、コンテンツやアイテム等のオブジェクトを、決定した画面レイアウトに沿って表示できるシステムが提案されている。
レイアウトの自由度が高いシステムにおいて、様々な形態をもつオブジェクトを表示する際に、表示する位置や大きさを柔軟に設定することで自動的に最適化して表示することが望まれる。
そこで本開示では、レイアウトの自由度が高いシステムにおいて、様々な形態をもつオブジェクトを自動的に最適化して表示することが可能な、新規かつ改良された表示制御装置、表示制御方法及びコンピュータプログラムを提案する。
本開示によれば、表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定する表示形態決定部と、前記表示形態決定部により決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行する発行部と、を備える、表示制御装置が提供される。
また本開示によれば、表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定することと、決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行することと、を含む、表示制御方法が提供される。
また本開示によれば、コンピュータに、表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定することと、決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行することと、を実行させる、コンピュータプログラムが提供される。
以上説明したように本開示によれば、レイアウトの自由度が高いシステムにおいて、様々な形態をもつオブジェクトを自動的に最適化して表示することが可能な、新規かつ改良された表示制御装置、表示制御方法及びコンピュータプログラムを提供することが出来る。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.本開示の一実施形態
1.1.システム構成例
1.2.機能構成例
1.3.動作例
2.まとめ
1.本開示の一実施形態
1.1.システム構成例
1.2.機能構成例
1.3.動作例
2.まとめ
<1.本開示の一実施形態>
[1.1.システム構成例]
まず、図面を参照しながら本開示の一実施形態に係る表示システムの構成例について説明する。図1は、本開示の一実施形態に係る表示システム1の構成例を示す説明図である。以下、図1を用いて本開示の一実施形態に係る表示システム1の構成例について説明する。
[1.1.システム構成例]
まず、図面を参照しながら本開示の一実施形態に係る表示システムの構成例について説明する。図1は、本開示の一実施形態に係る表示システム1の構成例を示す説明図である。以下、図1を用いて本開示の一実施形態に係る表示システム1の構成例について説明する。
図1に示したように、本開示の一実施形態に係る表示システム1は、表示装置10と、入力装置20と、サーバ装置30と、表示制御装置100と、を含んで構成される。本開示の一実施形態に係る表示システム1は、後述するように、レイアウトの自由度が高いシステムである。そして本開示の一実施形態に係る表示システム1は、レイアウトの自由度が高いシステムにおいて、様々な形態をもつオブジェクトを自動的に最適化して表示することが可能なように構成されている。
表示装置10は、表示制御装置100の制御によって文字、画像その他のあらゆる情報を表示する装置である。表示装置10は、自ら情報を表示するものであってもよく、他の物体(例えば壁面、机上、人体等)に映像を投影することで情報を表示するものであってもよい。表示装置10は、例えば液晶ディスプレイ、有機ELディスプレイ、プロジェクタ、ヘッドマウントディスプレイ(HMD)、ウェアラブルデバイス、自動車に搭載されるナビゲーションシステムで使用される表示デバイス、外科手術用の表示デバイスその他の、情報を表示することが可能な装置であり得る。表示装置10がプロジェクタである場合は、表示装置10は、例えば部屋の壁面や、部屋の中に設置されたスクリーンに情報を投影する位置に設けられる。表示装置10がウェアラブルデバイスである場合は、表示装置10は、例えばユーザの頭部や腕部等に装着され得る。
本実施形態では、表示制御装置100の制御によって表示装置10に表示される、文字、画像その他の情報のそれぞれを「アイテム」と称する。ここで、アイテムは本開示のオブジェクトの一例であり、各アイテムは、表示制御装置100の制御によって表示位置及び表示形態が決定される。表示制御装置100の制御によって決定される表示形態として、アイテムの大きさやアイテムの情報量が決定され得る。表示制御装置100の制御によってアイテムの大きさやアイテムの情報量が決定される例については後に詳述する。
入力装置20は、例えばタッチパネル、キーボード、マウス、カメラ、マイク、センサ等の、ユーザからのあらゆる情報や命令が入力可能な装置で構成され得る。入力装置20で入力された情報は表示制御装置100に送られる。表示制御装置100は、入力装置20で入力された情報に基づいて表示装置10の表示を制御し得る。
サーバ装置30は、表示システム1に関する様々な情報を格納し、必要に応じて表示制御装置100に提供する装置である。サーバ装置30は、表示制御装置100との間で、インターネットその他のネットワーク(図示せず)を介して接続されている。サーバ装置30が格納する情報は、例えば、表示装置10に表示させるための、表示システム1を使用するユーザに関する各種情報が含まれ得る。表示システム1を使用するユーザに関する各種情報としては、例えば、当該ユーザや当該ユーザの家族のスケジュール、当該ユーザに対して送信されたメールその他のメッセージ、当該ユーザの居住地や行き先の天気予報等が含まれ得る。スケジュールには、単にそのユーザの予定だけでなく、そのユーザが設定したイベントの予定なども含まれ得る。
またサーバ装置30は、表示システム1を使用するユーザに対して様々なサービスを提供しうる。サーバ装置30が提供するサービスとしては、例えばメールサービス、ソーシャル・ネットワーキング・サービス(SNS)等がある。
もちろん、ここに挙げた情報やサービスは、サーバ装置30が格納する情報や、サーバ装置30が提供するサービスの一例に過ぎないことは言うまでもない。またサーバ装置30は、1台であっても、複数台であってもよい。
表示制御装置100は、表示装置10の情報の表示を制御する装置である。表示制御装置100は、例えば、パーソナルコンピュータ(PC)のような汎用的な装置であってもよく、表示装置10の情報の表示の制御に特化された装置であってもよい。本実施形態では、表示制御装置100は、様々な形態をもつオブジェクトを自動的に最適化して表示装置10へ表示するような表示制御を実行する。表示制御装置100は、表示装置10の情報の表示を制御する際に、表示制御装置100の内部に保存されている情報を用いてもよく、表示制御装置100の内部に保存されている情報に加え、または表示制御装置100の内部に保存されている情報に替えて、サーバ装置30が格納する情報を用いてもよい。表示制御装置100の構成及び詳細な動作については後に詳述する。
表示制御装置100と表示装置10とは、有線で直接接続されていてもよく、ネットワークによって無線で接続されていても良い。表示制御装置100と表示装置10とが無線で接続される場合、表示制御装置100は、例えばインターネットに接続されたサーバ装置として構成されていても良い。表示制御装置100がサーバ装置として構成される場合は、図1に示したサーバ装置30と一体となって構成されてもよく、図1に示したサーバ装置30とは別体として構成されていてもよい。
以上、図1を用いて本開示の一実施形態に係る表示システム1の構成例について説明した。続いて、本開示の一実施形態に係る表示システム1を構成する表示制御装置100の機能構成例について説明する。
[1.2.機能構成例]
図2は、本開示の一実施形態に係る表示制御装置100の機能構成例を示す説明図である。以下、図2を用いて、本開示の一実施形態に係る表示制御装置100の機能構成例について説明する。
図2は、本開示の一実施形態に係る表示制御装置100の機能構成例を示す説明図である。以下、図2を用いて、本開示の一実施形態に係る表示制御装置100の機能構成例について説明する。
図2に示したように、本開示の一実施形態に係る表示制御装置100は、通信部110と、入力部120と、制御部130と、記憶部140と、出力部150と、を含んで構成される。
通信部110は、他の装置、例えば図1に示したサーバ装置30との間でネットワークを通じた情報の通信を実行する。通信部110は、情報の通信を有線で行なうようにしてもよく、無線で行なうようにしてもよい。通信部110は、他の装置から受信した情報を制御部130に提供する。また通信部110は、制御部130から提供された情報を、その情報の送信先の他の装置へ送信する。
入力部120は、表示制御装置100に対する情報や命令の入力を受け付けるインターフェースである。入力部120は、表示制御装置100に対する情報や命令を、有線で受け付けてもよく、無線で受け付けてもよい。表示制御装置100に対する情報は、例えば入力装置20から入力され得る。表示制御装置100に対する情報は、文字情報、画像情報、音声情報が含まれ得る。また表示制御装置100に対する命令は、例えば表示装置10への情報の表示を制御する命令が含まれ得る。
制御部130は、表示制御装置100の動作を制御する。制御部130は、例えばCPU(Central Processing Unit)その他の演算ユニットとして構成され得る。制御部130が制御する表示制御装置100の動作には、例えば、表示装置10への情報(アイテム)の表示の制御、他の装置との間の通信部110を介した情報の送受信の制御、記憶部140への情報の記憶および記憶部140からの情報の読み出し、出力部150を介した情報の出力の制御等が含まれ得る。
本実施形態では、制御部130は、アイテムを表示装置10へ表示する要求を検知し、その検知に基づいて、アイテムを表示装置10へ表示する際の適切なひな型(本実施形態では、そのひな型を「レイアウトパターン」とも称する)を選択し、そのひな型を用いて、アイテムを表示装置10へ表示する制御を実行する。制御部130が、このような一連の動作を実行することにより、本開示の一実施形態に係る表示制御装置100は、図2に示したような構成を有することで、レイアウトの自由度が高いシステムにおいて、様々な形態をもつオブジェクトを自動的に最適化して表示することが可能となる。なお、制御部130の詳細な機能構成例については、後に詳述する。
記憶部140は、種々の情報を記憶する。記憶部140は、例えばROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等の様々な記憶媒体で構成され得る。記憶部140が記憶する情報には、例えば、表示装置10へ情報を表示する際の基となるレイアウトパターン、表示装置10へ情報を表示する際の設定等が含まれ得る。また記憶部140は、制御部130によって読み出されるコンピュータプログラムが格納され得る。
出力部150は、表示制御装置100から情報や命令を出力するインターフェースである。出力部150は、表示制御装置100からの情報や命令を、有線で出力してもよく、無線で出力してもよい。出力部150は、表示制御装置100から出力する情報として、例えば、表示装置10の表示を制御する情報(表示制御情報)を表示装置10へ出力する。表示装置10の表示を制御する表示制御情報には、例えば映像信号に基づく情報、HTML(HyperText Markup Language)その他のマークアップ言語に基づく情報がある。また、表示装置10の表示を制御する表示制御情報としては、サーバ装置で生成される映像ストリームに基づく情報も含まれ得る。
本開示の一実施形態に係る表示制御装置100は、図2に示したような構成を有することで、表示装置10の情報の表示を制御することができる。そして本開示の一実施形態に係る表示制御装置100は、図2に示したような構成を有することで、レイアウトの自由度が高いシステムにおいて、様々な形態をもつオブジェクトを自動的に最適化して表示することが可能となる。
続いて、本開示の一実施形態に係る表示制御装置100に含まれる制御部130の機能構成例について説明する。
図3は、本開示の一実施形態に係る表示制御装置100に含まれる制御部130の機能構成例を示す説明図である。以下、図3を用いて本開示の一実施形態に係る表示制御装置100に含まれる制御部130の機能構成例について説明する。
図3に示したように、本開示の一実施形態に係る表示制御装置100に含まれる制御部130は、検知部132と、ひな型選択部134と、表示形態決定部136と、を含んで構成される。
検知部132は、アイテムを表示装置10へ表示する要求を検知する。本実施形態では、アイテムを表示装置10へ表示する要求を「追加表示要求」とも称する。アイテムの追加表示要求は、様々な形式で発生し得る。例えば、表示装置10や、表示制御装置100の電源が投入されたタイミングでアイテムの追加表示要求が発生してもよく、ユーザが入力装置20を用いて明示的に追加表示要求を入力してもよく、サーバ装置30が提供するサービスにおいて所定のイベントが発生した際に、サーバ装置30から追加表示要求が送信されてきてもよく、予め定められた時間、日付、曜日になると追加表示要求が発生してもよい。
ユーザによる追加表示要求の入力は、キーボード、マウス、タッチパネル等の入力デバイスで行われてもよく、ユーザのジェスチャや音声等で行われてもよい。例えば入力装置20にユーザのジェスチャを撮像するためのカメラが備えられてもよい。そして検知部132は、入力装置20に備えられたカメラで撮像されたユーザのジェスチャの内容を解析して、どのような追加表示要求がユーザから入力されたかを判断してもよい。また例えば、入力装置20にユーザの発話内容を収音するマイクが備えられてもよい。そして検知部132は、入力装置20に備えられたマイクで収音されたユーザが発話した声の内容を解析することでどのような追加表示要求が入力されたかを判断してもよい。従って検知部132は、画像を解析する処理や、音声を解析する処理を実行してもよい。
もちろん、画像を解析する処理や、音声を解析する処理は、表示制御装置100の内部での検知部132とは異なる機能ブロックで実行されても良く、表示制御装置100とは異なる装置、例えば入力装置20において行われても良い。画像を解析する処理や、音声を解析する処理が検知部132とは異なる機能ブロックで実行される場合、検知部132は、それら解析結果を取得して、解析内容に基づいてどのような追加表示要求がユーザから入力されたかを判断してもよい。検知部132は、追加表示要求を検知すると、追加表示要求を検知した旨をひな型選択部134へ通知する。
ひな型選択部134は、アイテムを表示装置10へ表示する際に、状況に応じて適したレイアウトパターンを選択する。ひな型選択部134は、レイアウトパターンを、例えば記憶部140の中から選択してもよい。ひな型選択部134は、追加表示要求を検知した旨が検知部132から送られると、追加されるアイテムに適するレイアウトパターンを該アイテムの内容に基づいて選択する。なお、ひな型選択部134は、追加されるアイテムに適するレイアウトパターンを記憶部140の中から選択出来なかった場合にレイアウトパターンを新規に生成する機能を有していてもよい。
表示形態決定部136は、ひな型選択部134が選択したレイアウトパターンへのアイテムの配置パターンや、レイアウトパターンにアイテムを表示する際の表示形態を決定する。レイアウトパターンに従って表示装置10に表示されるアイテムは、後述するように種々の表示形態を有し得る。表示形態決定部136は、後述するような種々の指標に基づいて、ひな型選択部134が選択したレイアウトパターンへのアイテムの配置パターンや、レイアウトパターンにアイテムを表示する際の表示形態を決定する。なお本実施形態において、「表示形態」という概念には、アイテムが表示される状態だけでなく、アイテムが表示されない状態も含まれるものとする。表示形態決定部136は、アイテムの表示形態を決定すると、その表示形態に基づいてアイテムを表示装置10に表示させるための表示制御情報を生成し、その生成した表示制御情報を出力部150に出力させる。従って、出力部150は、本開示の発行部の一例として機能する。
ここで、本実施形態における、表示装置10へのアイテムの表示に用いられるレイアウトパターンについて説明する。図4A~図4Cは、表示装置10へのアイテムの表示に用いられるレイアウトパターン200の例を示す説明図である。
本実施形態におけるレイアウトパターン200は、表示装置10の情報の表示領域に合わせて予め生成される。なおレイアウトパターン200は、表示装置10の設計時にデザインされ、表示制御装置100に格納されていてもよいが、表示装置10が出荷された後に新たにデザインされてもよい。そして図4Aに示したように、本実施形態におけるレイアウトパターン200は、主表示領域210と、副表示領域220a~220dと、を含んで構成される。主表示領域210は、主として表示させたい情報の表示のための領域であり、例えば図4Aに示したように画面の中央部分に設けられ得る。副表示領域220a~220dは、主として表示させるものではないが、表示させたい情報の表示のための領域である。副表示領域220a~220dに表示される情報は、主表示領域210に表示される情報と関連していてもよく、関連していなくてもよい。
レイアウトパターン200には、要素として表示領域の数、各表示領域の座標、各表示領域へ表示させるコンテンツ種類(テキスト、リスト、イラスト、静止画像、動画像等の画像、動的なエフェクト、地図、ブラウザ、SNS、またはこれらの組み合わせ等が含まれ得る)などの情報が格納される。表示制御装置100は、レイアウトパターン200の情報と、表示装置10へ表示しようとするアイテムに関する情報と、すでに表示装置10に表示されているアイテムがあればそのアイテムに関する情報と、を用いて、アイテムの表示に適したレイアウトパターン200を選択する。そして表示制御装置100は、アイテムの表示に適したレイアウトパターン200を選択すると、そのレイアウトパターン200にアイテムを当てはめて表示するような表示装置10に信号を送出する。
レイアウトパターン200は様々なレイアウトを有し得る。図4Aは、主表示領域210を1つだけ有するレイアウトパターン200を示したが、図4Bは、3つの主表示領域210a、210b、210cと、2つの副表示領域220a、220bと、を有するレイアウトパターン200を示す。また図4Cは、画像を表示する領域を主表示領域210として有するとともに、主表示領域210の右隣に2つの副表示領域220a、220bを有するレイアウトパターン200を示す。もちろん、レイアウトパターン200は図4A~図4Cに示したものに限られないことは言うまでもない。
本開示の一実施形態に係る表示制御装置100は、上述したような構成を有することで、レイアウトの自由度が高いシステムにおいて、レイアウトパターン200を好適に選択して、様々な表示形態をもつオブジェクト(アイテム)を自動的に最適化して表示することが可能になる。
以上、本開示の一実施形態に係る表示システム1を構成する表示制御装置100の機能構成例について説明した。続いて、本開示の一実施形態に係る表示システム1を構成する表示制御装置100の動作例について説明する。
[1.3.動作例]
図5は、本開示の一実施形態に係る表示システム1を構成する表示制御装置100の動作例を示す流れ図である。図5に示したのは、表示装置10に表示するアイテムの追加表示要求を検出し、その追加表示要求に応じてアイテムを表示装置10に表示させる際の、表示制御装置100の動作例である。以下、図5を用いて表示制御装置100の動作例について説明する。
図5は、本開示の一実施形態に係る表示システム1を構成する表示制御装置100の動作例を示す流れ図である。図5に示したのは、表示装置10に表示するアイテムの追加表示要求を検出し、その追加表示要求に応じてアイテムを表示装置10に表示させる際の、表示制御装置100の動作例である。以下、図5を用いて表示制御装置100の動作例について説明する。
表示制御装置100は、追加表示要求に応じてアイテムを表示装置10に表示させる際には、まず表示装置10に表示されようとする新規アイテムの追加を検知する(ステップS101)。新規アイテムの追加の検知は、例えば上述した検知部132が実行し得る。
アイテムは様々な方法で追加され得る。例えば、ユーザが入力装置20を用いて表示装置10にアイテムを追加して表示するための追加表示要求を入力してもよい。上述したように、追加表示要求の入力は、入力装置20として設けられるキーボード、マウス、タッチパネル等の入力デバイスで行われてもよく、ユーザのジェスチャや音声等で行われてもよい。また、追加表示要求の入力は、サーバ装置30が提供するサービスから表示制御装置100に対する、いわゆるプッシュ型通知によって行われてもよく、表示制御装置100からサーバ装置30に周期的に問い合わせて、その問い合わせに応じてサーバ装置30が提供するサービスから送信される、いわゆるポーリング型通知によって行われてもよい。例えば、サーバ装置30が提供するサービスがメールやSNSのサービスの場合、自ユーザ宛のメッセージなど追加表示要求として取得してもよい。また例えば、サーバ装置30が天気情報のような所定の間隔で変化し得る情報を提供する場合、表示制御装置100は、その情報を所定の周期でサーバ装置30から取得することで追加表示要求を取得してもよい。
また表示制御装置100は、ユーザの物理的状態、例えばユーザの位置(表示装置10による表示面とユーザとの距離)、ユーザの視線、顔の向き、表示装置10による表示面の前にいるユーザの数に応じて、追加するアイテムの配置や内容や表示形態を変更しうる。例えば、表示装置10による表示面とユーザとの距離が所定距離以下であれば、表示制御装置100は、アイテムを表示装置10に小さく表示させたり、アイテムがテキストであればフォントを小さくしたりするように制御し、距離が所定距離以上であれば、表示制御装置100は、アイテムを表示装置10に大きく表示させたり、アイテムがテキストであればフォントを大きくしたりするように制御し得る。
上記ステップS101で新規アイテムの追加を検知すると、続いて表示制御装置100は、表示装置10によって既に表示されているアイテムが有るかどうか判断する(ステップS102)。ステップS102の、表示装置10によって既に表示されているアイテムが有るかどうかの判断は、例えば表示形態決定部136が実行し得る。
ステップS102の判断の結果、表示装置10によって表示されているアイテムが存在しないと判断された場合は(ステップS102、No)、表示制御装置100は、上記ステップS101で検知した新規アイテムに最適なレイアウトパターンを取得する処理を実行する(ステップS103)。ステップS103の、新規アイテムに最適なレイアウトパターンを取得する処理は、例えばひな型選択部134が実行し得る。
上記ステップS103で、新規アイテムに最適なレイアウトパターンを取得する処理を実行すると、続いて表示制御装置100は、新規アイテムに最適なレイアウトパターンを取得出来たかどうか(レイアウトパターン==nullであるかどうか)判断する(ステップS104)。ステップS104のレイアウトパターンを取得出来たかどうかの判断は、例えばひな型選択部134が実行し得る。
ステップS104の判断の結果、新規アイテムに最適なレイアウトパターンを取得出来たと判断した場合は(ステップS104、No)、続いて表示制御装置100は、その取得できたレイアウトパターンを用いて表示形態を決定し、決定した表示形態で新規アイテムを表示するよう表示装置10へ指示する(ステップS105)。ステップS105の処理は、例えば表示形態決定部136が実行し得る。
表示装置10によって表示されているアイテムが存在しないと判断された場合、表示装置10によって表示されているアイテムが存在しないので、表示制御装置100は、例えば図4Aや図4Cに示したような、主表示領域210が1つだけ存在するレイアウトパターン200を選択し、さらにその選択したレイアウトパターン200の中から、表示するアイテムに適したレイアウトパターン200を1つ選択する。例えば表示するアイテムがアイコンであれば、表示制御装置100は、図4Aのようなレイアウトパターン200を選択してもよい。また例えば表示するアイテムが画像であれば、表示制御装置100は、図4Cのようなレイアウトパターン200を選択してもよい。表示するアイテムに適したレイアウトパターン200が表示制御装置100によって選択される場合、レイアウトパターン200は、対応するコンテンツの情報を各表示領域が有していてもよい。また例えば、追加して表示されるアイテムに表示領域の指定があれば、表示制御装置100は、該指定に従ってレイアウトパターンをひな型選択部134に選択させ、アイテムの配置を表示形態決定部136に決定させてもよい。例えば、あるアイテムは必ず画面の中央に配置するように指定されている場合、表示制御装置100は、その指定に適合するレイアウトパターンをひな型選択部134に選択させ、アイテムの配置を表示形態決定部136に決定させてもよい。
図6A、図6Bは、レイアウトパターンにアイテムが当てはめられて表示されている状態を示す説明図である。図6Aは、表示制御装置100による制御で、図4Aに示したレイアウトパターン200の主表示領域210にアイコンが表示されている様子を示した説明図であり、図6Bは、表示制御装置100による制御で、図4Cに示したレイアウトパターン200の主表示領域210に画像が表示されている様子を示した説明図である。レイアウトパターン200は、対応するコンテンツの情報を各表示領域が有することで、特定のコンテンツの表示に特化することができる。
表示装置10に新規に表示されるアイテムが、表示優先度や表示領域要求を有していてもよい。そして、レイアウトパターン200の各表示領域も、対応する優先度や表示領域を有していてもよい。そして表示制御装置100は、アイテムが有する表示優先度や表示領域要求及びレイアウトパターン200の各表示領域が有する優先度や表示領域の情報を利用して、レイアウトパターンを選択してもよい。
例えば、アイテムを1つだけ表示する場合、優先度や表示領域を考慮しなければ、その表示しようとするアイテムが(ユーザにとって)さほど重要でない情報であったとしても画面一杯に表示される可能性がある。一方、表示しようとするアイテム自体に優先度や表示領域要求を有していると、表示制御装置100は、その表示しようとするアイテムに最適な表示を行うことができる。
図7は、表示制御装置100がアイテムの優先度を考慮してアイテムの表示を決定する場合の例を示す説明図である。図7に示した例は、主表示領域としてテキストを表示する領域を1つだけ持つが、それぞれ保有する表示領域が異なるレイアウトパターン-1及びレイアウトパターン-2を持つシステムを考える。図7には、レイアウトパターン-1よりレイアウトパターン-2の方が、テキストを表示する領域が大きい例が示されている。また図7には、2つのアイテムA、Bが示されており、優先度が、例えば最大を100として、それぞれ30,85である例が示されている。新規でアイテムAを追加する場合は、(絶対的に)優先度が低いので、表示制御装置100はレイアウトパターン-1を、新規でアイテムBを追加する場合は、(絶対的に)優先度が高いので、表示制御装置100はレイアウトパターン-2を選択する。このように似たようなアイテム、レイアウトパターンであっても優先度や表示領域を利用することで柔軟な表示を行うことが可能である。もちろん表示するアイテムがテキスト以外のアイテム、例えば画像等に応用することが可能であることは言うまでもない。
表示制御装置100は、アイテムが有する優先度に応じてアイテムを出す場所を変えるようにしてもよい。表示制御装置100は、例えば、アイテムが有する優先度が所定の閾値より高ければ主表示領域に、所定の閾値以下であれば副表示領域に、それぞれアイテムを表示するよう制御してもよい。また表示制御装置100は、ユーザの視線を検出し、その視線に応じてアイテムを出す場所を変えるようにしてもよい。また表示制御装置100は、同一のレイアウトパターンであっても、アイテムを表示する領域の大きさを変化させても良い。
ステップS104の判断の結果、新規アイテムに最適なレイアウトパターンを取得出来なかったと判断した場合は(ステップS104、Yes)、続いて表示制御装置100は、新規にレイアウトパターンを作成する処理を実行する(ステップS106)。ステップS106の、レイアウトパターンを作成する処理は、例えばひな型選択部134が実行し得る。表示制御装置100は、レイアウトパターンを作成すると、作成したレイアウトパターンを例えば記憶部140に記憶させてもよい。
レイアウトパターンを見つけられない例としては、例えば、アイテムを当てはめられるレイアウトパターンが無い場合や、表示領域に当てはめられるコンテンツが無い場合等が考えられ得る。
レイアウトパターンを作成する処理について例示する。表示制御装置100は、例えばサーバ装置を検索して、適するレイアウトパターンをダウンロードしてもよい。表示制御装置100は、また例えば、他ユーザが使っているレイアウトパターンが公開され、そのレイアウトパターンがアイテムの新規表示に適している場合、そのレイアウトパターンをダウンロードして利用してもよい。
表示制御装置100は、また例えば類似するレイアウトパターンを利用してもよい。例えば、未定義の<動画>というコンテンツ種類を属性にもつアイテムを表示装置10に表示するような追加表示要求が入力された場合、表示制御装置100は、それ以外の属性(例えば表示領域)等から表示に適したレイアウトパターンを探し出してもよい。そして、表示制御装置100は、探し出したレイアウトパターンに、追加表示するアイテムを当てはめて表示するように表示装置10を制御してもよい。
例えば、定義済みの<静止画>というコンテンツ種類を許容するレイアウトパターンを既に有している場合、表示制御装置100は、未定義のコンテンツ種類である<動画>を属性にもつアイテムを表示装置10に表示する際に、静止画を許容するレイアウトパターンに動画を当てはめてもよい。そして表示制御装置100は、例えば静止画を許容するレイアウトパターンに動画を当てはめることを採用した場合は、その対応を記憶しておき、次回以降にも対応できるようにしてもよい。ただし、新たにコンテンツ種類<動画>のレイアウトパターンを何らかの方法で入手した場合は、表示制御装置100は、<動画>をコンテンツ種類の属性に持つアイテムを表示する際には、その入手したレイアウトパターンを用いるようにしてもよい。表示制御装置100は、類似するレイアウトパターンを利用する場合、追加表示するアイテムのコンテンツ種類とは無関係に、表示領域だけを見て類似するレイアウトパターンであるかどうかを判断してもよい。
表示制御装置100は、また例えば、ユーザにレイアウトパターンを作成させてもよい。ユーザにレイアウトパターンを作成させる際には、アイテムを追加表示するタイミングで動的に作成させてもよいし、アイテムを追加表示する前に予めユーザに作成させてもよい。表示制御装置100は、例えばレイアウトパターンをユーザに生成させるアプリケーションを持ち、マウス、ジェスチャ、キーボード、音声等によってユーザにレイアウトパターンをカスタマイズして生成させるようにしてもよい。ユーザにレイアウトパターンを作成させる際には、表示制御装置100は、新規でレイアウトパターンを生成させてもよいし、既存のレイアウトパターンをベースに、または既存のレイアウトパターンを複製した後に、修正を加えさせてもよい。表示制御装置100は、レイアウトパターンを生成させる際に、例えばテキストを表示する領域に対してはフォントサイズ変更や、2行目以降の表示、途中から省略するような表示のようなカスタマイズをユーザに行わせてもよく、画像を表示する領域に対しては表示可能領域の大きさを変更するようなカスタマイズをユーザに行わせてもよい。
表示制御装置100は、また例えば、レイアウトパターンを見つけられない場合に、例えばサーバ装置30に対して、レイアウトパターンの作成を要求するメッセージを通信部110から送っても良い。このメッセージは、例えばひな型選択部134が生成し得る。
ここまでは、上記ステップS102の判断の結果、表示装置10によって表示されているアイテムが存在しないと判断された場合(ステップS102、No)の処理について説明した。一方、上記ステップS102の判断の結果、表示装置10によって既に表示されているアイテムが存在すると判断された場合(ステップS102、Yes)、表示制御装置100は、既存のアイテムの存在を無視することはできず、既に表示されたアイテムとの対応関係から新しい表示状態に遷移させる。ここで既に表示されているアイテムの数は、1つだけとは限らず、複数のアイテムが既に表示装置10で表示されている場合も考えられる。以下においては、既に表示装置10で表示されているアイテムの数が1つだけの場合と、2つ以上の場合の両方が含まれているものとする。表示制御装置100は、表示装置10によって既に表示されているアイテムが存在する場合、まず表示装置10にアイテムを表示させている際に用いられている現在のレイアウトパターンを取得する(ステップS107)。現在のレイアウトパターンの取得は、例えばひな型選択部134が実行し得る。
ステップS107で現在のレイアウトパターンを取得すると、続いて表示制御装置100は、表示装置10で表示済みのアイテム及び新規に追加するアイテムが現在のレイアウトパターンに適用可能かどうか判断する(ステップS108)。ステップS108の判断は、例えば表示形態決定部136が実行し得る。
ステップS108の判断の結果、表示装置10で表示済みのアイテム及び新規に追加するアイテムが現在のレイアウトパターンに適用可能と判断した場合は、続いて表示制御装置100は、表示装置10で表示済みのアイテム(旧アイテム)を再レイアウトする(ステップS109)。ステップS109の旧アイテムの再レイアウト処理は、例えば表示形態決定部136が実行し得る。
レイアウトパターンの適用可否の判断及び旧アイテムの再レイアウト処理の例を示す。表示装置10に表示されるアイテムには、例えば「天気」、「時計」、「ニュース」等の、各アイテムが属するグループがあるケースが考えられる。アイテムが属するグループがある場合、表示制御装置100は、追加されるアイテムのグループを考慮してレイアウトパターンの適用可否の判断及び旧アイテムの再レイアウトを行なってもよい。
図8は、旧アイテムの再レイアウト処理を例示する説明図である。図8は、AグループのアイテムA-1が既に表示装置10で表示されている状態を示したものである。Aグループは例えば「天気」グループであり、アイテムA-1は例えば東京の天気予報であるとする。この状態で、例えば同じAグループのアイテムA-2が新規に追加される場合と、別のBグループのアイテムB-1が新規に追加される場合とで、図8に示したように遷移が分岐してもよい。アイテムA-2は例えばニューヨークの天気予報であり、Bグループは例えば「時計」グループであり、アイテムB-1は例えば東京の時刻であるとする。
表示制御装置100は、例えば、Bグループのアイテムが新規に追加される場合は、主表示領域が1つのレイアウトパターンの使用を継続し、それまで表示されていたアイテムA-1は副表示領域へ表示するように表示を制御するが、Aグループのアイテムが新規に追加され、主表示領域が不足している場合は、主表示領域が2つのレイアウトパターンの使用に切り替えるようにしてもよい。このレイアウトパターンの切り替えはひな型選択部134が実行し得る。表示制御装置100は、このようにアイテムのグループという属性を利用して、適用するレイアウトパターンを切り替えることができる。
表示装置10に表示される各アイテムが優先度情報を持っている場合、表示制御装置100は、例えば、既に表示装置10で表示済みのアイテムと、新規に表示するアイテムの優先度とを比較してもよい。図9は旧アイテムの再レイアウト処理を例示する説明図である。図9は、優先度P10を有するアイテムが既に表示装置10で表示されている状態を示したものである。そして図9は、優先度P10を有するアイテムが既に表示装置10で表示されている状態で、優先度P20、P10、P5を有するアイテムが追加される場合の例である。
既に表示されているアイテムの優先度より高い優先度を持つアイテムが追加される場合は、表示制御装置100は、図9に示したように、その新規アイテムが主表示領域に表示されるように、例えば表示形態決定部136で決定する。また、既に表示されているアイテムの優先度より低い優先度を持つアイテムが追加される場合は、表示制御装置100は、その新規アイテムが副表示領域に表示されるように決定する。もし同一の優先度を持つアイテムが追加される場合は、表示制御装置100は、主表示領域を2つ持つレイアウトパターンに切り替える。このレイアウトパターンの切り替えは例えばひな型選択部134が実行し得る。また表示制御装置100は、例えば、アイテムが有する優先度の和が所定の閾値を上回ったら、レイアウトパターンを変更するようにしてもよい。
同時に、または短時間の間に複数のアイテムが追加される場合も考えられる。同時に、または短時間の間に複数のアイテムが追加される場合、アイテムの追加表示がスタックされてもよい。表示制御装置100は、例えばアイテムを追加表示する際に、アニメーション表示させるように追加表示するアイテムの表示を、例えば表示形態決定部136で制御してもよい。アニメーション表示させるように追加表示するアイテムの表示を制御する場合、表示制御装置100は、最初に表示されるアイテムのアニメーションが完了してから、次のアイテムを表示させるよう、例えば表示形態決定部136で制御してもよい。表示制御装置100は、スタックする順番を、アイテムの追加表示要求が発生した時間順としてもよいし、ある時間内に到着したアイテムの追加表示要求の中で優先度などの指標に基づいて決定しても良い。
なお、表示制御装置100は、あるアイテムの追加表示要求を検知すると、所定の時間、例えば10秒間は、新たなアイテムは表示させなくてもよい。表示制御装置100は、その所定の時間内に追加表示要求を検知したアイテムについては、その所定の時間が経過した後に表示装置10に順次表示させてもよい。その表示についても、表示制御装置100は、時間順に表示装置10に順次表示させてもよく、優先度順に表示装置10に順次表示させてもよい。また表示制御装置100は、優先度が所定の閾値以下のアイテムは所定の時間が経過した後でも表示させずに破棄してもよく、所定の時間(例えば1分後など)に表示装置10に表示させてもよく、アイテムの追加表示要求を検知したことをメールなどで通知するようにしてもよい。また表示制御装置100は、優先度が極めて高いものは、所定の時間が経過する前であっても、割り込みで表示装置10に表示させてもよい。
各レイアウトパターンは許容する様々な限界値を保有してもよい。例えば、各レイアウトパターンはアイテムの表示を許容するスロット数を保有してもよく、許容する優先度の合計値を保有してもよく、許容する表示領域を保有してもよい。
図10は、レイアウトパターンを例示する説明図である。図10には、空きスロットが2つあるレイアウトパターンの例が示されている。現在のレイアウトパターンに空きスロットが2つある場合、表示制御装置100はアイテムをさらに2つまで表示装置10に表示させることが出来る。レイアウトパターンは、表示する最大のアイテム数を定義しておく。最大アイテム数を超えてしまう場合は、表示制御装置100は、適当なアイテムを非表示にする。なお、最大アイテム数を超えてしまった場合、異なるレイアウトパターンの適用が許されるのであれば、表示制御装置100は、その異なるレイアウトパターンに切り替えてアイテムを表示装置10に表示させてもよい。
図11は、レイアウトパターンを例示する説明図である。図11には、優先度P70を有するアイテムが既に表示装置10で表示されている状態が示されている。このレイアウトパターンが、優先度P100までのアイテムの表示を許容するものである場合、優先度P70を有するアイテムが既に表示装置10で表示されていれば、優先度P30までのアイテムが表示可能である。すなわち、表示制御装置100は、表示されているアイテムの優先度の合計が、レイアウトパターンに適用されている最大の優先度を超えないようにアイテムを表示する制御を行う。レイアウトパターンに許容する優先度の情報を設定しておくことで、表示制御装置100は、優先度の高い情報を優先したり、無駄な表示を少なくしたりすることで、ユーザにアイテムを気付かせやすくする効果が期待できる。
図12は、レイアウトパターンを例示する説明図である。図12には、縦300ピクセル、横400ピクセルの表示可能領域がある状態が示されている。表示制御装置100は、この表示可能領域よりも小さな領域でアイテムを表示するようにアイテムの表示を制御する。アイテムを追加する際に、この表示可能領域よりも大きな表示領域が必要である場合は、表示制御装置100は、例えば表示するアイテムの大きさの変更、別のレイアウトパターンの適用、新規アイテムの表示の破棄などの制御を実行し得る。
表示制御装置100は、表示装置10に追加表示させるアイテムの属性によって同時表示可能数を定め、その同時表示可能数に基づいてアイテムを表示装置10で表示させてもよい。例えば、アイテムとして既に表示装置10で天気予報というアイテムが2つ(例えば、東京の天気予報とニューヨークの天気予報)表示されており、さらにアイテムとして同じく天気予報(例えばロンドンの天気予報)を1つ表示しようとする場合は、表示制御装置100は、レイアウトパターンを変更して天気予報を合わせて3つ表示するようにしても良い。また例えば、アイテムとして既に天気予報が2つ(例えば、東京の天気予報とニューヨークの天気予報)表示されており、さらにアイテムとして別のグループである時計(例えば、ニューヨークの時計)を1つ表示しようとする場合は、表示制御装置100は、レイアウトパターンを変更せずに、天気予報を1つ、時計を1つ表示するようにしても良い。また例えば、アイテムとして既に天気予報が2つ(例えば、東京の天気予報とニューヨークの天気予報)表示されており、さらにアイテムとしてメールを表示しようとする場合は、レイアウトパターンを変更せずに、メールのみを表示するようにしてもよい。
表示装置10に表示される各アイテムは、表示を持続する表示持続時間(ライフタイム)を有してもよい。そして表示制御装置100は、各アイテムが有するライフタイムに応じてアイテムの表示を変化させてもよい。ライフタイムとしては、例えば下記で示すようなものが考えられる。
・一定の表示後に消去する。
・一定の表示後にサイズを小さく変形して表示が残る。表示が残る場合、主表示領域から副表示領域に移動させてもよい。
・常時表示する。
・ユーザやシステムによって強制的に消滅が指示される。
・一定の表示後に消去する。
・一定の表示後にサイズを小さく変形して表示が残る。表示が残る場合、主表示領域から副表示領域に移動させてもよい。
・常時表示する。
・ユーザやシステムによって強制的に消滅が指示される。
表示装置10に表示される各アイテムは、複数の表示形態を有してもよい。図13は、アイテムの表示形態の例を示す説明図である。図13には、あるアイテムについて3つの表示形態A、B、Cが示されている。表示形態Aは、例えば情報量が10、表示量が85と定められた表示形態である。表示形態Bは、例えば情報量が5、表示量が48と定められた表示形態である。表示形態Cは、例えば情報量が1、表示量が28と定められた表示形態である。表示形態決定部136は、複数の表示形態を持つアイテムを表示装置10で表示しようとする際に、選択されたレイアウトパターンと、アイテムの表示形態と、を考慮に入れてアイテムの配置及び表示形態を決定する。このように表示装置10に表示される各アイテムが複数の表示状態を持つことによって、表示制御装置100は、新規アイテムの追加表示の際に、現在のレイアウトパターンを変更せずにそのまま適用して表示する可能性が上がる効果がある。
表示装置10にアイテムをアニメーションによって追加表示する場合、アニメーションにより表示が重なってしまう場合は、表示制御装置100は、アニメーションをシーケンシャルに行うことで、表示が重ならなくしてもよい。図14~図16は、表示制御装置100によるアニメーション表示の制御例を示す説明図である。図14は、3つのアイテムITa、ITb、ITcが表示装置10によって表示されている状態で、アイテムITa、ITb、ITcの順に、1つずつ画面の上部に向かって移動することで画面から消去するアニメーション表示の制御例を示している。図15は、1つのアイテムITaが表示装置10によって表示されている状態で、新たなアイテムITbを追加表示する際のアニメーション表示の制御例を示している。
図16は、アイテムが表示装置10によって何も表示されていない状態で、3つのアイテムを表示する際のアニメーション表示の制御例を示している。例えば図16は、ユーザが「天気とニュースと野球の結果を教えて」と発話した場合に、天気予報、ニュース、野球の結果の順にアイテムITa、ITb、ITcを表示する際の、表示制御装置100によるアニメーション表示の制御例である。従って図16に示した例では、アイテムITaは天気予報を、アイテムITbはニュースを、ITcは野球の試合結果を、それぞれ示すアイテムである。
アイテムが追加される順番によっても、様々な表示パターンが考えられ得る。図17、図18は、表示制御装置100によるアイテムの追加表示の制御例を示す説明図である。例えば現在のレイアウトパターンが、図17のように右から左の順にアイテムITa、ITb、ITcを追加表示するレイアウトパターンであったり、図18のように下から上の順にアイテムITa、ITb、ITcを追加表示するレイアウトパターンであったりする場合、表示制御装置100は、追加される順にアイテムを表示装置10に表示させる制御を実行してもよい。なお、表示制御装置100は、アイテムが追加された時間ではなく、アイテムの作成日、更新日、優先度等の情報に基づいてソートして表示装置10に表示させても良い。
追加されるアイテムのコンテンツ種類によっても様々な表示パターンが考えられ得る。例えば、コンテンツ種類が<テキスト>のアイテムと<画像>のアイテムを表示装置10で表示する場合、片方のアイテムを追加した段階で次のアイテムが表示されることが確定しているとは限らない。つまり、最初のアイテムを追加した時点では、表示制御装置100は、その時点における最適なレイアウトパターンを選択するが、2つのアイテムを表示する最終的な表示が同じであっても、違う表示形態を通過する可能性がある。もちろん追加するアイテムが予め分かっている場合は、表示制御装置100は、最終形態のレイアウトパターンを予め選択して、そのレイアウトパターンに合わせてアイテムを順次追加して表示していってもよい。
図19は、表示制御装置100によって表示装置10に表示されるアイテムの一例を示す説明図であり、図20は、表示制御装置100によって図19に示した2つのアイテムが表示装置10に表示されるパターンを示す説明図である。
図19には、画像アイテムIT1とテキストアイテムIT2の2つのアイテムが示されている。そして図20には、最初に画像アイテムのみが表示装置10に表示されている状態で、テキストアイテムが表示装置10に追加表示されるパターンが5通り示されている。以下に、表示制御装置100による5通りのテキストアイテムの追加表示パターンを図20の左から順に説明する。
(1)テキスト表示の棄却
既に表示されているアイテムより優先度が低かったり、アイテムグループが異なっていたりする等して、テキストアイテムを表示装置10に表示させないパターンである。
既に表示されているアイテムより優先度が低かったり、アイテムグループが異なっていたりする等して、テキストアイテムを表示装置10に表示させないパターンである。
(2)テキスト表示
アイテムグループが同じであり、既に表示されているアイテムとの関連性が高く、また既に表示されているアイテムと優先度が同程度の場合に、テキストアイテムを画像アイテムに重畳させて表示装置10に表示させるパターンである。
アイテムグループが同じであり、既に表示されているアイテムとの関連性が高く、また既に表示されているアイテムと優先度が同程度の場合に、テキストアイテムを画像アイテムに重畳させて表示装置10に表示させるパターンである。
(3)テキスト表示
アイテムグループが異なっており、既に表示されているアイテムとの関連性が低く、また優先度が同程度の場合に、テキストアイテムを画像アイテムに重畳させないように表示装置10に表示させるパターンである。
アイテムグループが異なっており、既に表示されているアイテムとの関連性が低く、また優先度が同程度の場合に、テキストアイテムを画像アイテムに重畳させないように表示装置10に表示させるパターンである。
(4)テキスト表示
アイテムグループが異なっており、既に表示されているアイテムとの関連性が低く、また優先度が既に表示されているアイテムより高い場合に、テキストアイテムを主表示領域に、画像アイテムを副表示領域に、それぞれ表示装置10に表示させるパターンである。
アイテムグループが異なっており、既に表示されているアイテムとの関連性が低く、また優先度が既に表示されているアイテムより高い場合に、テキストアイテムを主表示領域に、画像アイテムを副表示領域に、それぞれ表示装置10に表示させるパターンである。
(5)テキスト表示
既に表示されているアイテムと優先度が同程度の場合に、テキストアイテムを画像アイテムに主表示領域に並べて表示装置10に表示させるパターンである。この場合、新規に追加表示されるテキストアイテムは、例えば既に表示されている画像アイテムの右側に表示されてもよい。
既に表示されているアイテムと優先度が同程度の場合に、テキストアイテムを画像アイテムに主表示領域に並べて表示装置10に表示させるパターンである。この場合、新規に追加表示されるテキストアイテムは、例えば既に表示されている画像アイテムの右側に表示されてもよい。
もちろん、表示制御装置100の制御による表示パターンはこの5つのパターンに限定されるものではない。
アイテムが2個以上追加される場合に、レイアウトパターンで表示アイテム数が固定のとき、表示制御装置100は、アイテムの追加によりレイアウトパターンの表示アイテム数が上限を超える場合は、適当なアイテムを消去させて、表示スロットを開けるようにしてもよい。アイテムを消去するルールとしては、例えば優先度が最も低いアイテム、表示している時間がもっとも長いアイテム等が挙げられる。
アイテムが2個以上追加される場合に、それぞれ異なる表示スロット数を持つレイアウトパターンを有していれば、表示制御装置100は、アイテムの追加により最適な表示スロットをもつレイアウトパターンに乗り換えてもよい。表示制御装置100が有する、最大の表示スロット数を持つレイアウトパターンでも表示しきれない場合は、表示制御装置100は、上述したように適当なアイテムを消去させてもよい。表示制御装置100は、アイテムの優先度を見て、優先度が低ければその新規アイテムを表示させずに、上述したようにその新規アイテムの破棄などをしてもよい。
表示制御装置100は、新規にアイテムを追加表示させる際に、レイアウトの更新をブロックし、表示を維持するようにしてもよい。例えば表示制御装置100は、ユーザの状態を検出してレイアウトの更新をブロックしてもよい。その際にレイアウトの全体をブロックしてもよく、一部分だけをブロックしてもよい。例えば表示制御装置100は、主表示領域だけ更新をブロックしてもよい。表示制御装置100は、主表示領域だけ更新をブロックしている間に、副表示領域にアイテムを表示させることが出来る。逆に表示制御装置100は、副表示領域だけ更新をブロックしてもよい。
例えば、ユーザの顔や視線が画面の表示物に向いていて、かつ、所定時間以上ユーザが同じ場所を眺めていたり、テキストが表示されている部分をユーザの視線が追っていたりすることを検出すると、表示制御装置100は、レイアウトの更新をブロックしてもよい。また例えば、ユーザの所定のジェスチャ、音声の発話、マウス、キーボード、タッチパネルの操作といった、ユーザの意図的な操作を検出すると、表示制御装置100は、レイアウトの更新をブロックしてもよい。
優先度の高いアイテムが表示されており、その優先度が所定値以上の場合は、表示制御装置100は、レイアウトの更新をブロックし、その優先度の高いアイテムをユーザの目の付きやすいところに配置するようにしてもよい。
表示制御装置100は、レイアウトの更新のブロックを、例えばユーザの視線や体勢が画面に対して向かなくなった場合や、任意の時間の経過後に解除してもよい。また表示制御装置100は、レイアウトの更新のブロックを、優先度が高いアイテムが表示されなくなった際に解除してもよい。また表示制御装置100は、レイアウトの更新のブロックを、ユーザが意図的に新しいアイテムを所望した場合に解除してもよい。表示制御装置100は、レイアウトの更新のブロックを解除すると、ブロックしている間にスタックしていたアイテムを表示装置10に表示させても良い。
アイテムに設定される優先度は、時間経過とともに変化され得る。表示制御装置100は、アイテムの優先度を時間の経過とともに連続的に減衰(または増加)させてもよいし、ある時間内は優先度を維持し、その時間が経過した後に減衰(または増加)させてもよい。例えば、アイテムとして出勤時間を知らせるタイマーを表示させる場合には、表示制御装置100は、時間の経過に伴ってそのアイテムの優先度を増加させる。そして表示制御装置100は、アイテムに設定される優先度の変化に応じてレイアウトパターンを優先度に合ったものに動的に変化させてもよい。
表示制御装置100は、ユーザが何らかの方法、例えば視線を向ける、音声を発話する、マウス、キーボード、タッチパネルを操作する等の方法によって表示されているアイテムが既視状態になるまで優先度を維持し、アイテムが既視状態になると優先度を減衰(または増加)させてもよい。例えばアイテムとしてメールの受信通知を表示装置10に表示させる場合、ユーザがそのメールの受信通知を既視状態にすると、表示制御装置100は、そのアイテムの優先度を低下させてもよい。
アイテムとして例えばテキストアイテムを既視状態と判定するためには、表示制御装置100は、ユーザの視線を検知し、テキストを読み終わるまでそのユーザの視線をトラッキングしたり、テキスト量に応じて既視状態となるまでの時間を算出したりしてもよい。
表示制御装置100は、逆に、アイテムが既視状態になると、そのアイテムの優先度を維持したり、上げたりしてもよい。アイテムとして例えばニュースのように長い文章が表示されたり、閲覧者が同時に複数存在しているような場合は、アイテムが既視状態になると、そのアイテムの優先度を維持したり、優先度を上げたりしても良い。既視状態になった際の優先度は、コンテンツ種類(画像・テキスト等)や、サーバ装置30が提供するサービスの種類(ニュース、SNS、天気、時計等)に応じて適切に決定され得る。
表示制御装置100は、外部要因によってアイテムの優先度を変化させてもよい。例えばアイテムとして電車の遅延情報が出ていたが、既に電車が運転を再開して情報が古くなった場合に、表示制御装置100は、そのアイテムの優先度を低下させてもよい。また例えば、アイテムとして19時からのTV番組の推薦通知が表示されていたが、時間が過ぎて番組が終了した場合に、表示制御装置100は、そのアイテムの優先度を低下させてもよい。また例えば、アイテムとして大雨警報を通知する情報が表示されていたが、警報から注意報に格下げになった場合に、表示制御装置100は、そのアイテムの優先度を低下させてもよい。
アイテムの追加に伴うレイアウトパターンの変化のバリエーションを示す。表示制御装置100は、既に表示されているアイテムのアイテムグループと、追加表示しようとするアイテムのアイテムグループとを比較し、その比較結果に基づいて表示生成位置を変更してもよい。例えば同じアイテムグループの追加であれば、表示制御装置100は、アイテム間の関連性を示すために、既に表示されているアイテムグループのアイテムから表示し、他のアイテムグループであれば、外部から表示するようにしてもよい。そのため表示制御装置100は、最終的に同じレイアウトパターンに遷移する場合も、トランジションの見え方を異ならせてもよい、
図21は、アイテムの追加表示に伴うレイアウトパターンの変化のバリエーションを示す説明図である。図21には、主表示領域にアイテムを1つだけ表示できるレイアウトパターン-Aが適用され、表示装置10によってアイテムA-1が既に主表示領域に表示されている場合に、アイテムの追加表示に伴うレイアウトパターンの変化を3通り示されている。以下に、表示制御装置100による3通りのレイアウトパターンの変化を図21の左から順に説明する。
(1)既に表示されているアイテムのアイテムグループと異なるアイテムグループのアイテムを追加表示する際に、レイアウトパターンを維持する。アイテムA-1が表示されている場合に、そのアイテムA-1と異なるアイテムグループのアイテムB-1が表示される場合に、表示制御装置100は、主表示領域にアイテムを1つだけ表示できるレイアウトパターン-Aを維持した上で、アイテムA-1を副表示領域に移動させ、アイテムB-1を主表示領域に表示させる。
(2)既に表示されているアイテムのアイテムグループと同じアイテムグループのアイテムを追加表示する際に、レイアウトパターンを変更する。アイテムA-1が表示されている場合に、そのアイテムA-1と同じアイテムグループのアイテムA-2が表示される場合に、表示制御装置100は、主表示領域にアイテムを2つ表示できるレイアウトパターン-Bに変更した上で、アイテムA-1、A-2を主表示領域に表示させる。
(3)既に表示されているアイテムのアイテムグループと異なるアイテムグループのアイテムを追加表示する際に、レイアウトパターンを変更する。アイテムA-1が表示されている場合に、そのアイテムA-1と異なるアイテムグループのアイテムB-1が表示される場合に、表示制御装置100は、表示領域にアイテムを2つ表示できるレイアウトパターン-Bに変更した上で、アイテムA-1、B-1を主表示領域に表示させる。
もちろん、表示制御装置100の制御によるレイアウトパターンの変化はこの3つのパターンに限定されるものではない。
表示制御装置100は、表示装置10が表示する画面を見ているユーザの数に応じてレイアウトパターンを変更してもよい。表示装置10が表示する画面を見ているユーザが2人以上いる場合、表示制御装置100は、主表示領域や副表示領域に表示可能なアイテム数(スロット数)をユーザごとに異ならせてもよい。また表示装置10が表示する画面を見ているユーザが2人以上いる場合、表示制御装置100は、画面を分割して表示するような表示制御を行なっても良い。また表示装置10が表示する画面を見ているユーザが2人以上いる場合、表示制御装置100は、発話したユーザに応じた表示制御を行なっても良い。なお発話したユーザは、音源方向、声色などで識別することが可能である。なお、ここでの複数ユーザは、ユーザが実際に同一の画面の前にいる場合、またはネットワークで接続された遠隔地にいる場合のいずれかが含まれ得る。
<2.ハードウェア構成例>
次に、図22を参照して、本開示の一実施形態にかかる表示制御装置100のハードウェア構成について説明する。図22は、本開示の実施形態にかかる表示制御装置100のハードウェア構成例を示すブロック図である。上記の各アルゴリズムは、例えば、図22に示す情報処理装置のハードウェア構成を用いて実行することが可能である。つまり、当該各アルゴリズムの処理は、コンピュータプログラムを用いて図22に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、PHS、PDA等の携帯情報端末、ゲーム機、接触式又は非接触式のICチップ、接触式又は非接触式のICカード、又は種々の情報家電がこれに含まれる。但し、上記のPHSは、Personal Handy-phone Systemの略である。また、上記のPDAは、Personal Digital Assistantの略である。
次に、図22を参照して、本開示の一実施形態にかかる表示制御装置100のハードウェア構成について説明する。図22は、本開示の実施形態にかかる表示制御装置100のハードウェア構成例を示すブロック図である。上記の各アルゴリズムは、例えば、図22に示す情報処理装置のハードウェア構成を用いて実行することが可能である。つまり、当該各アルゴリズムの処理は、コンピュータプログラムを用いて図22に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、PHS、PDA等の携帯情報端末、ゲーム機、接触式又は非接触式のICチップ、接触式又は非接触式のICカード、又は種々の情報家電がこれに含まれる。但し、上記のPHSは、Personal Handy-phone Systemの略である。また、上記のPDAは、Personal Digital Assistantの略である。
図22に示すように、このハードウェアは、主に、CPU902と、ROM904と、RAM906と、ホストバス908と、ブリッジ910と、を有する。さらに、このハードウェアは、外部バス912と、インターフェース914と、入力部916と、出力部918と、記憶部920と、ドライブ922と、接続ポート924と、通信部926と、を有する。但し、上記のCPUは、Central Processing Unitの略である。また、上記のROMは、Read Only Memoryの略である。そして、上記のRAMは、Random Access Memoryの略である。
CPU902は、例えば、演算処理装置又は制御装置として機能し、ROM904、RAM906、記憶部920、又はリムーバブル記録媒体928に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ROM904は、CPU902に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM906には、例えば、CPU902に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス908を介して相互に接続される。一方、ホストバス908は、例えば、ブリッジ910を介して比較的データ伝送速度が低速な外部バス912に接続される。また、入力部916としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部916としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。
出力部918としては、例えば、CRT、LCD、PDP、又はELD等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。但し、上記のCRTは、Cathode Ray Tubeの略である。また、上記のLCDは、Liquid Crystal Displayの略である。そして、上記のPDPは、Plasma DisplayPanelの略である。さらに、上記のELDは、Electro-Luminescence Displayの略である。
記憶部920は、各種のデータを格納するための装置である。記憶部920としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のHDDは、Hard Disk Driveの略である。
ドライブ922は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体928に記録された情報を読み出し、又はリムーバブル記録媒体928に情報を書き込む装置である。リムーバブル記録媒体928は、例えば、DVDメディア、Blu-rayメディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体928は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。但し、上記のICは、Integrated Circuitの略である。
接続ポート924は、例えば、USBポート、IEEE1394ポート、SCSI、RS-232Cポート、又は光オーディオ端子等のような外部接続機器930を接続するためのポートである。外部接続機器930は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。但し、上記のUSBは、Universal Serial Busの略である。また、上記のSCSIは、Small Computer System Interfaceの略である。
通信部926は、ネットワーク932に接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB用の通信カード、光通信用のルータ、ADSL用のルータ、又は接触又は非接触通信用のデバイス等である。また、通信部926に接続されるネットワーク932は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内LAN、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のLANは、Local Area Networkの略である。また、上記のWUSBは、Wireless USBの略である。そして、上記のADSLは、Asymmetric Digital Subscriber Lineの略である。
以上、表示制御装置100のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
<2.まとめ>
以上説明したように本開示の一実施形態によれば、アイテムの追加表示要求に応じてアイテムが順次表示されていくシステムにおいて、様々な形態をもつオブジェクトを自動的に最適化して表示装置10に表示させることが可能な表示制御装置100が提供される。本開示の一実施形態に係る表示制御装置100は、レイアウトパターンにアイテムを当てはめることで、様々な形態をもつオブジェクトを自動的に最適化して表示装置10に表示させることが出来る。
以上説明したように本開示の一実施形態によれば、アイテムの追加表示要求に応じてアイテムが順次表示されていくシステムにおいて、様々な形態をもつオブジェクトを自動的に最適化して表示装置10に表示させることが可能な表示制御装置100が提供される。本開示の一実施形態に係る表示制御装置100は、レイアウトパターンにアイテムを当てはめることで、様々な形態をもつオブジェクトを自動的に最適化して表示装置10に表示させることが出来る。
本開示の一実施形態に係る表示制御装置100は、レイアウトパターンにアイテムを当てはめる際に、既に表示されているアイテムの内容や、これから追加表示しようとするアイテムの内容に応じて、使用するレイアウトパターンを決定する。アイテムの内容としては、アイテムのコンテンツ種類、アイテムの優先度等が含まれ得る。本開示の一実施形態に係る表示制御装置100は、アイテムの内容に応じて使用するレイアウトパターンを決定することで、様々な形態をもつオブジェクトを自動的に最適化して表示装置10に表示させることが出来る。
本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、各装置に内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。
また本開示の一実施形態に係る表示制御装置100は、表示制御装置100の処理の結果として表示される画像を表示するディスプレイを備える装置とは別の装置(たとえばインターネット等のネットワークを介してディスプレイを備える装置と接続されるサーバ装置)として実施されてもよいし、サーバ装置から情報を受ける端末装置で実施されてもよい。また本開示の一実施形態に係る表示制御装置100の構成は、単独の装置で実現されてもよく、複数の装置が連携するシステムで実現されても良い。複数の装置が連携するシステムには、例えば複数のサーバ装置の組み合わせ、サーバ装置と端末装置との組み合わせ等が含まれ得る。
なお、上記実施形態で示したユーザインタフェースやアプリケーションを実現するソフトウェアは、インターネット等のネットワークを介して使用するウェブアプリケーションとして実現されてもよい。ウェブアプリケーションは、例えば、HTML(HyperText Markup Language)、SGML(Standard Generalized Markup Language)、XML(Extensible Markup Language)などのマークアップ言語により実現されてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定する表示形態決定部と、
前記表示形態決定部により決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行する発行部と、
を備える、表示制御装置。
(2)
前記既表示アイテムは複数であり、前記表示形態決定部は、複数の前記既表示アイテムの関連情報と前記追加表示アイテムの関連情報とに応じて前記追加表示アイテムの表示形態を決定する、前記(1)に記載の表示制御装置。
(3)
前記表示形態決定部は、複数の前記既表示アイテムのレイアウトに応じて前記追加表示アイテムの表示形態を決定する、前記(2)に記載の表示制御装置。
(4)
前記表示形態決定部は、前記追加表示アイテムの表示形態として該追加表示アイテムの大きさを決定する、前記(1)~(3)のいずれかに記載の表示制御装置。
(5)
前記表示形態決定部は、前記追加表示アイテムの表示形態として該追加表示アイテムに関する情報量を決定する、前記(1)~(4)のいずれかに記載の表示制御装置。
(6)
前記表示形態決定部は、ユーザの物理的状態に応じて前記追加表示アイテムの配置及び該追加表示アイテムの表示形態を決定する、前記(1)~(5)のいずれかに記載の表示制御装置。
(7)
前記表示形態決定部は、前記ユーザの物理的状態として該ユーザの位置に応じて前記追加表示アイテムの配置及び該追加表示アイテムの表示形態を決定する、前記(6)に記載の表示制御装置。
(8)
前記表示形態決定部は、前記追加表示アイテムの優先度に応じて表示アイテムの表示サイズを決定する、前記(1)~(7)のいずれかに記載の表示制御装置。
(9)
前記表示形態決定部は、前記既表示アイテムの優先度にも基づいて表示アイテムの配置を決定する、前記(8)に記載の表示制御装置。
(10)
前記表示形態決定部は、前記追加表示アイテムに表示領域の指定があれば、該指定に従って表示アイテムの配置を決定する、前記(1)~(9)のいずれかに記載の表示制御装置。
(11)
前記表示形態決定部は、前記既表示アイテムの属性に基づいて表示アイテムの配置を決定する、前記(1)~(10)のいずれかに記載の表示制御装置。
(12)
前記表示形態決定部は、各表示アイテムに設定された表示持続時間に基づいて各表示アイテムの表示を制御する、前記(1)~(11)のいずれかに記載の表示制御装置。
(13)
表示アイテムの追加要求が発生すると、前記第1の情報及び前記第2の情報に応じて表示アイテムがレイアウトされるひな型を選択するひな型選択部をさらに備える、前記(1)~(12)のいずれかに記載の表示制御装置。
(14)
前記ひな型は、主表示領域と、1以上の副表示領域と、を備える、前記(13)に記載の表示制御装置。
(15)
前記ひな型選択部は、前記ひな型選択部が選択可能なひな型で適するものが存在しなければ、新しいひな型を取得する、前記(13)または(14)に記載の表示制御装置。
(16)
前記ひな型選択部は、表示アイテムの追加要求に伴ってひな型の変更の有無を判断する、前記(13)~(15)のいずれかに記載の表示制御装置。
(17)
前記ひな型選択部は、表示アイテムの追加要求により表示アイテムの数が所定の閾値を超えたらひな型を変更する、前記(13)~(16)のいずれかに記載の表示制御装置。
(18)
前記ひな型選択部は、表示アイテムの優先度の和が所定の閾値を超えたらひな型を変更する、前記(13)~(17)のいずれかに記載の表示制御装置。
(19)
表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定することと、
決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行することと、
を含む、表示制御方法。
(20)
コンピュータに、
表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定することと、
決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行することと、
を実行させる、コンピュータプログラム。
(1)
表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定する表示形態決定部と、
前記表示形態決定部により決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行する発行部と、
を備える、表示制御装置。
(2)
前記既表示アイテムは複数であり、前記表示形態決定部は、複数の前記既表示アイテムの関連情報と前記追加表示アイテムの関連情報とに応じて前記追加表示アイテムの表示形態を決定する、前記(1)に記載の表示制御装置。
(3)
前記表示形態決定部は、複数の前記既表示アイテムのレイアウトに応じて前記追加表示アイテムの表示形態を決定する、前記(2)に記載の表示制御装置。
(4)
前記表示形態決定部は、前記追加表示アイテムの表示形態として該追加表示アイテムの大きさを決定する、前記(1)~(3)のいずれかに記載の表示制御装置。
(5)
前記表示形態決定部は、前記追加表示アイテムの表示形態として該追加表示アイテムに関する情報量を決定する、前記(1)~(4)のいずれかに記載の表示制御装置。
(6)
前記表示形態決定部は、ユーザの物理的状態に応じて前記追加表示アイテムの配置及び該追加表示アイテムの表示形態を決定する、前記(1)~(5)のいずれかに記載の表示制御装置。
(7)
前記表示形態決定部は、前記ユーザの物理的状態として該ユーザの位置に応じて前記追加表示アイテムの配置及び該追加表示アイテムの表示形態を決定する、前記(6)に記載の表示制御装置。
(8)
前記表示形態決定部は、前記追加表示アイテムの優先度に応じて表示アイテムの表示サイズを決定する、前記(1)~(7)のいずれかに記載の表示制御装置。
(9)
前記表示形態決定部は、前記既表示アイテムの優先度にも基づいて表示アイテムの配置を決定する、前記(8)に記載の表示制御装置。
(10)
前記表示形態決定部は、前記追加表示アイテムに表示領域の指定があれば、該指定に従って表示アイテムの配置を決定する、前記(1)~(9)のいずれかに記載の表示制御装置。
(11)
前記表示形態決定部は、前記既表示アイテムの属性に基づいて表示アイテムの配置を決定する、前記(1)~(10)のいずれかに記載の表示制御装置。
(12)
前記表示形態決定部は、各表示アイテムに設定された表示持続時間に基づいて各表示アイテムの表示を制御する、前記(1)~(11)のいずれかに記載の表示制御装置。
(13)
表示アイテムの追加要求が発生すると、前記第1の情報及び前記第2の情報に応じて表示アイテムがレイアウトされるひな型を選択するひな型選択部をさらに備える、前記(1)~(12)のいずれかに記載の表示制御装置。
(14)
前記ひな型は、主表示領域と、1以上の副表示領域と、を備える、前記(13)に記載の表示制御装置。
(15)
前記ひな型選択部は、前記ひな型選択部が選択可能なひな型で適するものが存在しなければ、新しいひな型を取得する、前記(13)または(14)に記載の表示制御装置。
(16)
前記ひな型選択部は、表示アイテムの追加要求に伴ってひな型の変更の有無を判断する、前記(13)~(15)のいずれかに記載の表示制御装置。
(17)
前記ひな型選択部は、表示アイテムの追加要求により表示アイテムの数が所定の閾値を超えたらひな型を変更する、前記(13)~(16)のいずれかに記載の表示制御装置。
(18)
前記ひな型選択部は、表示アイテムの優先度の和が所定の閾値を超えたらひな型を変更する、前記(13)~(17)のいずれかに記載の表示制御装置。
(19)
表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定することと、
決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行することと、
を含む、表示制御方法。
(20)
コンピュータに、
表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定することと、
決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行することと、
を実行させる、コンピュータプログラム。
1 :表示システム
10 :表示装置
20 :入力装置
30 :サーバ装置
100 :表示制御装置
110 :通信部
120 :入力部
130 :制御部
132 :検知部
134 :ひな型選択部
136 :表示形態決定部
140 :記憶部
150 :出力部
10 :表示装置
20 :入力装置
30 :サーバ装置
100 :表示制御装置
110 :通信部
120 :入力部
130 :制御部
132 :検知部
134 :ひな型選択部
136 :表示形態決定部
140 :記憶部
150 :出力部
Claims (20)
- 表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定する表示形態決定部と、
前記表示形態決定部により決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行する発行部と、
を備える、表示制御装置。 - 前記既表示アイテムは複数であり、前記表示形態決定部は、複数の前記既表示アイテムの関連情報と前記追加表示アイテムの関連情報とに応じて前記追加表示アイテムの表示形態を決定する、請求項1に記載の表示制御装置。
- 前記表示形態決定部は、複数の前記既表示アイテムのレイアウトに応じて前記追加表示アイテムの表示形態を決定する、請求項2に記載の表示制御装置。
- 前記表示形態決定部は、前記追加表示アイテムの表示形態として該追加表示アイテムの大きさを決定する、請求項1に記載の表示制御装置。
- 前記表示形態決定部は、前記追加表示アイテムの表示形態として該追加表示アイテムに関する情報量を決定する、請求項1に記載の表示制御装置。
- 前記表示形態決定部は、ユーザの物理的状態に応じて前記追加表示アイテムの配置及び該追加表示アイテムの表示形態を決定する、請求項1に記載の表示制御装置。
- 前記表示形態決定部は、前記ユーザの物理的状態として該ユーザの位置に応じて前記追加表示アイテムの配置及び該追加表示アイテムの表示形態を決定する、請求項6に記載の表示制御装置。
- 前記表示形態決定部は、前記追加表示アイテムの優先度に応じて表示アイテムの表示サイズを決定する、請求項1に記載の表示制御装置。
- 前記表示形態決定部は、前記既表示アイテムの優先度にも基づいて表示アイテムの配置を決定する、請求項8に記載の表示制御装置。
- 前記表示形態決定部は、前記追加表示アイテムに表示領域の指定があれば、該指定に従って表示アイテムの配置を決定する、請求項1に記載の表示制御装置。
- 前記表示形態決定部は、前記既表示アイテムの属性に基づいて表示アイテムの配置を決定する、請求項1に記載の表示制御装置。
- 前記表示形態決定部は、各表示アイテムに設定された表示持続時間に基づいて各表示アイテムの表示を制御する、請求項1に記載の表示制御装置。
- 表示アイテムの追加要求が発生すると、前記第1の情報及び前記第2の情報に応じて表示アイテムがレイアウトされるひな型を選択するひな型選択部をさらに備える、請求項1に記載の表示制御装置。
- 前記ひな型は、主表示領域と、1以上の副表示領域と、を備える、請求項13に記載の表示制御装置。
- 前記ひな型選択部は、前記ひな型選択部が選択可能なひな型で適するものが存在しなければ、新しいひな型を取得する、請求項13に記載の表示制御装置。
- 前記ひな型選択部は、表示アイテムの追加要求に伴ってひな型の変更の有無を判断する、請求項13に記載の表示制御装置。
- 前記ひな型選択部は、表示アイテムの追加要求により表示アイテムの数が所定の閾値を超えたらひな型を変更する、請求項13に記載の表示制御装置。
- 前記ひな型選択部は、表示アイテムの優先度の和が所定の閾値を超えたらひな型を変更する、請求項13に記載の表示制御装置。
- 表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定することと、
決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行することと、
を含む、表示制御方法。 - コンピュータに、
表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定することと、
決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行することと、
を実行させる、コンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/314,581 US10444942B2 (en) | 2014-06-16 | 2015-06-04 | Display control apparatus and display control method to optimize and display objects of various forms |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-123566 | 2014-06-16 | ||
JP2014123566A JP2016004375A (ja) | 2014-06-16 | 2014-06-16 | 表示制御装置、表示制御方法及びコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015194386A1 true WO2015194386A1 (ja) | 2015-12-23 |
Family
ID=54935376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/066267 WO2015194386A1 (ja) | 2014-06-16 | 2015-06-04 | 表示制御装置、表示制御方法及びコンピュータプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10444942B2 (ja) |
JP (1) | JP2016004375A (ja) |
WO (1) | WO2015194386A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109407312A (zh) * | 2018-09-27 | 2019-03-01 | 深圳奇迹智慧网络有限公司 | 一种头戴式显示设备 |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10915234B2 (en) * | 2016-06-01 | 2021-02-09 | Motorola Mobility Llc | Responsive, visual presentation of informational briefs on user requested topics |
CN106682144B (zh) * | 2016-12-20 | 2018-07-13 | 深圳壹账通智能科技有限公司 | 页面展示方法和装置 |
CN108509107A (zh) | 2018-03-26 | 2018-09-07 | 百度在线网络技术(北京)有限公司 | 应用功能信息显示方法、装置及终端设备 |
JP2019204287A (ja) | 2018-05-23 | 2019-11-28 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
CN112020846B (zh) * | 2019-03-29 | 2022-05-20 | 西安诺瓦星云科技股份有限公司 | 显示控制系统和节目更新系统 |
US11270485B2 (en) * | 2019-07-22 | 2022-03-08 | Adobe Inc. | Automatic positioning of textual content within digital images |
US11295495B2 (en) | 2019-10-14 | 2022-04-05 | Adobe Inc. | Automatic positioning of textual content within digital images |
US11992372B2 (en) | 2020-10-02 | 2024-05-28 | Cilag Gmbh International | Cooperative surgical displays |
US11963683B2 (en) | 2020-10-02 | 2024-04-23 | Cilag Gmbh International | Method for operating tiered operation modes in a surgical system |
US12064293B2 (en) | 2020-10-02 | 2024-08-20 | Cilag Gmbh International | Field programmable surgical visualization system |
US11877897B2 (en) | 2020-10-02 | 2024-01-23 | Cilag Gmbh International | Situational awareness of instruments location and individualization of users to control displays |
US11748924B2 (en) | 2020-10-02 | 2023-09-05 | Cilag Gmbh International | Tiered system display control based on capacity and user operation |
US12016566B2 (en) | 2020-10-02 | 2024-06-25 | Cilag Gmbh International | Surgical instrument with adaptive function controls |
US20220104694A1 (en) * | 2020-10-02 | 2022-04-07 | Ethicon Llc | Control of a display outside the sterile field from a device within the sterile field |
US11830602B2 (en) | 2020-10-02 | 2023-11-28 | Cilag Gmbh International | Surgical hub having variable interconnectivity capabilities |
US11672534B2 (en) | 2020-10-02 | 2023-06-13 | Cilag Gmbh International | Communication capability of a smart stapler |
US20220108788A1 (en) * | 2020-10-02 | 2022-04-07 | Ethicon Llc | Reconfiguration of display sharing |
US11883022B2 (en) | 2020-10-02 | 2024-01-30 | Cilag Gmbh International | Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information |
US20220104910A1 (en) * | 2020-10-02 | 2022-04-07 | Ethicon Llc | Monitoring of user visual gaze to control which display system displays the primary information |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013186896A1 (ja) * | 2012-06-14 | 2013-12-19 | 三菱電機株式会社 | 情報機器および操作画面の表示方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7437317B1 (en) * | 2000-01-12 | 2008-10-14 | Oracle International Corporation | System and method for providing a distributed marketing presentation |
JP2010102053A (ja) | 2008-10-23 | 2010-05-06 | Victor Co Of Japan Ltd | 映像生成装置及び映像表示装置 |
US20150248698A1 (en) * | 2010-06-23 | 2015-09-03 | Google Inc. | Distributing content items |
WO2014127535A1 (en) * | 2013-02-22 | 2014-08-28 | Google Inc. | Systems and methods for automated content generation |
GB2546008A (en) * | 2014-10-20 | 2017-07-05 | Google Inc | Arbitrary size content item generation |
-
2014
- 2014-06-16 JP JP2014123566A patent/JP2016004375A/ja active Pending
-
2015
- 2015-06-04 US US15/314,581 patent/US10444942B2/en active Active
- 2015-06-04 WO PCT/JP2015/066267 patent/WO2015194386A1/ja active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013186896A1 (ja) * | 2012-06-14 | 2013-12-19 | 三菱電機株式会社 | 情報機器および操作画面の表示方法 |
Non-Patent Citations (3)
Title |
---|
KATSUHIKO ARAI: "Windows Katsuyo Kyoshitsu Dai 1 Kai", NIKKEI PC BEGINNERS, vol. 4, no. 180, 13 April 2005 (2005-04-13), pages 117 - 120 * |
RYOSUKE TAKEUCHI: "Tsukatte Oboeru! Windows 8.1 Koza", NIKKEI PC21, vol. 19, no. 6, 24 February 2014 (2014-02-24), pages 122 - 125 * |
SHIGERU IWABUCHI: "Korenara Kantan! Windows 8.1", NIKKEI PERSONAL COMPUTING, 24 March 2014 (2014-03-24), pages 91 - 94 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109407312A (zh) * | 2018-09-27 | 2019-03-01 | 深圳奇迹智慧网络有限公司 | 一种头戴式显示设备 |
Also Published As
Publication number | Publication date |
---|---|
US20170199632A1 (en) | 2017-07-13 |
US10444942B2 (en) | 2019-10-15 |
JP2016004375A (ja) | 2016-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2015194386A1 (ja) | 表示制御装置、表示制御方法及びコンピュータプログラム | |
US11336961B2 (en) | Recording and broadcasting application visual output | |
US11843838B2 (en) | User interfaces for accessing episodes of a content series | |
US11543938B2 (en) | Identifying applications on which content is available | |
US11937021B2 (en) | Camera and visitor user interfaces | |
US10921979B2 (en) | Display and processing methods and related apparatus | |
US10134358B2 (en) | Head mounted display device and method for controlling the same | |
TWI648673B (zh) | 用於在一使用者介面中進行導覽之欄介面的方法,裝置以及電腦可讀儲存媒體 | |
JP2016524190A (ja) | 環境を認識した対話ポリシーおよび応答生成 | |
JP6543774B2 (ja) | コンピューティングデバイスのプロパティに基づく情報のランク付け | |
US11693553B2 (en) | Devices, methods, and graphical user interfaces for automatically providing shared content to applications | |
CN110971507B (zh) | 一种信息显示方法及电子设备 | |
US10445051B1 (en) | Recording and replay of support sessions for computing devices | |
EP4341812A1 (en) | Devices, methods, and graphical user interfaces for automatically providing shared content to applications | |
WO2019071539A1 (zh) | 滚动显示通知消息的方法及设备 | |
US20220342628A1 (en) | Devices, Methods, and Graphical User Interfaces for Enabling Delivery of Audio Notifications | |
JP2014092810A (ja) | 情報システム、サーバ装置、端末装置、情報処理方法、およびプログラム | |
JP2014522068A (ja) | 源からの通信およびコンテンツを制御する方法およびユーザー・インターフェース | |
CN112732624B (zh) | 用于持续数字助理会话的系统、方法及存储介质 | |
JP2017084353A (ja) | 情報システム、サーバ装置、端末装置、情報処理方法、およびプログラム | |
WO2022245599A1 (en) | Devices, methods, and graphical user interfaces for automatically providing shared content to applications | |
JP2020201658A (ja) | 情報処理装置、および情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15810050 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15314581 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15810050 Country of ref document: EP Kind code of ref document: A1 |