WO2007129502A1 - Information display device - Google Patents

Information display device Download PDF

Info

Publication number
WO2007129502A1
WO2007129502A1 PCT/JP2007/053361 JP2007053361W WO2007129502A1 WO 2007129502 A1 WO2007129502 A1 WO 2007129502A1 JP 2007053361 W JP2007053361 W JP 2007053361W WO 2007129502 A1 WO2007129502 A1 WO 2007129502A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
display
displayed
window
notification
Prior art date
Application number
PCT/JP2007/053361
Other languages
French (fr)
Japanese (ja)
Inventor
Kouichi Aoki
Takuya Kawasaki
Original Assignee
Sony Computer Entertainment Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc. filed Critical Sony Computer Entertainment Inc.
Publication of WO2007129502A1 publication Critical patent/WO2007129502A1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports

Definitions

  • the present invention relates to an information display device that displays display target information such as content acquired from a web server in a screen element such as a window.
  • a web browser that generates information to be displayed (display target information) based on web page data acquired from a web server or the like via a network, and displays the display target information
  • display target information information to be displayed
  • the display target information generated based on each web page is displayed in a different window for each web page.
  • Notification information such as prompting for input may be displayed.
  • HTML HyperText Markup Language
  • the notification information is also displayed in an independent window. For example, information on a plurality of web pages is displayed on each of a plurality of windows.
  • the user can recognize which window the notification information that needs to be displayed appears in relation to the web page displayed.
  • the present invention has been made in view of the above problems, and provides an information display device that can clearly indicate the relationship between display target information displayed on a screen element and notification information notified to a user. Is one of its purposes.
  • the present invention for solving the problems of the above-described conventional example is an information display device, and includes information display means for displaying at least one display target information in each screen element; Notification display means for displaying the notification information to be notified to the user in relation to any of the target information, wherein the notification display means displays the display target information related to the notification information.
  • the screen element is displayed as an attention screen element in a manner that can be distinguished from other screen elements, and the notification information is displayed together with the attention screen element.
  • the identifiable mode may be a mode in which screen elements other than the target screen element are concealed and only the target screen element and the notification information are displayed.
  • the notification information may be displayed in a manner that cannot be moved by a user operation.
  • the display target information is generated based on description information including display instruction data for instructing display of the display target information and program data to be executed, and the notification information is the display target information.
  • This is information that needs to be notified when processing the program data included in the description information together with the display instruction data for instructing display of information, and is displayed in the attention screen element when displaying the notification information. It is also possible to accept an instruction to stop the processing of the program data included in the displayed display target information.
  • the display target information is generated based on description information including display instruction data for instructing display of the display target information and program data to be executed, and the notification information is the display target information. This is the information that needs to be notified when processing the program data included in the description information together with the display instruction data for instructing the display of information. Processing of program data included in the description information together with the display target information displayed in the screen element may be interrupted. [0013] Further, when the notification display means displays notification information that is not related to any of the display target information and needs to be notified to the user, what is the notification information related to the display target information? Notification information that is not related to any of the display target information may be displayed in different display modes.
  • one embodiment of the present invention is a program, which is an information display procedure for displaying at least one display target information in each screen element on a computer, and a relationship between any of the display target information
  • the screen element on which the display target information related to the notification information is displayed as the target screen element in a mode that can be distinguished from other screen elements.
  • FIG. 1 is a block diagram showing a configuration example of an information display device according to an embodiment of the present invention.
  • FIG. 2 is an explanatory diagram showing an example of a virtual space realized in the information display device according to the embodiment of the present invention.
  • FIG. 3 is an explanatory view showing an example of a screen displayed by the information display device according to the embodiment of the present invention.
  • FIG. 4 is a functional block diagram showing an example of an information display device according to an embodiment of the present invention.
  • FIG. 5 is a flowchart showing an example of display processing of a window of interest by the information display device according to the embodiment of the present invention.
  • FIG. 6 is an explanatory diagram showing a setting example of a virtual space and a corresponding display screen example when the window of interest is changed in the information display device according to the embodiment of the present invention.
  • FIG. 7 is a table showing an example of setting a virtual space in the information display device according to the embodiment of the present invention. It is explanatory drawing of the example of the content of an object database.
  • FIG. 8 is an explanatory diagram showing an example of a method for forming a menu screen and a region for displaying notification information in the information display device according to the embodiment of the present invention.
  • FIG. 9 is an explanatory diagram showing an example of a screen when an area for displaying a menu screen and notification information is formed in the information display device according to the embodiment of the present invention.
  • FIG. 10 is an explanatory diagram showing a display example of a menu screen in the information display device according to the embodiment of the present invention.
  • FIG. 11 is an explanatory diagram showing an example of setting a virtual space in the information display device according to the embodiment of the present invention.
  • FIG. 12 is an explanatory diagram showing a display example of notification information on the information display device according to the embodiment of the present invention.
  • FIG. 13 is an explanatory view showing another display example of the notification information in the information display device according to the embodiment of the present invention.
  • FIG. 14 is an explanatory view showing still another display example of notification information in the information display device according to the embodiment of the present invention.
  • FIG. 15 is an explanatory diagram showing still another display example of notification information in the information display device according to the embodiment of the present invention.
  • FIG. 16 is an explanatory diagram showing a setting example of a virtual space when performing list display on the information display device according to the embodiment of the present invention.
  • FIG. 17 is an explanatory view showing a display example when list display is performed on the information display device according to the embodiment of the present invention.
  • FIG. 18 is an explanatory diagram showing another setting example of the virtual space when performing list display on the information display device according to the embodiment of the present invention.
  • FIG. 19 is an explanatory diagram showing various display examples when performing list display in the information display device according to the embodiment of the present invention.
  • FIG. 20 is an explanatory diagram showing a display example of a window of interest during list display in the information display device according to the embodiment of the present invention.
  • FIG. 21 shows attention during list display in the information display device according to the embodiment of the present invention. It is explanatory drawing showing the example of a display of windows other than a window.
  • FIG. 22 is an explanatory diagram showing a screen display example in the information display device according to the exemplary embodiment of the present invention.
  • FIG. 23 is an explanatory diagram showing an example of an enlarged window display on the information display device according to the embodiment of the present invention.
  • FIG. 24 is an explanatory view showing a screen example when the window is enlarged and displayed on the information display apparatus according to the embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration example of the information display device 1 according to the embodiment of the present invention.
  • the information display device 1 of the present embodiment includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a network iZ F14, a controller IZF 15, and a GPU ( A graphics processing unit (21), a video random access memory (VRAM) 22, and a drive 3 are provided.
  • These CPU 11, ROM 12, RAM 13, network I / F 14, controller I / F 15, GPU 21, and drive 3 are connected to each other via a bus 16 here.
  • the VRAM 22 is connected to the GPU 21, and the controller 4 is connected to the controller IZF15.
  • the CPU 11 operates according to a program read from the recording medium set in the ROM 12 or the drive 3 to the RAM 13. This CPU 11 is responsible for overall control of the information display device 1 of the present embodiment, and displays and outputs a plurality of types of information to be displayed in windows, which are screen elements, and is also a display target. The notification information to be displayed in relation to the information is displayed. Furthermore, the CPU 11 executes a list display process for the displayed windows. The specific contents of the processing of the CPU 11 will be described in detail later.
  • the ROM 12 stores programs executed by the CPU 11 and various data.
  • the RAM 13 holds a program executed by the CPU 11.
  • the RAM 13 also functions as a work memory for the CPU 11.
  • the drive 3 reads data from a mounted recording medium such as a DVD-ROM or CD-ROM. Read and output the read data to CPU11.
  • the drive 3 is not limited to these examples, and may be a recording medium such as a Memory Stick (trademark) or an SD card (trademark).
  • the controller 4 may be a controller for a home game machine, for example, or may be a keyboard or a mouse in a PC or the like.
  • the controller 4 is connected to the bus 16 via the controller I / F 15, and includes a direction key, other operation keys, an analog device that outputs a signal corresponding to the amount of tilt or movement, and the like.
  • a signal representing the operation performed by the user is output to the CPU 11.
  • the network IZF 14 controls transmission / reception of data to / from a web server or the like connected via the network.
  • This network IZF14 sends information (data acquisition request, etc.) via the network according to instructions input from the CPU11, and outputs information (HTML data, etc.) received via the network to the CPU11.
  • the CPU 11 acquires HTML data from a web server existing on a network such as the Internet via the network IZF14.
  • the GPU 21 performs a calculation process necessary for displaying graphics.
  • the VRAM 22 is a memory that holds the contents displayed on the display, and the image data generated by the GPU 21 is written therein. Based on the image data written in the VRAM 22, a video signal to be output to a television receiver or a display device is generated by a display controller (not shown), and the video signal is output to the television receiver or the display device. Video based on the video signal is displayed.
  • the information display device 1 operates as a web browser by the CPU 11 or the GPU 21 as an example.
  • the present invention is not limited to this, and a plurality of screen elements (for example, windows) are used.
  • the displayed information may be any information.
  • the web browser realized by the information display device 1 here is V, a so-called tab browser, and displays each web page in an independent pane (here, realized as a window) as a tab. To do. Each tab is displayed while being switched in accordance with the user's operation.
  • the information display device 1 performs information display processing using a plurality of screen elements (hereinafter referred to as windows). At this time, the information display device 1 may perform a process of drawing each window in a two-dimensional drawing space. However, the information display device 1 here arranges a plate-like object to be a window in a three-dimensional virtual space, and images to be displayed in each window on at least one side of each plate-like object surface. Shall be projected. For example, the information display device 1 pastes a two-dimensional image in which the content to be displayed is drawn as a texture.
  • the data generated by the information display device 1 includes a plurality of windows 61, 62, 63, This data represents that 64 and 65 (plate-like bodies) are arranged. Further, the information display device 1 arranges a virtual camera (virtual camera) 71 in the virtual space 5. Then, the information display device 1 sets the attention area 7 that is a virtual imaging area in association with the virtual camera 71.
  • FIG. 2 shows an example in which there is a window 65 at the center of the attention area 7 to be imaged by the virtual camera 71 and a part of the window 64 at the left end.
  • the information display device 1 renders a portion included in the attention area 7 of the virtual camera 71 based on the information regarding the virtual space 5.
  • the image resulting from this rendering is written to VRAM 22. This image is then displayed on an external display (Fig. 3).
  • the arrangement position of the virtual camera 71 can be arbitrarily set in the virtual space 5.
  • the attention area 7 changes as the virtual camera 71 moves, the rendering result changes. This changes the image displayed on the display.
  • the information display device as a web browser described here functionally includes a description information acquisition unit 31, a description information analysis unit 32, a display target information generation unit 33, and a program.
  • the composition processing unit 43 is included.
  • the information acquisition unit 31 receives an input of a data acquisition request from the display control unit 35 or the display target information generation unit 33.
  • This acquisition request includes designation of a URL and the like.
  • the information acquisition unit 31 acquires the requested data from the specified URL or the like.
  • the information acquisition unit 31 outputs the acquired data to the display control unit 35 or the display target information generation unit 33 that is a request source.
  • the data specified by the URL is not limited to data provided by a web server on the network, but is stored in a recording medium attached to the drive 3 of the information display device 1 itself. Or even a file!
  • the description information analysis unit 32 includes a parser (analysis function) of HTML data.
  • the description information analysis unit 32 receives from the display control unit 35 input information (screen element identifier, hereinafter referred to as “window identifier”) for identifying a screen element as a display destination and HTML data. Then, the description information analysis unit 32 analyzes the received HTML data according to a predetermined rule.
  • HTML data includes a display instruction data portion that instructs display of display target information, and in some cases further includes a program data portion to be executed.
  • the description information processing unit 32 extracts the display instruction data portion from the HTML data. Then, the description information processing unit 32 outputs the extracted display instruction data and the window identifier to the display target information generation unit 33.
  • the description information analysis unit 32 finds the program data portion in the HTML data, it extracts the program data portion and outputs it to the program processing unit 34 together with the window identifier.
  • the display target information generation unit 33 is based on the display instruction data input from the description information processing unit 32, and is information (character image information) that specifies character string information to be displayed and image data to be displayed. Data URL).
  • the display target information generation unit 33 outputs information specifying the image data to the information acquisition unit 31, and requests acquisition of the image data specified by the information. Then, the display target information generation unit 33 accepts input of image data acquired by the information acquisition unit 31 in response to the request. Then, the display target information generation unit 33 generates web page description information in which character string information and image data are laid out based on the display instruction data, and the two-dimensional rendering processing unit 4 along with the window identifier. Output to 1.
  • the program processing unit 34 executes the program data input from the description information processing unit 32.
  • the program processing unit 34 associates the window identifier input from the description information processing unit 32 with data necessary for execution of the program data (a pointer indicating a location where the program is being executed, variable data, etc.). Data). Therefore, this program processing unit 34 may execute a plurality of program data in parallel when a plurality of windows are opened (when a plurality of web pages are being displayed). . Since this parallel execution method can use processing widely known as multi-thread processing or the like, detailed description thereof is omitted here.
  • the program processing unit 34 informs the user (that is, information to be notified to the user during the execution of the program data associated with any one of the window identifiers (hereinafter referred to as "note identifier" for distinction)).
  • note identifier information to be notified to the user during the execution of the program data associated with any one of the window identifiers
  • the information to be notified hereinafter referred to as “notification information”
  • the attention identifier are displayed in the notification information display section. Output to 36.
  • the display control unit 35 instructs the virtual space setting unit 37 to generate one window that is a screen element. Then, the display control unit 35 receives an input of information for identifying the generated window (window identifier) from the virtual space setting unit 37 and holds it.
  • the display control unit 35 instructs the information acquisition unit 31 to acquire data specified by a URL set in advance.
  • the data specified by this URL is assumed to be HTML data here.
  • the display control unit 35 outputs the window identifier received from the virtual space setting unit 37 and the HTML data acquired by the information acquisition unit 31 to the description information processing unit 32.
  • the display control unit 35 causes the 3D rendering processing unit 42 to render a 3D image based on the virtual space set by the virtual space setting unit 37.
  • the display control unit 35 controls each unit based on an instruction given by the user.
  • the user In the description of this embodiment, the user
  • a new window (a web browser should display another web page An instruction that should be generated (hereinafter referred to as a new window instruction),
  • An instruction to designate one of a plurality of windows as a display or operation target (hereinafter referred to as a focus instruction)
  • An instruction to terminate the processing as a browser (hereinafter referred to as an end instruction) is given.
  • a tab switching operation (a window switching operation facing the virtual camera 71) will be described.
  • This tab switching operation is performed by pressing a direction key attached to the controller 4.
  • the direction keys are arranged in four directions, up, down, left and right, respectively, and when the right direction key is pressed, the position of the virtual camera 71 is set to a position facing the window in the right hand direction with respect to the line-of-sight direction. Moving.
  • the left direction key is pressed, the position of the virtual camera 71 is moved to a position facing the window in the left hand direction with respect to the viewing direction. The same applies when the vertical key is pressed.
  • the click operation of this object is an operation of moving the pointer to the click position and clicking, for example, as follows. That is, the pointer (mouse cursor) for specifying the click position is moved by tilting an analog stick or the like provided on the controller 4, and a key provided separately from the direction key is pressed.
  • the operation to be performed can be a click operation.
  • the display control unit 35 instructs the virtual space setting unit 37 to generate one window as a screen element. .
  • the display control unit 35 receives the information (window identifier) for identifying the generated window from the virtual space setting unit 37 and holds it.
  • the display control unit 35 instructs the information acquisition unit 31 to acquire data specified by a URL set in advance.
  • the data specified by this URL is assumed to be HTML data.
  • the display control unit 35 outputs the window identifier received from the virtual space setting unit 37 and the HTML data acquired by the information acquisition unit 31 to the description information processing unit 32.
  • the display control unit 35 starts the processing shown in FIG. In the following description, the window selected by the instruction is set as the attention window.
  • the display control unit 35 checks whether a list is being displayed (101). If the list is not being displayed here, the display control unit 35 moves the position of the virtual camera 71 to a position facing the window of interest (102), and ends the process. According to this processing 102, for example, when the window 62 is being displayed (when the virtual camera 71 is at the position A in FIG.
  • an instruction that the window 63 should be the focused window (the user is When the command to move to the next window to the right (such as the force to click on window 63 or pressing the right arrow key on controller 4) is displayed, the position of virtual camera 71 is displayed in window 63. Is moved to the position (position B in FIG. 6), and the window 63 that has become the attention window is positioned at the center of the attention area 7 of the virtual camera 71.
  • the display control unit 35 instructs the virtual space setting unit 37 to draw the window of interest and the window that is not the window of interest in a manner that allows them to be distinguished from each other. (103), and the process ends.
  • the modes that can be distinguished from each other may be, for example, that a gray image is translucently combined with an image displayed in a window.
  • a specific example of the process 103 will also be described later together with the list display process.
  • the display control unit 35 when receiving a content operation instruction, performs processing such as updating the display content of the window of interest in accordance with the operation content.
  • processing such as updating the display content of the window of interest in accordance with the operation content.
  • the display control unit 35 When an operation for inputting a character string is performed in the input field displayed in the attention window selected by the user, the character input in the input field is displayed.
  • a link or button is clicked, the HTML data associated with the link or button is referred to and processing is performed. Since this process is the same as the process as a general browser, a detailed description thereof is omitted here.
  • the display control unit 35 sends an instruction to acquire data from the URL associated with the link or the like, together with the window identifier of the window of interest, the information acquisition unit 31. Output for.
  • the display control unit 35 Upon receiving an instruction to close the window (5), the display control unit 35 displays the window (the window to be terminated) specified by the window identifier U child that will be the window of interest at that time. Control not to be done. This control can be performed, for example, by a process of instructing the virtual space setting unit 37 to delete the plate-like body of the window to be ended from the virtual space 5.
  • the display control unit 35 Upon receiving the (6) termination instruction, the display control unit 35 generates notification information for confirming termination and outputs the notification information to the notification information display unit 36.
  • the notification information display unit 36 displays a window identifier (the above-described attention identifier) of a window that displays display target information related to the program data being executed from the program processing unit 34, notification information, and the like. Accept input.
  • the notification information display unit 36 sets a window specified by the attention identifier (for example, a screen element (window) on which display target information related to the notification information is displayed) as the attention window. Then, the notification information display unit 36 displays the window of interest in a manner that can be distinguished from other windows, and also displays the notification information together with it. This display mode will be described in detail later.
  • the notification information display unit 36 should display the notification information from the display control unit 35 or the like, which is not related to any display target information (that is, not related to the misaligned window!). Accept the instructions. In this case, the notification information display unit 36 displays the notification information in a display mode different from the notification information related to the display target information described above (that is, the notification information related to any window). This display mode will also be described later.
  • the virtual space setting unit 37 adds a new plate-like body to be a window in the virtual space or deletes the plate-like body from the virtual space in accordance with an instruction input from the display control unit 35 or the like.
  • the virtual space setting unit 37 manages the virtual space 5 using an object database as shown in FIG.
  • This object database includes, for each virtual object (object) to be included in the virtual space 5, a unique identifier, the shape and attribute of the object, and coordinate information indicating the position and posture of the object.
  • a unique identifier for each virtual object (object) to be included in the virtual space 5
  • the shape and attribute of the object for example, if the shape of the virtual object is a plate-like body, it is a rectangular parallelepiped shape, and can be determined by attributes representing the width, depth, and height.
  • the shape of the virtual object is a plate-like body, it is a rectangular parallelepiped shape, and can be determined by attributes representing the width, depth, and height.
  • a virtual camera it can be determined by information indicating that the camera is a virtual camera and attributes such as a viewing direction, a viewing angle, etc. (the attention area is defined by these).
  • the position coordinates can be determined for each shape including, for example, center position coordinates and coordinates representing the posture such as the spindle direction.
  • a unique identifier is newly generated (this identifier can be used as a window identifier), and is added to the object database shown in FIG. Add a rectangular parallelepiped shape. Further, the virtual space setting unit 37 sets a shape predetermined as the shape of the plate-like body that is a window in advance in association with the information representing the added shape, and also in the virtual space of the plate-like rectangular parallelepiped. Define the position coordinates and record them in the object database.
  • the virtual space setting unit 37 changes the relative position between the virtual camera 71 and the plate-like body in accordance with an instruction input from the display control unit 35 or the like.
  • the processing of the virtual space setting unit 37 causes a plate or virtual camera in the virtual space 5 to be displayed.
  • a plate or virtual camera in the virtual space 5 By changing the relative position of 71, an area for displaying the menu screen can be formed on the display screen.
  • Menu screen opens new window, URL , A screen for instructing to close the window and the like. That is, consider the case where the window 61 is displayed at the center of the attention area 7 of the virtual camera 71 in the state before update as shown in FIG.
  • the display control unit 35 outputs an instruction to form a menu screen display area to the virtual space setting unit 37.
  • the virtual space setting unit 37 updates the relative position between the window 61 and the virtual camera 71 so that the window 61 is positioned at the peripheral edge of the attention area 7 of the virtual camera 71 (lower part in FIG. 8).
  • an area (R) capable of displaying the menu screen without overlapping the display area of the window 61 is formed.
  • the display control unit 35 As shown in FIG. 10, control may be performed so that a part of the menu screen (M) is covered and covered on the window 61 displayed on the peripheral edge at the updated position. Further setting examples of the virtual space 5 by the virtual space setting unit 37 will be described later.
  • the virtual space setting unit 37 receives from the display control unit 35 a window identifier and an instruction to delete the plate-like body related to the window specified by the window identifier. At this time, the virtual space setting unit 37 deletes the entry of data related to the input window identifier from the object database.
  • the list display setting unit 38 receives an instruction from the display control unit 35 to display a list of windows. Then, the list display setting unit 38 instructs the virtual space setting unit 37 to rearrange a plurality of windows in a predetermined manner, and changes the position of the virtual camera 71. That is, the list display setting unit 38 instructs to move the virtual camera 71 to a position where all windows can be listed.
  • the operations of the list display setting unit 38 and the virtual space setting unit 37 in response to the list display instruction will be described in detail later.
  • the two-dimensional rendering processing unit 41 Based on the web page description information input from the display target information generation unit 33, the two-dimensional rendering processing unit 41 generates a bitmap image representing the content of the web page. The generated bitmap image is stored in the RAM 13 in association with the window identifier input together with the web page description information. [0064] Based on the setting of the virtual space 5 by the virtual space setting unit 37, the three-dimensional rendering processing unit 42 generates bitmap data obtained by rendering a three-dimensional image. That is, the three-dimensional rendering processing unit 42 refers to the object database generated by the virtual space setting unit 37 and performs the following processing.
  • the three-dimensional rendering processing unit 42 draws an image obtained by projecting a plate-like body or the like in the field of view (the attention area 7) from the virtual camera 71.
  • Such rendering processing includes various techniques such as a scan line method, a ray tracing method, and a radiosity method. Since these techniques can be used, detailed description thereof is omitted here.
  • the three-dimensional rendering processing unit 42 uses the identifier of each plate-like body (here, the same as the window identifier) as the texture of the surface of each plate-like body facing the virtual camera 71. ) To set the bitmap image of the web page stored in RAM13. Thereby, each plate-like body functions as an image element (window) for displaying a web page.
  • the composition processing unit 43 receives an input of a character string or an image to be displayed superimposed on the image rendered by the three-dimensional rendering processing unit 42, and converts the input character string or image into a three-dimensional image. It is superimposed on the image rendered by the rendering processor 42 (for example, translucent) and synthesized.
  • the translucent composition is a process of generating a composite image by adding the values of corresponding pixels to a plurality of images related to composition, for example.
  • Such notification information based on HTML data is to notify the user in relation to display target information based on the HTML data.
  • the notification information that is notified to the user in relation to any display target information is displayed in the following manner.
  • the window identifier notice identifier
  • the notification information display unit 36 receives the input of the attention identifier and the notification information, and sets the window related to this attention identifier as the attention window. Then, the virtual space setting unit 37 is instructed to position the attention window at the periphery of the attention area 7 of the virtual camera 71. Then, the virtual space setting unit 37 changes the coordinate position of the target window or the virtual camera 71 in the object database so that the target window is positioned at the periphery of the target area 7 of the virtual camera 71, and the virtual window 71 Updates the relative position with the camera 71. This is the same as the menu screen example shown in Figs.
  • the window of interest moves closer to one edge of the screen such as a display, and an area (R) for displaying notification information is formed. .
  • the notification information display unit 36 displays the notification information in this area (R).
  • the window 62 is displayed as the attention window on the peripheral portion of the attention area 7. Therefore, if the virtual camera 71 is moved, the adjacent window 63 is assumed to enter the attention area 7.
  • a gray tone is displayed as the texture of the surface facing the virtual camera 71 with respect to the texture of the display target information.
  • the image painted in gray may be semi-transparently combined so that the information to be displayed is displayed relatively dark (Duy Dim) ( Figure 12). In this case, the display target information of the target window is displayed relatively brightly, and the user can clearly recognize which window is associated with the notification information.
  • the notification information display unit 36 instructs the synthesis processing unit 43 to display the notification information so as to overlap the area (R) where the adjacent window 63 is displayed.
  • the three-dimensional rendering unit 42 may be instructed not to render windows other than the window of interest. This rubbing hides other screen elements other than the window of interest (Fig. 13). This allows attention windows and notification information. Since only the information is displayed, the window of interest can be easily identified. Note that the identifiable aspects are not limited to these, and various methods such as changing the frame color of the window of interest or blinking the window of interest can be employed.
  • the window of interest related to the notification information is displayed in a manner distinguishable from other windows. As a result, even when multiple windows are displayed, it is possible to clearly see which window the notification information is displayed in.
  • the display content of the notification information is moved by a user operation, for example, the notification information is displayed so as to be superimposed on the image rendered by the three-dimensional rendering unit 42. It is controlled so that it is not done.
  • the notification information display unit 36 receives a response operation performed on the notification information by the user, and outputs the content of the response operation to the program processing unit 34. For example, when displaying “Yes” and “No” buttons as notification information together with the string “Power to accept cookies.” When any button is clicked, the clicked button is displayed. The identification information is output to the program processing unit 34.
  • the program processing unit 34 receives the information based on the notification information and continues processing the program data.
  • the program processing unit 34 may continue to execute program data related to other windows. At this time, if it is necessary to display the notification information due to program data related to another window, the window identifier of the other window related to the notification information and the notification information are associated with each other and secured in the RAM 13. Store in the queue of notification information queue.
  • notification information display requests can be made by a plurality of methods such as alerts and documents (document.open). Therefore, the program processing unit 34 determines the priority order according to which of the plurality of methods is used to display the notification information when storing it in the queue, and the priority order (same as above). If priority is given, you can register in the queue in the order of time of occurrence.
  • the notification information display unit 36 may instruct the program processing unit 34 to interrupt the processing of the program data while the notification information is being displayed. In response to this instruction, the program processing unit 34 interrupts execution of the program data related to each displayed window.
  • the notification information display unit 36 continues the program data processing to the program processing unit 34 when the display of the notification information is completed, for example, the user performs an operation on the notification information. Instruct.
  • the notification information display unit 36 may display a selection button X "stop execution of program data in this window" together with the notification information (Fig. 14).
  • the notification information display unit 36 notifies the program processing unit 34 of the program data together with the window identifier of the window of interest. Instruct to stop execution.
  • the program processing unit 34 stops the subsequent execution of the instructed program data, such as deleting data for executing the program related to the input window identifier in accordance with the input instruction. In this way, it is possible to cope with a problem that notification information is repeatedly displayed due to loop processing or the like.
  • the notification information display unit 36 may receive an instruction to display notification information from the display control unit 35 or the like regardless of any display target information.
  • the program processing unit 34 or the like can be used when the memory necessary for processing the program data cannot be secured, When an exception (such as an error) occurs during data processing, the notification information display unit 36 is instructed to display notification information for notifying each.
  • the notification information display unit 36 When displaying notification information not related to such display target information, the notification information display unit 36, for example, the texture of the display target information set on the surface of each window facing the virtual camera 71. In contrast, a gray tone is translucently synthesized. As a result, the display target information of each window is displayed relatively darkly (so-called dim). Then, the notification information display unit 36 synthesizes a character string of the notification information and the like with the image of the rendering result (the rendering result of the three-dimensional rendering unit 42) in which each window is expressed in a relatively dark state in this way. Instruct the synthesis processing unit 43.
  • the notification information display unit 36 may instruct the three-dimensional rendering unit 42 not to render all windows and display the notification information.
  • the list display setting unit 38 of the present embodiment accepts an instruction from the display control unit 35 to display a list of windows.
  • the list display setting unit 38 then sends the virtual space setting unit 37 Then, change the position of virtual camera 71 and instruct it to move to a position where all windows can be listed.
  • the list display setting unit 38 instructs the virtual space setting unit 37 to change the position of the virtual camera 71.
  • the virtual space setting unit 37 is arranged so that the position of the virtual camera 71 is arranged so that a range w wider than the display range of all the windows 61 to 65 falls within the visual field of the virtual camera 71 (region of interest 7). Instructed to move to a position remote from the plane (distance r from the plane, position B in Fig. 16). This r is [Equation 2]
  • each object plate-like body, virtual camera, etc.
  • the position of each object is moved stepwise from the initial state to the target state to be displayed as a list and displayed as an animation. This allows the user to understand which window has moved to where. Note that the position of the plate in the initial state is separately stored in the RAM 13 as an initial position record.
  • the list display setting unit 38 gives an instruction to move the virtual camera 71 from the plate corresponding to each window to a remote position in this way.
  • the list display setting unit 38 may instruct the virtual space setting unit 37 to rearrange a plurality of plates in a predetermined layout.
  • the list display setting unit 38 that has received an instruction to display a list displays these three plates.
  • the objects are arranged in a triangle and gathered in the vicinity of a predetermined point in the virtual space 5 (within a predetermined range from the predetermined point), and the position of the virtual camera 71 is arranged as a plate-like object serving as these windows. V, move the plane force to a remote location.
  • coordinate information defining the position of each plate-like body at the time of the list display may be associated and held in the RAM 13 or the like.
  • the positions of the plate-like bodies may be arranged at positions that do not overlap each other in the default size (Fig. 19).
  • the layout method may be changed depending on the size of each window.
  • the list display setting unit 38 upon receiving an instruction to cancel the list display, refers to the initial position record stored in the RAM 13, and moves each plate to the original position (before the list display).
  • the virtual space setting unit 37 is instructed to do so.
  • the position of the virtual camera 71 is moved to a position directly opposite to the plate corresponding to the window of interest at that time, and the distance to the plate that is the window of interest is returned to the distance before the list display. Instruct virtual space setting unit 37.
  • the virtual space setting unit 37 determines the target position of each object according to this instruction, and The position of these objects is changed according to time t and displayed as an animation.
  • the list display is realized simply by changing the arrangement of each object in the virtual space 5.
  • the operation for each window is different between before displaying the list and while displaying the list.
  • the display control unit 35 accepts an instruction operation using the display target information in the list-displayed window, and is based on the instruction operation. Processing can be performed.
  • the list display it is not always necessary to list all the windows in the virtual space 5. For example, multiple tabs (windows) may be created simultaneously by a predetermined operation.
  • the information display apparatus 1 issues a unique group identifier for the set of windows related to each other in this way, and holds them in association with each window.
  • the list display setting unit 38 may display a list of windows having a common group identifier when a list display instruction is issued. In response to the display switching operation, the list display setting unit 38 may display a list of windows that are associated with another group identifier in common.
  • the information display device 1 of the present embodiment may set a group identifier common to the base window for the target window.
  • the list display setting unit 38 may display a list of windows having a common group identifier when a list display instruction is issued.
  • the list display setting unit 38 may display a list of windows that are associated with another group identifier in common. This makes it possible to display a list of web pages that have a reference relationship, which is very convenient.
  • the position of the virtual camera 71 (the distance of the plate-like physical strength that becomes the window) may be determined in association with the number of windows in the virtual space 5 (the number of opened tabs). Then, when a list display instruction is given, the list display setting unit 38 refers to the number of windows in the virtual space 5 and moves the virtual camera 71 to a position associated with the number. In this case, the number of windows that can be listed from the position corresponding to the number of windows in the virtual space 5 (the number of opened tabs) in the visual field range of the virtual force camera 71 is displayed. The number that can be listed is not necessarily all the windows in the virtual space 5.
  • the present embodiment it is possible to display individual windows, display a list of all windows, and display a list of some windows, and display between them. Can be performed in an aspect different from the screen switching. This enhances the visibility of the relationship between the windows before and after display.
  • the instruction operation using the display target information in the screen element will be displayed as a list display /! Is defined separately. That is, at least during list display, the display control unit 35 does not switch the window of interest by an operation of clicking the window, and accepts an instruction to select the window of interest (tab switching instruction) by another key operation, for example. As described above, the window selection operation and the operation on the display target information are determined to be different from each other, so that the display control unit 35 can display the display in the list displayed window even during the list display. Accept the instruction operation using the target information, and The process based on the instruction operation can be performed.
  • the program processing unit 34 can perform processing of program data even during this list display. For this reason, the program processing unit 34 should display the notification information.
  • the setting of the virtual space 5 may be updated so that the display state shown in FIG. 12 or 13 is changed from the list display state.
  • information display means for displaying at least one display target information in each screen element, list display means for displaying the screen element as a list, Means for accepting an instruction operation using display target information in the displayed screen elements during the list display and executing a process based on the instruction operation.
  • an information display device includes an information display unit that displays at least one display target information in each screen element, and a list display that displays the screen element in a list.
  • an instruction operation using the display target information in one of the screen elements is defined.
  • the video to be displayed is generated by being rendered by the three-dimensional rendering unit 42 and superimposed by a character string such as notification information by the synthesis processing unit 43.
  • a title such as one specified as a title in the HTML data
  • an icon such as one specified as a title in the HTML data
  • the CPU 11 performs a process of superimposing the title bar (A) including the favicon) and the operation guidance bar (C) displaying information for guiding possible operations.
  • the video may be written to VRAM22.
  • FIG. 22 shows a case where the title bar and the operation guide bar are arranged above and below across the column (B) for displaying the video to be displayed, but this is limited to this. is not.
  • the information display apparatus 1 identifies the window that is the target of the enlarged display instruction. Then, the size of the plate-like body arranged in the virtual space 5 is changed corresponding to the specified window.
  • the width dO of the window 61 that is a plate-like body is changed to the width d (d> dO).
  • a window 61 that is wider than the size before the change is displayed on the display.
  • a state in which individual windows (tabs) are displayed, a state in which a list of windows is displayed, and a state in which notification information is displayed are mutually animated. It can be displayed as if it is moving in a chilling manner. That is, the state of each display can be mutually changed by continuously moving the position of the plate-like body serving as each window and the virtual camera 71. This improves the visibility of which window is to be displayed where in each display state.

Abstract

An information display device capable of clearly showing the relationship between display information, to be displayed in screen elements and notification information to be notified to the user. When displaying at least one piece of display information in each of the screen elements and the notification information to be notified to the user in the relationship with any of the display information, the information display device displays the screen elements in which the display information relating to the notification information is displayed as target screen elements in a mode distinguishable from other screen elements and displays the notification information together with the target screen elements.

Description

明 細 書  Specification
情報表示装置  Information display device
技術分野  Technical field
[0001] 本発明は、例えばウェブサーバから取得されるコンテントなどの表示対象情報を、ゥ インドウなどの画面要素内に表示する情報表示装置に関する。  The present invention relates to an information display device that displays display target information such as content acquired from a web server in a screen element such as a window.
背景技術  Background art
[0002] 近年では、パーソナルコンピュータ (PC)をはじめとする情報表示装置にお!、ては、 多種の情報を一つのディスプレイ画面に表示するため、各種類の情報を、ウィンドウ と呼ばれる独立した画面要素内に表示することが行われている。  [0002] In recent years, information display devices such as personal computers (PCs) are displayed! In order to display various types of information on a single display screen, each type of information is displayed on an independent screen called a window. Displaying within the element is done.
[0003] 例えば、ネットワークを介してウェブサーバなどから取得されるウェブページのデー タに基づいて、表示の対象となる情報 (表示対象情報)を生成し、当該表示対象情報 を表示するウェブブラウザなどにおいても、ウェブページごとに異なるウィンドウに、各 ウェブページに基づ 、て生成した表示対象情報を表示するものが多 、。  [0003] For example, a web browser that generates information to be displayed (display target information) based on web page data acquired from a web server or the like via a network, and displays the display target information In many cases, the display target information generated based on each web page is displayed in a different window for each web page.
[0004] こうした複数のウィンドウを用いて情報を表示する情報表示装置では、いずれかの ウィンドウ内に表示している表示対象情報に関係して、ユーザに対して動作確認を求 めたり、ノ スワードの入力を求めるなどの通知情報を表示するべき場合がある。  [0004] In such an information display device that displays information using a plurality of windows, the user is requested to confirm the operation in relation to the display target information displayed in any of the windows, Notification information such as prompting for input may be displayed.
[0005] 具体的な例として、ウェブページであれば、ウェブページを記述して 、る HTML (H yperText Markup Language)データ内に、処理されるべきプログラム(スクリプト)が記 述され、ノ スワードの入力が行われるまで、表示対象情報を表示させないよう制御す るものなどがある。  [0005] As a specific example, in the case of a web page, a web page is described, a program (script) to be processed is described in HTML (HyperText Markup Language) data, and the nose word is written. There are things that control the display target information not to be displayed until input.
発明の開示  Disclosure of the invention
発明が解決しょうとする課題  Problems to be solved by the invention
[0006] し力しながら、上記従来の情報表示装置では、通知情報もまた、独立したウィンドウ 内に表示されることとなっており、例えば複数のウェブページの情報を、複数のウィン ドウにそれぞれ表示させているときに、通知情報の表示を要することとなった場合に、 当該表示を要する通知情報がどのウィンドウに表示されているウェブページとの関係 で現れたものかをユーザが認識しがたい場合がある。 [0007] 本発明は、上記問題に鑑みて為されたものであり、画面要素に表示される表示対 象情報とユーザに通知する通知情報との関係を明示できる情報表示装置を提供す ることをその目的の一つとする。 However, in the conventional information display device described above, the notification information is also displayed in an independent window. For example, information on a plurality of web pages is displayed on each of a plurality of windows. When it is necessary to display the notification information during display, the user can recognize which window the notification information that needs to be displayed appears in relation to the web page displayed. Sometimes you want to. The present invention has been made in view of the above problems, and provides an information display device that can clearly indicate the relationship between display target information displayed on a screen element and notification information notified to a user. Is one of its purposes.
課題を解決するための手段  Means for solving the problem
[0008] 上記従来例の問題点を解決するための本発明は、情報表示装置であって、少なく とも 1つの表示対象情報を、それぞれの画面要素内に表示する情報表示手段と、前 記表示対象情報のいずれかとの関係においてユーザに通知することとなった通知情 報を表示する通知表示手段と、を含み、前記通知表示手段は、前記通知情報に関 係する表示対象情報が表示されて 、る画面要素を注目画面要素として、他の画面 要素と識別可能な態様で表示し、当該注目画面要素とともに前記通知情報を表示す ることを特徴としている。  [0008] The present invention for solving the problems of the above-described conventional example is an information display device, and includes information display means for displaying at least one display target information in each screen element; Notification display means for displaying the notification information to be notified to the user in relation to any of the target information, wherein the notification display means displays the display target information related to the notification information. The screen element is displayed as an attention screen element in a manner that can be distinguished from other screen elements, and the notification information is displayed together with the attention screen element.
[0009] ここで、前記識別可能な態様は、前記注目画面要素以外の画面要素を隠蔽し、前 記注目画面要素および前記通知情報のみを表示する態様であってもよ 、。  [0009] Here, the identifiable mode may be a mode in which screen elements other than the target screen element are concealed and only the target screen element and the notification information are displayed.
[0010] また、前記通知情報は、ユーザの操作により移動不能な態様で表示されることとし てもよい。  [0010] Further, the notification information may be displayed in a manner that cannot be moved by a user operation.
[0011] さらに前記表示対象情報は、表示対象情報の表示を指示する表示指示データと、 実行されるべきプログラムデータとを含む記述情報に基づ ヽて生成され、前記通知 情報は、前記表示対象情報の表示を指示する表示指示データとともに前記記述情 報に含まれるプログラムデータを処理する際に通知が必要となった情報であり、前記 通知情報を表示する際に、前記注目画面要素内に表示される表示対象情報に含ま れるプログラムデータの処理を中止する指示を受け入れることとしてもよい。  [0011] Further, the display target information is generated based on description information including display instruction data for instructing display of the display target information and program data to be executed, and the notification information is the display target information. This is information that needs to be notified when processing the program data included in the description information together with the display instruction data for instructing display of information, and is displayed in the attention screen element when displaying the notification information. It is also possible to accept an instruction to stop the processing of the program data included in the displayed display target information.
[0012] また、前記表示対象情報はそれぞれ、表示対象情報の表示を指示する表示指示 データと、実行されるべきプログラムデータとを含む記述情報に基づいて生成され、 前記通知情報は、前記表示対象情報の表示を指示する表示指示データとともに記 述情報に含まれるプログラムデータを処理する際に通知が必要となった情報であり、 前記注目画面要素を表示して!/、る間は、他の画面要素内に表示される表示対象情 報とともに記述情報に含まれるプログラムデータの処理が中断されることとしてもよい [0013] さらに前記通知表示手段は、前記表示対象情報のいずれにも関係せず、ユーザに 通知する必要のある通知情報を表示する際には、前記表示対象情報に関係する通 知情報とは異なる表示態様にて、当該表示対象情報のいずれにも関係しない通知 情報を表示することとしてもょ 、。 [0012] The display target information is generated based on description information including display instruction data for instructing display of the display target information and program data to be executed, and the notification information is the display target information. This is the information that needs to be notified when processing the program data included in the description information together with the display instruction data for instructing the display of information. Processing of program data included in the description information together with the display target information displayed in the screen element may be interrupted. [0013] Further, when the notification display means displays notification information that is not related to any of the display target information and needs to be notified to the user, what is the notification information related to the display target information? Notification information that is not related to any of the display target information may be displayed in different display modes.
[0014] また本発明の一態様は、プログラムであって、コンピュータに、少なくとも 1つの表示 対象情報を、それぞれの画面要素内に表示する情報表示手順と、前記表示対象情 報のいずれかとの関係においてユーザに通知することとなった通知情報を表示する 際に、前記通知情報に関係する表示対象情報が表示されている画面要素を注目画 面要素として、他の画面要素と識別可能な態様で表示し、当該注目画面要素ととも に前記通知情報を表示する通知表示手順と、を実行させることを特徴として 、る。 発明の効果  [0014] Further, one embodiment of the present invention is a program, which is an information display procedure for displaying at least one display target information in each screen element on a computer, and a relationship between any of the display target information When displaying the notification information that is to be notified to the user in the above, the screen element on which the display target information related to the notification information is displayed as the target screen element in a mode that can be distinguished from other screen elements. And displaying a notification display procedure for displaying the notification information together with the noticed screen element. The invention's effect
[0015] 本発明によれば、表示された通知情報が、どの画面要素に表示されている表示対 象情報と関係するものであるかということを明示できる。  [0015] According to the present invention, it is possible to clearly indicate to which screen element the displayed notification information relates to the display target information displayed.
図面の簡単な説明  Brief Description of Drawings
[0016] [図 1]図 1は、本発明の実施の形態に係る情報表示装置の構成例を表すブロック図 である。  FIG. 1 is a block diagram showing a configuration example of an information display device according to an embodiment of the present invention.
[図 2]図 2は、本発明の実施の形態に係る情報表示装置において実現する仮想空間 の例を表す説明図である。  FIG. 2 is an explanatory diagram showing an example of a virtual space realized in the information display device according to the embodiment of the present invention.
[図 3]図 3は、本発明の実施の形態に係る情報表示装置によって表示される画面例を 表す説明図である。  FIG. 3 is an explanatory view showing an example of a screen displayed by the information display device according to the embodiment of the present invention.
[図 4]図 4は、本発明の実施の形態に係る情報表示装置の例を表す機能ブロック図 である。  FIG. 4 is a functional block diagram showing an example of an information display device according to an embodiment of the present invention.
[図 5]図 5は、本発明の実施の形態に係る情報表示装置による注目ウィンドウの表示 処理例を表すフローチャート図である。  FIG. 5 is a flowchart showing an example of display processing of a window of interest by the information display device according to the embodiment of the present invention.
[図 6]図 6は、本発明の実施の形態に係る情報表示装置において、注目ウィンドウを 変化させる場合の仮想空間の設定例、及び対応する表示画面例を表す説明図であ る。  FIG. 6 is an explanatory diagram showing a setting example of a virtual space and a corresponding display screen example when the window of interest is changed in the information display device according to the embodiment of the present invention.
[図 7]図 7は、本発明の実施の形態に係る情報表示装置での仮想空間の設定例を表 すオブジェクトデータベースの内容例の説明図である。 FIG. 7 is a table showing an example of setting a virtual space in the information display device according to the embodiment of the present invention. It is explanatory drawing of the example of the content of an object database.
[図 8]図 8は、本発明の実施の形態に係る情報表示装置において、メニュー画面や通 知情報を表示するための領域を形成する方法の例を表す説明図である。  FIG. 8 is an explanatory diagram showing an example of a method for forming a menu screen and a region for displaying notification information in the information display device according to the embodiment of the present invention.
[図 9]図 9は、本発明の実施の形態に係る情報表示装置において、メニュー画面や通 知情報を表示するための領域を形成したときの画面例を表す説明図である。  FIG. 9 is an explanatory diagram showing an example of a screen when an area for displaying a menu screen and notification information is formed in the information display device according to the embodiment of the present invention.
[図 10]図 10は、本発明の実施の形態に係る情報表示装置におけるメニュー画面の 表示例を表す説明図である。  FIG. 10 is an explanatory diagram showing a display example of a menu screen in the information display device according to the embodiment of the present invention.
[図 11]図 11は、本発明の実施の形態に係る情報表示装置での仮想空間の設定例を 表す説明図である。  FIG. 11 is an explanatory diagram showing an example of setting a virtual space in the information display device according to the embodiment of the present invention.
[図 12]図 12は、本発明の実施の形態に係る情報表示装置での通知情報の表示例を 表す説明図である。  FIG. 12 is an explanatory diagram showing a display example of notification information on the information display device according to the embodiment of the present invention.
[図 13]図 13は、本発明の実施の形態に係る情報表示装置での通知情報の別の表 示例を表す説明図である。  FIG. 13 is an explanatory view showing another display example of the notification information in the information display device according to the embodiment of the present invention.
[図 14]図 14は、本発明の実施の形態に係る情報表示装置での通知情報のさらに別 の表示例を表す説明図である。  FIG. 14 is an explanatory view showing still another display example of notification information in the information display device according to the embodiment of the present invention.
[図 15]図 15は、本発明の実施の形態に係る情報表示装置での通知情報のまた別の 表示例を表す説明図である。  FIG. 15 is an explanatory diagram showing still another display example of notification information in the information display device according to the embodiment of the present invention.
[図 16]図 16は、本発明の実施の形態に係る情報表示装置での一覧表示を行う際の 仮想空間の設定例を表す説明図である。  FIG. 16 is an explanatory diagram showing a setting example of a virtual space when performing list display on the information display device according to the embodiment of the present invention.
[図 17]図 17は、本発明の実施の形態に係る情報表示装置での一覧表示を行う際の 表示例を表す説明図である。  FIG. 17 is an explanatory view showing a display example when list display is performed on the information display device according to the embodiment of the present invention.
[図 18]図 18は、本発明の実施の形態に係る情報表示装置での一覧表示を行う際の 仮想空間の別の設定例を表す説明図である。  FIG. 18 is an explanatory diagram showing another setting example of the virtual space when performing list display on the information display device according to the embodiment of the present invention.
[図 19]図 19は、本発明の実施の形態に係る情報表示装置での一覧表示を行う際の 種々の表示例を表す説明図である。  FIG. 19 is an explanatory diagram showing various display examples when performing list display in the information display device according to the embodiment of the present invention.
[図 20]図 20は、本発明の実施の形態に係る情報表示装置での一覧表示中での注目 ウィンドウの表示例を表す説明図である。  FIG. 20 is an explanatory diagram showing a display example of a window of interest during list display in the information display device according to the embodiment of the present invention.
[図 21]図 21は、本発明の実施の形態に係る情報表示装置での一覧表示中での注目 ウィンドウ以外のウィンドウの表示例を表す説明図である。 [FIG. 21] FIG. 21 shows attention during list display in the information display device according to the embodiment of the present invention. It is explanatory drawing showing the example of a display of windows other than a window.
[図 22]図 22は、本発明の実施の形態に係る情報表示装置での画面表示例を表す説 明図である。  FIG. 22 is an explanatory diagram showing a screen display example in the information display device according to the exemplary embodiment of the present invention.
[図 23]図 23は、本発明の実施の形態に係る情報表示装置でのウィンドウの拡大表示 例を表す説明図である。  FIG. 23 is an explanatory diagram showing an example of an enlarged window display on the information display device according to the embodiment of the present invention.
[図 24]図 24は、本発明の実施の形態に係る情報表示装置でのウィンドウの拡大表示 時の画面例を表す説明図である。  [FIG. 24] FIG. 24 is an explanatory view showing a screen example when the window is enlarged and displayed on the information display apparatus according to the embodiment of the present invention.
発明を実施するための最良の形態  BEST MODE FOR CARRYING OUT THE INVENTION
[0017] [情報表示装置の構成]  [0017] [Configuration of information display device]
図 1は、本発明の実施の形態に係る情報表示装置 1の構成例を表すブロック図で ある。本実施の形態の情報表示装置 1は、 CPU (Central Processing Unit) 11と、 RO M (Read Only Memory) 12と、 RAM (Random Access Memory) 13と、ネットワーク iZ F14と、コントローラ IZF15と、 GPU (Graphics Processing Unit) 21と、 VRAM (Vide o Random Access Memory) 22と、ドライブ 3と、を備える。これら CPU11と、 ROM12 と、 RAM13と、ネットワーク I/F14と、コントローラ I/F15と、 GPU21と、ドライブ 3と はここではバス 16を介して互いに接続されている。また、 VRAM22は GPU21に接 続され、コントローラ IZF15には、コントローラ 4が接続される。  FIG. 1 is a block diagram showing a configuration example of the information display device 1 according to the embodiment of the present invention. The information display device 1 of the present embodiment includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a network iZ F14, a controller IZF 15, and a GPU ( A graphics processing unit (21), a video random access memory (VRAM) 22, and a drive 3 are provided. These CPU 11, ROM 12, RAM 13, network I / F 14, controller I / F 15, GPU 21, and drive 3 are connected to each other via a bus 16 here. The VRAM 22 is connected to the GPU 21, and the controller 4 is connected to the controller IZF15.
[0018] CPU11は、 ROM12やドライブ 3にセットされている記録媒体から RAM13へと読 み出されたプログラムに従って動作する。この CPU11は、本実施の形態の情報表示 装置 1全体の制御を司っており、表示の対象となる複数種類の情報をそれぞれ画面 要素であるウィンドウに表示出力し、また、表示の対象となる情報に関連して表示す るべき通知情報の表示処理を行う。さらにこの CPU11は、表示されているウィンドウ の一覧表示処理を実行する。これらの CPU11の処理についての具体的な内容につ いては後に詳しく述べる。  The CPU 11 operates according to a program read from the recording medium set in the ROM 12 or the drive 3 to the RAM 13. This CPU 11 is responsible for overall control of the information display device 1 of the present embodiment, and displays and outputs a plurality of types of information to be displayed in windows, which are screen elements, and is also a display target. The notification information to be displayed in relation to the information is displayed. Furthermore, the CPU 11 executes a list display process for the displayed windows. The specific contents of the processing of the CPU 11 will be described in detail later.
[0019] ROM12は、 CPU11によって実行されるプログラムや、種々のデータを格納してい る。 RAM13は、 CPU11によって実行されるプログラムを保持する。また、この RAM 13は、 CPU 11のワークメモリとしても機能する。  The ROM 12 stores programs executed by the CPU 11 and various data. The RAM 13 holds a program executed by the CPU 11. The RAM 13 also functions as a work memory for the CPU 11.
[0020] ドライブ 3は、装着された DVD— ROMや、 CD— ROM等の記録媒体からデータを 読取って、読取ったデータを CPU11に対して出力する。このドライブ 3は、これらの 例に限られず、メモリスティック(商標)や、 SDカード (商標)等の記録メディアであつ ても良い。 [0020] The drive 3 reads data from a mounted recording medium such as a DVD-ROM or CD-ROM. Read and output the read data to CPU11. The drive 3 is not limited to these examples, and may be a recording medium such as a Memory Stick (trademark) or an SD card (trademark).
[0021] コントローラ 4は、例えば家庭用ゲーム機用のコントローラであってもよいし、 PC等 におけるキーボードやマウスなどであってもよい。このコントローラ 4は、コントローラ I /F15を介してバス 16に接続されており、方向キー、その他の操作キー、傾倒量な いし移動操作量に応じた信号を出力するアナログデバイスなどを備えており、ユーザ が行った操作を表す信号を CPU11に対して出力する。  The controller 4 may be a controller for a home game machine, for example, or may be a keyboard or a mouse in a PC or the like. The controller 4 is connected to the bus 16 via the controller I / F 15, and includes a direction key, other operation keys, an analog device that outputs a signal corresponding to the amount of tilt or movement, and the like. A signal representing the operation performed by the user is output to the CPU 11.
[0022] ネットワーク IZF14は、ネットワークを介して接続されるウェブサーバなどとの間で のデータの送受信を制御する。このネットワーク IZF14は、 CPU11から入力される 指示に従って、ネットワークを介して情報 (データの取得要求など)を送出し、また、ネ ットワークを介して受信される情報 (HTMLのデータなど)を CPU11に出力する。本 実施の形態では、このネットワーク IZF14を介して、 CPU11がインターネット等のネ ットワーク上に存在するウェブサーバから、 HTMLデータを取得する。  [0022] The network IZF 14 controls transmission / reception of data to / from a web server or the like connected via the network. This network IZF14 sends information (data acquisition request, etc.) via the network according to instructions input from the CPU11, and outputs information (HTML data, etc.) received via the network to the CPU11. To do. In the present embodiment, the CPU 11 acquires HTML data from a web server existing on a network such as the Internet via the network IZF14.
[0023] GPU21は、グラフィックスの表示に必要な計算処理を行う。 VRAM22は、ディスプ レイに表示される内容を保持するメモリであり、 GPU21が生成した画像データが書 込まれる。この VRAM22に書込まれた画像データに基づいて、テレビ受像器や、デ イスプレイ装置などに出力する映像信号が、図示しない表示制御部によって生成さ れ、テレビ受像器や、ディスプレイ装置などに、当該映像信号に基づく映像が表示さ れる。  The GPU 21 performs a calculation process necessary for displaying graphics. The VRAM 22 is a memory that holds the contents displayed on the display, and the image data generated by the GPU 21 is written therein. Based on the image data written in the VRAM 22, a video signal to be output to a television receiver or a display device is generated by a display controller (not shown), and the video signal is output to the television receiver or the display device. Video based on the video signal is displayed.
[0024] 以下、情報表示装置 1によって行われる処理の内容について述べる。なお、以下の 説明では、情報表示装置 1が CPU11や GPU21等によってウェブブラウザとしての 動作を行う場合を例として説明するが、これに限られるものではなぐ複数の画面要 素(例えばウィンドウ)を用いた情報の表示処理であれば、表示される情報はどのよう なものであってもよい。  [0024] The contents of processing performed by the information display device 1 will be described below. In the following description, the case where the information display device 1 operates as a web browser by the CPU 11 or the GPU 21 will be described as an example. However, the present invention is not limited to this, and a plurality of screen elements (for example, windows) are used. As long as the displayed information is displayed, the displayed information may be any information.
[0025] また、ここで情報表示装置 1が実現するウェブブラウザは、 V、わゆるタブブラウザで あって、各ウェブページをタブとなる独立のペイン(ここではウィンドウとして実現され る)内に表示する。また、各タブをユーザの操作に従って切り替えつつ表示する。 [0026] また本実施の形態の情報表示装置 1は、複数の画面要素(以下では、ウィンドウと 呼ぶ)を用いた情報の表示処理を行う。このとき情報表示装置 1は、各ウィンドウを二 次元的な描画空間に描画する処理を行ってもよい。しかしここでの情報表示装置 1は 、三次元的な仮想空間に、ウィンドウとなる板状の物体を配置し、各板状の物体表面 の少なくとも一方側に、それぞれのウィンドウ内に表示するべき画像を投影するものと する。例えば情報表示装置 1は、表示するべき内容を描画した二次元画像をテクス チヤとして貼り付ける。 [0025] Further, the web browser realized by the information display device 1 here is V, a so-called tab browser, and displays each web page in an independent pane (here, realized as a window) as a tab. To do. Each tab is displayed while being switched in accordance with the user's operation. [0026] The information display device 1 according to the present embodiment performs information display processing using a plurality of screen elements (hereinafter referred to as windows). At this time, the information display device 1 may perform a process of drawing each window in a two-dimensional drawing space. However, the information display device 1 here arranges a plate-like object to be a window in a three-dimensional virtual space, and images to be displayed in each window on at least one side of each plate-like object surface. Shall be projected. For example, the information display device 1 pastes a two-dimensional image in which the content to be displayed is drawn as a texture.
[0027] すなわち本実施の形態の情報表示装置 1が生成するデータは、図 2に示すように、 仮想空間 5内に、表示対象情報をその表面に描画した複数のウィンドウ 61, 62, 63 , 64,及び 65 (板状体)を配置したことを表すデータである。また、情報表示装置 1は 、この仮想空間 5に仮想的なカメラ (仮想カメラ) 71を配置する。そして情報表示装置 1は、この仮想カメラ 71に関連して、その仮想的な撮像領域である注目領域 7を設定 する。図 2では、仮想カメラ 71が撮像の対象としている注目領域 7の中央部にはウイ ンドウ 65があり、左端部にはウィンドウ 64の一部がある例を示している。  That is, as shown in FIG. 2, the data generated by the information display device 1 according to the present embodiment includes a plurality of windows 61, 62, 63, This data represents that 64 and 65 (plate-like bodies) are arranged. Further, the information display device 1 arranges a virtual camera (virtual camera) 71 in the virtual space 5. Then, the information display device 1 sets the attention area 7 that is a virtual imaging area in association with the virtual camera 71. FIG. 2 shows an example in which there is a window 65 at the center of the attention area 7 to be imaged by the virtual camera 71 and a part of the window 64 at the left end.
[0028] そして情報表示装置 1がこれら仮想空間 5に関する情報に基づいて、仮想カメラ 71 の注目領域 7に含まれる部分をレンダリングする。このレンダリングの結果の画像は、 VRAM22に書込まれる。そして、この画像が外部のディスプレイなどに表示されるこ ととなる(図 3)。  Then, the information display device 1 renders a portion included in the attention area 7 of the virtual camera 71 based on the information regarding the virtual space 5. The image resulting from this rendering is written to VRAM 22. This image is then displayed on an external display (Fig. 3).
[0029] 仮想カメラ 71の配置位置は仮想空間 5内において、任意に設定できる。仮想カメラ 71の移動に伴って注目領域 7が変化すると、レンダリングの結果が変化する。これに よりディスプレイに表示される画像が変化する。  The arrangement position of the virtual camera 71 can be arbitrarily set in the virtual space 5. When the attention area 7 changes as the virtual camera 71 moves, the rendering result changes. This changes the image displayed on the display.
[0030] ここで説明するウェブブラウザとしての情報表示装置は、機能的には図 4に示すよう に、記述情報取得部 31と、記述情報解析部 32と、表示対象情報生成部 33と、プロ グラム処理部 34と、表示制御部 35と、通知情報表示部 36と、仮想空間設定部 37と、 一覧表示設定部 38と、二次元レンダリング処理部 41と、三次元レンダリング処理部 4 2と、合成処理部 43を含んで構成されている。  [0030] As shown in FIG. 4, the information display device as a web browser described here functionally includes a description information acquisition unit 31, a description information analysis unit 32, a display target information generation unit 33, and a program. Gram processing unit 34, display control unit 35, notification information display unit 36, virtual space setting unit 37, list display setting unit 38, 2D rendering processing unit 41, 3D rendering processing unit 42, The composition processing unit 43 is included.
[0031] これらは、本実施の形態では CPU11や GPU21等の処理により例えばソフトウェア 的に実現される。 [0032] 情報取得部 31は、表示制御部 35や、表示対象情報生成部 33から、データの取得 要求の入力を受け入れる。この取得要求には、 URL等の指定等が含まれる。情報取 得部 31は、この取得要求を受信すると、指定された URL等から、要求されたデータ を取得する。そして情報取得部 31は、要求元である表示制御部 35、または表示対 象情報生成部 33に対して、当該取得したデータを出力する。なお、ここで URLによ つて特定されるデータは、ネットワーク上にあるウェブサーバ等が提供するものに限ら ず、情報表示装置 1自身が有するドライブ 3に装着された記録メディアなどに格納さ れて 、るファイルであってもよ!/、。 [0031] In the present embodiment, these are realized, for example, by software by processing of the CPU 11, the GPU 21, and the like. The information acquisition unit 31 receives an input of a data acquisition request from the display control unit 35 or the display target information generation unit 33. This acquisition request includes designation of a URL and the like. Upon receiving this acquisition request, the information acquisition unit 31 acquires the requested data from the specified URL or the like. Then, the information acquisition unit 31 outputs the acquired data to the display control unit 35 or the display target information generation unit 33 that is a request source. Here, the data specified by the URL is not limited to data provided by a web server on the network, but is stored in a recording medium attached to the drive 3 of the information display device 1 itself. Or even a file!
[0033] 記述情報解析部 32は、 HTMLデータのバーサ (解析機能)を含む。この記述情報 解析部 32は、表示先となる画面要素を識別する情報 (画面要素の識別子、以下「ゥ インドウ識別子」と呼ぶ)と、 HTMLデータとの入力を、表示制御部 35から受け入れる 。そして記述情報解析部 32は、この受け入れた HTMLデータを、予め定められた規 則に従って解析する。一般に HTMLデータは、表示対象情報の表示を指示する表 示指示データ部分を含み、場合によってはさらに、実行されるべきプログラムデータ 部分を含む。  [0033] The description information analysis unit 32 includes a parser (analysis function) of HTML data. The description information analysis unit 32 receives from the display control unit 35 input information (screen element identifier, hereinafter referred to as “window identifier”) for identifying a screen element as a display destination and HTML data. Then, the description information analysis unit 32 analyzes the received HTML data according to a predetermined rule. In general, HTML data includes a display instruction data portion that instructs display of display target information, and in some cases further includes a program data portion to be executed.
[0034] この記述情報処理部 32は、 HTMLデータのうちから、表示指示データの部分を抽 出する。そして記述情報処理部 32は、当該抽出した表示指示データとウィンドウ識別 子とを表示対象情報生成部 33に出力する。また記述情報解析部 32は、 HTMLデ ータ内にプログラムデータの部分を見いだすと、当該プログラムデータの部分を抽出 して、ウィンドウ識別子とともにプログラム処理部 34に出力する。  [0034] The description information processing unit 32 extracts the display instruction data portion from the HTML data. Then, the description information processing unit 32 outputs the extracted display instruction data and the window identifier to the display target information generation unit 33. When the description information analysis unit 32 finds the program data portion in the HTML data, it extracts the program data portion and outputs it to the program processing unit 34 together with the window identifier.
[0035] 表示対象情報生成部 33は、記述情報処理部 32から入力される表示指示データに 基づき、表示の対象となる文字列情報や表示の対象となるべき画像データを特定す る情報 (画像データの URLなど)を抽出する。また、表示対象情報生成部 33は、この 画像データを特定する情報を、情報取得部 31に出力し、当該情報で特定される画 像データの取得を要求する。そして表示対象情報生成部 33は、当該要求に対して 情報取得部 31が取得した画像データの入力を受け入れる。そして表示対象情報生 成部 33は、表示指示データに基づいて文字列情報と画像データとをレイアウトしたゥ エブページ記述情報を生成し、ウィンドウ識別子とともに二次元レンダリング処理部 4 1に出力する。 [0035] The display target information generation unit 33 is based on the display instruction data input from the description information processing unit 32, and is information (character image information) that specifies character string information to be displayed and image data to be displayed. Data URL). In addition, the display target information generation unit 33 outputs information specifying the image data to the information acquisition unit 31, and requests acquisition of the image data specified by the information. Then, the display target information generation unit 33 accepts input of image data acquired by the information acquisition unit 31 in response to the request. Then, the display target information generation unit 33 generates web page description information in which character string information and image data are laid out based on the display instruction data, and the two-dimensional rendering processing unit 4 along with the window identifier. Output to 1.
[0036] プログラム処理部 34は、記述情報処理部 32から入力されるプログラムデータの実 行を行う。また、このプログラム処理部 34は、記述情報処理部 32から入力されるウイ ンドウ識別子に関連づけてプログラムデータの実行に必要となるデータ(プログラムの 実行中の場所を示すポインタや、変数データなどのワークデータ)を保持する。従つ てこのプログラム処理部 34は、複数のウィンドウが開かれているとき (複数のウェブべ ージが表示中であるとき)には、複数のプログラムデータを並列的に実行することがあ る。この並列的な実行の方法は、マルチスレッド処理などとして広く知られた処理を用 V、ることができるので、ここでの詳細な説明を省略する。  The program processing unit 34 executes the program data input from the description information processing unit 32. In addition, the program processing unit 34 associates the window identifier input from the description information processing unit 32 with data necessary for execution of the program data (a pointer indicating a location where the program is being executed, variable data, etc.). Data). Therefore, this program processing unit 34 may execute a plurality of program data in parallel when a plurality of windows are opened (when a plurality of web pages are being displayed). . Since this parallel execution method can use processing widely known as multi-thread processing or the like, detailed description thereof is omitted here.
[0037] さらにプログラム処理部 34は、いずれかのウィンドウ識別子(以下、区別のため「注 目識別子」という)に関連づけられているプログラムデータの実行中に、ユーザに対し て通知するべき情報(つまり表示対象情報のいずれかとの関係においてユーザに通 知することとなった通知情報)が見いだされると、当該通知するべき情報(以下「通知 情報」という)と、注目識別子とを、通知情報表示部 36に出力する。  [0037] Furthermore, the program processing unit 34 informs the user (that is, information to be notified to the user during the execution of the program data associated with any one of the window identifiers (hereinafter referred to as "note identifier" for distinction)). When notification information that is notified to the user in relation to any of the display target information) is found, the information to be notified (hereinafter referred to as “notification information”) and the attention identifier are displayed in the notification information display section. Output to 36.
[0038] 表示制御部 35は、起動時には、画面要素であるウィンドウを一つ生成するよう仮想 空間設定部 37に指示する。そして表示制御部 35は、生成されたウィンドウを識別す る情報 (ウィンドウ識別子)の入力を、仮想空間設定部 37から受けて、これを保持する  [0038] At the time of activation, the display control unit 35 instructs the virtual space setting unit 37 to generate one window that is a screen element. Then, the display control unit 35 receives an input of information for identifying the generated window (window identifier) from the virtual space setting unit 37 and holds it.
[0039] そして起動時にウィンドウを生成すると、表示制御部 35は、事前に設定されている URLで特定されるデータを取得するよう、情報取得部 31に対して指示する。この UR Lにより特定されるデータは、ここでは HTMLデータであるものとする。表示制御部 3 5は、仮想空間設定部 37から入力を受けたウィンドウ識別子と、情報取得部 31によつ て取得された HTMLデータを記述情報処理部 32に出力する。 [0039] When a window is generated at the time of activation, the display control unit 35 instructs the information acquisition unit 31 to acquire data specified by a URL set in advance. The data specified by this URL is assumed to be HTML data here. The display control unit 35 outputs the window identifier received from the virtual space setting unit 37 and the HTML data acquired by the information acquisition unit 31 to the description information processing unit 32.
[0040] この表示制御部 35は、仮想空間設定部 37によって設定された仮想空間に基づく 三次元画像のレンダリングを、三次元レンダリング処理部 42に行わせる。  The display control unit 35 causes the 3D rendering processing unit 42 to render a 3D image based on the virtual space set by the virtual space setting unit 37.
[0041] また、この表示制御部 35は、ユーザによって行われた指示に基づいて、各部を制 御する。本実施の形態の説明では、ユーザは、  [0041] The display control unit 35 controls each unit based on an instruction given by the user. In the description of this embodiment, the user
(1)新規にウィンドウ(ウェブブラウザにおいては別のウェブページを表示するべきタ ブとも呼ばれるものでもよ 、)を生成するべき旨の指示 (以下、新規ウィンドウ指示と呼 ぶ)、 (1) A new window (a web browser should display another web page An instruction that should be generated (hereinafter referred to as a new window instruction),
(2)複数のウィンドウを一覧表示するべき旨の指示 (以下、一覧表示指示と呼ぶ)、 (2) An instruction to display a list of multiple windows (hereinafter referred to as a list display instruction),
(3)複数のウィンドウのうち一つを、表示または操作の対象として指定する指示 (以下 、フォーカス指示と呼ぶ)、 (3) An instruction to designate one of a plurality of windows as a display or operation target (hereinafter referred to as a focus instruction),
(4)選択されて!、るウィンドウに表示されて!、る入力欄に文字列などを入力したり、選 択されているウィンドウに表示されているリンクをクリックしたりする指示(以下、コンテ ント操作指示と呼ぶ)、  (4) Instructions to enter a character string, etc. in the input field, or click a link displayed in the selected window (hereinafter referred to as a container). This is called an operation instruction).
(5)ウィンドウを閉じる旨示、  (5) Indication to close the window,
(6)ブラウザとしての処理を終了するべき旨の指示 (以下、終了指示と呼ぶ) などを行う。  (6) An instruction to terminate the processing as a browser (hereinafter referred to as an end instruction) is given.
[0042] これらの指示は、例えばコントローラ 4を用いて行われる。次に操作の一例として、タ ブ切り替え操作 (仮想カメラ 71に正対するウィンドウの切り替え操作)につ 、て説明す る。このタブ切り替え操作は、コントローラ 4に取り付けられた方向キーの押下操作に よって行う。ここで方向キーは、上下左右の四方向にそれぞれ配置され、右側の方向 キーが押下されたときには、仮想カメラ 71の位置を、その視線方向に対して右手方 向にあるウィンドウに正対する位置へ移動する。同様に、左側の方向キーが押下され たときには、仮想カメラ 71の位置を、その視線方向に対して左手方向にあるウィンド ゥに正対する位置へ移動する。上下方向のキーが押下された場合も同様である。  These instructions are performed using the controller 4, for example. Next, as an example of the operation, a tab switching operation (a window switching operation facing the virtual camera 71) will be described. This tab switching operation is performed by pressing a direction key attached to the controller 4. Here, the direction keys are arranged in four directions, up, down, left and right, respectively, and when the right direction key is pressed, the position of the virtual camera 71 is set to a position facing the window in the right hand direction with respect to the line-of-sight direction. Moving. Similarly, when the left direction key is pressed, the position of the virtual camera 71 is moved to a position facing the window in the left hand direction with respect to the viewing direction. The same applies when the vertical key is pressed.
[0043] また、別の操作の例として、ウィンドウ(タブ)内に表示されて!、るオブジェクト(ボタン や、文字列入力欄など)のクリック操作について説明する。このオブジェクトのクリック 操作は、クリック位置までポインタを移動し、クリックを行うという操作であり、例えば次 のように行われる。すなわち、クリック位置を指定するためのポインタ(マウスカーソル) の移動は、コントローラ 4に設けられているアナログスティックなどを傾倒させる等の操 作によって行われ、方向キーとは別途設けられたキーを押下する操作を、クリック操 作とすることができる。  [0043] As another example of the operation, a click operation on an object (button, character string input field, etc.) displayed in a window (tab) will be described. The click operation of this object is an operation of moving the pointer to the click position and clicking, for example, as follows. That is, the pointer (mouse cursor) for specifying the click position is moved by tilting an analog stick or the like provided on the controller 4, and a key provided separately from the direction key is pressed. The operation to be performed can be a click operation.
[0044] また、上述のユーザの操作のうち(1)新規ウィンドウ指示が行われると、表示制御部 35が、画面要素であるウィンドウを一つ生成するよう仮想空間設定部 37に指示する 。表示制御部 35は、仮想空間設定部 37から、生成されたウィンドウを識別する情報( ウィンドウ識別子)の入力を受けて、これを保持する。 [0044] In addition, of the above-described user operations, (1) when a new window instruction is given, the display control unit 35 instructs the virtual space setting unit 37 to generate one window as a screen element. . The display control unit 35 receives the information (window identifier) for identifying the generated window from the virtual space setting unit 37 and holds it.
[0045] また表示制御部 35は、事前に設定されている URLで特定されるデータを取得する よう、情報取得部 31に対して指示する。この URLにより特定されるデータは、ここで は HTMLデータであるものとする。表示制御部 35は、仮想空間設定部 37から入力 を受けたウィンドウ識別子と、情報取得部 31によって取得された HTMLデータを記 述情報処理部 32に出力する。  [0045] Further, the display control unit 35 instructs the information acquisition unit 31 to acquire data specified by a URL set in advance. Here, the data specified by this URL is assumed to be HTML data. The display control unit 35 outputs the window identifier received from the virtual space setting unit 37 and the HTML data acquired by the information acquisition unit 31 to the description information processing unit 32.
[0046] また(2)—覧表示指示が行われた場合、表示制御部 35は、一覧表示設定部 38に 対して、ウィンドウの一覧表示を行うべき旨の指示を出力する。  [0046] (2) —When a list display instruction is issued, the display control unit 35 outputs an instruction to the list display setting unit 38 to perform window list display.
[0047] さらに(3)フォーカス指示が行われると、表示制御部 35は、図 5に示す処理を開始 する。以下の説明では指示によって選択されたウィンドウを注目ウィンドウとする。表 示制御部 35は、一覧表示中であるか否かを調べる(101)。ここで一覧表示中でなけ れば、表示制御部 35は、仮想カメラ 71の位置を、注目ウィンドウに正対する位置に 移動して(102)、処理を終了する。この処理 102によると、例えば、ウィンドウ 62が表 示中であったとき(仮想カメラ 71が図 6の A位置にあるとき)に、ウィンドウ 63が注目ゥ インドウとなるべき旨の指示 (ユーザが右端に表示されて 、るウィンドウ 63をクリックす る力、コントローラ 4の右側の方向キーを押下するなど、右隣のウィンドウに移動する 旨の指示)がされると、仮想カメラ 71の位置をウィンドウ 63に正対する位置(図 6の B 位置)へ移動し、注目ウィンドウとなったウィンドウ 63を仮想カメラ 71の注目領域 7の 中央に位置させる。  [0047] Further, (3) when a focus instruction is given, the display control unit 35 starts the processing shown in FIG. In the following description, the window selected by the instruction is set as the attention window. The display control unit 35 checks whether a list is being displayed (101). If the list is not being displayed here, the display control unit 35 moves the position of the virtual camera 71 to a position facing the window of interest (102), and ends the process. According to this processing 102, for example, when the window 62 is being displayed (when the virtual camera 71 is at the position A in FIG. 6), an instruction that the window 63 should be the focused window (the user is When the command to move to the next window to the right (such as the force to click on window 63 or pressing the right arrow key on controller 4) is displayed, the position of virtual camera 71 is displayed in window 63. Is moved to the position (position B in FIG. 6), and the window 63 that has become the attention window is positioned at the center of the attention area 7 of the virtual camera 71.
[0048] また、処理 101において一覧表示中であれば、表示制御部 35は、仮想空間設定 部 37に対して、注目ウィンドウと、注目ウィンドウでないウィンドウとを互いに識別可能 な態様で描画するよう指示して(103)、処理を終了する。ここで互いに識別可能な態 様とは、例えば、ウィンドウ内に表示する画像に、グレイの画像を半透明合成すること としてもよい。この処理 103の具体的な例についても、後に一覧表示の処理とともに 説明する。  [0048] If the list is being displayed in the process 101, the display control unit 35 instructs the virtual space setting unit 37 to draw the window of interest and the window that is not the window of interest in a manner that allows them to be distinguished from each other. (103), and the process ends. Here, the modes that can be distinguished from each other may be, for example, that a gray image is translucently combined with an image displayed in a window. A specific example of the process 103 will also be described later together with the list display process.
[0049] さらに (4)コンテント操作指示を受けたときは、表示制御部 35は、操作の内容に従 つて、注目ウィンドウの表示内容を更新するなどの処理を行う。具体的な例として、ュ 一ザが選択した注目ウィンドウ内に表示された入力欄に、文字列を入力する操作を 行った場合、当該入力欄に入力された文字を表示することとなる。また、リンクやボタ ンなどがクリックされたときには、当該リンクやボタンに関連づけられた HTMLデータ が参照されて、処理が行われることとなる。この処理は一般的なブラウザとしての処理 と同様のものであるので、ここでの詳細な説明を省略する。 [0049] Furthermore, (4) when receiving a content operation instruction, the display control unit 35 performs processing such as updating the display content of the window of interest in accordance with the operation content. As a specific example, When an operation for inputting a character string is performed in the input field displayed in the attention window selected by the user, the character input in the input field is displayed. Also, when a link or button is clicked, the HTML data associated with the link or button is referred to and processing is performed. Since this process is the same as the process as a general browser, a detailed description thereof is omitted here.
[0050] なお、リンク等がクリックされた場合、表示制御部 35は、当該リンク等に関連づけら れた URLからデータを取得する指示を、注目ウィンドウのウィンドウ識別子ととも〖こ情 報取得部 31に対して出力する。  [0050] When a link or the like is clicked, the display control unit 35 sends an instruction to acquire data from the URL associated with the link or the like, together with the window identifier of the window of interest, the information acquisition unit 31. Output for.
[0051] 表示制御部 35は、 (5)ウィンドウを閉じる指示操作を受けると、その時点で注目ウイ ンドウとなって ヽるウィンドウ識另 U子で特定されるウィンドウ(終了対象ウィンドウ)を表 示されないよう制御する。この制御は例えば、終了対象ウィンドウの板状体を仮想空 間 5から消去するよう仮想空間設定部 37に指示する処理によって行うことができる。  [0051] Upon receiving an instruction to close the window (5), the display control unit 35 displays the window (the window to be terminated) specified by the window identifier U child that will be the window of interest at that time. Control not to be done. This control can be performed, for example, by a process of instructing the virtual space setting unit 37 to delete the plate-like body of the window to be ended from the virtual space 5.
[0052] 表示制御部 35は、さらに(6)終了指示を受けると、終了を確認する通知情報を生 成して、通知情報表示部 36に出力する。  [0052] Upon receiving the (6) termination instruction, the display control unit 35 generates notification information for confirming termination and outputs the notification information to the notification information display unit 36.
[0053] 通知情報表示部 36は、プログラム処理部 34から、実行中のプログラムデータに関 連する表示対象情報を表示して ヽるウィンドウのウィンドウ識別子 (上述の注目識別 子)と、通知情報との入力を受け入れる。そして通知情報表示部 36は、注目識別子 によって特定されるウィンドウ (例えば通知情報に関係する表示対象情報が表示され ている画面要素(ウィンドウ))を、注目ウィンドウとする。そして通知情報表示部 36は 、当該注目ウィンドウを、他のウィンドウとは識別可能な態様で表示し、それとともに通 知情報を併せて表示する。この表示の態様については、後に詳しく述べる。  [0053] The notification information display unit 36 displays a window identifier (the above-described attention identifier) of a window that displays display target information related to the program data being executed from the program processing unit 34, notification information, and the like. Accept input. The notification information display unit 36 sets a window specified by the attention identifier (for example, a screen element (window) on which display target information related to the notification information is displayed) as the attention window. Then, the notification information display unit 36 displays the window of interest in a manner that can be distinguished from other windows, and also displays the notification information together with it. This display mode will be described in detail later.
[0054] また、通知情報表示部 36は、表示制御部 35等から、表示対象情報のいずれにも 関係しな 、(すなわち 、ずれのウィンドウとの関係のな!、)通知情報を表示するべき 旨の指示を受け入れる。この場合、通知情報表示部 36は、上述の表示対象情報に 関係する通知情報 (すなわちいずれかのウィンドウに関係する通知情報)とは異なる 表示態様にて、通知情報を表示する。この表示の態様についても、後に述べる。  [0054] Further, the notification information display unit 36 should display the notification information from the display control unit 35 or the like, which is not related to any display target information (that is, not related to the misaligned window!). Accept the instructions. In this case, the notification information display unit 36 displays the notification information in a display mode different from the notification information related to the display target information described above (that is, the notification information related to any window). This display mode will also be described later.
[0055] 仮想空間設定部 37は、表示制御部 35等から入力される指示に従い、仮想空間内 にウィンドウとなる板状体を新規に追加し、あるいは板状体を仮想空間内から削除す る。具体的な例として、仮想空間設定部 37は、仮想空間 5を、図 7に示すようなォブ ジェタトデータベースによって管理する。 [0055] The virtual space setting unit 37 adds a new plate-like body to be a window in the virtual space or deletes the plate-like body from the virtual space in accordance with an instruction input from the display control unit 35 or the like. The As a specific example, the virtual space setting unit 37 manages the virtual space 5 using an object database as shown in FIG.
[0056] このオブジェクトデータベースは、仮想空間 5の内部に含まれるべき仮想的な物体( オブジェクト)ごとに、固有の識別子と、物体の形状や属性と、当該物体の位置や姿 勢を表す座標情報とを関連て保持するものである。ここで仮想的な物体の形状等は 、例えば板状体であれば、直方体の形状であって、その幅、奥行き、高さを表す属性 によって定めることができる。また、仮想カメラであれば、仮想カメラである旨の情報と ともに、その視線方向、視野角度など (これらにより注目領域が画定される)の属性に よって定めることができる。また位置座標は、形状ごとに、例えば中心位置座標と、主 軸方向など姿勢を表す座標とを含むものとして定めることができる。  [0056] This object database includes, for each virtual object (object) to be included in the virtual space 5, a unique identifier, the shape and attribute of the object, and coordinate information indicating the position and posture of the object. Are held in relation to each other. Here, for example, if the shape of the virtual object is a plate-like body, it is a rectangular parallelepiped shape, and can be determined by attributes representing the width, depth, and height. Further, in the case of a virtual camera, it can be determined by information indicating that the camera is a virtual camera and attributes such as a viewing direction, a viewing angle, etc. (the attention area is defined by these). The position coordinates can be determined for each shape including, for example, center position coordinates and coordinates representing the posture such as the spindle direction.
[0057] 仮想空間設定部 37が新規に板状体を追加する場合は、固有の識別子を新規に生 成し (この識別子は、ウィンドウ識別子として利用できる)、図 7に示したオブジェクトデ ータベースに、直方体の形状を追加する。また、仮想空間設定部 37は、当該追加し た形状を表す情報に関連づけて、予めウィンドウである板状体の形状として定められ た形状を設定するとともに、当該板状の直方体の仮想空間内の位置座標などを定め て、オブジェクトデータベースに記録する。  [0057] When the virtual space setting unit 37 newly adds a plate-like body, a unique identifier is newly generated (this identifier can be used as a window identifier), and is added to the object database shown in FIG. Add a rectangular parallelepiped shape. Further, the virtual space setting unit 37 sets a shape predetermined as the shape of the plate-like body that is a window in advance in association with the information representing the added shape, and also in the virtual space of the plate-like rectangular parallelepiped. Define the position coordinates and record them in the object database.
[0058] また、この仮想空間設定部 37は、表示制御部 35等から入力される指示に従い、仮 想カメラ 71と板状体との相対位置を変更する。この相対位置の変更は、変更後の目 的位置の座標を示すベクトル Dと、変更前の初期位置の座標を表すベクトル Sとの間 で、時刻 t (t=0から Tまで)に対して、  Further, the virtual space setting unit 37 changes the relative position between the virtual camera 71 and the plate-like body in accordance with an instruction input from the display control unit 35 or the like. The relative position is changed between the vector D indicating the coordinates of the target position after the change and the vector S indicating the coordinates of the initial position before the change with respect to the time t (from t = 0 to T). ,
[数 1]
Figure imgf000014_0001
[Number 1]
Figure imgf000014_0001
として時刻とともにアニメーションするように変化させることとしてもよい。  It is good also as changing as animation with time.
[0059] 例えば表示制御部 35が、ユーザの操作によってウィンドウのほ力にメニュー画面を 表示する必要がある場合、この仮想空間設定部 37の処理により、仮想空間 5内の板 状体や仮想カメラ 71の相対位置を変更し、ディスプレイの画面上にメニュー画面を 表示する領域を形成することができる。メニュー画面は、新規ウィンドウ、 URLを開く 、ウィンドウを閉じる、等の指示を行うための画面などである。すなわち、図 8に示すよ うに、更新前の状態で、ウィンドウ 61が仮想カメラ 71の注目領域 7中央部に表示され ている場合(図 8上段)を考える。ここでメニュー画面の表示指示が行われると、表示 制御部 35が仮想空間設定部 37にメニュー画面の表示領域を形成するべき指示を 出力する。そして仮想空間設定部 37は、ウィンドウ 61が仮想カメラ 71の注目領域 7 の周縁部に位置するよう、ウィンドウ 61と仮想カメラ 71との相対的位置を更新する(図 8下段)。これにより、図 9に示すように、更新後においては、ウィンドウ 61の表示領域 に重なり合うことなぐメニュー画面を表示可能な領域 (R)が形成される。 [0059] For example, when the display control unit 35 needs to display a menu screen as much as possible in the window by the user's operation, the processing of the virtual space setting unit 37 causes a plate or virtual camera in the virtual space 5 to be displayed. By changing the relative position of 71, an area for displaying the menu screen can be formed on the display screen. Menu screen opens new window, URL , A screen for instructing to close the window and the like. That is, consider the case where the window 61 is displayed at the center of the attention area 7 of the virtual camera 71 in the state before update as shown in FIG. When a menu screen display instruction is given, the display control unit 35 outputs an instruction to form a menu screen display area to the virtual space setting unit 37. Then, the virtual space setting unit 37 updates the relative position between the window 61 and the virtual camera 71 so that the window 61 is positioned at the peripheral edge of the attention area 7 of the virtual camera 71 (lower part in FIG. 8). As a result, as shown in FIG. 9, after updating, an area (R) capable of displaying the menu screen without overlapping the display area of the window 61 is formed.
[0060] また、この領域 (R)内にメニュー画面が表示しきれない場合 (例えば階層的に構成 されたメニューであって、比較的大きい表示面積を要するものの場合)は、表示制御 部 35は、図 10に示すように、この更新後の位置において、周縁部に表示されたウイ ンドウ 61に、メニュー画面(M)の一部が覆 、被さるようにして表示するよう制御しても よい。仮想空間設定部 37によるさらに別の仮想空間 5の設定例については、さらに 後に述べる。 [0060] If the menu screen cannot be displayed in this area (R) (for example, a hierarchically structured menu requiring a relatively large display area), the display control unit 35 As shown in FIG. 10, control may be performed so that a part of the menu screen (M) is covered and covered on the window 61 displayed on the peripheral edge at the updated position. Further setting examples of the virtual space 5 by the virtual space setting unit 37 will be described later.
[0061] さらに仮想空間設定部 37は、表示制御部 35からウィンドウ識別子と、当該ウィンド ゥ識別子で特定されるウィンドウに係る板状体を消去するべき旨の指示とを受け入れ る。このとき仮想空間設定部 37は、オブジェクトデータベースから、当該入力されたゥ インドウ識別子に関わるデータのエントリーを削除する。  Furthermore, the virtual space setting unit 37 receives from the display control unit 35 a window identifier and an instruction to delete the plate-like body related to the window specified by the window identifier. At this time, the virtual space setting unit 37 deletes the entry of data related to the input window identifier from the object database.
[0062] 一覧表示設定部 38は、表示制御部 35からウィンドウの一覧表示をするべき旨の指 示を受け入れる。そして一覧表示設定部 38は、仮想空間設定部 37に対して、複数 のウィンドウを所定の態様に並べ替える指示を行い、仮想カメラ 71の位置を変更する 。つまり一覧表示設定部 38は、すべてのウィンドウが一覧できる位置へ仮想カメラ 71 を移動するよう指示する。この一覧表示の指示に対する一覧表示設定部 38や仮想 空間設定部 37の動作等については、後に詳しく述べる。  The list display setting unit 38 receives an instruction from the display control unit 35 to display a list of windows. Then, the list display setting unit 38 instructs the virtual space setting unit 37 to rearrange a plurality of windows in a predetermined manner, and changes the position of the virtual camera 71. That is, the list display setting unit 38 instructs to move the virtual camera 71 to a position where all windows can be listed. The operations of the list display setting unit 38 and the virtual space setting unit 37 in response to the list display instruction will be described in detail later.
[0063] 二次元レンダリング処理部 41は、表示対象情報生成部 33から入力されるウェブべ ージ記述情報に基づ 、て、ウェブページの内容を表すビットマップ画像を生成する。 そしてウェブページ記述情報とともに入力されたウィンドウ識別子に関連づけて、生 成したビットマップ画像を RAM 13に格納する。 [0064] 三次元レンダリング処理部 42は、仮想空間設定部 37による仮想空間 5の設定に基 づいて、三次元画像をレンダリングしたビットマップデータを生成する。すなわち、こ の三次元レンダリング処理部 42は、仮想空間設定部 37によって生成されているォブ ジェタトデータベースを参照し、次の処理を行う。すなわち三次元レンダリング処理部 42は、仮想カメラ 71からの視野 (注目領域 7)に、板状体等を投影した画像を描画す る。このようなレンダリングの処理は、スキャンライン法、レイトレース法、ラジオシティ 法など種々の技術があり、これらの技術を利用できるので、ここでの詳細な説明を省 略する。 [0063] Based on the web page description information input from the display target information generation unit 33, the two-dimensional rendering processing unit 41 generates a bitmap image representing the content of the web page. The generated bitmap image is stored in the RAM 13 in association with the window identifier input together with the web page description information. [0064] Based on the setting of the virtual space 5 by the virtual space setting unit 37, the three-dimensional rendering processing unit 42 generates bitmap data obtained by rendering a three-dimensional image. That is, the three-dimensional rendering processing unit 42 refers to the object database generated by the virtual space setting unit 37 and performs the following processing. That is, the three-dimensional rendering processing unit 42 draws an image obtained by projecting a plate-like body or the like in the field of view (the attention area 7) from the virtual camera 71. Such rendering processing includes various techniques such as a scan line method, a ray tracing method, and a radiosity method. Since these techniques can be used, detailed description thereof is omitted here.
[0065] 本実施の形態においては、この三次元レンダリング処理部 42は、各板状体の、仮 想カメラ 71に対向する面のテクスチャとして、各板状体の識別子 (ここではウィンドウ 識別子に同じ)に関連づけて RAM13に格納されているウェブページのビットマップ 画像を設定する。これにより、各板状体が、ウェブページを表示する画像要素(ウィン ドウ)として機能することとなる。  In the present embodiment, the three-dimensional rendering processing unit 42 uses the identifier of each plate-like body (here, the same as the window identifier) as the texture of the surface of each plate-like body facing the virtual camera 71. ) To set the bitmap image of the web page stored in RAM13. Thereby, each plate-like body functions as an image element (window) for displaying a web page.
[0066] 合成処理部 43は、三次元レンダリング処理部 42がレンダリングした画像に、重ね合 わせて表示するべき文字列や画像の入力を受けて、当該入力された文字列や画像 を、三次元レンダリング処理部 42がレンダリングした画像に重ね合わせて (例えば半 透明)合成する。  [0066] The composition processing unit 43 receives an input of a character string or an image to be displayed superimposed on the image rendered by the three-dimensional rendering processing unit 42, and converts the input character string or image into a three-dimensional image. It is superimposed on the image rendered by the rendering processor 42 (for example, translucent) and synthesized.
[0067] なお半透明合成とは、例えば合成に係る複数の画像にっ ヽて、それぞれ対応する 画素の値を加算して、合成後の画像を生成する処理である。  Note that the translucent composition is a process of generating a composite image by adding the values of corresponding pixels to a plurality of images related to composition, for example.
[0068] [通知情報の表示態様]  [0068] [Notification Information Display Mode]
次に、本実施の形態による通知情報の表示態様について述べる。既に説明したよ うに、本実施の形態の情報表示装置としてのウェブブラウザでは、 HTMLデータに 含まれて 、るプログラムデータの実行中、他のウェブページへのジャンプの可否確認 や、ノ スワード入力などをユーザに求める表示 (通知情報の表示)を行うことがある。  Next, a display mode of notification information according to the present embodiment will be described. As already described, in the web browser as the information display device of the present embodiment, confirmation of whether or not jumping to another web page is possible while the program data included in the HTML data is being executed, and a keyword is input. May be displayed asking the user (notification information display).
[0069] こうした HTMLデータに基づく通知情報は、当該 HTMLデータに基づく表示対象 情報との関係においてユーザに通知することとなったものである。  [0069] Such notification information based on HTML data is to notify the user in relation to display target information based on the HTML data.
[0070] 本実施の形態では、このように、いずれかの表示対象情報との関係においてユー ザに通知することとなった通知情報について、次のような態様で表示する。ここでは 実行中のプログラムデータに関連する表示対象情報を表示しているウィンドウのウイ ンドウ識別子 (注目識別子)により、どの表示対象情報に関係する通知情報であるか を判断する。 In the present embodiment, the notification information that is notified to the user in relation to any display target information is displayed in the following manner. here Based on the window identifier (notice identifier) of the window displaying the display target information related to the program data being executed, it is determined which display target information is the notification information.
[0071] すなわち通知情報表示部 36は、注目識別子と、通知情報との入力を受けこの注目 識別子に係るウィンドウを注目ウィンドウとする。そして当該注目ウィンドウを、仮想カメ ラ 71の注目領域 7の周縁部に位置させるよう、仮想空間設定部 37に指示する。そし て仮想空間設定部 37が、注目ウィンドウが仮想カメラ 71の注目領域 7の周縁部に位 置するよう、オブジェクトデータベースにおける注目ウィンドウまたは仮想カメラ 71との 座標位置を変更して、注目ウィンドウと仮想カメラ 71との相対位置を更新する。これ は図 8、図 9に示したメニュー画面の例と同様のものである。  That is, the notification information display unit 36 receives the input of the attention identifier and the notification information, and sets the window related to this attention identifier as the attention window. Then, the virtual space setting unit 37 is instructed to position the attention window at the periphery of the attention area 7 of the virtual camera 71. Then, the virtual space setting unit 37 changes the coordinate position of the target window or the virtual camera 71 in the object database so that the target window is positioned at the periphery of the target area 7 of the virtual camera 71, and the virtual window 71 Updates the relative position with the camera 71. This is the same as the menu screen example shown in Figs.
[0072] これにより、図 9に示した例と同様に注目ウィンドウがディスプレイ等の画面のいず れかの端に寄り、通知情報を表示するための領域 (R)が形成されることとなる。そして 通知情報表示部 36は、この領域 (R)に、通知情報を表示する。  [0072] As a result, as in the example shown in FIG. 9, the window of interest moves closer to one edge of the screen such as a display, and an area (R) for displaying notification information is formed. . Then, the notification information display unit 36 displays the notification information in this area (R).
[0073] なお図 11に示すように、ウィンドウ 62, 63,…が、仮想カメラ 71に対向して配列され ている場合を考えると、ウィンドウ 62を注目ウィンドウとして注目領域 7の周縁部に表 示されることとなるよう、仮想カメラ 71を移動してしまうと、隣接するウィンドウ 63がその 注目領域 7内に入りこむことも想定される。このような場合には、三次元レンダリング処 理部 42に対して、注目ウィンドウ以外のウィンドウについては、その仮想カメラ 71に 対向する面のテクスチャとして、表示対象情報のテクスチャに対して、グレイのトーン( グレイで塗りつぶした画像)を半透明合成して、表示対象情報が比較的暗く ( ヽゎゅ るディム)表示されるようにしてもよい(図 12)。この場合、注目ウィンドウの表示対象情 報が比較的明るく表示されることとなり、どのウィンドウに関係する通知情報が表示さ れているのかがユーザに明瞭に認識できるようになる。  [0073] As shown in FIG. 11, when the windows 62, 63,... Are arranged facing the virtual camera 71, the window 62 is displayed as the attention window on the peripheral portion of the attention area 7. Therefore, if the virtual camera 71 is moved, the adjacent window 63 is assumed to enter the attention area 7. In such a case, for the windows other than the window of interest, a gray tone is displayed as the texture of the surface facing the virtual camera 71 with respect to the texture of the display target information. (The image painted in gray) may be semi-transparently combined so that the information to be displayed is displayed relatively dark (Duy Dim) (Figure 12). In this case, the display target information of the target window is displayed relatively brightly, and the user can clearly recognize which window is associated with the notification information.
[0074] また、通知情報表示部 36は、この隣接するウィンドウ 63が表示されている領域 (R) に重ね合わせて通知情報を表示するよう、合成処理部 43に指示する。  [0074] Further, the notification information display unit 36 instructs the synthesis processing unit 43 to display the notification information so as to overlap the area (R) where the adjacent window 63 is displayed.
[0075] また、別の例として、三次元レンダリング部 42に対して、注目ウィンドウ以外のウィン ドウのレンダリングを行わないよう指示してもよい。このよう〖こすると、注目ウィンドウ以 外の、他の画面要素が隠蔽される(図 13)。このことで、注目ウィンドウおよび通知情 報のみが表示される態様となるので、注目ウィンドウが容易に識別可能になる。なお 、識別可能な態様としては、これらに限らず、例えば、注目ウィンドウの枠の色を変更 したり、注目ウィンドウを点滅させるなど、種々の方法を採用できる。 As another example, the three-dimensional rendering unit 42 may be instructed not to render windows other than the window of interest. This rubbing hides other screen elements other than the window of interest (Fig. 13). This allows attention windows and notification information. Since only the information is displayed, the window of interest can be easily identified. Note that the identifiable aspects are not limited to these, and various methods such as changing the frame color of the window of interest or blinking the window of interest can be employed.
[0076] このように本実施の形態では、通知情報の表示の際には、その通知情報に関係す る注目ウィンドウが他のウィンドウと識別可能な態様で表示される。これにより、複数の ウィンドウが表示されていたとしても、どのウィンドウとの関係で通知情報が表示された のかを明瞭に視認できるようになる。  As described above, in the present embodiment, when the notification information is displayed, the window of interest related to the notification information is displayed in a manner distinguishable from other windows. As a result, even when multiple windows are displayed, it is possible to clearly see which window the notification information is displayed in.
[0077] また、当該注目ウィンドウに対し、通知情報が重ならずに隣接して表示されることで 、注目ウィンドウに表示されている表示対象情報と通知情報の両方を確認できる。  [0077] Further, since the notification information is displayed adjacent to the attention window without overlapping, both the display target information and the notification information displayed in the attention window can be confirmed.
[0078] なお、本実施の形態では、通知情報は、三次元レンダリング部 42によってレンダリ ングされた画像に重ね合わせて表示されるようにするなど、ユーザの操作によって通 知情報の表示内容が移動されることのな 、ように制御されて 、る。  [0078] In the present embodiment, the display content of the notification information is moved by a user operation, for example, the notification information is displayed so as to be superimposed on the image rendered by the three-dimensional rendering unit 42. It is controlled so that it is not done.
[0079] 通知情報表示部 36は、ユーザが通知情報に対して行った応答操作を受けて、当 該応答操作の内容をプログラム処理部 34に出力する。例えば、「クッキーを受け入れ ます力。」との文字列とともに、「はい」及び「いいえ」のボタンを通知情報として表示す る場合、いずれかのボタンがクリックされると、当該クリックされたボタンを識別する情 報をプログラム処理部 34に出力する。  The notification information display unit 36 receives a response operation performed on the notification information by the user, and outputs the content of the response operation to the program processing unit 34. For example, when displaying “Yes” and “No” buttons as notification information together with the string “Power to accept cookies.” When any button is clicked, the clicked button is displayed. The identification information is output to the program processing unit 34.
[0080] プログラム処理部 34は、この通知情報に基づく情報を受けてプログラムデータの処 理を継続する。  [0080] The program processing unit 34 receives the information based on the notification information and continues processing the program data.
[0081] [プログラムデータ実行制御]  [0081] [Program data execution control]
さらに通知情報表示部 36が通知情報の表示を行っている間に、プログラム処理部 34は、他のウィンドウに関係するプログラムデータの実行を «続していてもよい。この とき、他のウィンドウに関係するプログラムデータにより、通知情報の表示が必要とな つた場合は、当該通知情報に関わる他のウィンドウのウィンドウ識別子と、通知情報と を関連づけて、 RAM13に確保した、通知情報の待ち行列(キュー)の記憶領域に格 納する。  Furthermore, while the notification information display unit 36 displays the notification information, the program processing unit 34 may continue to execute program data related to other windows. At this time, if it is necessary to display the notification information due to program data related to another window, the window identifier of the other window related to the notification information and the notification information are associated with each other and secured in the RAM 13. Store in the queue of notification information queue.
[0082] そして、この時点で表示されている通知情報の表示が完了したときに、待ち行列の 先頭にある通知情報力 順に、表示の処理を行う。 [0083] なお、例えばジヤノく'スクリプト (JavaScript)などでは、ァラート(alert)、ドキュメント (document.open)、など複数の方法で通知情報の表示要求を行うことができる。そこ でプログラム処理部 34は、待ち行列への格納の際に、複数の方法のうち、どの方法 で通知情報の表示要求が行われたかによつて優先順位を定めて、優先順位の順序 ( 同じ優先順位であれば発生の時間順でょ 、)でキューに登録してもよ 、。 [0082] When the display of the notification information displayed at this time is completed, the display processing is performed in the order of the notification information in the head of the queue. [0083] Note that, for example, in Gino 'Script (JavaScript), notification information display requests can be made by a plurality of methods such as alerts and documents (document.open). Therefore, the program processing unit 34 determines the priority order according to which of the plurality of methods is used to display the notification information when storing it in the queue, and the priority order (same as above). If priority is given, you can register in the queue in the order of time of occurrence.
[0084] さらに通知情報表示部 36は、通知情報の表示を行っている間は、プログラムデー タの処理を中断するよう、プログラム処理部 34に対して指示してもよい。プログラム処 理部 34は、この指示を受けて、表示中の各ウィンドウに関係するプログラムデータの 実行を中断する。  [0084] Further, the notification information display unit 36 may instruct the program processing unit 34 to interrupt the processing of the program data while the notification information is being displayed. In response to this instruction, the program processing unit 34 interrupts execution of the program data related to each displayed window.
[0085] この場合、通知情報表示部 36は、通知情報に対してユーザが操作を行うなど、通 知情報の表示が完了したときには、プログラム処理部 34に対して、プログラムデータ の処理の継続を指示する。  [0085] In this case, the notification information display unit 36 continues the program data processing to the program processing unit 34 when the display of the notification information is completed, for example, the user performs an operation on the notification information. Instruct.
[0086] これにより、通知情報を表示する傍らで、例えば他のウィンドウに関わるプログラム データの処理が続 、て 、ることで、他のウィンドウの通知情報の表示の必要が生じる など処理が煩雑になることを防止できる。  [0086] Thus, while displaying the notification information, for example, the processing of program data related to other windows continues, and thus the processing of the notification information of other windows becomes necessary and the processing becomes complicated. Can be prevented.
[0087] また通知情報表示部 36は、通知情報とともに、「このウィンドウのプログラムデータ 実行を中止する」旨の選択ボタン Xを表示してもよい(図 14)。ユーザがこの選択ボタ ン Xを選択して、通知情報に対して応答操作を行ったときには、通知情報表示部 36 は、プログラム処理部 34に対して、注目ウィンドウのウィンドウ識別子とともに、プログ ラムデータの実行中止を指示する。  [0087] Further, the notification information display unit 36 may display a selection button X "stop execution of program data in this window" together with the notification information (Fig. 14). When the user selects this selection button X and performs a response operation to the notification information, the notification information display unit 36 notifies the program processing unit 34 of the program data together with the window identifier of the window of interest. Instruct to stop execution.
[0088] プログラム処理部 34は、入力された指示に従って、入力されたウィンドウ識別子に 関わるプログラムの実行用のデータを削除するなど、当該指示されたプログラムデー タの以降の実行を停止する。このようにすると、ループ処理などによって通知情報が 繰り返し表示されてしまう不具合に対処できるようになる。  [0088] The program processing unit 34 stops the subsequent execution of the instructed program data, such as deleting data for executing the program related to the input window identifier in accordance with the input instruction. In this way, it is possible to cope with a problem that notification information is repeatedly displayed due to loop processing or the like.
[0089] [表示対象情報と関わりのない通知情報]  [0089] [Notification information not related to display target information]
また通知情報表示部 36は、表示制御部 35等から、表示対象情報のいずれにも関 係しな 、通知情報の表示指示を受けることがある。例えばプログラム処理部 34等は、 プログラムデータの処理に必要となるメモリが確保できなくなった場合や、プログラム データの処理中に例外 (エラーなど)が生じたりする場合に、それぞれの旨を通知す る通知情報を表示するよう通知情報表示部 36に指示する。 Further, the notification information display unit 36 may receive an instruction to display notification information from the display control unit 35 or the like regardless of any display target information. For example, the program processing unit 34 or the like can be used when the memory necessary for processing the program data cannot be secured, When an exception (such as an error) occurs during data processing, the notification information display unit 36 is instructed to display notification information for notifying each.
[0090] これらは、いずれかのウィンドウに関係する場合もある力 ブラウザとしての動作全 体にも関係があるので、表示対象情報と関わりのない通知情報として扱われる。 [0090] These are also related to the entire operation as a power browser that may be related to any of the windows, and are therefore handled as notification information not related to the display target information.
[0091] 同様に、ネットワークへの接続ができな 、場合や、取得したデータを解析できず、ゥ インドウが作成できない場合、さらにブラウザとしての動作を終了する力否かの確認な どもブラウザとしての動作全体に関係するので、表示対象情報と関わりのない通知情 報として扱われる。 [0091] Similarly, when it is not possible to connect to the network, or when the acquired data cannot be analyzed and a window cannot be created, confirmation as to whether or not it is possible to end the operation as a browser is also possible. Since it is related to the entire operation, it is handled as notification information not related to the display target information.
[0092] こうした表示対象情報と関わりのない通知情報を表示する際は、通知情報表示部 3 6は、例えば、各ウィンドウの仮想カメラ 71に対向する面に設定される、表示対象情 報のテクスチャに対して、グレイのトーンを半透明合成する。これ〖こよって各ウィンドウ の表示対象情報が比較的暗く(いわゆるディム)表示されるようにする。そして、通知 情報表示部 36は、このように各ウィンドウが比較的暗い状態で表されるレンダリング 結果 (三次元レンダリング部 42のレンダリング結果)の画像に、通知情報の文字列な どを合成するよう、合成処理部 43に指示する。  [0092] When displaying notification information not related to such display target information, the notification information display unit 36, for example, the texture of the display target information set on the surface of each window facing the virtual camera 71. In contrast, a gray tone is translucently synthesized. As a result, the display target information of each window is displayed relatively darkly (so-called dim). Then, the notification information display unit 36 synthesizes a character string of the notification information and the like with the image of the rendering result (the rendering result of the three-dimensional rendering unit 42) in which each window is expressed in a relatively dark state in this way. Instruct the synthesis processing unit 43.
[0093] これにより、図 15に示すように、通知情報が浮き上がって視認されるようになり、ウイ ンドウとの関連性なく現れた通知情報であることが容易に知覚できるようになる。なお 、これに代えて、通知情報表示部 36は、三次元レンダリング部 42に対して、すべて のウィンドウのレンダリングを行わな 、よう指示し、通知情報を表示するようにしてもよ い。  As a result, as shown in FIG. 15, the notification information is lifted up and visually recognized, and it can be easily perceived that the notification information appears without relevance to the window. Instead of this, the notification information display unit 36 may instruct the three-dimensional rendering unit 42 not to render all windows and display the notification information.
[0094] このように、 V、ずれかの表示対象情報と関わりある通知情報の表示態様と、 V、ずれ の表示対象情報とも関わりのない (ブラウザ全体としての)通知情報の表示態様とを、 互いに異なる表示態様としたことで、表示される通知情報が表示対象情報に関係す るものなのか、関係しないものなのかということをユーザが把握し易くなる。  [0094] In this way, the display mode of the notification information related to the display target information of V, deviation, and the display mode of the notification information (as a whole browser) not related to the display target information of V, shift, By using different display modes, it becomes easier for the user to know whether the displayed notification information is related to display target information or not.
[0095] [一覧表示の表示態様]  [0095] [Display Mode of List Display]
次に、本実施の形態におけるウィンドウの一覧表示処理について説明する。本実施 の形態の一覧表示設定部 38は、表示制御部 35からウィンドウの一覧表示をするべき 旨の指示を受け入れる。そして一覧表示設定部 38は、仮想空間設定部 37に対して 、仮想カメラ 71の位置を変更して、すべてのウィンドウが一覧できる位置へ移動する よう指示する。 Next, window list display processing in the present embodiment will be described. The list display setting unit 38 of the present embodiment accepts an instruction from the display control unit 35 to display a list of windows. The list display setting unit 38 then sends the virtual space setting unit 37 Then, change the position of virtual camera 71 and instruct it to move to a position where all windows can be listed.
[0096] この仮想カメラ 71の位置変更の例を次に説明する。図 16に示すように、一覧表示 の指示を受ける時点で、各ウィンドウは平面上に一列に配列されている状態にあると する。また、この時点で、仮想カメラ 71の視野の角度が Θ、仮想カメラ 71の位置が図 16の A位置(ウィンドウの配列された平面カゝら距離 rOの位置)であるとする。この状態 では、図 17において A位置の画像として示すように、一つのウィンドウ 63を中心に、 その左右にウィンドウ 62, 64のそれぞれ一部が視認されている状態にある。  Next, an example of changing the position of the virtual camera 71 will be described. As shown in Fig. 16, it is assumed that the windows are arranged in a line on the plane when receiving the instruction to display the list. Further, at this time, it is assumed that the visual field angle of the virtual camera 71 is Θ, and the position of the virtual camera 71 is the position A in FIG. 16 (the position of the distance rO from the plane cover where the windows are arranged). In this state, as shown as an image at position A in FIG. 17, a part of each of the windows 62 and 64 is visually recognized at the left and right of one window 63.
[0097] ここで一覧表示の指示が行われると、一覧表示設定部 38は、仮想空間設定部 37 に対して仮想カメラ 71の位置変更を指示する。仮想空間設定部 37は、すべてのウイ ンドウ 61から 65の表示範囲よりも広い範囲 wが、仮想カメラ 71の視野 (注目領域 7) に収まるよう、仮想カメラ 71の位置を、上記ウィンドウが配列された平面よりも遠隔の 位置(平面から距離 rの位置、図 16の B位置)に移動するよう指示する。この rは、 [数 2]  Here, when a list display instruction is given, the list display setting unit 38 instructs the virtual space setting unit 37 to change the position of the virtual camera 71. The virtual space setting unit 37 is arranged so that the position of the virtual camera 71 is arranged so that a range w wider than the display range of all the windows 61 to 65 falls within the visual field of the virtual camera 71 (region of interest 7). Instructed to move to a position remote from the plane (distance r from the plane, position B in Fig. 16). This r is [Equation 2]
w  w
r = ~ ~ Θ r = ~ ~ Θ
2tan- 2  2tan-2
となどとして演算できる。  And so on.
[0098] これにより、図 17に B位置における画像として示すように、表示されているすべての ウィンドウが表示された状態となる。  Thereby, as shown in FIG. 17 as an image at position B, all the displayed windows are displayed.
[0099] またこのときも、初期の状態から、一覧表示となる目標の状態まで、各オブジェクト( 板状体や仮想カメラなど)の位置等を段階的に移動させることでアニメーションとして 表示する。これにより、どのウィンドウがどこへ移動したのかがユーザに理解できるよう になる。なお、初期の状態における板状体の位置は、 RAM13に、初期位置記録とし て別途記憶しておく。  Also at this time, the position of each object (plate-like body, virtual camera, etc.) is moved stepwise from the initial state to the target state to be displayed as a list and displayed as an animation. This allows the user to understand which window has moved to where. Note that the position of the plate in the initial state is separately stored in the RAM 13 as an initial position record.
[0100] さらに一覧表示設定部 38は、このように仮想カメラ 71を各ウィンドウに対応する板 状体から遠隔の位置へ移動させる指示を行う。また、この指示を行うとともに、一覧表 示設定部 38は、仮想空間設定部 37に対して、複数の板状体を所定のレイアウトでに 並べ替える指示を行ってもょ 、。 [0101] 例えば、図 18に示すように、ウィンドウとなる板状体を横一列に 3つ配列している場 合において、一覧表示の指示を受けた一覧表示設定部 38は、これら 3つの板状体を 三角形に配列して、仮想空間 5内の所定一点の近傍 (所定一点から予め定めた範囲 内)に寄せ集め、仮想カメラ 71の位置を、これらウィンドウとなる板状体が配列されて V、る平面力も遠隔した位置に移動させてもょ 、。 [0100] Further, the list display setting unit 38 gives an instruction to move the virtual camera 71 from the plate corresponding to each window to a remote position in this way. In addition to giving this instruction, the list display setting unit 38 may instruct the virtual space setting unit 37 to rearrange a plurality of plates in a predetermined layout. [0101] For example, as shown in FIG. 18, in the case where three plate-like bodies serving as windows are arranged in a horizontal row, the list display setting unit 38 that has received an instruction to display a list displays these three plates. The objects are arranged in a triangle and gathered in the vicinity of a predetermined point in the virtual space 5 (within a predetermined range from the predetermined point), and the position of the virtual camera 71 is arranged as a plate-like object serving as these windows. V, move the plane force to a remote location.
[0102] これにより、単に仮想カメラ 71を移動して一列に表示している場合に比べ、比較的 狭い領域内にウィンドウを寄せ集めて表示することとなり、各ウィンドウの表示サイズを 比較的大きくすることができる。  [0102] As a result, compared to simply moving the virtual camera 71 and displaying it in a row, the windows are gathered and displayed in a relatively narrow area, and the display size of each window is made relatively large. be able to.
[0103] なお、ウィンドウ (板状体)の数に応じて、予め一覧表示時の各板状体の位置を定 めた座標情報を関連づけて RAM13等に保持してぉ 、てもよ 、。ここで各板状体の 位置は、そのデフォルトのサイズにおいて、互いに重ならない位置に配列されてもよ い(図 19)。なお、各ウィンドウの大きさによって、配置の方法を変更することとしてもよ い。  [0103] Depending on the number of windows (plate-like bodies), coordinate information defining the position of each plate-like body at the time of the list display may be associated and held in the RAM 13 or the like. Here, the positions of the plate-like bodies may be arranged at positions that do not overlap each other in the default size (Fig. 19). The layout method may be changed depending on the size of each window.
[0104] また、この一覧表示の状態において、いずれかのウィンドウを閉じる操作が行われ たり、新規のウィンドウを生成する指示が行われて、ウィンドウ (板状体)の数が変動し たときには、新たなウィンドウの数に対して定められた座標情報を目的位置 Dとして、 変更前の初期位置 Sとの間で、時刻 t (t=0から Tまで)に対して、  [0104] In addition, in the state of the list display, when an operation to close one of the windows or an instruction to generate a new window is performed, and the number of windows (plate bodies) fluctuates, The coordinate information determined for the number of new windows is set as the target position D, and the initial position S before the change, for time t (from t = 0 to T),
[数 1]
Figure imgf000022_0001
[Number 1]
Figure imgf000022_0001
として時刻とともにアニメーションするように変化させて表示する。  As it is animated with time, it is changed and displayed.
[0105] さらに、一覧表示設定部 38は、一覧表示を解除する指示を受けると、 RAM13に 記憶した初期位置記録を参照して、各板状体を元の(一覧表示前の)位置へ移動す るように、仮想空間設定部 37に対して指示する。また、仮想カメラ 71の位置を、その 時点での注目ウィンドウに対応する板状体に正対する位置に移動させ、その注目ウイ ンドウたる板状体までの距離を一覧表示前の距離に戻すよう、仮想空間設定部 37に 指示する。 [0105] Further, upon receiving an instruction to cancel the list display, the list display setting unit 38 refers to the initial position record stored in the RAM 13, and moves each plate to the original position (before the list display). The virtual space setting unit 37 is instructed to do so. In addition, the position of the virtual camera 71 is moved to a position directly opposite to the plate corresponding to the window of interest at that time, and the distance to the plate that is the window of interest is returned to the distance before the list display. Instruct virtual space setting unit 37.
[0106] 仮想空間設定部 37は、この指示によって各オブジェクトの目標位置を定め、それぞ れのオブジェクトの位置を時刻 tに応じて変化させてアニメーションとして表示する。 The virtual space setting unit 37 determines the target position of each object according to this instruction, and The position of these objects is changed according to time t and displayed as an animation.
[0107] [一覧表示中の操作]  [0107] [Operation during list display]
本実施の形態においては、このように一覧表示を行う際に、単に仮想空間 5内の各 オブジェクトの配置を変更して一覧表示を実現している。つまり、各ウィンドウに対す る操作は、一覧表示前と一覧表示中とで異なるところがなぐこの一覧表示中におい てもウィンドウ内のリンクをクリックしたり、ウィンドウ内の文字列入力欄に文字列の入 力を行うことができる。  In the present embodiment, when displaying a list in this way, the list display is realized simply by changing the arrangement of each object in the virtual space 5. In other words, the operation for each window is different between before displaying the list and while displaying the list. Even when the list is displayed, you can click the link in the window or enter a character string in the character string input field in the window. Can do power.
[0108] 近年では、複数のウィンドウを一覧できる画面があれば利便性を向上できることに 鑑み、複数のウィンドウを一覧させる技術が実装されて 、るオペレーティングシステム の例もある。し力しながら、こうした一覧表示では、一覧表示のままで各ウィンドウに対 して操作を行うことができず、一覧表示からは、ウィンドウを選択する操作を行うことが できるにとどまり、利便性が十分に向上できていない。  [0108] In recent years, in view of the fact that if there is a screen that can list a plurality of windows, the convenience can be improved. However, in such a list display, it is not possible to perform operations on each window in the list display, and from the list display, it is only possible to perform an operation for selecting a window. It has not improved sufficiently.
[0109] それに対し本実施の形態では、一覧表示中においても、表示制御部 35が、当該一 覧表示されているウィンドウ内の表示対象情報を利用した指示操作を受け入れて、 当該指示操作に基づく処理を行うことができる。  On the other hand, in the present embodiment, even during the list display, the display control unit 35 accepts an instruction operation using the display target information in the list-displayed window, and is based on the instruction operation. Processing can be performed.
[0110] さらに、本実施の形態における一覧表示では、必ずしも仮想空間 5内のすべてのゥ インドウが一覧できなくてもよい。例えば、所定の操作により複数のタブ (ウィンドウ)が 一斉に生成されることがある。本実施の形態の情報表示装置 1は、このように互いに 関連するウィンドウのセットについて、固有のグループの識別子を発行して各ウィンド ゥに関連づけて保持させる。そして一覧表示設定部 38は、一覧表示の指示が行わ れたときに、グループ識別子が共通しているウィンドウを一覧表示することとしてもよ い。また、表示を切り替える操作を受けて、一覧表示設定部 38は、また別のグループ 識別子が共通に関連づけられて 、るウィンドウを一覧表示するようにしてもょ 、。  [0110] Furthermore, in the list display according to the present embodiment, it is not always necessary to list all the windows in the virtual space 5. For example, multiple tabs (windows) may be created simultaneously by a predetermined operation. The information display apparatus 1 according to the present embodiment issues a unique group identifier for the set of windows related to each other in this way, and holds them in association with each window. The list display setting unit 38 may display a list of windows having a common group identifier when a list display instruction is issued. In response to the display switching operation, the list display setting unit 38 may display a list of windows that are associated with another group identifier in common.
[0111] このようにしたことで、例えばウェブページの検索を行ったときに、当該検索結果の 少なくとも一部を複数のウィンドウ (タブ)で一斉に表示する処理が行われたような場 合に、当該一斉に表示されたウィンドウを一覧表示させることができる。  [0111] By doing this, for example, when a web page search is performed, a process of displaying at least a part of the search results in a plurality of windows (tabs) at the same time is performed. The windows displayed at the same time can be displayed as a list.
[0112] また例えば、当初表示されていたあるウィンドウ(ベースウィンドウと呼ぶ)内のリンク を開く指示が行われたときに、別のウィンドウ (ターゲットウィンドウと呼ぶ)を生成して 、当該生成した別のウィンドウにリンク先のウェブページを表示するような場合 (新規タ ブでリンク先を表示する場合)もある。この場合に、本実施の形態の情報表示装置 1 は、ターゲットウィンドウに対して、ベースウィンドウと共通のグループ識別子を設定し てもよい。そして一覧表示設定部 38は、一覧表示の指示が行われたときに、グルー プ識別子が共通しているウィンドウを一覧表示することとしてもよい。また、表示を切り 替える操作を受けて、一覧表示設定部 38は、また別のグループ識別子が共通に関 連づけられているウィンドウを一覧表示するようにしてもよい。このようにすると、参照 関係のあるウェブページなどを一覧表示させることができ、利便性が高 、。 [0112] For example, when an instruction is given to open a link in a window (called a base window) that was initially displayed, another window (called a target window) is created. In some cases, the linked web page is displayed in another generated window (when the linked page is displayed in a new tab). In this case, the information display device 1 of the present embodiment may set a group identifier common to the base window for the target window. The list display setting unit 38 may display a list of windows having a common group identifier when a list display instruction is issued. In response to an operation for switching the display, the list display setting unit 38 may display a list of windows that are associated with another group identifier in common. This makes it possible to display a list of web pages that have a reference relationship, which is very convenient.
[0113] また、仮想空間 5内のウィンドウの数(開かれているタブの数)に関連づけて、仮想 カメラ 71の位置(ウィンドウとなる板状体力もの距離)を定めておいてもよい。そして、 一覧表示設定部 38は、一覧表示の指示が行われたときに、仮想空間 5内のウィンド ゥの数を参照し、当該数に関連づけられた位置に仮想カメラ 71を移動する。この場 合、仮想空間 5内のウィンドウの数(開かれているタブの数)に応じた位置から仮想力 メラ 71の視野範囲において一覧可能な数のウィンドウが表示されていることとなる力 この一覧可能な数は必ずしも仮想空間 5内のすべてのウィンドウとは限られない。  [0113] Further, the position of the virtual camera 71 (the distance of the plate-like physical strength that becomes the window) may be determined in association with the number of windows in the virtual space 5 (the number of opened tabs). Then, when a list display instruction is given, the list display setting unit 38 refers to the number of windows in the virtual space 5 and moves the virtual camera 71 to a position associated with the number. In this case, the number of windows that can be listed from the position corresponding to the number of windows in the virtual space 5 (the number of opened tabs) in the visual field range of the virtual force camera 71 is displayed. The number that can be listed is not necessarily all the windows in the virtual space 5.
[0114] このように本実施の形態によると、個別のウィンドウの表示と、すべてのウィンドウの 一覧表示と、一部のウィンドウの一覧表示とを行うことができ、さらに、これらの間の表 示をアニメーションとして、画面切り替えとは異なる態様で行うことができる。これにより 、表示前後におけるウィンドウ間の関係の視認性が高まる。  As described above, according to the present embodiment, it is possible to display individual windows, display a list of all windows, and display a list of some windows, and display between them. Can be performed in an aspect different from the screen switching. This enhances the visibility of the relationship between the windows before and after display.
[0115] [一覧表示中のウィンドウの選択]  [0115] [Select window in list view]
また、この場合、いずれカゝの画面要素内の表示対象情報を利用した指示操作は、 一覧表示されて!/ヽる画面要素の!/ヽずれかを選択する操作 (タブ切り替えの操作)とは 別に規定される。すなわち表示制御部 35は、少なくとも一覧表示中においては、ウイ ンドウをクリックする操作によって、注目ウィンドウを切り替えることはなぐ例えば別の キー操作などによって注目ウィンドウの選択指示 (タブの切り替え指示)を受け入れる 。このように、ウィンドウの選択操作と表示対象情報に対する操作とが互いに異なるよ うに定められていることで、一覧表示中においても、表示制御部 35が、当該一覧表 示されているウィンドウ内の表示対象情報を利用した指示操作を受け入れて、当該 指示操作に基づく処理を行うことができるようにして 、る。 In addition, in this case, the instruction operation using the display target information in the screen element will be displayed as a list display /! Is defined separately. That is, at least during list display, the display control unit 35 does not switch the window of interest by an operation of clicking the window, and accepts an instruction to select the window of interest (tab switching instruction) by another key operation, for example. As described above, the window selection operation and the operation on the display target information are determined to be different from each other, so that the display control unit 35 can display the display in the list displayed window even during the list display. Accept the instruction operation using the target information, and The process based on the instruction operation can be performed.
[0116] なお、一覧表示中においては、注目ウィンドウ以外のウィンドウには、その表示対象 情報のテクスチャに対して、グレイのトーンを半透明合成して、表示対象情報が比較 的暗く(いわゆるディム)表示されるようにする(図 20)。これにより注目ウィンドウがど れであるかを容易に視認できるようにして!/、る。  [0116] While the list is being displayed, in the windows other than the target window, a gray tone is translucently combined with the texture of the display target information to make the display target information relatively dark (so-called dim). Make it visible (Figure 20). This makes it easy to see which window is of interest!
[0117] さらに、こうしてディム表示した注目ウィンドウ以外のウィンドウには、タイトル(HTM Lデータにおいてタイトルとして指定されるものなど)や、ウェブサイトによって規定さ れたビットマップ画像(いわゆるファピコン(favicon)、ショートカットアイコン、ウェブサ イトアイコンなどとも呼ばれるアイコン画像)などを重ね合わせて表示してもよい(図 21 [0117] Furthermore, in windows other than the noted window displayed in the dim manner in this way, titles (such as those specified as titles in HTML data), bitmap images defined by websites (so-called favicons, Icons such as shortcut icons and website icons) may be superimposed and displayed (Fig. 21).
) o ) o
[0118] [一覧表示から通知情報の表示への移行]  [0118] [Transition from list display to notification information display]
さらに、本実施の形態では、この一覧表示中においても、プログラム処理部 34がプ ログラムデータの処理を遂行できる。このため、プログラム処理部 34が通知情報を表 示するべきことがある。この場合は、一覧表示の状態から、図 12または図 13に示した ような表示状態になるよう、仮想空間 5の設定を更新すればよい。  Furthermore, in the present embodiment, the program processing unit 34 can perform processing of program data even during this list display. For this reason, the program processing unit 34 should display the notification information. In this case, the setting of the virtual space 5 may be updated so that the display state shown in FIG. 12 or 13 is changed from the list display state.
[0119] [別の特徴]  [0119] [Another feature]
従って本実施の形態の情報表示装置の別の特徴は、少なくとも 1つの表示対象情 報を、それぞれの画面要素内に表示する情報表示手段と、前記画面要素を一覧表 示する一覧表示手段と、前記一覧表示中に、一覧表示されている画面要素内の表 示対象情報を利用した指示操作を受け入れて、当該指示操作に基づく処理を実行 する手段と、を含むことである。  Accordingly, another feature of the information display device of the present embodiment is that information display means for displaying at least one display target information in each screen element, list display means for displaying the screen element as a list, Means for accepting an instruction operation using display target information in the displayed screen elements during the list display and executing a process based on the instruction operation.
[0120] また、本実施の形態の別の態様に係る情報表示装置は、少なくとも 1つの表示対象 情報を、それぞれの画面要素内に表示する情報表示手段と、前記画面要素を一覧 表示する一覧表示手段と、前記一覧表示中に、一覧表示されている画面要素のい ずれかを選択する操作とは別に、いずれかの画面要素内の表示対象情報を利用し た指示操作が規定され、当該いずれかの画面要素内の表示対象情報を利用した指 示操作を受け入れて、当該指示操作に基づく処理を実行する手段と、を含むことを 特徴とする。 [0121] [表示例] [0120] In addition, an information display device according to another aspect of the present embodiment includes an information display unit that displays at least one display target information in each screen element, and a list display that displays the screen element in a list. In addition to the means and the operation of selecting one of the screen elements displayed in the list during the list display, an instruction operation using the display target information in one of the screen elements is defined. Means for accepting an instruction operation using display target information in the screen element and executing a process based on the instruction operation. [0121] [Display example]
本実施の形態では、表示の対象となる映像は、三次元レンダリング部 42によってレ ンダリングされ、また、合成処理部 43によって通知情報などの文字列等の重ね合わ せを受けて生成される。そして、この表示の対象となる映像に対しては、さらに図 22 に例示するように、タイトル (HTMLデータにぉ 、てタイトルとして指定されるものなど )や、ウェブサイトによって規定されたアイコン( 、わゆるファピコン (favicon) )などを含 むタイトルバー (A)と、可能な操作を案内する情報などを表示する操作案内バー (C) とを重ね合わせる処理が CPU11によって行われる。この処理の後、映像が VRAM2 2に書き込まれることとしてもよい。この図 22においては、表示の対象となる映像を表 示する欄 (B)を挟んで、タイトルバーと操作案内バーとが上下に配置される場合を示 しているが、これに限られるものではない。  In the present embodiment, the video to be displayed is generated by being rendered by the three-dimensional rendering unit 42 and superimposed by a character string such as notification information by the synthesis processing unit 43. For the video to be displayed, as shown in FIG. 22, a title (such as one specified as a title in the HTML data) or an icon (,, The CPU 11 performs a process of superimposing the title bar (A) including the favicon) and the operation guidance bar (C) displaying information for guiding possible operations. After this process, the video may be written to VRAM22. FIG. 22 shows a case where the title bar and the operation guide bar are arranged above and below across the column (B) for displaying the video to be displayed, but this is limited to this. is not.
[0122] また、本実施の形態の情報表示装置 1は、ユーザから、ウィンドウを拡大表示する べき旨の指示を受けたときには、当該拡大表示の指示の対象となったウィンドウを特 定する。そして当該特定したウィンドウに対応して、仮想空間 5内に配置されている板 状体のサイズを変更する。  [0122] In addition, when the information display device 1 of the present embodiment receives an instruction from the user to enlarge the window, the information display apparatus 1 identifies the window that is the target of the enlarged display instruction. Then, the size of the plate-like body arranged in the virtual space 5 is changed corresponding to the specified window.
[0123] 例えば、図 23に示すように、板状体であるウィンドウ 61の幅 dOを、幅 d (d>dO)へと 変更する。これにより、ディスプレイには、図 24に示すように、変更前のサイズに対し て、幅広となったウィンドウ 61が表示されることとなる。  For example, as shown in FIG. 23, the width dO of the window 61 that is a plate-like body is changed to the width d (d> dO). Thereby, as shown in FIG. 24, a window 61 that is wider than the size before the change is displayed on the display.
[0124] 本実施の形態によると、個別のウィンドウ(タブ)を表示している状態と、ウィンドウの 一覧を表示している状態と、及び通知情報を表示している状態とを相互に、アニメ一 シヨン的に移ろうように表示することができる。すなわち、各ウィンドウとなる板状体や、 仮想カメラ 71の位置を連続的に移動することで、各表示の状態を相互に変更できる 。このようにしたことで、各表示の状態において、どのウィンドウがどこへ表示されるこ ととなるかの視認性が向上される。  [0124] According to the present embodiment, a state in which individual windows (tabs) are displayed, a state in which a list of windows is displayed, and a state in which notification information is displayed are mutually animated. It can be displayed as if it is moving in a chilling manner. That is, the state of each display can be mutually changed by continuously moving the position of the plate-like body serving as each window and the virtual camera 71. This improves the visibility of which window is to be displayed where in each display state.

Claims

請求の範囲 The scope of the claims
[1] 少なくとも 1つの表示対象情報を、それぞれの画面要素内に表示する情報表示手 段と、  [1] Information display means for displaying at least one display target information in each screen element;
前記表示対象情報のいずれかとの関係においてユーザに通知することとなった通 知情報を表示する通知表示手段と、を含み、  Notification display means for displaying the notification information to be notified to the user in relation to any of the display target information,
前記通知表示手段は、前記通知情報に関係する表示対象情報が表示されている 画面要素を注目画面要素として、他の画面要素と識別可能な態様で表示し、当該注 目画面要素とともに前記通知情報を表示することを特徴とする情報表示装置。  The notification display means displays a screen element on which display target information related to the notification information is displayed as a noticed screen element in a manner that can be distinguished from other screen elements, and the notice information together with the notice screen element. An information display device characterized by displaying.
[2] 請求の範囲第 1項に記載の情報表示装置であって、  [2] The information display device according to claim 1,
前記識別可能な態様は、前記注目画面要素以外の画面要素を隠蔽し、前記注目 画面要素および前記通知情報のみを表示する態様であることを特徴とする情報表示 装置。  The identifiable mode is a mode in which screen elements other than the target screen element are concealed, and only the target screen element and the notification information are displayed.
[3] 請求の範囲第 1項または第 2項に記載の情報表示装置であって、  [3] The information display device according to claim 1 or 2, wherein
前記通知情報は、ユーザの操作により移動不能な態様で表示されることを特徴とす る情報表示装置。  The information display device is characterized in that the notification information is displayed in a manner that cannot be moved by a user operation.
[4] 請求の範囲第 1項力 第 3項のいずれか 1項に記載の情報表示装置であって、 前記表示対象情報は、表示対象情報の表示を指示する表示指示データと、実行さ れるべきプログラムデータとを含む記述情報に基づいて生成され、  [4] The information display device according to any one of claims 3, wherein the display target information is executed with display instruction data for instructing display of the display target information. Generated based on descriptive information including program data to be
前記通知情報は、前記表示対象情報の表示を指示する表示指示データとともに前 記記述情報に含まれるプログラムデータを処理する際に通知が必要となった情報で あり、  The notification information is information that needs to be notified when processing program data included in the description information together with display instruction data for instructing display of the display target information,
前記通知情報を表示する際に、前記注目画面要素内に表示される表示対象情報 に含まれるプログラムデータの処理を中止する指示を受け入れることを特徴とする情 報表示装置。  An information display device characterized by receiving an instruction to stop processing of program data included in display target information displayed in the target screen element when displaying the notification information.
[5] 請求の範囲第 1項力 第 4項のいずれか 1項に記載の情報表示装置であって、 前記表示対象情報はそれぞれ、表示対象情報の表示を指示する表示指示データ と、実行されるべきプログラムデータとを含む記述情報に基づいて生成され、 前記通知情報は、前記表示対象情報の表示を指示する表示指示データとともに記 述情報に含まれるプログラムデータを処理する際に通知が必要となった情報であり、 前記注目画面要素を表示して!/、る間は、他の画面要素内に表示される表示対象 情報とともに記述情報に含まれるプログラムデータの処理が中断されることを特徴と する情報表示装置。 [5] The information display device according to any one of claims 4, wherein the display target information is executed with display instruction data for instructing display of the display target information. The notification information is written together with display instruction data for instructing display of the display target information. This is information that needs to be notified when processing the program data included in the description information. While displaying the screen element of interest! /, It is displayed along with the display target information displayed in other screen elements. An information display device characterized in that processing of program data contained in descriptive information is interrupted.
[6] 請求の範囲第 1項力 第 5項のいずれか 1項に記載の情報表示装置であって、 前記通知表示手段は、前記表示対象情報のいずれにも関係せず、ユーザに通知 する必要のある通知情報を表示する際には、前記表示対象情報に関係する通知情 報とは異なる表示態様にて、当該表示対象情報のいずれにも関係しない通知情報を 表示することを特徴とする情報表示装置。  [6] The information display device according to any one of claims 5, wherein the notification display means notifies the user regardless of any of the display target information. When displaying necessary notification information, the notification information not related to any of the display target information is displayed in a display mode different from the notification information related to the display target information. Information display device.
[7] コンピュータに、 [7] On the computer,
少なくとも 1つの表示対象情報を、それぞれの画面要素内に表示する情報表示手 順と、  An information display procedure for displaying at least one display target information in each screen element; and
前記表示対象情報のいずれかとの関係においてユーザに通知することとなった通 知情報を表示する際に、前記通知情報に関係する表示対象情報が表示されている 画面要素を注目画面要素として、他の画面要素と識別可能な態様で表示し、当該注 目画面要素とともに前記通知情報を表示する通知表示手順と、  When displaying the notification information that is to be notified to the user in relation to any of the display target information, the screen element on which the display target information related to the notification information is displayed is set as the attention screen element. A notification display procedure for displaying the notification information together with the attention screen element,
を実行させることを特徴とする情報記憶媒体。  An information storage medium characterized in that
PCT/JP2007/053361 2006-05-02 2007-02-23 Information display device WO2007129502A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-128727 2006-05-02
JP2006128727A JP2007299329A (en) 2006-05-02 2006-05-02 Information display device

Publications (1)

Publication Number Publication Date
WO2007129502A1 true WO2007129502A1 (en) 2007-11-15

Family

ID=38667612

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/053361 WO2007129502A1 (en) 2006-05-02 2007-02-23 Information display device

Country Status (2)

Country Link
JP (1) JP2007299329A (en)
WO (1) WO2007129502A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5691333B2 (en) * 2010-09-15 2015-04-01 日本電気株式会社 Information processing apparatus, information processing system, and information processing apparatus program
JP5891594B2 (en) * 2011-03-30 2016-03-23 日本電気株式会社 Mobile terminal, power consumption control method for mobile terminal, and control program for mobile terminal

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0644029A (en) * 1992-07-24 1994-02-18 Fujitsu Ltd Active moving picture window display system
JPH0660025A (en) * 1992-08-11 1994-03-04 Hitachi Ltd Electronic interaction system
JP2000181599A (en) * 1998-12-14 2000-06-30 Canon Inc Display device, display control method therefor, and storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0644029A (en) * 1992-07-24 1994-02-18 Fujitsu Ltd Active moving picture window display system
JPH0660025A (en) * 1992-08-11 1994-03-04 Hitachi Ltd Electronic interaction system
JP2000181599A (en) * 1998-12-14 2000-06-30 Canon Inc Display device, display control method therefor, and storage medium

Also Published As

Publication number Publication date
JP2007299329A (en) 2007-11-15

Similar Documents

Publication Publication Date Title
JP4688739B2 (en) Information display device
JP5081918B2 (en) Map display device
JP4916145B2 (en) Information processing apparatus, information processing method, and program
US9792268B2 (en) Zoomable web-based wall with natural user interface
JP2006244353A (en) Information processor, image movement instructing method and program
JP2006163948A (en) Information processor and its method
JP4773671B2 (en) Input method using a pointing device
WO2007129502A1 (en) Information display device
JP2007066081A (en) Electronic conference device, and electronic conference device control program
WO2012160931A1 (en) Web browsing control server and web browsing control method
JPH07220109A (en) Information processing device/method
JP2007079947A (en) Display device and program for use therewith
JP2006260575A (en) Information processor, image moving indication method, and program
JPH08249500A (en) Method for displaying three-dimensional graphic
JP2005100132A (en) Display control device
JP3533029B2 (en) Virtual object display device
JP5570200B2 (en) Image data display output device and program
JPH0721403A (en) Graphic editor
JPH10198588A (en) File display device
JP2024011951A (en) Information processing apparatus, method for controlling information processing apparatus, and program
JPH09223241A (en) Method for selecting object
JP2010061337A (en) Apparatus, system and method for information processing, program and recording medium
JP2000167241A (en) Video game machine having feature in function for displaying attention pattern on game video generated by three-dimensional computer graphics, and program storage medium
JP2000207087A (en) Displayed graphic selecting method
JPS6385978A (en) Graphic editing device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07714832

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07714832

Country of ref document: EP

Kind code of ref document: A1