WO2014010158A1 - 処理装置 - Google Patents

処理装置 Download PDF

Info

Publication number
WO2014010158A1
WO2014010158A1 PCT/JP2013/002753 JP2013002753W WO2014010158A1 WO 2014010158 A1 WO2014010158 A1 WO 2014010158A1 JP 2013002753 W JP2013002753 W JP 2013002753W WO 2014010158 A1 WO2014010158 A1 WO 2014010158A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
image
image data
processing apparatus
Prior art date
Application number
PCT/JP2013/002753
Other languages
English (en)
French (fr)
Inventor
豊 禎治
伸俊 小山
Original Assignee
株式会社ソニー・コンピュータエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・コンピュータエンタテインメント filed Critical 株式会社ソニー・コンピュータエンタテインメント
Priority to US14/406,956 priority Critical patent/US9805096B2/en
Publication of WO2014010158A1 publication Critical patent/WO2014010158A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24578Query processing with adaptation to user needs using ranking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/904Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus

Definitions

  • the present invention relates to a technique for setting a layout of information elements to be displayed for each user.
  • a smartphone prepares a plurality of menu screens including a standby screen (home screen) as screens for selecting an application, and icons of applications are arranged in the order of installation on each menu screen.
  • a standby screen home screen
  • icons of applications are arranged in the order of installation on each menu screen.
  • Patent Document 1 shows an information processing apparatus that generates a menu screen in which application icons are arranged on the horizontal axis and content icons are arranged on the vertical axis.
  • buttons are added to the menu screen accordingly.
  • icons are added to the menu screen (generally also called “page”) in the order of acquisition, so the number of pages increases, and it is not easy for the user to search for applications and contents that the user wants to execute. is there. Therefore, it is desired to provide a user interface that allows a user to efficiently search for applications and contents.
  • the present invention has been made in view of such problems, and an object of the present invention is to provide a technique for generating image data that can efficiently present options such as applications and contents according to a user. is there.
  • a processing device includes a ranking unit that ranks a plurality of information elements according to a degree of user interest derived for each information element, and a predetermined position. And an image data generation unit that generates image data in which a plurality of information elements are arranged according to their respective ranks.
  • FIG. 1 It is a figure which shows the information processing system concerning the Example of this invention.
  • A is a figure which shows the front surface of information processing apparatus
  • (b) is a figure which shows the back surface of information processing apparatus.
  • A is a figure which shows the upper surface of an information processing apparatus
  • (b) is a figure which shows the lower surface of an information processing apparatus
  • (c) is a figure which shows the left side surface of an information processing apparatus.
  • FIG. 1 shows an information processing system 1 according to an embodiment of the present invention.
  • the information processing system 1 includes a stationary information processing apparatus 10 a that is a user terminal, a portable information processing apparatus 10 b, and a server 5.
  • the server 5 may be composed of a plurality of server devices.
  • the information processing apparatuses 10a and 10b and the server 5 function as a processing apparatus that performs image processing.
  • the auxiliary storage device 8 is a large-capacity storage device such as an HDD (hard disk drive) or a flash memory, and is connected to or built in the stationary information processing device 10a.
  • the auxiliary storage device 8 may be an external storage device connected to the information processing apparatus 10a by USB (Universal Serial Bus) or the like, or may be a built-in storage device.
  • the output device 7 may be a television having a display for outputting an image and a speaker for outputting sound, or may be a computer display.
  • the output device 7 may be connected to the information processing device 10a by a wired cable, or may be wirelessly connected by a wireless LAN (Local Area Network).
  • the information processing device 10 a processes an operation signal from the input device 6 operated by the user, and outputs a processing result from the output device 7.
  • the information processing device 10a may be a game device, in which case the input device 6 is a game controller.
  • the portable information processing apparatus 10b has a wireless communication function and wirelessly connects to an access point (hereinafter referred to as “AP”) 2.
  • the portable information processing apparatus 10b has a wireless LAN communication function and wirelessly connects to the AP 2 in the infrastructure mode.
  • the information processing device 10b may be a game device.
  • the AP 2 has functions of a wireless access point and a router, and the information processing apparatuses 10a and 10b are connected to the AP 2 by wire or wirelessly so as to be communicable with the server 5 on the network 3 such as the Internet.
  • the server 5 registers the account ID (hereinafter referred to as “user account”) of the user who uses the information processing system 1.
  • user account the account ID of the user who uses the information processing system 1.
  • one user A holds at least one of the stationary information processing apparatus 10a or the portable information processing apparatus 10b, and the information processing apparatuses 10a and 10b are user accounts that specify the user A. Can communicate with the server 5.
  • the server 5 acquires and records user A's action (activity) information on content and applications from the information processing apparatus 10a and / or the information processing apparatus 10b connected using the user A account. Based on the recorded behavior information, the server 5 analyzes what the user A is interested in, and based on the analysis result, the server 5 responds to the request from the user A by the user A's interest. Menu image data in which information elements having a high value are arranged at positions where the user A is easy to visually recognize (easy to select) are generated, and the generated menu image data is transmitted. As a result, the user A can display on the display a menu screen that allows easy access to information elements of high interest.
  • a plurality of users access the server 5 using the information processing apparatuses 10a to 10b, respectively, and the server 5 records the behavior information of each user in association with the user account of each user. Then, the information elements of high interest of each user are extracted, and menu image data in which the information elements are arranged at positions where the user can easily see (select) is provided.
  • the information processing device 10a is a stationary game device and the information processing device 10b is a portable game device.
  • other information processing devices such as personal computers, mobile phones, smartphones, A PDA (Personal Digital Assistant) may be used, and in this specification, these devices are collectively referred to as an information processing apparatus 10.
  • the information processing apparatus 10b will be described as a representative of the information processing apparatus 10.
  • FIG. 2A shows the front surface of the information processing apparatus 10.
  • the information processing apparatus 10 is formed by a horizontally long casing, and the left and right areas gripped by the user have an arcuate outline.
  • a rectangular touch panel 50 is provided on the front surface of the information processing apparatus 10.
  • the touch panel 50 includes a display device 20 and a transparent front touch pad 21 that covers the surface of the display device 20.
  • the display device 20 is an organic EL (Electro-Liminescence) panel and displays an image.
  • the display device 20 may be a display unit such as a liquid crystal panel.
  • the front touch pad 21 is a multi-touch pad having a function of detecting a plurality of points touched at the same time, and the touch panel 50 is configured as a multi-touch screen.
  • a triangle button 22a, a circle button 22b, a x button 22c, and a square button 22d are provided on the right side of the rhombus.
  • operation buttons 22 On the left side of 50, an upper key 23a, a left key 23b, a lower key 23c, and a right key 23d (hereinafter, collectively referred to as “direction key 23”) are provided.
  • the user can input the eight directions of up / down / left / right and diagonal by operating the direction key 23.
  • a left stick 24 a is provided below the direction key 23, and a right stick 24 b is provided below the operation button 22.
  • the user tilts the left stick 24a or the right stick 24b (hereinafter, collectively referred to as “analog stick 24”), and inputs a direction and a tilt amount.
  • An L button 26a and an R button 26b are provided on the left and right tops of the housing.
  • the operation button 22, the direction key 23, the analog stick 24, the L button 26a, and the R button 26b constitute operation means operated by the user.
  • a front camera 30 is provided in the vicinity of the operation button 22.
  • a left speaker 25a and a right speaker 25b (hereinafter, collectively referred to as “speaker 25”) that output sound are provided, respectively.
  • a HOME button 27 is provided below the left stick 24a, and a START button 28 and a SELECT button 29 are provided below the right stick 24b.
  • FIG. 2B shows the back surface of the information processing apparatus 10.
  • a rear camera 31 and a rear touch pad 32 are provided on the rear surface of the information processing apparatus 10.
  • the rear touch pad 32 is configured as a multi-touch pad, like the front touch pad 21.
  • the information processing apparatus 10 is equipped with two cameras and a touch pad on the front surface and the back surface.
  • FIG. 3A shows the top surface of the information processing apparatus 10.
  • the L button 26a and the R button 26b are provided on the left and right ends of the upper surface of the information processing apparatus 10, respectively.
  • a power button 33 is provided on the right side of the L button 26a, and the user turns the power on or off by pressing the power button 33 for a predetermined time (for example, 2 seconds) or longer.
  • the information processing apparatus 10 has a power control function of transitioning to a suspended state when a time during which the operating means is not operated (no operation time) continues for a predetermined time.
  • the user can return the information processing apparatus 10 from the suspend state to the awake state by pressing the power button 33 for a short time (for example, within 2 seconds).
  • the game card slot 34 is an insertion slot for inserting a game card, and this figure shows a state where the game card slot 34 is covered with a slot cover.
  • An LED lamp that blinks when the game card is being accessed may be provided in the vicinity of the game card slot 34.
  • the accessory terminal 35 is a terminal for connecting a peripheral device (accessory), and this figure shows a state where the accessory terminal 35 is covered with a terminal cover. Between the accessory terminal 35 and the R button 26b, a-button 36a and a + button 36b for adjusting the volume are provided.
  • FIG. 3B shows the lower surface of the information processing apparatus 10.
  • the memory card slot 37 is an insertion slot for inserting a memory card, and this figure shows a state in which the memory card slot 37 is covered with a slot cover.
  • an audio input / output terminal 38, a microphone 39, and a multi-use terminal 40 are provided on the lower surface of the information processing apparatus 10.
  • the multi-use terminal 40 corresponds to USB (Universal Serial Bus) and can be connected to other devices via a USB cable.
  • USB Universal Serial Bus
  • FIG. 3C shows the left side of the information processing apparatus 10.
  • a SIM card slot 41 which is a SIM card insertion slot, is provided.
  • FIG. 4 shows a circuit configuration of the information processing apparatus 10.
  • the wireless communication module 71 is configured by a wireless LAN module compliant with a communication standard such as IEEE802.11b / g, and is connected to an external network via the AP2.
  • the wireless communication module 71 may have a Bluetooth (registered trademark) protocol communication function.
  • the mobile phone module 72 corresponds to the 3rd generation digital mobile phone system conforming to the IMT-2000 (International Mobile Telecommunication 2000) standard defined by the ITU (International Telecommunication Union) and is portable. Connect to the telephone network 4.
  • IMT-2000 International Mobile Telecommunication 2000
  • ITU International Telecommunication Union
  • a SIM card 74 in which a unique ID number for specifying the telephone number of the mobile phone is recorded is inserted.
  • the mobile phone module 72 can communicate with the mobile phone network 4.
  • the CPU (Central Processing Unit) 60 executes a program loaded in the main memory 64.
  • a GPU (Graphics Processing Unit) 62 performs calculations necessary for image processing.
  • the main memory 64 is composed of a RAM (Random Access Memory) or the like, and stores programs, data, and the like used by the CPU 60.
  • the storage 66 is configured by a NAND flash memory (NAND-type flash memory) or the like, and is used as a built-in auxiliary storage device.
  • the motion sensor 67 detects the movement of the information processing apparatus 10, and the geomagnetic sensor 68 detects the geomagnetism in the triaxial direction.
  • the GPS control unit 69 receives a signal from a GPS satellite and calculates a current position.
  • the front camera 30 and the rear camera 31 capture an image and input image data.
  • the front camera 30 and the rear camera 31 are constituted by CMOS image sensors (Complementary Metal Oxide Semiconductor Image Sensor).
  • the display device 20 is an organic EL display device and has a light emitting element that emits light by applying a voltage to the cathode and the anode. In the power saving mode, the voltage applied between the electrodes is made lower than usual, so that the display device 20 can be dimmed and power consumption can be suppressed.
  • the display device 20 may be a liquid crystal panel display device provided with a backlight. In the power saving mode, by reducing the amount of light from the backlight, the liquid crystal panel display device can be in a dimmed state and power consumption can be suppressed.
  • the operation unit 70 includes various operation means in the information processing apparatus 10. Specifically, the operation button 22, the direction key 23, the analog stick 24, the L button 26a, the R button 26b, the HOME button 27, and START. A button 28, a SELECT button 29, a power button 33, a-button 36a, and a + button 36b are included.
  • the front touchpad 21 and the rear touchpad 32 are multi-touchpads, and the front touchpad 21 is disposed on the surface of the display device 20.
  • the speaker 25 outputs sound generated by each function of the information processing apparatus 10, and the microphone 39 inputs sound around the information processing apparatus 10.
  • the audio input / output terminal 38 inputs stereo sound from an external microphone and outputs stereo sound to external headphones or the like.
  • a game card 76 in which a game file is recorded is inserted.
  • the game card 76 has a recording area in which data can be written.
  • data is written / read by the media drive.
  • a memory card 78 is inserted into the memory card slot 37.
  • the multi-use terminal 40 can be used as a USB terminal, and is connected to a USB cable 80 to transmit / receive data to / from another USB device.
  • a peripheral device is connected to the accessory terminal 35.
  • the information processing apparatus 10 has a function of smoothly executing image processing such as enlargement / reduction and scrolling of a display image.
  • the information processing apparatus 10 may implement an image processing function by loading an image processing program.
  • the information processing apparatus 10 changes the display image according to operation information input to the operation unit 70 from the user, such as an enlargement / reduction process of a display image displayed on the display apparatus 20 and a movement process in the up / down / left / right direction. Process.
  • the server 5 uses the behavior information of the user to generate image data for configuring a menu screen customized for each user.
  • the server 5 generates hierarchized image data expressed by tile images having a plurality of resolutions in order to perform high-definition display image enlargement / reduction in the information processing apparatus 10.
  • the server 5 provides the information processing apparatus 10 with a tile image necessary for generating a display image in the information processing apparatus 10.
  • the information processing apparatus 10 is connected to the network 3 and appropriately downloads and acquires tile images necessary for generating a display image from the server 5 in accordance with operation information input to the operation unit 70. Note that the information processing apparatus 10 may download and obtain the entire compressed image data layered from the server 5.
  • the information processing apparatus 10 performs display image enlargement / reduction processing and vertical / left / right movement processing in accordance with an instruction from the user.
  • the display image is a menu image in which “information elements” related to the application and content are efficiently arranged in order to enable the user to access the application and content.
  • the “information element” is an element that specifies an application, content, meta information thereof, and the like, and information (label) indicating the content of the information element is displayed on the menu screen.
  • the display items displayed on the menu screen are also called “information elements”.
  • the information element that is a display object represents, for example, the name of an application or content, meta information related to the application or content in text, or an image such as an icon.
  • information elements with high user interest are arranged at positions that are easily visible to the user.
  • a function for inputting a display image enlargement / reduction instruction and a scroll instruction in the vertical and horizontal directions is assigned to the operation unit 70.
  • the input function of a display image enlargement / reduction instruction is assigned to the right analog stick 24b.
  • the user can input an instruction to reduce the display image by pulling the analog stick 24b toward the user, and can input an instruction to enlarge the display image by pressing the analog stick 24b from the front.
  • the input function of the display image scroll instruction is assigned to the left analog stick 24a.
  • the user can input an instruction to scroll the display image by tilting the analog stick 24a back and forth and right and left.
  • a display image enlargement instruction, a reduction instruction, and a scroll instruction are collectively referred to as an image change instruction.
  • FIG. 5 shows an example of a hierarchical structure of image data used for generating a menu image.
  • This image data is generated for each user in the server 5 according to the user behavior information, and the server 5 appropriately provides the information processing apparatus 10 with a tile image necessary for generating a display image.
  • the server 5 notifies the information processing apparatus 10 of the structure data indicating the hierarchical structure of the image data, and the information processing apparatus 10 uses this data to generate a frame image (display image) from the operation information of the operation unit 70. ) May be derived.
  • the image data has a hierarchical structure including the 0th hierarchy 130, the 1st hierarchy 132, the 2nd hierarchy 134, and the 3rd hierarchy 136 in the depth (Z-axis) direction. This is called “hierarchical data”. There may be a higher hierarchy of the fourth hierarchy or more, and the number of hierarchies may be three or less, but there are at least two hierarchies.
  • the hierarchical data 128 shown in FIG. 5 has a quadtree hierarchical structure, and each hierarchy is composed of one or more tile images 138. All the tile images 138 are formed in the same size having the same number of pixels, for example, 256 ⁇ 256 pixels.
  • the image data in each layer represents the entire image in each layer with different resolutions.
  • the resolution of the Nth layer (N is an integer greater than or equal to 0) may be 1 ⁇ 2 of the resolution of the (N + 1) th layer in both the left and right (X axis) direction and the up and down (Y axis) direction.
  • the whole image represented by each layer may be a different image.
  • the entire image represented by the image data of the 0th hierarchy 130 and the entire image represented by the image data of the 1st hierarchy 132 to the 3rd hierarchy 136 may be images having different compositions.
  • the entire image of the first layer 132 to the third layer 136 is a menu image having a layout in which a plurality of information elements are arranged in accordance with the user's action record.
  • the whole image is a menu image common to all users.
  • the position in the depth (Z-axis) direction indicates the resolution.
  • the position closer to the 0th hierarchy 130 has a lower resolution, and the position closer to the third hierarchy 136 has a higher resolution.
  • the position in the depth direction corresponds to the scale ratio, and when the scale ratio is 1 on the basis of the display image of the third hierarchy 136, the position in the second hierarchy 134 is shown.
  • the scale ratio is 1/4, the scale ratio in the first hierarchy 132 is 1/16, and the scale ratio in the 0th hierarchy 130 is 1/64.
  • the display image when the display image changes in the direction from the 0th layer 130 side to the third layer 136 side, the display image expands and the direction from the third layer 36 side to the 0th layer 30 side. In the case of changing to, the display image is reduced.
  • the hierarchical structure of the hierarchical data 128 is set such that the horizontal direction is the X axis, the vertical direction is the Y axis, and the depth direction is the Z axis, thereby constructing a virtual three-dimensional space.
  • the X and Y axes define a common coordinate system with equal origins.
  • the information processing apparatus 10 derives a change amount of the display image from the image change instruction supplied from the operation unit 70, and uses the derived change amount to specify information for identifying a hierarchy and texture coordinates (UV coordinates) in the hierarchy. Is derived.
  • a combination of this hierarchy specifying information and texture coordinates is called spatial coordinates.
  • Spatial coordinates in the virtual space are used for specifying a tile image to be used and generating a display image.
  • the information processing apparatus 10 may derive the coordinates of the four corners of the frame image in the virtual space using the change amount of the display image. These four corner frame coordinates are also called spatial coordinates.
  • the information processing apparatus 10 may derive the center coordinates (X, Y) of the frame image in the virtual space and the scale factor SCALE as the space coordinates.
  • the information processing apparatus 10 only needs to be able to specify the use area of the tile image 138 of an appropriate hierarchy from the image change instruction signal supplied from the operation unit 70, and any method may be adopted.
  • the information processing apparatus 10 When the information processing apparatus 10 appropriately downloads and acquires a tile image necessary for generating a display image from the server 5, the information processing apparatus 10 transmits the derived spatial coordinates to the server 5, and the server 5 uses the spatial coordinates.
  • the specified tile image is provided to the information processing apparatus 10.
  • the server 5 may identify a tile image that will be required in the future by prediction and provide the information to the information processing apparatus 10 in advance. This prediction may be performed by the information processing apparatus 10 and request the tile image from the server 5.
  • the information processing apparatus 10 When the information processing apparatus 10 has downloaded all of the hierarchical data 128 from the server 5, the information processing apparatus 10 may specify the use area of the tile image 138 from the derived spatial coordinates.
  • FIG. 6 is an explanatory diagram for explaining the relationship between the scale ratios.
  • each hierarchy is expressed as L0 (0th hierarchy 130), L1 (1st hierarchy 132), L2 (2nd hierarchy 134), and L3 (3rd hierarchy 136).
  • the position in the depth (Z-axis) direction indicates the resolution. The position closer to L0 has a lower resolution, and the position closer to L3 has a higher resolution.
  • the position in the depth direction corresponds to the scale ratio
  • the scale ratio in L2 is 1/4 and the scale in L1.
  • the rate is 1/16, and the scale factor at L0 is 1/64.
  • the scale ratios of the first boundary 131, the second boundary 133, and the third boundary 135 are defined on the basis of L3, and are used as a determination criterion for determining a hierarchy of tile images used for generating a display image.
  • the scale factor of the first boundary 131 is set to 1/32, and if the required scale factor of the display image is smaller than 1/32, the L0 tile image is used for generating the display image.
  • the scale factor of the second boundary 133 is set to 1/8, and if the required scale factor of the display image is 1/32 or more and smaller than 1/8, the L1 tile image is used to generate the display image.
  • the scale factor of the third boundary 135 is set to 1/2, and if the required scale factor of the display image is 1/8 or more and less than 1/2, the L2 tile image is used. If the required scale ratio of the display image is 1/2 or more, the L3 tile image is used. Therefore, when the required scale ratio of an image to be displayed is determined, the information processing apparatus 10 acquires a tile image having a resolution corresponding to the scale ratio from the server 5 and generates a display image adjusted to the scale ratio. Can do.
  • the scale factor may be expressed as a Z coordinate in the depth direction in the virtual three-dimensional space shown in FIG. 5, and the Z coordinate in this case is handled as information related to the scale factor in the information processing apparatus 10. be able to.
  • the scale ratio may be expressed by resolution in the virtual three-dimensional space, and the resolution in this case can also be handled as information related to the scale ratio in the information processing apparatus 10.
  • FIG. 7 is an explanatory diagram for explaining a coordinate system in hierarchical data.
  • the image data of each layer is expressed by a common coordinate system in which the origins of the X axis and the Y axis are equal.
  • the spatial coordinates are represented by (x, y, SCALE).
  • the coordinates of the point A on the 0th layer 130 are (x, y, 1/64)
  • the coordinates of the point B on the first layer 132 are (x, y, 1/16)
  • the second layer 134 is an explanatory diagram for explaining a coordinate system in hierarchical data.
  • the image data of each layer is expressed by a common coordinate system in which the origins of the X axis and the Y axis are equal.
  • the coordinates of the upper point C are (x, y, 1/4), and the coordinates of the point D on the third layer 136 are (x, y, 1), respectively.
  • the information processing apparatus 10 derives spatial coordinates corresponding to the image change instruction supplied from the operation unit 70, and transmits the derived spatial coordinates to the server 5. Note that image processing using such hierarchical data exhibits an advantage in enlargement / reduction of a display image, but other image processing methods may be employed in this embodiment.
  • a menu screen is generated in which information elements having a high degree of interest of the user are arranged in an area that is easy for the user to visually recognize or select. Therefore, in the following, a mechanism for calculating the degree of interest of the user will be described as a premise for generating the menu screen.
  • the server 5 calculates the degree of interest in information elements representing applications, contents, meta information thereof, and the like based on user behavior information provided from the information processing apparatus 10.
  • the user interest level may be calculated as a cumulative value of points, and when calculated as a cumulative value, points based on user behavior information within a certain period may be accumulated. For example, this period may be as long as six months.
  • the information element is set in the server 5 from various viewpoints including not only information for specifying the application and the content itself but also content meta information such as the author and the performer of the content.
  • the information processing apparatus 10 has various applications and contents, and it is preferable that the user interface can provide a user interface that allows a user to easily reach an application or content of high interest. For example, in the information processing apparatus 10, when the user A plays the “music XYZ” at a high frequency, the musician who plays the “music XYZ” as well as the music XYZ (in this case) It is also predicted that interest in “rock band ABC” is high. At this time, if there are a plurality of music players (applications) in the information processing apparatus 10, if the user A is always playing music with the "music player AA", the user A will be "music player AA". It is also predicted that I like.
  • the server 5 can add one user action to various degrees of interest by adding points to various information elements. For this reason, the server 5 defines not only “music XYZ” as content itself but also content meta information such as “music player AA” and “rock band ABC” as information elements.
  • the server 5 manages the meta information of the content. Therefore, when the information processing apparatus 10 notifies that the music XYZ has been reproduced by the music player AA, the server 5 uses only the point of the notified information element. In addition, the point of the information element (here, “rock band ABC”) included in the meta information is also increased.
  • the server 5 may manage only meta information that can be an information element for the content.
  • FIG. 8 shows functional blocks for calculating the degree of interest in the information processing system 1.
  • the information processing apparatus 10 includes an operation information acquisition unit 202, a user behavior information generation unit 204, and a transmission unit 206.
  • the server 5 includes a user behavior information acquisition unit 302, an interest degree derivation unit 304, a user behavior information recording unit 310, and content information storage.
  • each element described as a functional block for performing various processes can be configured by a CPU (Central Processing Unit), a memory, and other LSIs in terms of hardware, and memory in terms of software. This is realized by a program loaded on the computer. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any one.
  • CPU Central Processing Unit
  • the operation information acquisition unit 202 acquires user operation information from the operation unit 70.
  • the user behavior information generation unit 204 generates information indicating the user behavior based on the operation information acquired by the operation information acquisition unit 202.
  • a method for generating user behavior information when a user A displays and browses a newspaper article on the display device 20 will be described.
  • FIG. 9 shows an example of a newspaper article displayed on the display device 20.
  • the user operates the analog stick 24a to scroll through the newspaper articles.
  • the server 5 also functions as a content server, and distributes image data of newspaper articles to the information processing apparatus 10.
  • the content server may be provided separately from the server 5, but in the following description, it is assumed that the server 5 functions as a content server.
  • the user behavior information generation unit 204 acquires newspaper article identification information from the server 5 and monitors operation information acquired by the operation information acquisition unit 202. While the scroll instruction (image change instruction) is input, the user behavior information generation unit 204 determines that the user A is not browsing the article, and a predetermined time (for example, 10 seconds) has elapsed since the last scroll instruction. Then, the user behavior information generation unit 204 determines that the user A is browsing the article. At this time, the user behavior information generation unit 204 identifies which article has the highest screen occupancy ratio (the ratio of the area of the displayed article to the area of the display device 20) in the display device 20. In the example illustrated in FIG. Specify that article A has the highest screen occupancy.
  • the user behavior information generation unit 204 determines that the user A is browsing the article A, and generates user behavior information including information (content ID) that identifies the article A and information that identifies the display application. To do.
  • the newspaper article data distributed from the server 5 includes article layout information, and the user behavior information generation unit 204 can grasp the article display area on the display device 20 based on the layout information. From this display area, the screen occupancy rate of each article can be obtained.
  • FIG. 10 shows another example of newspaper articles displayed on the display device 20.
  • the user behavior information generation unit 204 acquires newspaper article identification information from the server 5 and monitors operation information acquired by the operation information acquisition unit 202.
  • the user behavior information generation unit 204 determines that the user A is browsing the article displayed on the display device 20 when a predetermined time has elapsed since the operation information acquisition unit 202 last acquired the image change instruction. .
  • the user behavior information generation unit 204 determines that the user A is browsing the article when a predetermined ratio (for example, 50%) or more of the article is displayed.
  • the user behavior information generation unit 204 identifies the display area (display ratio) of each article based on the article layout information.
  • the user behavior information generation unit 204 determines that the article E and the article F are browsed, and obtains user behavior information including information for identifying the articles E and F and information for identifying the display application. Generate.
  • FIG. 11 shows an example in which the display device 20 is divided into a plurality of regions.
  • the display device 20 is divided into nine 3 ⁇ 3 regions.
  • the user behavior information generation unit 204 generates user behavior information including information for specifying an area including the barycentric position of each display article, information for specifying each display article, and information for specifying a display application. Since the article A in which the center of gravity of the displayed article is in the central area is considered to have a higher degree of interest of the user A, when the server 5 receives the user action information, the server 5 receives information on the article having the center of gravity in the central area.
  • the point to be added may be set higher than the point to be added to the information of the article in which the center of gravity exists in the end region.
  • the user behavior information generation unit 204 generates user behavior information including information for specifying a music player (application) that outputs sound from the speaker 25 and information (content ID) for specifying the content. .
  • the audio content needs to be played back for a predetermined time or more as a condition for generating user behavior information.
  • the user behavior information generation unit 204 generates user behavior information including information (content ID) for specifying a game. Note that the game needs to be played for a predetermined time or more as a condition for generating the user behavior information.
  • the user behavior information generation unit 204 generates user behavior information including necessary information according to the type of application or content.
  • the transmission unit 206 transmits the user behavior information generated by the user behavior information generation unit 204 to the server 5 together with the user account of the user A.
  • the transmission unit 206 may transmit the user behavior information generation unit 204 to the server 5 every time the user behavior information generation unit 204 generates the user behavior information, or may transmit the user behavior information every predetermined time.
  • the user behavior information is used to generate a user-customized menu screen. Therefore, when the information processing apparatus 10 transmits a menu screen display request to the server 5, the latest user behavior information is displayed. The information may be sent to the server 5 together.
  • the user behavior information acquisition unit 302 acquires the user account and user behavior information from the information processing apparatus 10
  • the user behavior information is recorded in the user behavior information recording unit 310 in association with the user account.
  • the user behavior information includes at least information for identifying the application (application ID) and the content ID.
  • the content information holding unit 312 holds so-called meta information in association with information specifying content.
  • FIG. 12 shows an example of content information in the content information holding unit 312.
  • Content information is held in a table format, and FIG. 12 shows content information of music content.
  • “Content ID” is information (music XYZ) specifying music content
  • “Artist” is information (rock band ABC) specifying music artist
  • “album name” is an album including the music XYZ
  • the “genre” is information (lock) for specifying the genre of the music XYZ.
  • the artist, album name, and genre are each meta information and are information elements.
  • the information element is a display target on the menu screen, and most simply, “Music XYZ”, “Rock Band ABC”, “DEF”, and “Rock” are displayed in text on the menu screen so that the user can select them. become.
  • the item “application” is not content information, but is used when calculating points, which will be described later.
  • the point set for each item is a point given to the information element shown as each item when the content (music XYZ) is played.
  • This point calculation process is executed by the interest level deriving unit 304.
  • the interest level deriving unit 304 refers to the table held in the content information holding unit 312 using the user behavior information, and derives information element points.
  • the interest level recording unit 314 records the interest level (points) of each information element for each user, and the interest level deriving unit 304 updates the interest level of the interest level recording unit 314 using the user behavior information. To do.
  • the interest level deriving unit 304 adds 3 points to the point accumulated value of “music XYZ” and adds 2 points to the point accumulated value of “rock band ABC”. , 2 points are added to the accumulated point value of “DEF”, 0.1 point is added to the accumulated point value of “Rock”, and 0.01 point is added to the accumulated point value of “Music Player AA”.
  • the interest level deriving unit 304 derives the interest level of the information element using the user behavior information in association with the user account, and records it in the interest level recording unit 314.
  • the degree-of-interest deriving unit 304 may execute the above point calculation processing every time the user behavior information acquisition unit 302 acquires user behavior information, and receives a menu screen display request from the information processing apparatus 10. It may be executed when.
  • the server 5 can calculate the degree of interest (points) for a plurality of information elements for each user, and can select the plurality of information elements in descending order of points.
  • the interest level deriving unit 304 may change the points to be added depending on, for example, the display area, and may determine the points to be added in accordance with such display conditions. .
  • the server 5 derives the interest level of the information element of the user and records it in the interest level recording unit 314.
  • the server 5 generates menu image data and the information processing apparatus 10 displays the menu screen using the derived interest level will be described.
  • FIG. 13 shows functional blocks for displaying the menu screen in the information processing system 1.
  • the information processing apparatus 10 includes a transmission unit 206, an input reception unit 210, an image processing unit 220, and a situation acquisition unit 230.
  • the server 5 includes a display request acquisition unit 318, a ranking unit 320, an image data generation unit 322, and image data.
  • a transmission unit 324 and an interest level recording unit 314 are provided.
  • the input reception unit 210 has a function of receiving operation information from the operation unit 70 and includes a request acquisition unit 212 and a change instruction reception unit 214.
  • the image processing unit 220 has a function of executing a display image display process, specifically, an image change process such as enlargement / reduction of the display image, scrolling, etc., and an image data acquisition unit 222, a decoding unit 224, a change amount derivation unit 226 and a display image generation unit 228.
  • each element described as a functional block for performing various processes can be configured by a CPU (Central Processing Unit), a memory, and other LSIs in terms of hardware. This is realized by a program loaded on the computer. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any one.
  • CPU Central Processing Unit
  • the request acquisition unit 212 acquires a menu screen display request. This display request may be generated by the user operating the operation unit 70, or may be automatically generated when the main power supply of the information processing apparatus 10 is turned on.
  • the transmission unit 206 transmits a menu screen display request to the server 5.
  • the display request acquisition unit 318 acquires a menu screen display request from the information processing apparatus 10.
  • the information processing apparatus 10 displays a menu screen using the hierarchical data 128 generated by the image data generation unit 322.
  • the hierarchical data 128 has a plurality of hierarchical levels, and an input function for a display image enlargement / reduction instruction in the information processing apparatus 10 is assigned to the analog stick 24 b on the right side.
  • the user can input an instruction to reduce the display image by pulling the analog stick 24b toward the user, and can input an instruction to enlarge the display image by pressing the analog stick 24b from the front.
  • the 0th hierarchy 130 represents a menu image different from the 1st hierarchy 132 to the 3rd hierarchy 136. To do.
  • the hierarchical data 128 includes a plurality of different menu images so that significant information can be provided to the user even when an instruction for reducing the display image to a certain scale is input. It is preferable that it is comprised.
  • FIG. 14 shows an example of menu image data generated by the image data generation unit 322.
  • the entire menu image 150 is an infinite plane, and information elements 160 that are a plurality of display objects are arranged.
  • all information elements 160 are represented by the same shape and size, but the shape and size of each information element 160 may be different.
  • the image data generation unit 322 may arrange all of the information elements 160 in which points are accumulated for the user A. For example, the information elements to which only a predetermined number of points or less are given 160 is not included in the entire menu image 150 because the user's interest is low. On the other hand, even if no points are added, the information element 160 recommended by the server 5 may be included in the entire menu image 150.
  • the entire menu image 150 constitutes the entire image of the first hierarchy 132, the second hierarchy 134, and the third hierarchy 136 in the hierarchy data 128. Although the entire image of the 0th hierarchy 130 will be described later, the entire menu screen can be seen over when zoomed out.
  • a part of the entire menu image 150 is displayed on the display device 20 as a menu screen.
  • the user operates the right analog stick 24b to enlarge / reduce the menu screen, and operates the left analog stick 24a to scroll the menu screen to search for a desired information element 160.
  • FIG. 15 shows a virtual frame 170 in the entire menu image 150.
  • the frame frame 170 virtually indicates a frame of the display device 20 when the menu image is displayed at a predetermined resolution, and thus indicates an area cut out from the entire menu image 150 and displayed on the display device 20. It is.
  • a frame frame 170 represents an area of a menu screen (initial menu screen) that is first displayed on the display device 20, that is, when the information processing device 10 first receives image data from the server 5, First, an image surrounded by a frame 170 shown in FIG. 15 is displayed on the display device 20 as an initial menu screen.
  • the menu screen of this embodiment can be freely scrolled by operating the analog stick 24a. Therefore, if the initial menu screen is set in the central area of the entire menu image 150, the user can easily find the information element 160 on the top, bottom, left and right of the analog stick 24a as compared with the case where the initial area is set in the end area. Therefore, in this embodiment, an area including the information element 160a located at the center of the entire menu image 150 among the plurality of arranged information elements 160 is included at the center of the initial menu screen. Thus, the user can easily search for the peripheral information element 160 around the information element 160a, and can realize a user interface with excellent operability.
  • the scrolling of the menu screen corresponds to the frame frame 170 being moved in the scroll direction without changing its size.
  • the information elements within the frame 170 are displayed on the menu screen.
  • the menu screen is enlarged, the size of the frame frame 170 is reduced, so that the information element is enlarged and displayed.
  • the menu screen is reduced, the size of the frame frame 170 is increased, and thus the information element is reduced. Displayed.
  • the ranking unit 320 reads the interest level of the information element of the user A from the interest level recording unit 314.
  • the ranking unit 320 ranks the plurality of information elements according to the user interest level derived for each information element, and specifically compares the respective interest levels (points) of the plurality of information elements. Then, the order of each information element is determined.
  • the information element of the highest point is set as the first place, and the order is determined in descending order.
  • the ranking unit 320 notifies the image data generation unit 322 of a plurality of combinations of information elements and determined rankings.
  • the image data generation unit 322 generates menu image data for the user A in which a plurality of information elements are arranged according to their respective ranks with a predetermined position as a reference. As an example, the image data generation unit 322 generates menu image data shown in FIG. 14 or FIG.
  • FIG. 16 shows an arrangement example of information elements.
  • the image data generation unit 322 arranges the information elements 160 in descending order with respect to a predetermined position in the entire menu image 150.
  • the numbers shown in the frames indicate the ranks of interest, and the numbers “N” shown in the frames indicate that the information element 160 is the Nth highest point for the user A.
  • the image data generation unit 322 arranges the information element 160a having the highest point in the central area or substantially the central area of the initial menu screen, and arranges the information element 160b having the second highest point next to the left,
  • the information element 160c having the third highest point is arranged above the element 160b, and the information elements 160 are arranged in descending order of the points so as to be clockwise with the information element 160a as the center.
  • the image data generation unit 322 arranges the information elements 160 in the descending order of the points in the clockwise direction with reference to a predetermined position (center area) on the initial menu screen.
  • the information element 160a having the highest degree of interest of the user A is arranged at the predetermined reference position, and therefore the predetermined position is set to a position that is easy for the user A to visually recognize.
  • the image data generation unit 322 displays the information element 160 that is relatively high in the user's interest at the central position and the position close to the central position, and the information element that is relatively low in the user's interest at a position further away from the central position.
  • Image data in which 160 is two-dimensionally arranged is generated.
  • the information elements 160 are arranged clockwise around the information element 160a in descending order of points.
  • the information elements 160 may be arranged counterclockwise or arranged in another manner. Further, such image data may take not only a two-dimensional array but also a three-dimensional array structure.
  • the direction from the center position may be determined for each category. For example, when information elements can be classified into four categories, the first category information element in the first quadrant, the second category information element in the second quadrant, and the third category in the third quadrant, centered on the center position.
  • the information element of the fourth category may be arranged in the fourth quadrant, and the information element may be arranged so that the degree of interest is higher as it is closer to the center and the degree of interest is lower as it is farther away.
  • FIG. 17 shows a virtual frame frame 170 of the initial menu screen in the entire menu image.
  • the information element 160 with the top 9 interest level of the user A is displayed.
  • the entire menu image 150 has a layout in which information elements 160 having a high degree of interest are arranged in the central area and the vicinity thereof. A can find the information element 160 of high interest with a small scroll amount.
  • the degree of interest of the displayed information element 160 gradually decreases as the scroll amount increases.
  • the image data generation unit 322 When the image data generation unit 322 generates the entire menu image, the generated entire menu image is reduced to a plurality of stages to generate images with different resolutions, and the images of each layer are divided into one or more tile images, The entire menu image is expressed in a hierarchical structure.
  • the image data generation unit 322 when the image data generation unit 322 generates the entire menu image, the image data of the second hierarchy 134 and the first hierarchy 132 is generated by reducing the entire menu image as image data of the third hierarchy 136. To do.
  • the image data generated in this way is transmitted to the information processing apparatus 10 by the image data transmission unit 324.
  • FIG. 18 shows an example of the initial menu screen.
  • the information element 160 of the top nine interest levels is displayed.
  • the information element 160 that is a display object may be displayed in a rectangular format, for example, and a label indicating the content of the information element 160 and an information element related to the information element 160 may be displayed.
  • the label “Rock Band ABC” and the information elements “Music XYZ” and “Music GHI” that are highly interested in the user regarding “Rock Band ABC” are displayed within the rectangle constituting the frame. Is done.
  • the user A can easily execute an application or content having a high degree of interest.
  • the information element 160 of the application or content having a high degree of interest is arranged in the vicinity of the central area of the initial menu screen, the menu screen is reduced even if the desired information element 160 is not included in the initial menu screen.
  • the desired information element 160 can be easily found.
  • the image data acquisition unit 222 acquires image data from the server 5.
  • the image data generation unit 322 generates image data for generating only the initial menu screen before generating the hierarchical data so that the information processing apparatus 10 can quickly display the initial menu screen shown in FIG. 18. May be generated, and the image data transmission unit 324 may transmit the image data to the information processing apparatus 10 first.
  • the display image generation unit 228 can generate an initial menu image and immediately display the initial menu screen on the display device 20.
  • the image data transmission unit 324 transmits image data for generating an initial menu image, hierarchical data composed of the first hierarchy 132 to the third hierarchy 136 may be transmitted.
  • the decoding unit 224 decodes and develops it in the main memory 64, and the display image generation unit 228 generates an initial menu image and displays the initial menu screen on the display device 20. To do.
  • the change instruction receiving unit 214 receives the operation information as an image change instruction.
  • the change amount deriving unit 226 derives the change amount of the display image requested to be displayed based on the change instruction signal.
  • the change amount of the display image is the movement amount in the vertical and horizontal directions and the movement amount in the depth direction of the display image for each frame in the virtual three-dimensional space of the hierarchical data.
  • the display image generation unit 228 determines the spatial coordinates (position information) of the current frame that moves according to the derived change amount from the spatial coordinates of the previous frame.
  • the spatial coordinates are position information (X, Y, SCALE) specified by the center coordinates (X, Y) of the frame image and the scale factor SCALE.
  • the change amount deriving unit 226 derives the change amount ( ⁇ X, ⁇ Y, ⁇ SCALE) based on the change instruction signal, and the display image generating unit 228 converts the change amount (Xprev, Yprev, SCALEprev) into the change amount (Xprev, Yprev, SCALEprev).
  • [Delta] X, [Delta] Y, [Delta] SCALE) is added to determine the position information (X, Y, SCALE) of the current frame.
  • the display image generation unit 228 specifies the scale factor SCALE of the image to be displayed. However, as described above, information related to the scale factor, such as resolution, may be specified.
  • the transmission unit 206 transmits the spatial coordinates determined by the display image generation unit 228 to the server 5.
  • the information processing apparatus 10 determines whether the tile image needs to be changed in order to generate a display image. If the tile image needs to be changed, the tile image Is provided to the information processing apparatus 10.
  • the image data acquisition unit 222 stores the tile image in the main memory 64.
  • the decoding unit 224 reads the tile image used for generating the display image from the main memory 64, decodes it, and stores it in a buffer memory (not shown).
  • the display image generation unit 228 generates a display image (frame image) using the tile image held in the buffer memory based on the position information, and supplies the display image (frame image) to the frame memory (not shown).
  • the display image generation unit 228 generates the display image, so that the information processing apparatus 10 performs display image enlargement / reduction processing and scroll processing at high speed, and provides a smooth image change to the user. it can.
  • the enlarged display of the information element corresponds to the selection operation of the information element 160.
  • the selection operation is executed when the screen occupancy rate of the information element (ratio of the area of the information element to the area of the display device 20) exceeds a predetermined value (for example, 60%).
  • a predetermined value for example, 60%.
  • the behavior of the information element after the selection operation is determined according to the information element. For example, when the thumbnail 162 included in the information element 160b is selected, a photographic image corresponding to the thumbnail 162 is displayed on the display device 20. Is done. At this time, the thumbnail 162 is also an information element.
  • the corresponding application in this case, the viewer
  • the application In the information processing apparatus 10, it is preferable that the application is already activated in a state where the menu screen is displayed, and the application can process the content immediately when the content is selected and operated.
  • the information processing apparatus 10 further provides the user with a content selection screen of the information element 160.
  • a content selection screen of the information element 160 For example, when the user scrolls the initial menu screen, moves the information element 160c to the center area of the screen, and displays the information element 160 so that the screen occupation rate of the information element 160 exceeds 60%, the image data acquisition unit 222 causes the information element 160c to be displayed.
  • the transmission unit 206 transmits the image data display request associated with the server 5 to the server 5.
  • the ranking unit 320 reads the interest level of the information element related to the information element 160 c (music player AA) from the interest level recording unit 314.
  • the information elements related to the music player AA are information elements to which points are added simultaneously when the interest degree deriving unit 304 adds points of the music player AA. That is, the audio content when the audio content is played back by the music player AA and its meta information are information elements related to the music player AA.
  • the ranking unit 320 reads the interest level of these information elements from the interest level recording unit 314, and ranks the plurality of information elements according to the user interest level derived for each information element. Specifically, the ranking unit 320 compares the respective degrees of interest (points) of a plurality of information elements to determine the ranking of each information element. The ranking unit 320 notifies the image data generation unit 322 of the combination of the information element and the determined ranking.
  • the image data generation unit 322 generates menu image data in which a plurality of information elements are arranged in accordance with respective ranks with a predetermined position as a reference, and the image data transmission unit 324 transmits the menu image data to the information processing apparatus 10.
  • FIG. 19 shows a content selection screen displayed on the display device 20 after the information element 160c is enlarged and displayed.
  • This content selection screen is generated for the music player AA, and the user A has been generated in the past from action information using the music player AA.
  • the information element 160 d determined to have the highest degree of interest when the user A uses the music player AA is arranged in the central area of the initial menu screen.
  • FIG. 20 shows a connection example of hierarchical data in this embodiment.
  • the hierarchical data 140 of the information element 160 (music player AA in the example of FIG. 19) is connected to the hierarchical data 128 of the entire menu image.
  • the information element 160c of the music player AA is moved to the center area of the display device 20 and enlarged on the menu screen generated using the hierarchical data 128 (see FIG. 18), the content selection screen (see FIG. 19) is displayed. Transition to.
  • the two triangles indicate different hierarchical data 128 and 140.
  • Each of the hierarchical data 128 and 140 actually has a configuration in which a plurality of pieces of image data having different resolutions exist discretely in the Z-axis direction in the figure as shown in FIG.
  • the display area moves in the Z-axis direction in the figure. Movement in the Z-axis direction is equivalent to changing the SCALE of the virtual camera image coordinates.
  • the horizontal plane in the figure is moved. The movement of the horizontal plane is equivalent to changing (X, Y) of the virtual camera image coordinates.
  • a data structure in which two hierarchical data 128 and 140 are overlapped as shown in FIG. 20 is constructed.
  • the viewpoint moves as indicated by the arrow a and enters the area of the hierarchical data 140, that is, moves between the hierarchical data.
  • the data for generating a display image is switched from hierarchical data 128 to hierarchical data 140.
  • the resolution (SCALE) and position (X, Y) of the image when switching the hierarchical data 128 and the hierarchical data 140 are set in advance.
  • This setting is represented by a line 142 in FIG. 20, whereby the overlapping degree of the hierarchical data can be determined.
  • switching from the hierarchical data 128 to the hierarchical data 140 is performed at the resolution indicated by the z-axis z1 and the position represented by the line 142.
  • Such a connection between hierarchical data is called a link.
  • FIG. 20 shows a state in which two hierarchical data are connected by a link, but three or more hierarchical data may be connected by a link in a multistage format.
  • the hierarchical data 128 for generating the menu screen and the hierarchical data 140 for generating the content selection screen are connected by a link, and the hierarchical data 140 and an artist selection screen for selecting an artist are generated.
  • the hierarchical data may be connected by a link.
  • the artist selection screen is displayed.
  • the hierarchical data for generating the artist selection screen and the hierarchical data for generating the music selection screen for selecting the artist's music may be connected by a link.
  • image data in which hierarchical data are connected by links in multiple stages it is possible for the user to reach desired content only by performing a procedure (zoom-in) that is easy to understand intuitively.
  • the information element 160a with the highest interest of the user A is arranged in the center area of the screen, and the information elements 160b, 160c, etc. are arranged in the vicinity in the order of the degree of interest. It is arranged. If the user A cannot find a desired application or content on the initial menu screen, the user A zooms out the initial menu screen and causes the display device 20 to display the information element 160 that is not displayed on the initial menu screen. it can. In the entire menu image 150, since the information elements 160 of high interest of the user A are arranged around the information elements 160a, the user A can display the desired information elements 160 by reducing the initial menu screen. Easy to find.
  • the display image generation unit 228 performs menu screen reduction processing so that the font size of the label does not become smaller than a predetermined value. Specifically, when the rectangle is reduced, the display area of the label is not made smaller than a predetermined value. In this case, priority is given to the display of the label, information described in the inside of the rectangle may not be displayed, and only the label may be displayed as an information element. When the horizontal width of the display area is narrowed, the text constituting the label may be tickered.
  • FIG. 21A shows an example of a menu screen generated using the image data of the 0th layer 130.
  • a plurality of folder icons 180a to 180e are arranged in the horizontal direction.
  • the folder icon 180a indicates a folder for photo contents
  • the folder icon 180b indicates a folder for music contents
  • the folder icon 180c indicates a folder for video contents
  • the folder icon 180d indicates a network icon.
  • Content icons 182a to 182d are arranged in the vertical direction. The user can execute a process associated with the content icon by operating the operation unit 70 and scrolling and moving the desired content icon to the position of the focus area.
  • the content icon 182a of the video content is arranged in the focus area, and when the user presses a predetermined button on the operation unit 70, a playback instruction is issued and the corresponding video content is played back.
  • FIG. 21B shows another example of the menu screen generated using the image data of the 0th layer 130.
  • a plurality of folder icons 180a to 180e are two-dimensionally arranged.
  • a content icon associated with the folder icon 180 is displayed, and the user selects the content icon to execute the corresponding content. Is done.
  • the display image generation unit 228 A legacy menu screen generated with the image data of the 0th hierarchy 130 is generated.
  • the menu screen shown in FIG. 21A or FIG. 21B provides a conventional user interface. If the user cannot search for a desired application or content in the entire menu image 150, the menu screen is displayed.
  • the menu screen shown in FIG. 21A or FIG. 21B may be displayed on the display device 20 by zooming out.
  • the information element 160 with a low degree of interest is arranged at a position away from the central area, so that when the user tries to find the information element 160 that has not been interested in before, the figure is displayed. It may be more convenient to search from the menu screen shown in FIG. 21 (a) or FIG. 21 (b).
  • the information processing system 1 makes it easy for the user to search for content and the like by providing two types of menu screens.
  • the information processing device 10 and the server 5 exist as processing devices, and as described with reference to FIGS. 8 and 13, the information processing device 10 and the server 5 operate with respective roles. ing.
  • the functions of the information processing apparatus 10 and the server 5 may be integrated in one processing apparatus. That is, one processing device has the functions of both the information processing device 10 and the server 5 shown in FIGS. 8 and 13, and that processing device alone derives the user interest level, and image data based on the user interest level. May be generated to display image data.
  • the display image generation unit 228 in the information processing apparatus 10 displays the menu screen on the display device 20 using the hierarchical data 128.
  • the display image generation unit 228 may form a search window near the center of the menu screen, for example, so that the user can always search for keywords.
  • the display image generation unit 228 may slightly change the layout of the image defined by the hierarchical data 128 to provide a space for arranging the search window, and the search window is provided in the defined image layout. You may superimpose.
  • the display image generation unit 228 does not always display the search window, and may be formed at a predetermined position on the menu screen when a predetermined operation is performed on the operation unit 70.
  • a menu image for selecting an application or content is shown as a display image, but another image may be used.
  • the display image may be an image in which newspaper categories and articles are arranged.
  • FIG. 12 illustrates content information of music content, but in the case of newspaper content, the category of content information includes “category”.
  • the information elements belonging to the category include “economy”, “politics”, “society”, “sports”, “international”, “stock”, etc.
  • the interest level deriving unit 304 reads the newspaper article The degree of interest of each information element in the category is derived based on the behavior information.
  • the ranking unit 320 can rank the interest level between categories.
  • the request acquisition unit 212 receives a newspaper article display request
  • the transmission unit 206 transmits it to the server 5
  • the display request acquisition unit 318 receives a display request in the server 5
  • the ranking unit 320 ranks the information elements of the category according to the degree of user interest
  • the image data generation unit 322 generates image data in which a plurality of information elements (categories) are arranged according to the rank.
  • the category itself may be arranged instead of the category.
  • the image processing technique according to the embodiment can be used when generating not only a menu screen but also any display screen such as a newspaper screen.
  • this technology can be used to display an e-mail address book.
  • the addresses of each person may be rearranged in the order in which the addresses are newly registered.
  • the information element 160a is the most recently registered address
  • the information element 160b is the next newly registered address
  • a friend who has recently registered an address can be easily found.
  • the registration date and time and location can be displayed, the user can easily remember who the person is.
  • the server 5 may generate image data according to the situation of the user A.
  • the situation acquisition unit 230 acquires the situation of the user A, for example, the current date and time or the current position information calculated by the GPS control unit 69, and the transmission unit 206 transmits the user situation to the server 5 together with the display request.
  • the user action information generation unit 204 needs to add the date and time of action and position information to the user action information in advance.
  • the ranking unit 320 ranks the plurality of information elements according to the user interest level derived from the user behavior information that matches the predetermined situation of the user A.
  • the situation acquisition unit 230 acquires and transmits the user's current situation.
  • the unit 206 transmits the display request by the application and the current state of the user to the server 5.
  • the display request acquisition unit 318 determines that the display request is now from an application, the display request acquisition unit 318 notifies the interest level deriving unit 304 to that effect, and the interest level deriving unit 304 thereby notifies the interest level deriving unit 304 within a predetermined time including the current time.
  • the ranking unit 320 can rank the plurality of information elements according to the user interest level derived from the user behavior information that matches the current situation of the user. For example, when there is an application called “morning application” that preferentially provides the user with necessary information in the morning, when the morning application is activated, the transmission unit 206 displays the display request by the morning application and the current The status is transmitted to the server 5.
  • the interest level deriving unit 304 when the morning application is a standard application in the information processing system 1, the interest level deriving unit 304 previously stores past user behavior information for a morning application within a predetermined time, for example, between 5 and 9 o'clock. In addition, the interest level of a plurality of information elements may be derived. By doing so, the ranking unit 320 can quickly perform the ranking process in response to the display request.
  • FIG. 22 shows a modification of the menu screen.
  • FIG. 22 shows a legacy user interface adopted by a smartphone or the like.
  • the image data generation unit 322 arranges the information element 160a having the highest point in the corner area of the initial menu screen, and The information element 160b having the second highest point is arranged on the right side, the information element 160c having the third highest point is arranged on the right side of the information element 160b, and the information elements from the left to the right in the descending order of the points 160 is arranged.
  • the image data generation unit 322 arranges the information elements 160 in the descending order of the points from the left to the right from the upper level to the lower level, based on the predetermined position (corner area) on the initial menu screen.
  • the information element 160a having the highest degree of interest of the user A is arranged at the predetermined position serving as the reference. Therefore, the predetermined position on the menu screen shown in FIG.
  • SYMBOLS 1 Information processing system, 5 ... Server, 10, 10a, 10b ... Information processing apparatus, 20 ... Display apparatus, 24 ... Analog stick, 60 ... CPU, 64 ... Main memory 69 ... GPS control unit 70 ... operation unit 128 ... hierarchical data 140 ... hierarchical data 150 ... whole menu image 160 ... information element 162 ... Thumbnail, 170 ... frame frame, 180 ... folder icon, 182 ... content icon, 202 ... operation information acquisition unit, 204 ... user action information generation unit, 206 ...
  • transmission unit 210: input receiving unit, 212: request acquiring unit, 214: change instruction receiving unit, 220: image processing unit, 222: image data acquiring unit, 224: decoding unit, 22 ... change amount deriving unit, 228 ... display image generating unit, 230 ... situation obtaining unit, 302 ... user behavior information obtaining unit, 304 ... interest level deriving unit, 310 ... user behavior Information recording unit, 312 ... Content information holding unit, 314 ... Interest level recording unit, 318 ... Display request acquisition unit, 320 ... Ranking unit, 322 ... Image data generation unit, 324 ..Image data transmission unit.
  • the present invention can be used in the technical field of displaying information elements.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

 順位付部320は、複数の情報要素を、それぞれの情報要素に対して導出されるユーザ関心度に応じて順位付けする。画像データ生成部322は、所定位置を基準として、複数の情報要素を、それぞれの順位にしたがって配置した画像データを生成する。画像データ生成部322は、ユーザの関心度が最も高い情報要素を所定位置に配置し、所定位置に近い位置にユーザの関心が相対的に高い情報要素を、所定位置からより離れた位置にユーザの関心が相対的に低い情報要素を、2次元的または3次元的に配置した画像データを生成する。

Description

処理装置
 本発明は、表示する情報要素のレイアウトをユーザごとに設定する技術に関する。
 近年のネットワーク通信速度の高速化や、またメモリデバイスの大容量化・高集積化にともなって、端末装置に多くのアプリケーションをインストールし、また多くのコンテンツを取得することが可能となっている。スマートフォンはアプリケーションを選択する画面として、待ち受け画面(ホーム画面)を含む複数のメニュー画面を用意しており、各メニュー画面には、インストールした順番でアプリケーションのアイコンが配列される。ユーザはメニュー画面を切り替えて所望のアプリケーションアイコンを探し、たとえばフォトの再生アプリケーションアイコンを選択すると、複数の写真のサムネイル画像が撮影した順番で配列されたコンテンツ選択画面が表示される。
 特許文献1は、アプリケーションのアイコンを横軸に配列し、コンテンツのアイコンを縦軸に配列したメニュー画面を生成する情報処理装置を示す。
米国特許公開第2011/131115号公報
 従来のユーザインタフェースは、新しいアプリケーションをインストールし、また新しいコンテンツを取得すると、その分だけアイコンがメニュー画面に追加されていく。スマートフォンのユーザインタフェースでは、取得した順にメニュー画面(一般には、「ページ」とも呼ばれる)にアイコンが追加されるためページ数は多くなり、ユーザが実行したいアプリケーションやコンテンツを探すことが容易でないという問題がある。そこでユーザが効率よくアプリケーションやコンテンツを探すことのできるユーザインタフェースを提供することが望まれている。
 本発明はこのような課題に鑑みてなされたものであり、その目的は、アプリケーションやコンテンツなどの選択肢をユーザに応じて効率的に提示することのできる画像データを生成する技術を提供することにある。
 上記課題を解決するために、本発明のある態様の処理装置は、複数の情報要素を、それぞれの情報要素に対して導出されるユーザ関心度に応じて順位付けする順位付部と、所定位置を基準として、複数の情報要素をそれぞれの順位にしたがって配置した画像データを生成する画像データ生成部とを備える。
 なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明の実施例にかかる情報処理システムを示す図である。 (a)は情報処理装置の前面を示す図であり、(b)は情報処理装置の背面を示す図である。 (a)は情報処理装置の上面を示す図であり、(b)は情報処理装置の下面を示す図であり、(c)は情報処理装置の左側面を示す図である。 情報処理装置の回路構成を示す図である。 メニュー画像の生成に使用する画像データの階層構造の一例を示す図である。 縮尺率の関係を説明するための説明図である。 階層データにおける座標系を説明するための説明図である。 情報処理システムにおける関心度算出を行うための機能ブロックを示す図である。 表示装置に表示される新聞記事の一例を示す図である。 表示装置に表示される新聞記事の別の例を示す図である。 表示装置を複数の領域に分割した例を示す図である。 コンテンツ情報保持部におけるコンテンツ情報の一例を示す図である。 情報処理システムにおいてメニュー画面を表示するための機能ブロックを示す図である。 画像データ生成部が生成するメニュー画像データの一例を示す図である。 メニュー全体画像における仮想的なフレーム枠を示す図である。 情報要素の配置例を示す図である。 メニュー全体画像における初期メニュー画面の仮想的なフレーム枠を示す図である。 初期メニュー画面の一例を示す図である。 情報要素を拡大表示した後に、表示装置に表示されるコンテンツ選択画面を示す図である。 本実施例の階層データの接続例を示す図である。 (a)および(b)は、第0階層の画像データを用いて生成されるメニュー画面の一例を示す図である。 メニュー画面の変形例を示す図である。
 図1は、本発明の実施例にかかる情報処理システム1を示す。情報処理システム1は、ユーザ端末である据置型の情報処理装置10a、携帯型の情報処理装置10bと、サーバ5とを備える。サーバ5は、複数のサーバ装置から構成されてもよい。本実施例において情報処理装置10a、10bおよびサーバ5は、画像処理を行う処理装置として機能する。
 補助記憶装置8は、HDD(ハードディスクドライブ)やフラッシュメモリなどの大容量記憶装置であって、据置型の情報処理装置10aに接続または内蔵される。補助記憶装置8はUSB(Universal Serial Bus)などによって情報処理装置10aと接続する外部記憶装置であってもよく、内蔵型記憶装置であってもよい。出力装置7は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。出力装置7は、情報処理装置10aに有線ケーブルで接続されてよく、また無線LAN(Local Area Network)により無線接続されてもよい。情報処理装置10aは、ユーザが操作する入力装置6からの操作信号を処理し、出力装置7から処理結果を出力する。情報処理装置10aはゲーム装置であってよく、その場合、入力装置6はゲームコントローラである。
 携帯型の情報処理装置10bは無線通信機能を有し、アクセスポイント(以下、「AP」とよぶ)2と無線接続する。携帯型の情報処理装置10bは無線LAN方式による通信機能を有し、インフラストラクチャモードでAP2と無線接続する。情報処理装置10bはゲーム装置であってもよい。AP2は無線アクセスポイントおよびルータの機能を有し、情報処理装置10a、10bは、有線または無線でAP2に接続して、インターネットなどのネットワーク3上のサーバ5と通信可能に接続する。
 サーバ5は、情報処理システム1を利用するユーザのアカウントID(以下、「ユーザアカウント」とよぶ)を登録している。本実施例では、1人のユーザAが据置型の情報処理装置10aまたは携帯型の情報処理装置10bの少なくとも一方を保持しており、情報処理装置10a、10bは、ユーザAを特定するユーザアカウントでサーバ5と通信することができる。
 サーバ5は、ユーザAのアカウントを用いて接続する情報処理装置10aおよび/または情報処理装置10bから、コンテンツおよびアプリケーションに対するユーザAの行動(アクティビティ)情報を取得して記録する。サーバ5は記録した行動情報をもとに、ユーザAが何に関心を持っているかを解析し、この解析結果をもとに、サーバ5はユーザAからの要求に応じて、ユーザAの関心が高い情報要素をユーザAが視認しやすい(選択しやすい)位置に配列したメニュー画像データを生成し、生成したメニュー画像データを送信する。これによりユーザAは、自身の関心の高い情報要素に簡単にアクセスすることのできるメニュー画面をディスプレイに表示できるようになる。
 なお情報処理システム1において、複数のユーザがそれぞれ情報処理装置10aないし10bを用いてサーバ5にアクセスしているが、サーバ5は各ユーザのユーザアカウントに対応付けて、各ユーザの行動情報を記録し、各ユーザの関心の高い情報要素を抽出して、その情報要素をユーザが視認しやすい(選択しやすい)位置に配列したメニュー画像データを提供する。なお本実施例では、情報処理装置10aが据置型のゲーム装置であり、情報処理装置10bが携帯型のゲーム装置であるとしているが、他の情報処理装置、たとえばパーソナルコンピュータ、携帯電話機、スマートフォン、PDA(Personal Digital Assistant)などであってよく、本明細書では、これらの機器をまとめて情報処理装置10と呼ぶ。また情報処理システム1において情報処理装置10a、10bの2つの情報処理装置10が示されているが、各ユーザは1つの情報処理装置10を有していればよい。以下、携帯型の情報処理装置10bを、情報処理装置10の代表として説明する。
[前面部の構成]
 図2(a)は、情報処理装置10の前面を示す。情報処理装置10は、横長の筐体により形成され、ユーザが把持する左右の領域は、円弧状の外郭を有している。情報処理装置10の前面には、矩形のタッチパネル50が設けられる。タッチパネル50は、表示装置20と、表示装置20の表面を覆う透明な前面タッチパッド21から構成される。表示装置20は有機EL(Electro-Liminescence)パネルであり、画像を表示する。なお表示装置20は液晶パネルなどの表示手段であってもよい。前面タッチパッド21は、同時にタッチされた複数ポイントの検出機能をもつマルチタッチパッドであって、タッチパネル50はマルチタッチスクリーンとして構成される。
 タッチパネル50の右側には、菱形の頂点にそれぞれ位置する△ボタン22a、○ボタン22b、×ボタン22c、□ボタン22d(以下、総称する場合には「操作ボタン22」とよぶ)が設けられ、タッチパネル50の左側には、上キー23a、左キー23b、下キー23c、右キー23d(以下、総称する場合には「方向キー23」とよぶ)が設けられる。ユーザは方向キー23を操作して、上下左右および斜方の8方向を入力できる。方向キー23の下側には左スティック24aが設けられ、また操作ボタン22の下側には右スティック24bが設けられる。ユーザは左スティック24aまたは右スティック24b(以下、総称する場合には「アナログスティック24」とよぶ)を傾動して、方向および傾動量を入力する。筐体の左右頂部には、Lボタン26a、Rボタン26bが設けられる。操作ボタン22、方向キー23、アナログスティック24、Lボタン26a、Rボタン26bは、ユーザが操作する操作手段を構成する。
 操作ボタン22の近傍に、前面カメラ30が設けられる。左スティック24aの左側および右スティック24bの右側には、それぞれ音声を出力する左スピーカ25aおよび右スピーカ25b(以下、総称する場合には「スピーカ25」とよぶ)が設けられる。また左スティック24aの下側にHOMEボタン27が設けられ、右スティック24bの下側にSTARTボタン28およびSELECTボタン29が設けられる。
[背面部の構成]
 図2(b)は、情報処理装置10の背面を示す。情報処理装置10の背面には、背面カメラ31および背面タッチパッド32が設けられる。背面タッチパッド32は、前面タッチパッド21と同様に、マルチタッチパッドとして構成される。情報処理装置10は、前面および背面において、2つのカメラおよびタッチパッドを搭載している。
[上面部の構成]
 図3(a)は、情報処理装置10の上面を示す。既述したように、情報処理装置10の上面の左右端側に、Lボタン26a、Rボタン26bがそれぞれ設けられる。Lボタン26aの右側には電源ボタン33が設けられ、ユーザは、電源ボタン33を所定時間(たとえば2秒)以上押下することで、電源をオンまたはオフする。なお情報処理装置10は、操作手段が操作されない時間(無操作時間)が所定時間続くと、サスペンド状態に遷移する電力制御機能を有している。情報処理装置10がサスペンド状態に入ると、ユーザは電源ボタン33を短時間(たとえば2秒以内)押下することで、情報処理装置10をサスペンド状態からアウェイク状態に復帰させることができる。
 ゲームカードスロット34は、ゲームカードを差し込むための差込口であり、この図では、ゲームカードスロット34がスロットカバーにより覆われている状態が示される。なおゲームカードスロット34の近傍に、ゲームカードがアクセスされているときに点滅するLEDランプが設けられてもよい。アクセサリ端子35は、周辺機器(アクセサリ)を接続するための端子であり、この図ではアクセサリ端子35が端子カバーにより覆われている状態が示される。アクセサリ端子35とRボタン26bの間には、ボリュームを調整するための-ボタン36aと+ボタン36bが設けられている。
[下面部の構成]
 図3(b)は、情報処理装置10の下面を示す。メモリカードスロット37は、メモリカードを差し込むための差込口であり、この図では、メモリカードスロット37が、スロットカバーにより覆われている状態が示される。情報処理装置10の下面において、音声入出力端子38、マイク39およびマルチユース端子40が設けられる。マルチユース端子40はUSB(Universal Serial Bus)に対応し、USBケーブルを介して他の機器と接続できる。
[左側面部の構成]
 図3(c)は、情報処理装置10の左側面を示す。情報処理装置10の左側面には、SIMカードの差込口であるSIMカードスロット41が設けられる。
[情報処理装置の回路構成]
 図4は、情報処理装置10の回路構成を示す。各構成はバス92によって互いに接続されている。無線通信モジュール71はIEEE802.11b/g等の通信規格に準拠した無線LANモジュールによって構成され、AP2を介して、外部ネットワークに接続する。なお無線通信モジュール71は、ブルートゥース(登録商標)プロトコルの通信機能を有してもよい。携帯電話モジュール72は、ITU(International Telecommunication Union;国際電気通信連合)によって定められたIMT-2000(International Mobile Telecommunication 2000)規格に準拠した第3世代(3rd Generation)デジタル携帯電話方式に対応し、携帯電話網4に接続する。SIMカードスロット41には、携帯電話の電話番号を特定するための固有のID番号が記録されたSIMカード74が挿入される。SIMカード74がSIMカードスロット41に挿入されることで、携帯電話モジュール72は、携帯電話網4との間で通信可能となる。
 CPU(Central Processing Unit)60は、メインメモリ64にロードされたプログラムなどを実行する。GPU(Graphics Processing Unit)62は、画像処理に必要な計算を実行する。メインメモリ64は、RAM(Random Access Memory)などにより構成され、CPU60が使用するプログラムやデータなどを記憶する。ストレージ66は、NAND型フラッシュメモリ(NAND-type flash memory)などにより構成され、内蔵型の補助記憶装置として利用される。
 モーションセンサ67は、情報処理装置10の動きを検出し、地磁気センサ68は、3軸方向の地磁気を検出する。GPS制御部69は、GPS衛星からの信号を受信し、現在位置を算出する。前面カメラ30および背面カメラ31は、画像を撮像し、画像データを入力する。前面カメラ30および背面カメラ31は、CMOSイメージセンサ(Complementary Metal Oxide Semiconductor Image Sensor)によって構成される。
 表示装置20は、有機EL表示装置であり、陰極および陽極に電圧を印加することで発光する発光素子を有する。省電力モードでは、電極間に印加する電圧を通常よりも低くすることで、表示装置20を減光状態とすることができ、電力消費を抑えられる。なお表示装置20はバックライトを備えた液晶パネル表示装置であってもよい。省電力モードでは、バックライトの光量を下げることで、液晶パネル表示装置を減光状態として、電力消費を抑えることができる。
 インタフェース90において、操作部70は、情報処理装置10における各種操作手段を含み、具体的には、操作ボタン22、方向キー23、アナログスティック24、Lボタン26a、Rボタン26b、HOMEボタン27、STARTボタン28、SELECTボタン29、電源ボタン33、-ボタン36a、+ボタン36bを含む。前面タッチパッド21および背面タッチパッド32は、マルチタッチパッドであり、前面タッチパッド21は、表示装置20の表面に重ね合わせて配置される。スピーカ25は、情報処理装置10の各機能により生成される音声を出力し、マイク39は、情報処理装置10の周辺の音声を入力する。音声入出力端子38は、外部のマイクからステレオ音声を入力し、外部のヘッドホンなどへステレオ音声を出力する。
 ゲームカードスロット34には、ゲームファイルを記録したゲームカード76が差し込まれる。ゲームカード76は、データの書込可能な記録領域を有しており、ゲームカードスロット34に装着されると、メディアドライブにより、データの書込/読出が行われる。メモリカードスロット37には、メモリカード78が差し込まれる。メモリカード78は、メモリカードスロット37に装着されると、外付け型の補助記憶装置として利用される。マルチユース端子40は、USB端子として利用でき、USBケーブル80を接続されて、他のUSB機器とデータの送受信を行う。アクセサリ端子35には、周辺機器が接続される。
<情報処理装置10の画像処理機能の一例>
 情報処理システム1において情報処理装置10は、表示画像の拡大縮小、スクロールなどの画像処理をスムーズに実行する機能を有する。情報処理装置10は画像処理用のプログラムをロードすることで画像処理機能を実現してもよい。情報処理装置10は、ユーザから操作部70に入力される操作情報に応じて、表示装置20に表示する表示画像の拡大/縮小処理や、上下左右方向への移動処理など、表示画像を変更する処理を行う。
 サーバ5はユーザの行動情報を利用して、ユーザごとにカスタマイズしたメニュー画面を構成するための画像データを生成する。この例ではサーバ5は、情報処理装置10における表示画像の拡大/縮小を高精細に行わせるために、複数の解像度のタイル画像で表現する階層化された画像データを生成する。サーバ5は情報処理装置10からの要求に応じて、情報処理装置10における表示画像の生成に必要なタイル画像を情報処理装置10に提供する。
 情報処理装置10はネットワーク3に接続し、操作部70に入力される操作情報に応じて、サーバ5から表示画像の生成に必要なタイル画像を適宜ダウンロードして取得する。なお情報処理装置10は、サーバ5から階層化された圧縮画像データの全体をダウンロードして取得してもよい。
 本実施例の情報処理装置10は、ユーザからの指示に応じて、表示画像の拡大/縮小処理や、上下左右方向への移動処理を行う。本実施例において表示画像は、アプリケーションやコンテンツなどへのユーザのアクセスを可能とするために、アプリケーションやコンテンツに関連する「情報要素」を効率的に配列したメニュー画像である。「情報要素」はアプリケーション、コンテンツや、そのメタ情報などを特定する要素であり、メニュー画面においては、情報要素の内容を示す情報(ラベル)が表示される。本実施例においてはメニュー画面に表示される表示物も「情報要素」とよぶ。具体的に、表示物である情報要素は、たとえばアプリケーションやコンテンツの名前や、アプリケーションまたはコンテンツに関連するメタ情報をテキストで表現したり、またアイコンなどの画像で表現するものである。メニュー画面においては、ユーザが視認しやすい位置に、ユーザの関心が高い情報要素が配置される。
 情報処理装置10において、操作部70に、表示画像の拡大/縮小指示、および上下左右方向へのスクロール指示を入力するための機能が割り当てられる。たとえば、表示画像の拡大/縮小指示の入力機能は、右側のアナログスティック24bに割り当てられる。ユーザはアナログスティック24bを手前に引くことで、表示画像の縮小指示を入力でき、また手前から押すことで、表示画像の拡大指示を入力できる。表示画像のスクロール指示の入力機能は、左側のアナログスティック24aに割り当てられる。ユーザはアナログスティック24aを前後左右に倒すことで、表示画像のスクロール指示を入力できる。本実施例において、表示画像の拡大指示や縮小指示、スクロール指示を、まとめて画像変更指示とよぶ。
 図5は、メニュー画像の生成に使用する画像データの階層構造の一例を示す。この画像データはサーバ5においてユーザの行動情報にしたがってユーザごとに生成され、サーバ5は、情報処理装置10に対して、表示画像の生成に必要なタイル画像を適宜提供する。なおサーバ5は、情報処理装置10に対して画像データの階層構造を示す構造データを通知し、情報処理装置10は、このデータを用いて、操作部70の操作情報から、フレーム画像(表示画像)を特定する空間座標を導出してもよい。
 画像データは、深さ(Z軸)方向に、第0階層130、第1階層132、第2階層134および第3階層136を含む階層構造を有し、以下、この階層構造をもつ画像データを「階層データ」とよぶ。なお第4階層以上の高階層があってもよく、また階層数は3つ以下であってもよいが、少なくとも2つの階層が存在している。図5に示す階層データ128は4分木の階層構造を有し、各階層は、1以上のタイル画像138で構成される。すべてのタイル画像138は同じ画素数をもつ同一サイズに形成され、たとえば256×256画素を有する。各階層の画像データは、各階層における全体画像を異なる解像度で表現している。第N階層の解像度(Nは0以上の整数)は、左右(X軸)方向、上下(Y軸)方向ともに、第(N+1)階層の解像度の1/2であってよい。
 各階層が表現する全体画像は、異なる画像であってよい。たとえば第0階層130の画像データが表現する全体画像と、第1階層132~第3階層136の画像データが表現する全体画像は、異なる構図をもつ画像であってよい。なお本実施例では、第1階層132~第3階層136の全体画像が、ユーザの行動記録に応じて複数の情報要素を配置したレイアウトを有するメニュー画像であり、一方で、第0階層130の全体画像は、全てのユーザに共通のメニュー画像である。
 図5に示す階層データ構造において、深さ(Z軸)方向における位置は解像度を示し、第0階層130に近い位置ほど解像度が低く、第3階層136に近い位置ほど解像度は高い。ディスプレイに表示される画像の大きさに注目すると、深さ方向における位置は、縮尺率に対応し、第3階層136の表示画像を基準として、その縮尺率を1とすると、第2階層134における縮尺率は1/4、第1階層132における縮尺率は1/16となり、第0階層130における縮尺率は1/64となる。したがって深さ方向において、表示画像が第0階層130側から第3階層136側へ向かう方向に変化する場合、表示画像は拡大していき、第3階層36側から第0階層30側へ向かう方向に変化する場合は、表示画像は縮小していく。
 階層データ128の階層構造は、図5に示すように、左右方向をX軸、上下方向をY軸、深さ方向をZ軸として設定され、仮想的な3次元空間を構築する。この階層構造において、X軸およびY軸は、原点を等しくする共通の座標系を定義する。情報処理装置10は、操作部70から供給される画像変更指示から表示画像の変更量を導出し、導出した変更量を用いて、階層を特定する情報と、その階層におけるテクスチャ座標(UV座標)を導出する。この階層特定情報およびテクスチャ座標の組み合わせを、空間座標と呼ぶ。仮想空間における空間座標は、使用するタイル画像の特定処理、および表示画像の生成処理に利用される。なお情報処理装置10は、表示画像の変更量を用いて仮想空間におけるフレーム画像の4隅の座標を導出してもよい。この4隅のフレーム座標も、空間座標と呼ぶ。また情報処理装置10は、空間座標として、仮想空間におけるフレーム画像の中心座標(X,Y)と縮尺率SCALEを導出してもよい。情報処理装置10は、操作部70から供給される画像変更指示信号から、適切な階層のタイル画像138の使用領域を特定できればよく、いずれの手法を採用してもよい。
 情報処理装置10がサーバ5から表示画像の生成に必要なタイル画像を適宜ダウンロードして取得する場合、情報処理装置10は、導出した空間座標をサーバ5に送信し、サーバ5は、空間座標より特定されるタイル画像を情報処理装置10に提供する。なおサーバ5は、たとえば将来的に必要となるであろうタイル画像を予測により特定し、前もって情報処理装置10に提供してもよい。なおこの予測は、情報処理装置10が行って、そのタイル画像をサーバ5に要求してもよい。情報処理装置10が、階層データ128の全てをサーバ5からダウンロードしている場合には、情報処理装置10が、導出した空間座標から、タイル画像138の使用領域を特定すればよい。
 図6は、縮尺率の関係を説明するための説明図である。この階層データ構造において、各階層はL0(第0階層130)、L1(第1階層132)、L2(第2階層134)、L3(第3階層136)と表現されている。図6に示す階層データ構造において、深さ(Z軸)方向における位置は、解像度を示し、L0に近い位置ほど解像度が低く、L3に近い位置ほど解像度は高い。ディスプレイに表示される画像の大きさに注目すると、深さ方向における位置は、縮尺率に対応し、L3の表示画像の縮尺率を1とすると、L2における縮尺率は1/4、L1における縮尺率は1/16となり、L0における縮尺率は1/64となる。
 第1境界131、第2境界133、第3境界135の縮尺率は、L3を基準として定義され、表示画像の生成に使用するタイル画像の階層を定めるための判定基準として利用される。第1境界131の縮尺率は1/32に設定され、表示画像の要求縮尺率が1/32より小さければ、表示画像の生成にL0タイル画像が使用される。第2境界133の縮尺率は1/8に設定され、表示画像の要求縮尺率が1/32以上であり且つ1/8より小さければ、表示画像の生成にL1タイル画像が使用される。同様に第3境界135の縮尺率は1/2に設定され、表示画像の要求縮尺率が1/8以上であり且つ1/2より小さければ、L2タイル画像が使用される。また表示画像の要求縮尺率が1/2以上であれば、L3タイル画像が使用される。したがって情報処理装置10は、これから表示する画像の要求縮尺率が定まれば、その縮尺率に対応する解像度のタイル画像をサーバ5から取得して、その縮尺率に調整した表示画像を生成することができる。なお、縮尺率は、図5に示す仮想3次元空間において、深さ方向のZ座標で表現されてもよく、この場合のZ座標は、情報処理装置10において、縮尺率に関連する情報として扱うことができる。なお、同様に、縮尺率は、仮想3次元空間において、解像度で表現されてもよく、この場合の解像度も、情報処理装置10において、縮尺率に関連する情報として扱うことができる。
 図7は、階層データにおける座標系を説明するための説明図である。各階層の画像データは、X軸およびY軸の原点を等しくした共通の座標系で表現される。XY平面上の一点(x,y)に注目すると、階層データの仮想3次元空間において、空間座標は、(x,y,SCALE)で表現される。具体的に、第0階層130上の点Aの座標は(x,y,1/64)、第1階層132上の点Bの座標は(x,y,1/16)、第2階層134上の点Cの座標は(x,y,1/4)、第3階層136の点Dの座標は(x,y,1)で、それぞれ表現される。情報処理装置10は、この座標系において、操作部70から供給される画像変更指示に応じた空間座標を導出し、導出した空間座標をサーバ5に送信する。なお、このような階層データを用いた画像処理は、表示画像の拡大/縮小に優れた利点を発揮するが、本実施例では他の画像処理手法が採用されてもよい。
<ユーザ関心度を算出する仕組み>
 本実施例では、ユーザの関心度の高い情報要素を、ユーザが視認しやすい又は選択しやすい領域に配置したメニュー画面を生成する。そこで以下では、メニュー画面を生成する前提として、ユーザの関心度を算出する仕組みについて説明する。
 情報処理システム1において、サーバ5が、情報処理装置10から提供されるユーザ行動情報をもとに、アプリケーションやコンテンツ、またはそれらのメタ情報などを表現する情報要素に対する関心度を算出する。ユーザ関心度は、ポイントの累積値として算出されてもよく、また累積値として算出する場合に、一定期間内のユーザ行動情報によるポイントが累積されるようにしてもよい。たとえば、この期間は6ヶ月程度の長さであってよい。
 情報要素は、アプリケーションやコンテンツそのものを特定する情報に限らず、コンテンツの作者や演奏者などのコンテンツメタ情報も含め、様々な観点からサーバ5において設定される。情報処理装置10は、様々なアプリケーションやコンテンツを有しており、ユーザが、関心の高いアプリケーションやコンテンツに容易にたどり着くことのできるユーザインタフェースを提供できることが好ましい。たとえば情報処理装置10において、ユーザAが「楽曲XYZ」を高頻度で再生している場合、「楽曲XYZ」への関心が高いことはもちろんのこと、「楽曲XYZ」を演奏するミュージシャン(ここでは「ロックバンドABC」とする)への関心が高いことも予測される。また、このとき情報処理装置10において複数の音楽プレイヤ(アプリケーション)が存在しているときに、ユーザAがいつも「音楽プレイヤAA」で音楽を再生していれば、ユーザAが「音楽プレイヤAA」を気に入っていることも予測される。
 このようにユーザAが楽曲XYZを再生すると、このユーザ行動をサーバ5は、様々な情報要素に対して加点することで、1つのユーザ行動を、多様な関心度に反映させることができる。このような理由からサーバ5は、コンテンツそのものである「楽曲XYZ」だけでなく、「音楽プレイヤAA」、「ロックバンドABC」などのコンテンツメタ情報も、情報要素として定義する。
 したがって、ユーザAがロックバンドABCの楽曲XYZを音楽プレイヤAAで再生すると、このユーザAの行動は、それぞれが情報要素である「ロックバンドABC」、「楽曲XYZ」、「音楽プレイヤ」のポイントを増やすことになる。サーバ5はコンテンツについて、そのメタ情報を管理しており、したがって情報処理装置10から楽曲XYZを音楽プレイヤAAで再生したことが通知されると、サーバ5は、通知された情報要素のポイントだけでなく、メタ情報に含まれる情報要素(ここでは、「ロックバンドABC」)のポイントもアップさせる。なおサーバ5は、情報要素となり得るメタ情報だけを、コンテンツに対して管理するようにしてもよい。
 図8は、情報処理システム1における関心度算出を行うための機能ブロックを示す。情報処理装置10は操作情報取得部202、ユーザ行動情報生成部204および送信部206を備え、サーバ5はユーザ行動情報取得部302、関心度導出部304、ユーザ行動情報記録部310、コンテンツ情報保持部312および関心度記録部314を備える。
 図8において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、CPU(Central Processing Unit)、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
 情報処理装置10において、操作情報取得部202は、操作部70からユーザの操作情報を取得する。ユーザ行動情報生成部204は、操作情報取得部202が取得した操作情報をもとに、ユーザ行動を示す情報を生成する。以下、ユーザAが表示装置20にて新聞記事を表示し、閲覧している場合のユーザ行動情報の生成手法を示す。
 図9は、表示装置20に表示される新聞記事の一例を示す。ユーザはアナログスティック24aを操作して、新聞記事をスクロールする。サーバ5はコンテンツサーバとしても機能し、情報処理装置10に対して新聞記事の画像データを配信する。なお情報処理システム1において、コンテンツサーバはサーバ5とは別に設けられてもよいが、以下では、サーバ5がコンテンツサーバとして機能するものとして説明する。
 ユーザ行動情報生成部204は、サーバ5から新聞記事の識別情報を取得し、また操作情報取得部202で取得される操作情報を監視する。スクロール指示(画像変更指示)が入力されている間、ユーザ行動情報生成部204は、ユーザAが記事を閲覧していないことを判定し、最後のスクロール指示から所定時間(たとえば10秒)が経過すると、ユーザ行動情報生成部204はユーザAが記事を閲覧していると判定する。このときユーザ行動情報生成部204は、表示装置20において最も画面占有率(表示装置20の面積に対する表示記事の面積の割合)の高い記事がどれであるか特定し、図9に示す例では、記事Aの画面占有率が最も高いことを特定する。これによりユーザ行動情報生成部204は、ユーザAが記事Aを閲覧していることを判定し、記事Aを特定する情報(コンテンツID)と、表示アプリケーションを特定する情報を含むユーザ行動情報を生成する。なおサーバ5から配信される新聞記事データには記事のレイアウト情報が含まれており、ユーザ行動情報生成部204は、レイアウト情報をもとに表示装置20における記事の表示領域を把握することができ、この表示領域から各記事の画面占有率を求めることができる。
 図10は、表示装置20に表示される新聞記事の別の例を示す。ユーザ行動情報生成部204は、サーバ5から新聞記事の識別情報を取得し、また操作情報取得部202で取得される操作情報を監視する。ユーザ行動情報生成部204は、操作情報取得部202が画像変更指示を最後に取得したときから所定時間が経過すると、ユーザAが表示装置20に表示されている記事を閲覧していると判定する。このときユーザ行動情報生成部204は、記事の所定の割合(たとえば50%)以上が表示されていると、その記事をユーザAが閲覧していると判定する。ユーザ行動情報生成部204は記事のレイアウト情報をもとに各記事の表示領域(表示割合)を特定する。図10に示す例ではユーザ行動情報生成部204は、記事Eと記事Fが閲覧されていると判定し、記事E、Fを特定する情報と、表示アプリケーションを特定する情報を含むユーザ行動情報を生成する。
 図11は、表示装置20を複数の領域に分割した例を示す。ここでは表示装置20を3×3の9つの領域に分割している。ユーザ行動情報生成部204は、各表示記事の重心位置が含まれる領域を特定する情報と、各表示記事を特定する情報と、表示アプリケーションを特定する情報を含むユーザ行動情報を生成する。なお表示記事の重心位置が中央の領域にある記事ほど、ユーザAの関心度は高いと考えられるため、サーバ5はユーザ行動情報を受け取ると、中央領域に重心位置が存在する記事の情報に対して付加するポイントを、端領域に重心位置が存在する記事の情報に対して付加するポイントよりも高く設定するようにしてもよい。
 なお以上は、表示装置20にコンテンツが表示されたときのユーザ行動情報の生成処理である。オーディオコンテンツの場合は、ユーザ行動情報生成部204が、スピーカ25から音声を出力する音楽プレイヤ(アプリケーション)を特定する情報と、そのコンテンツを特定する情報(コンテンツID)を含むユーザ行動情報を生成する。なおユーザ行動情報を生成する条件として、オーディオコンテンツが所定時間以上再生される必要がある。またゲームアプリケーションの場合は、ユーザ行動情報生成部204が、ゲームを特定する情報(コンテンツID)を含むユーザ行動情報を生成する。なおユーザ行動情報を生成する条件として、ゲームが所定時間以上プレイされる必要がある。このようにユーザ行動情報生成部204は、アプリケーションやコンテンツの種類に応じて、必要な情報を含めたユーザ行動情報を生成する。
 送信部206は、ユーザ行動情報生成部204が生成したユーザ行動情報を、ユーザAのユーザアカウントとともにサーバ5に送信する。なお送信部206は、ユーザ行動情報生成部204がユーザ行動情報を生成するたびにサーバ5に送信してもよく、また所定時間ごとに送信してもよい。また本実施例において、ユーザ行動情報は、ユーザカスタマイズされたメニュー画面を生成するために用いられるため、情報処理装置10が、メニュー画面の表示要求をサーバ5に送信する際に、最新のユーザ行動情報をあわせてサーバ5に送信するようにしてもよい。
 サーバ5においてユーザ行動情報取得部302が、情報処理装置10からユーザアカウントおよびユーザ行動情報を取得すると、ユーザアカウントに関連付けてユーザ行動情報をユーザ行動情報記録部310に記録する。上記したようにユーザがアプリケーションを起動して、コンテンツを実行した場合、ユーザ行動情報には、アプリケーションを特定する情報(アプリケーションID)と、コンテンツIDとが少なくとも含まれている。
 コンテンツ情報保持部312は、コンテンツを特定する情報に対応付けて、いわゆるメタ情報を保持している。
 図12は、コンテンツ情報保持部312におけるコンテンツ情報の一例を示す。コンテンツ情報はテーブル形式で保持されており、図12には音楽コンテンツのコンテンツ情報が示されている。「コンテンツID」は、音楽コンテンツを特定する情報(楽曲XYZ)であり、「アーティスト」は、楽曲のアーティストを特定する情報(ロックバンドABC)であり、「アルバム名」は、楽曲XYZを含むアルバムを特定する情報(DEF)であり、「ジャンル」は、楽曲XYZのジャンルを特定する情報(ロック)である。アーティスト、アルバム名、ジャンルは、それぞれメタ情報であり、それぞれ情報要素である。情報要素は、メニュー画面における表示対象となり、最も単純には、メニュー画面において、「楽曲XYZ」、「ロックバンドABC」、「DEF」、「ロック」が、ユーザから選択可能にテキスト表示されることになる。なお「アプリケーション」の項目は、コンテンツ情報ではないが、後述するポイント算出の際に利用される。
 各項目に対して設定されているポイントは、コンテンツ(楽曲XYZ)が再生されたときに、各項目として示される情報要素に対して付与されるポイントである。つまり「楽曲XYZ」が再生されると、「楽曲XYZ」に3ポイント、「ロックバンドABC」に2ポイント、「DEF」に2ポイント、「ロック」に0.1ポイント、「音楽プレイヤAA」に0.01ポイントが付加される。このポイント算出処理は、関心度導出部304により実行される。
 関心度導出部304は、ユーザ行動情報を用いて、コンテンツ情報保持部312に保持されているテーブルを参照して、情報要素のポイントを導出する。関心度記録部314は、ユーザごとに、各情報要素の関心度(ポイント)を記録しており、関心度導出部304は、ユーザ行動情報を用いて、関心度記録部314の関心度を更新する。楽曲XYZがユーザAにより再生された場合には、関心度導出部304は、「楽曲XYZ」のポイント累積値に3ポイントを追加し、「ロックバンドABC」のポイント累積値に2ポイントを追加し、「DEF」のポイント累積値に2ポイントを追加し、「ロック」のポイント累積値に0.1ポイントを追加し、「音楽プレイヤAA」のポイント累積値に0.01ポイントを追加する。
 このように関心度導出部304はユーザアカウントに関連付けて、ユーザ行動情報を用いて、情報要素の関心度を導出して、関心度記録部314に記録する。関心度導出部304は、以上のポイント算出処理を、ユーザ行動情報取得部302がユーザの行動情報を取得するたびに実行してもよく、また情報処理装置10からメニュー画面の表示要求を受け取った際に実行してもよい。これによりサーバ5は、ユーザごとに、複数の情報要素に対する関心度(ポイント)を算出することができ、複数の情報要素を、ポイントの高い順から選択することが可能となる。
 なお図11に関して説明したように、関心度導出部304は、たとえば表示領域に応じて付加するポイントを異ならせてもよく、そのような表示状況もあわせて、付加するポイントを決定してもよい。
<メニュー画像データを生成する仕組み>
 以上のようにサーバ5はユーザの情報要素に対する関心度を導出し、関心度記録部314に記録する。以下、導出した関心度を利用して、サーバ5がメニュー画像データを生成し、情報処理装置10がメニュー画面を表示する仕組みについて説明する。
 図13は、情報処理システム1においてメニュー画面を表示するための機能ブロックを示す。情報処理装置10は、送信部206、入力受付部210、画像処理部220および状況取得部230を備え、サーバ5は、表示要求取得部318、順位付部320、画像データ生成部322、画像データ送信部324および関心度記録部314を備える。入力受付部210は操作部70から操作情報を受け付ける機能を有し、要求取得部212および変更指示受付部214を備える。画像処理部220は表示画像の表示処理、具体的には表示画像の拡大/縮小、スクロールなどの画像変更処理を実行する機能を有し、画像データ取得部222、デコード部224、変更量導出部226および表示画像生成部228を備える。
 図13において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、CPU(Central Processing Unit)、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
 情報処理装置10において、要求取得部212がメニュー画面の表示要求を取得する。この表示要求は、ユーザが操作部70を操作することで生成されてもよく、また情報処理装置10のメイン電源がオンにされたときに自動で生成されてもよい。送信部206は、メニュー画面の表示要求をサーバ5に送信する。サーバ5において表示要求取得部318が、情報処理装置10からメニュー画面の表示要求を取得する。
 本実施例では、情報処理装置10は、画像データ生成部322が生成する階層データ128を用いてメニュー画面を表示する。階層データ128は、図5に示すように複数の階層を有しており、情報処理装置10において表示画像の拡大/縮小指示の入力機能は、右側のアナログスティック24bに割り当てられる。ユーザはアナログスティック24bを手前に引くことで、表示画像の縮小指示を入力でき、また手前から押すことで、表示画像の拡大指示を入力できる。
 本実施例では、スムーズな拡大/縮小処理を行うユーザインタフェースを実現することを目的として、階層データ128において、第0階層130は、第1階層132~第3階層136とは異なるメニュー画像を表現する。ユーザが表示画像をズームアウト(縮小)していくと、表示されているテキストなどの情報が小さくなっていき、ある程度の縮尺率よりも小さくなると、豆粒ほどになって読めなくなってしまう。表示画像をある程度の縮尺率よりも縮小するための指示が入力された場合であっても、ユーザに有意な情報を提供できるようにするために、階層データ128は、複数の異なるメニュー画像を含んで構成されることが好ましい。
 図14は、画像データ生成部322が生成するメニュー画像データの一例を示す。メニュー全体画像150は、無限平面であり、複数の表示物である情報要素160が配列されている。なお図14において、全ての情報要素160が同じ形状および大きさで表現されているが、各情報要素160の形状および大きさは異なっていてよい。メニュー全体画像150を生成する際、画像データ生成部322は、ユーザAに関してポイントが累積されている情報要素160の全てを配列してよいが、たとえば所定数以下のポイントしか付与されていない情報要素160はユーザの関心が低いため、メニュー全体画像150に含めなくてもよい。また一方で、ポイントが付加されていなくても、サーバ5が推奨する情報要素160がメニュー全体画像150に含まれるようにされてもよい。
 このメニュー全体画像150は、階層データ128において、第1階層132、第2階層134、第3階層136の全体画像を構成する。第0階層130の全体画像については後述するが、ズームアウトしたときにメニュー画面の全体が俯瞰できるような全体画像となる。
 情報処理装置10においては、メニュー全体画像150の一部がメニュー画面として表示装置20に表示される。ユーザは、右側のアナログスティック24bを操作してメニュー画面を拡大/縮小し、また左側のアナログスティック24aを操作してメニュー画面をスクロールして、所望の情報要素160を探索する。
 図15は、メニュー全体画像150における仮想的なフレーム枠170を示す。フレーム枠170は、所定の解像度でメニュー画像が表示されているときの表示装置20のフレームを仮想的に示し、したがってメニュー全体画像150から切り取られて表示装置20にて表示される領域を示すものである。図15においてフレーム枠170は、表示装置20において最初に表示されるメニュー画面(初期メニュー画面)の領域を表現しており、つまり情報処理装置10は、サーバ5から最初に画像データを受け取ると、まず初期メニュー画面として、図15に示すフレーム枠170で囲まれる画像を表示装置20に表示する。
 本実施例のメニュー画面は、アナログスティック24aの操作によって、自由にスクロールすることができる。したがって、初期メニュー画面をメニュー全体画像150の中央領域に設定しておけば、端部領域に設定した場合と比較して、ユーザは、アナログスティック24aを上下左右の情報要素160を探しやすい。そのため、本実施例では、配列された複数の情報要素160のうち、メニュー全体画像150の中心に位置する情報要素160aを含んだ領域を、初期メニュー画面の中心に含ませるようにしている。これによりユーザは、情報要素160aを中心に、周辺の情報要素160を容易に探索でき、操作性の優れたユーザインタフェースを実現できる。
 なおメニュー画面と仮想的なフレーム枠170の関係を説明すると、メニュー画面がスクロールされることは、フレーム枠170が、そのサイズを変えずに、スクロール方向に移動されることに相当し、フレーム枠170の枠内にある情報要素がメニュー画面に表示されることになる。またメニュー画面が拡大されると、フレーム枠170のサイズは小さくなり、したがって情報要素が拡大されて表示され、メニュー画面が縮小されると、フレーム枠170のサイズは大きくなり、したがって情報要素が縮小されて表示される。
 図13に戻って、表示要求取得部318が表示要求を取得すると、順位付部320が、そのユーザAの情報要素に対する関心度を関心度記録部314から読み出す。順位付部320は、複数の情報要素を、それぞれの情報要素に対して導出されるユーザ関心度に応じて順位付けし、具体的には複数の情報要素のそれぞれの関心度(ポイント)を比較して、各情報要素の順位を決定する。ここでは、最も高いポイントの情報要素を1位として、降順に順位を決定する。順位付部320は、情報要素と決定した順位の複数の組合せを、画像データ生成部322に通知する。画像データ生成部322は、ユーザAに関して、複数の情報要素を、所定位置を基準としてそれぞれの順位にしたがって配置したメニュー画像データを生成する。一例として画像データ生成部322は、図14または図15に示すメニュー画像データを生成する。
 図16は、情報要素の配置例を示す。画像データ生成部322は、メニュー全体画像150における所定位置を基準として、ポイントの高い順に情報要素160を配列する。図16において、枠内に示される数字は、関心度の順位を示し、枠内に示される数字「N」は、ユーザAについて、N番目にポイントの高い情報要素160であることを示す。
 ここでは画像データ生成部322が、初期メニュー画面の中央領域ないしは略中央領域に、最もポイントの高い情報要素160aを配置し、その左隣に2番目にポイントの高い情報要素160bを配置し、情報要素160bの上隣に3番目にポイントの高い情報要素160cを配置し、以下、情報要素160aを中心に、右回りとなるように、ポイントの高い順に情報要素160を配置している。画像データ生成部322は、このように、初期メニュー画面の所定位置(中央領域)を基準として、右回りに、ポイントの高い順に情報要素160を配置する。この基準となる所定位置にはユーザAの関心度が最も高い情報要素160aが配置され、したがって所定位置は、ユーザAにとって視認しやすい位置に設定される。
 以上により初期メニュー画面には、ユーザAの関心の高い情報要素160を集中して配列することが可能となるとともに、初期メニュー画面の中央領域周辺に、相対的に関心の高い情報要素160を集めることができる。このように画像データ生成部322は、中央位置および中央位置に近い位置にユーザの関心が相対的に高い情報要素160を、中央位置からより離れた位置にユーザの関心が相対的に低い情報要素160を2次元的に配置した画像データを生成する。なお図16の例では、情報要素160aを中心に、ポイントの高い順に右回りに情報要素160が配列されているが、左回りであってもよく、また別の方式で配列されてもよい。また、このような画像データは2次元的な配列だけでなく、3次元的な配列構造をとってもよい。
 なお情報要素をカテゴリで分ける場合には、カテゴリ毎に中央位置からの方向を決めておいてもよい。たとえば、情報要素を4つのカテゴリで分類できる場合には、中央位置を中心として、第1象限に第1カテゴリの情報要素、第2象限に第2カテゴリの情報要素、第3象限に第3カテゴリの情報要素、第4象限に第4カテゴリの情報要素を配置し、中心に近いほど関心度が高く、遠いほど関心度が低くなるように情報要素を配置してもよい。
 図17は、メニュー全体画像における初期メニュー画面の仮想的なフレーム枠170を示す。この例では初期メニュー画面において、ユーザAの関心度がトップ9の情報要素160が表示されている。なおユーザがメニュー画面を上下左右にスクロールした場合であっても、メニュー全体画像150は、中央領域およびその近傍に、関心度の高い情報要素160が配列されたレイアウトを有しているため、ユーザAは、小さいスクロール量で関心の高い情報要素160を見つけることができる。なおメニュー全体画像150においては、スクロール量が大きくなるほど、表示される情報要素160の関心度は徐々に低くなっていく。
 画像データ生成部322は、メニュー全体画像を生成すると、生成したメニュー全体画像を複数段階に縮小して異なる解像度の画像を生成し、各階層の画像を一又は複数のタイル画像に分割して、メニュー全体画像を階層構造で表現する。ここでは画像データ生成部322が、メニュー全体画像を生成すると、それを第3階層136の画像データとし、メニュー全体画像を縮小することで、第2階層134、第1階層132の画像データを生成する。このように生成した画像データは、画像データ送信部324により、情報処理装置10に送信される。
 図18は、初期メニュー画面の一例を示す。ここでは、関心度トップ9の情報要素160が表示されている。表示物である情報要素160は、たとえばレクタングルの形式で表示され、情報要素160の内容を示すラベルおよび情報要素160に関連する情報要素が表示されるようにしてもよい。たとえば情報要素160aにおいては、ラベル「ロックバンドABC」と、枠を構成するレクタングルの内部において、「ロックバンドABC」に関してユーザ関心度の高い情報要素である「楽曲XYZ」、「楽曲GHI」が表示される。なお図示される情報要素160のうち、レクタングルの内部がブランクのものがあるが、その情報要素160に関してユーザ関心度の高い別の情報要素が記述されることが好ましい。
 このように初期メニュー画面において、ユーザの関心度の高い情報要素160を配列することによって、ユーザAは、関心度の高いアプリケーションないしはコンテンツを容易に実行できるようになる。また関心度の高いアプリケーションないしはコンテンツの情報要素160が初期メニュー画面の中央領域に付近に配列されているため、初期メニュー画面に所望の情報要素160が含まれていなくても、メニュー画面を縮小して初期メニュー画面には含まれていなかった情報要素160を新たに表示させることで、所望の情報要素160を容易に発見できるようになる。
 図13に戻って、情報処理装置10において、画像データ取得部222が、サーバ5から画像データを取得する。情報処理装置10が、図18に示す初期メニュー画面をいち早く表示できるように、サーバ5において、画像データ生成部322は、階層データを生成する前に、初期メニュー画面のみを生成するための画像データを生成して、画像データ送信部324が、その画像データを最初に情報処理装置10に送信してもよい。これにより表示画像生成部228は、初期メニュー画像を生成して、表示装置20に初期メニュー画面をすぐに表示できるようになる。サーバ5において、画像データ送信部324が初期メニュー画像を生成するための画像データを送信した後、第1階層132~第3階層136で構成される階層データを送信してもよい。
 画像データ取得部222が画像データを取得すると、デコード部224がデコードしてメインメモリ64に展開し、表示画像生成部228が、初期メニュー画像を生成して、表示装置20に初期メニュー画面を表示する。ユーザが操作部70のアナログスティック24を操作すると、変更指示受付部214がその操作情報を画像変更指示として受け付ける。
 変更量導出部226は、変更指示信号をもとに、表示要求される表示画像の変更量を導出する。表示画像の変更量は、階層データの仮想3次元空間において、1フレームごとの表示画像の上下左右方向の移動量および深さ方向の移動量である。表示画像生成部228は、前回フレームの空間座標から、導出された変更量により移動する今回フレームの空間座標(位置情報)を決定する。ここで空間座標は、フレーム画像の中心座標(X,Y)と縮尺率SCALEで特定される位置情報(X,Y,SCALE)である。変更量導出部226は、変更指示信号をもとに変更量(ΔX,ΔY,ΔSCALE)を導出し、表示画像生成部228は、前回フレームの位置情報(Xprev,Yprev,SCALEprev)に変更量(ΔX,ΔY,ΔSCALE)を加えて、今回フレームの位置情報(X,Y,SCALE)を決定する。このように、表示画像生成部228は、表示する画像の縮尺率SCALEを特定するが、既述したように、解像度など、縮尺率に関連する情報を特定してもよい。
 送信部206は、表示画像生成部228で決定された空間座標を、サーバ5に送信する。サーバ5は、空間座標を受け取ると、情報処理装置10にて表示画像を生成するためにタイル画像を変更する必要があるか判定し、タイル画像を変更する必要がある場合には、そのタイル画像を情報処理装置10に提供する。画像データ取得部222はタイル画像を取得すると、メインメモリ64に保持させる。デコード部224は、メインメモリ64から表示画像の生成に用いるタイル画像を読み出してデコードし、バッファメモリ(図示せず)に保持させる。表示画像生成部228は、位置情報にもとづいて、バッファメモリに保持されたタイル画像を用いて表示画像(フレーム画像)を生成し、フレームメモリ(図示せず)に供給する。
 以上のように表示画像生成部228が表示画像を生成することで、情報処理装置10は、表示画像の拡大、縮小処理、またスクロール処理を高速に実行し、スムーズな画像の変化をユーザに提供できる。
 図18に示すメニュー画面において、情報要素の拡大表示は、その情報要素160の選択操作に相当する。選択操作は、情報要素の画面占有率(表示装置20の面積に対する情報要素の面積の割合)が所定値(たとえば60%)を超えたときに実行される。なお選択操作後の情報要素の振る舞いは、情報要素に応じて定められており、たとえば情報要素160bに含まれるサムネイル162が選択操作されると、サムネイル162に対応する写真画像が表示装置20に表示される。このときサムネイル162も情報要素であり、コンテンツ(この場合は写真画像)に対応する情報要素が選択操作されると、対応するアプリケーション(この場合はビューワ)が、コンテンツを処理する。なお情報処理装置10において、メニュー画面が表示された状態では、アプリケーションは既に起動した状態にあり、コンテンツが選択操作されると、アプリケーションがすぐにコンテンツを処理できることが好ましい。
 一方で、情報要素160の拡大表示によって、コンテンツが選択操作されない場合、情報処理装置10は、その情報要素160のコンテンツ選択画面をさらにユーザに提供する。たとえばユーザが初期メニュー画面をスクロールして、情報要素160cを画面中央領域に移動し、情報要素160の画面占有率が60%を超えるように拡大表示すると、画像データ取得部222が、情報要素160cに関連付けられている画像データの表示要求を生成して、送信部206がサーバ5に送信する。サーバ5において、表示要求取得部318が表示要求を取得すると、順位付部320が、情報要素160c(音楽プレイヤAA)に関連する情報要素の関心度を関心度記録部314から読み出す。
 なお音楽プレイヤAAに関連する情報要素とは、関心度導出部304が、音楽プレイヤAAのポイントを付加する際に、同時にポイントを付加された情報要素である。つまりは音楽プレイヤAAでオーディオコンテンツを再生したときのオーディオコンテンツ、そのメタ情報が、音楽プレイヤAAに関連する情報要素となる。順位付部320は、それらの情報要素の関心度を関心度記録部314から読み出して、複数の情報要素を、それぞれの情報要素に対して導出されているユーザ関心度に応じて順位付けする。具体的に順位付部320は、複数の情報要素のそれぞれの関心度(ポイント)を比較して、各情報要素の順位を決定する。順位付部320は、情報要素と決定した順位の組合せを、画像データ生成部322に通知する。画像データ生成部322は、複数の情報要素を、所定位置を基準としてそれぞれの順位にしたがって配置したメニュー画像データを生成し、画像データ送信部324が情報処理装置10に送信する。
 図19は、情報要素160cを拡大表示した後に、表示装置20に表示されるコンテンツ選択画面を示す。このコンテンツ選択画面は、音楽プレイヤAAに関して生成され、過去にユーザAが音楽プレイヤAAを用いた行動情報から生成されている。図18に関して説明したように、初期メニュー画面の中央領域には、ユーザAが音楽プレイヤAAを使用した際に、最も関心度が高いことが判定された情報要素160dが配置される。
 図20は、本実施例の階層データの接続例を示す。メニュー全体画像の階層データ128に対して、情報要素160(図19の例では音楽プレイヤAA)の階層データ140が接続される。階層データ128を用いて生成されるメニュー画面(図18参照)において、音楽プレイヤAAの情報要素160cを表示装置20の中央領域に移動し拡大すると、メニュー画面から、コンテンツ選択画面(図19参照)への遷移が行われる。
 図20において、2つの三角形は異なる階層データ128および140を示している。それぞれの階層データ128、140は実際には、図5に示すように解像度の異なる複数の画像データが図のZ軸方向に離散的に存在する構成を有する。ユーザが操作部70によって表示画像の拡大を要求すると、表示領域、ひいては視点が、図のZ軸方向に移動することになる。Z軸方向の移動は、仮想カメラ画像座標のSCALEを変化させることに等しい。一方、表示領域を上下左右に移動させる要求を行うと、図の水平面を移動することになる。水平面の移動は、仮想カメラ画像座標の(X,Y)を変化させることに等しい。このような仮想空間において、2つの階層データ128および140が図20のように重なり合ったデータ構造を構築する。
 そして階層データ128の画像を表示中、ユーザが継続的に拡大要求を行うと、視点が矢印aのように移動し、階層データ140の領域に入る、すなわち階層データ間を移動することになる。異なる階層データの領域に進入すると、表示画像を生成するためのデータが階層データ128から階層データ140へと切り替わる。
 図20のような複数の階層データからなる画像データを構築するために、階層データ128と階層データ140を切り替えるときの画像の解像度(SCALE)および位置(X,Y)をあらかじめ設定しておく。この設定は図20中、線142で表され、これにより階層データの重なり具合が決定できる。同図の例では、Z軸がz1なる解像度、線142が表す位置において、階層データ128から階層データ140への切り替えが行われる。このような階層データ間の接続をリンクと呼ぶ。
 階層データ140を用いたメニュー画面を拡大中に、画像データ取得部222は、解像度がz1となる手前で表示画像の切り替わりを予測すると、コンテンツ選択画面の表示要求を生成し、送信部206がサーバ5に送信する。これにより、解像度がz1となったときには、既に画像データ取得部222が、サーバ5からコンテンツ選択画像データの階層データを取得しており、これにより表示画像生成部228は、図19に示すコンテンツ選択画面を表示することができる。なお既述したように、コンテンツ選択画面において、サムネイルを拡大表示すると、そのサムネイルに対応付けられているコンテンツが自動再生される。
 このように、図20に示す複数の階層データからなる画像データを構築することで、表示画像の切替が実現される。図20には、2つの階層データがリンクにより接続されている状態を示しているが、3つ以上の階層データが多段形式でリンクにより接続されていてよい。たとえば、メニュー画面を生成するための階層データ128とコンテンツ選択画面を生成するための階層データ140との間がリンクにより接続され、階層データ140とアーティストを選択するためのアーティスト選択画面を生成するための階層データとの間がリンクにより接続されてよい。このとき、図19に示すコンテンツ選択画面において、「アーティスト」の情報要素を拡大表示すると、アーティスト選択画面が表示されるようになる。また、アーティスト選択画面を生成するための階層データと、アーティストの楽曲を選択するための楽曲選択画面を生成するための階層データとの間がリンクにより接続されてもよい。このように、階層データを多段にリンクで接続した画像データを構築することで、ユーザは、感覚的に理解しやすい手順(ズームイン)するだけで所望のコンテンツに到達することも可能となる。
 以上は、メニュー画面を拡大表示(ズームイン)したときの画面遷移について説明したが、以下においてメニュー画面を縮小表示(ズームアウト)したときの画面遷移について説明する。
 本実施例の初期メニュー画面(図18参照)においては、画面中央領域にユーザAの最も関心の高い情報要素160aを配置し、またその周辺に、関心度の高い順に情報要素160b、160cなどを配置している。ユーザAは、初期メニュー画面において所望のアプリケーションないしはコンテンツなどを見つけ出せなければ、初期メニュー画面をズームアウトして、初期メニュー画面には表示されていなかった情報要素160を表示装置20に表示させることができる。メニュー全体画像150においては、情報要素160aを中心に、ユーザAの関心の高い情報要素160が配列されているため、初期メニュー画面を縮小表示することで、ユーザAは、所望の情報要素160を見つけやすい。
 一方で、縮小表示することで、情報要素160におけるラベルが見えにくくなることも考えられる。ラベルは情報要素160の内容を表現するため、ユーザが読めないほどラベルが小さく表示されることは好ましくない。そこで表示画像生成部228は、ラベルのフォントサイズが所定値よりも小さくならないように、メニュー画面の縮小処理を行う。具体的には、レクタングルを縮小する際に、ラベルの表示領域は、所定値よりも小さくならないようにする。この場合は、ラベルの表示を優先し、レクタングル内部に記述されていた情報は表示されなくてよく、ラベルのみが情報要素として表示されてもよい。なお表示領域の横幅が狭くなる場合には、ラベルを構成するテキストをティッカー表示させてもよい。
 しかしながら縮小表示の程度(縮尺率)が大きくなると、ラベルのフォントサイズを所定値に担保することで、ラベル同士が重なって表示されることになり、ユーザが視認しにくくなる。そこで本実施例の階層データ128では、第0階層130に、従来からあるメニュー画面データを用意しておく。
 図21(a)は、第0階層130の画像データを用いて生成されるメニュー画面の一例を示す。このメニュー画面では、複数のフォルダアイコン180a~180eが横方向に配列される。このうち、フォルダアイコン180aは、写真コンテンツのフォルダを示し、フォルダアイコン180bは、音楽コンテンツのフォルダを示し、フォルダアイコン180cは、ビデオコンテンツのフォルダを示し、フォルダアイコン180dは、ネットワークアイコンを示す。縦方向にはコンテンツアイコン182a~182dが配列される。ユーザは、操作部70を操作して所望のコンテンツアイコンをフォーカス領域の位置までスクロールさせて動かすことで、そのコンテンツアイコンに対応付けられている処理を実行させることができる。図示の例では、ビデオコンテンツのコンテンツアイコン182aがフォーカス領域に配置され、ユーザが操作部70の所定のボタンを押下すると再生指示が発行され、対応するビデオコンテンツが再生される。
 図21(b)は、第0階層130の画像データを用いて生成されるメニュー画面の別の例を示す。このメニュー画面では、複数のフォルダアイコン180a~180eが2次元的に配列される。ユーザが操作部70を操作して所望のフォルダアイコン180を選択すると、そのフォルダアイコン180に対応付けられているコンテンツアイコンが表示され、ユーザは、コンテンツアイコンを選択することで、対応するコンテンツが実行される。
 以上のようにユーザが第3階層136の画像データで生成される初期メニュー画面を縮小していき、第1階層132の画像データ生成されるメニュー画面をさらに縮小すると、表示画像生成部228は、第0階層130の画像データで生成されるレガシーなメニュー画面を生成する。図21(a)または図21(b)に示すメニュー画面は、従来のユーザインタフェースを提供するものであり、ユーザは、メニュー全体画像150において所望のアプリケーションまたはコンテンツを探索できなければ、メニュー画面をズームアウトすることで、図21(a)または図21(b)に示すメニュー画面を表示装置20に表示させればよい。特に、メニュー全体画像150においては、関心度の低い情報要素160が、中央領域から離れた位置に配置されるため、ユーザが、これまで関心のなかった情報要素160を探そうとするときには、図21(a)または図21(b)に示すメニュー画面から探す方が便利なこともある。このように、情報処理システム1では、2種類のメニュー画面を提供することで、ユーザのコンテンツ等の探索行動を容易にする。
 以上、本発明を実施例をもとに説明した。上記実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
 実施例の情報処理システム1においては、処理装置として情報処理装置10およびサーバ5が存在し、図8および図13に関して説明したように、情報処理装置10およびサーバ5が、それぞれの役割をもって動作している。しかしながら、情報処理装置10およびサーバ5のそれぞれの機能は、1つの処理装置において集約されてもよい。つまり1つの処理装置が、図8および図13に示す情報処理装置10およびサーバ5の双方の機能を備え、その処理装置が単独で、ユーザ関心度を導出し、ユーザ関心度に基づいて画像データを生成して、画像データを表示する機能を有してよい。
 実施例では、情報処理装置10において表示画像生成部228が、階層データ128を用いてメニュー画面を表示装置20に表示しているが、フリーキーワードを入力できる検索ウィンドウをメニュー画面に追加してもよい。表示画像生成部228は、たとえばメニュー画面の中央付近に検索ウィンドウを形成し、ユーザが常にキーワード検索できるようにしてもよい。なおこのとき表示画像生成部228は、階層データ128で規定される画像のレイアウトを若干変更して、検索ウィンドウを配置するためのスペースを設けてもよく、また規定された画像レイアウトに検索ウィンドウを重畳してもよい。なお表示画像生成部228は常に検索ウィンドウを表示することはせず、操作部70において所定の操作がなされた場合に、検索ウィンドウをメニュー画面の所定位置に形成するようにしてもよい。
 また実施例では、表示画像として、アプリケーションやコンテンツを選択するためのメニュー画像を示したが、他の画像であってもよい。たとえば表示画像は、新聞のカテゴリや記事を配置した画像であってもよい。
 図12に音楽コンテンツのコンテンツ情報を例示したが、新聞コンテンツの場合、コンテンツ情報の項目には「カテゴリ」が含まれる。ここでカテゴリに属する情報要素には、「経済」、「政治」、「社会」、「スポーツ」、「国際」、「株」などがあり、関心度導出部304は、新聞記事を読んだユーザの行動情報をもとに、カテゴリの各情報要素の関心度を導出する。これにより、順位付部320によるカテゴリ間での関心度の順位付けが可能となる。ユーザAが新聞アプリケーションを起動すると、要求取得部212が新聞記事の表示要求を受け付け、送信部206がサーバ5に送信し、サーバ5において表示要求取得部318が表示要求を受け付けると、順位付部320がカテゴリの各情報要素を、ユーザ関心度に応じて順位付けして、画像データ生成部322が、順位にしたがって複数の情報要素(カテゴリ)を配置した画像データを生成する。なお、カテゴリの配置ではなく、そのカテゴリの記事自体を配置してもよい。また、新聞のページを、順位にしたがって並べ替えてもよい。このように実施例の画像処理技術は、メニュー画面のみならず、新聞画面など、あらゆる表示画面を生成する際に利用することが可能である。
 別の応用例として、電子メールアドレス帳の表示に、本技術を利用することもできる。たとえば、アドレスを新しく登録した順に、各人のアドレスを並べ替えてもよい。図16の例を用いると、情報要素160aは、最も新しく登録されたアドレス、情報要素160bは、次に新しく登録されたアドレスとなり、最近、アドレス登録した友人を容易に見つけることができるようになる。このとき、登録日時や場所も表示できるようにすると、ユーザは、どこの誰であるかを容易に思い出せるようになる。なお、登録順ではなく、メールの送受信頻度が高い順に、各人のアドレスを並べてもよい。
 またサーバ5は、ユーザAの状況に応じた画像データを生成してもよい。状況取得部230は、ユーザAの状況、たとえば現在日時や、GPS制御部69により算出された現在位置情報を取得し、送信部206が、表示要求とともに、ユーザ状況をサーバ5に送信する。なお、ユーザ状況に応じた画像データを生成する場合には、ユーザ行動情報生成部204が、ユーザ行動情報に、行動した日時や位置情報を予め付加しておく必要がある。サーバ5において順位付部320は、複数の情報要素を、ユーザAの所定の状況にマッチするユーザ行動情報から導出されるユーザ関心度に応じて順位付けする。
 具体的には、ユーザに今必要な情報を優先的に提供する「今アプリ」というアプリケーションがあるとして、今アプリが起動されると、状況取得部230が、ユーザの現在状況を取得し、送信部206が、今アプリによる表示要求と、ユーザの現在状況とをサーバ5に送信する。表示要求取得部318は、この表示要求が今アプリによるものであることを判定すると、その旨を関心度導出部304に通知し、これにより関心度導出部304が、現在時刻を含む所定時間内、たとえば現在時刻が12時であれば、10時~14時の間の過去のユーザ行動情報をユーザ行動情報記録部310から選択して、複数の情報要素の関心度を導出する。なお、現在位置も加味して、関心度導出部304は、ユーザ行動情報を選択してもよい。これにより順位付部320は、複数の情報要素を、ユーザの現在の状況にマッチするユーザ行動情報から導出されるユーザ関心度に応じて順位付けすることができる。なお、たとえば、ユーザに朝必要な情報を優先的に提供する「朝アプリ」というアプリケーションがあった場合、朝アプリが起動されると、送信部206は、朝アプリによる表示要求と、ユーザの現在状況とをサーバ5に送信する。たとえば、朝アプリが情報処理システム1において標準的なアプリケーションである場合、関心度導出部304は、予め、朝アプリ用に、所定時間内、たとえば5時~9時の間の過去のユーザ行動情報をもとに、複数の情報要素の関心度を導出しておいてよい。こうすることで、順位付部320は、表示要求に対して、迅速に順位付処理を実行できるようになる。
 図22は、メニュー画面の変形例を示す。図22に示すのは、スマートフォンなどで採用されるレガシーなユーザインタフェースであるが、ここでは画像データ生成部322が、初期メニュー画面の隅領域に、最もポイントの高い情報要素160aを配置し、その右隣に2番目にポイントの高い情報要素160bを配置し、情報要素160bの右隣に3番目にポイントの高い情報要素160cを配置し、以下、下段においてポイントの高い順に左から右に情報要素160を配置している。画像データ生成部322は、このように、初期メニュー画面の所定位置(隅領域)を基準として、上段から下段にかけて、左から右にポイントの高い順に情報要素160を配置する。この基準となる所定位置にはユーザAの関心度が最も高い情報要素160aが配置され、したがって図22に示すメニュー画面において所定位置は、ユーザAにとって視認しやすい隅領域に設定される。
1・・・情報処理システム、5・・・サーバ、10,10a,10b・・・情報処理装置、20・・・表示装置、24・・・アナログスティック、60・・・CPU、64・・・メインメモリ、69・・・GPS制御部、70・・・操作部、128・・・階層データ、140・・・階層データ、150・・・メニュー全体画像、160・・・情報要素、162・・・サムネイル、170・・・フレーム枠、180・・・フォルダアイコン、182・・・コンテンツアイコン、202・・・操作情報取得部、204・・・ユーザ行動情報生成部、206・・・送信部、210・・・入力受付部、212・・・要求取得部、214・・・変更指示受付部、220・・・画像処理部、222・・・画像データ取得部、224・・・デコード部、226・・・変更量導出部、228・・・表示画像生成部、230・・・状況取得部、302・・・ユーザ行動情報取得部、304・・・関心度導出部、310・・・ユーザ行動情報記録部、312・・・コンテンツ情報保持部、314・・・関心度記録部、318・・・表示要求取得部、320・・・順位付部、322・・・画像データ生成部、324・・・画像データ送信部。
 本発明は、情報要素を表示する技術分野に利用できる。

Claims (8)

  1.  複数の情報要素を、それぞれの情報要素に対して導出されるユーザ関心度に応じて順位付けする順位付部と、
     所定位置を基準として、複数の情報要素を、それぞれの順位にしたがって配置した画像データを生成する画像データ生成部と、
     を備えることを特徴とする処理装置。
  2.  前記画像データ生成部は、ユーザの関心度が最も高い情報要素を、前記所定位置に配置した画像データを生成することを特徴とする請求項1に記載の処理装置。
  3.  前記画像データ生成部は、所定位置に近い位置にユーザの関心が相対的に高い情報要素を、所定位置からより離れた位置にユーザの関心が相対的に低い情報要素を、2次元的または3次元的に配置した画像データを生成することを特徴とする請求項1または2に記載の処理装置。
  4.  生成された画像データは、別の処理装置または当該処理装置の表示装置に表示され、
     表示装置に最初に表示される初期画面において、ユーザの関心度が最も高い情報要素は画面中央または画面隅に表示されることを特徴とする請求項1から3のいずれかに記載の処理装置。
  5.  コンテンツおよびアプリケーションに対するユーザの行動情報を記録する行動情報記録部と、
     ユーザ行動情報を用いて、情報要素のユーザ関心度を導出する関心度導出部と、
     をさらに備えることを特徴とする請求項1から4のいずれかに記載の処理装置。
  6.  前記順位付部は、複数の情報要素を、ユーザの所定の状況にマッチするユーザ行動情報から導出されるユーザ関心度に応じて順位付けすることを特徴とする請求項1から5のいずれかに記載の処理装置。
  7.  コンピュータに、
     複数の情報要素を、それぞれの情報要素に対して導出されるユーザ関心度に応じて順位付けする機能と、
     所定位置を基準として、複数の情報要素を、それぞれの順位にしたがって配置した画像データを生成する機能と、
     を実現するためのプログラム。
  8.  請求項7に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2013/002753 2012-07-13 2013-04-23 処理装置 WO2014010158A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/406,956 US9805096B2 (en) 2012-07-13 2013-04-23 Processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-157738 2012-07-13
JP2012157738A JP6066602B2 (ja) 2012-07-13 2012-07-13 処理装置

Publications (1)

Publication Number Publication Date
WO2014010158A1 true WO2014010158A1 (ja) 2014-01-16

Family

ID=49915645

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/002753 WO2014010158A1 (ja) 2012-07-13 2013-04-23 処理装置

Country Status (3)

Country Link
US (1) US9805096B2 (ja)
JP (1) JP6066602B2 (ja)
WO (1) WO2014010158A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6291942B2 (ja) * 2014-03-20 2018-03-14 コニカミノルタ株式会社 操作パネル装置
US10324588B2 (en) 2014-06-09 2019-06-18 Sony Corporation Organizing application icon based on user history information
JP6513185B2 (ja) * 2015-03-30 2019-05-15 パイオニア株式会社 表示制御装置、表示制御方法及び表示制御用プログラム
JP6512062B2 (ja) * 2015-10-23 2019-05-15 富士通株式会社 選択肢情報の提示システム、方法、及びプログラム
JP2018106289A (ja) * 2016-12-22 2018-07-05 パイオニア株式会社 表示制御装置、表示制御方法、プログラム及び記録媒体
JP6767319B2 (ja) * 2017-07-31 2020-10-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびファイルコピー方法
JP2019114299A (ja) * 2019-04-08 2019-07-11 パイオニア株式会社 表示制御装置
KR102550967B1 (ko) 2021-11-08 2023-07-05 주식회사 쓰리아이 이미지 출력 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007287135A (ja) * 2006-03-20 2007-11-01 Denso Corp 画像表示制御装置および画像表示制御装置用のプログラム
JP2008134968A (ja) * 2006-11-29 2008-06-12 Sharp Corp アイコンを含むインターフェイスの制御機能を有する電子機器
WO2010119714A1 (ja) * 2009-04-15 2010-10-21 ソニー株式会社 メニュー表示装置、メニュー表示方法およびプログラム
WO2011021408A1 (ja) * 2009-08-18 2011-02-24 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、情報記憶媒体及びプログラム
JP2012009009A (ja) * 2010-05-28 2012-01-12 Panasonic Corp 情報端末、画面部品表示方法、プログラム、及び記録媒体

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001175380A (ja) * 1999-12-20 2001-06-29 Wellstone Inc 情報インデックス表示方法とその装置
AU2001266343A1 (en) * 2000-06-27 2002-01-08 Shinichi Sakurai Sense-of-value information providing system
JP2006253984A (ja) * 2005-03-10 2006-09-21 Casio Comput Co Ltd 画像表示制御装置及びプログラム
US20070005587A1 (en) * 2005-06-30 2007-01-04 Microsoft Corporation Relative search results based off of user interaction
FR2890516A1 (fr) * 2005-09-08 2007-03-09 Thomson Licensing Sas Procede de selection d'un bouton dans une barre graphique, et recepteur mettant en oeuvre le procede
JP2007080109A (ja) * 2005-09-16 2007-03-29 Ricoh Co Ltd データ表示装置、データ表示方法、およびその方法をコンピュータに実行させるプログラム
US20070260597A1 (en) * 2006-05-02 2007-11-08 Mark Cramer Dynamic search engine results employing user behavior
JP4826331B2 (ja) * 2006-05-09 2011-11-30 富士ゼロックス株式会社 文書利用追跡システム
JP4762211B2 (ja) * 2007-08-09 2011-08-31 シャープ株式会社 映像表示装置及びその制御方法、プログラム、記録媒体
JP2010055424A (ja) * 2008-08-28 2010-03-11 Toshiba Corp 画像を処理する装置、方法およびプログラム
JP2010119714A (ja) * 2008-11-20 2010-06-03 Sankyo Co Ltd 遊技機
JP5292147B2 (ja) * 2009-03-25 2013-09-18 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
JP5235781B2 (ja) * 2009-05-18 2013-07-10 ソニー株式会社 情報処理装置および方法、並びに記録媒体
JP5552767B2 (ja) * 2009-07-27 2014-07-16 ソニー株式会社 表示処理装置、表示処理方法および表示処理プログラム
JP5521591B2 (ja) * 2010-02-03 2014-06-18 カシオ計算機株式会社 画像表示装置、及びプログラム
JP5787639B2 (ja) * 2010-07-28 2015-09-30 キヤノン株式会社 画像を表示するための表示制御装置、表示制御方法、プログラム及び記憶媒体
US8769434B2 (en) * 2010-08-11 2014-07-01 Nike, Inc. Intelligent display of information in a user interface
US9135366B2 (en) * 2011-09-07 2015-09-15 Mark Alan Adkins Galaxy search display
US9275139B2 (en) * 2012-03-30 2016-03-01 Aurix Limited “At least” operator for combining audio search hits

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007287135A (ja) * 2006-03-20 2007-11-01 Denso Corp 画像表示制御装置および画像表示制御装置用のプログラム
JP2008134968A (ja) * 2006-11-29 2008-06-12 Sharp Corp アイコンを含むインターフェイスの制御機能を有する電子機器
WO2010119714A1 (ja) * 2009-04-15 2010-10-21 ソニー株式会社 メニュー表示装置、メニュー表示方法およびプログラム
WO2011021408A1 (ja) * 2009-08-18 2011-02-24 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、情報記憶媒体及びプログラム
JP2012009009A (ja) * 2010-05-28 2012-01-12 Panasonic Corp 情報端末、画面部品表示方法、プログラム、及び記録媒体

Also Published As

Publication number Publication date
JP6066602B2 (ja) 2017-01-25
US9805096B2 (en) 2017-10-31
JP2014021608A (ja) 2014-02-03
US20150112984A1 (en) 2015-04-23

Similar Documents

Publication Publication Date Title
JP6066602B2 (ja) 処理装置
US10671282B2 (en) Display device including button configured according to displayed windows and control method therefor
US11169705B2 (en) Configuration of application execution spaces and sub-spaces for sharing data on a mobile touch screen device
US10310730B2 (en) Display device for controlling displaying of a window and method of controlling the same
TWI459282B (zh) 用以使用多媒體項目之使用者介面的提供方法、系統及電腦程式產品
US10386992B2 (en) Display device for executing a plurality of applications and method for controlling the same
US11604580B2 (en) Configuration of application execution spaces and sub-spaces for sharing data on a mobile touch screen device
CN105872683A (zh) 图像显示设备和方法
KR20170011178A (ko) 휴대 장치, 디스플레이 장치 및 디스플레이 장치의 사진 표시방법
CN112230914B (zh) 小程序的制作方法、装置、终端及存储介质
KR20140073372A (ko) 디스플레이 장치 및 그 제어 방법
KR101803311B1 (ko) 디스플레이 장치 및 이의 ui 제공 방법
US20140229823A1 (en) Display apparatus and control method thereof
US11086489B2 (en) Information processing device and information processing method for moving or advancing a display region
CN115022721B (zh) 内容展示方法、装置、电子设备及存储介质
JP6110523B2 (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13816213

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14406956

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13816213

Country of ref document: EP

Kind code of ref document: A1