WO2011067899A1 - 情報処理装置および情報処理システム - Google Patents

情報処理装置および情報処理システム Download PDF

Info

Publication number
WO2011067899A1
WO2011067899A1 PCT/JP2010/006644 JP2010006644W WO2011067899A1 WO 2011067899 A1 WO2011067899 A1 WO 2011067899A1 JP 2010006644 W JP2010006644 W JP 2010006644W WO 2011067899 A1 WO2011067899 A1 WO 2011067899A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information processing
unit
processing apparatus
information
Prior art date
Application number
PCT/JP2010/006644
Other languages
English (en)
French (fr)
Inventor
尚亨 椚田
一權 ▲曹▼
哉▲ヒョン▼ 朴
妍淑 金
宙營 池
Original Assignee
株式会社ソニー・コンピュータエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・コンピュータエンタテインメント filed Critical 株式会社ソニー・コンピュータエンタテインメント
Priority to US13/512,057 priority Critical patent/US9230298B2/en
Publication of WO2011067899A1 publication Critical patent/WO2011067899A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308Details of the user interface
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55Details of game data or player data management
    • A63F2300/5546Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/556Player lists, e.g. online players, buddy list, black list
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8017Driving on land or water; Flying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Definitions

  • the present invention relates to a technique used in an information processing apparatus that processes image data.
  • a home entertainment system that can not only execute game programs but also play videos has been proposed.
  • the GPU generates a three-dimensional image using polygons.
  • the terminal device can obtain a necessary tile image from the server as appropriate, even if it does not hold tile images of all layers, and can respond to a change instruction from the user.
  • a display image can be generated in almost real time.
  • the present inventor has focused on the usefulness of this image processing technique and came up with a new application using this image processing technique. Further, the present inventor has come up with an application that shares information among a plurality of users by linking image processing technology and high-speed communication.
  • An object of the present invention is to provide a useful technique for processing image data.
  • an information processing apparatus that displays all or a part of an entire image on a display, and includes a first reception unit that receives a display image change instruction; An image processing unit that generates a display image that is all or part of the entire image in response to the change instruction, a second reception unit that receives a clip instruction, and a clip processing unit that performs clip processing in response to the clip instruction. Is provided.
  • the clip processing unit includes a clipping region specifying unit that specifies a region to be clipped by a clip instruction, a thumbnail image generating unit that generates a thumbnail image corresponding to the specified region, and position information that specifies the position of the specified region in the entire image And a storage unit that stores the thumbnail image and the position information in association with each other.
  • This apparatus is an information processing apparatus that displays all or part of an entire image on a display, and includes a first receiving unit that receives a display image change instruction, and an entire image that is to be displayed according to the change instruction.
  • a position information determination unit that determines position information for specifying a position, a display image generation unit that generates a display image according to the determined position information, and a transmission unit that transmits the determined position information to another information processing device; .
  • the information processing system is an information processing system in which a first information processing apparatus and a second information processing apparatus are connected via a network, and the first information processing apparatus includes a first reception unit that receives a display image change instruction; In response to the change instruction, a position information determination unit that determines position information for specifying a position in the entire image of the image to be displayed, and a display image that is all or part of the entire image is generated according to the determined position information A display image generation unit that performs the determination, and a transmission unit that transmits the determined position information to the second information processing apparatus.
  • the second information processing apparatus includes a reception unit that receives position information and a display image generation unit that generates a display image according to the received position information.
  • FIG. 1 It is a figure which shows the information processing system concerning the Example of this invention. It is a figure which shows the external appearance structure of an input device. It is a figure which shows the hierarchical structure of the image data used in an information processing system. It is a functional block diagram of an information processor. It is a figure which shows the structure of the control part in information processing apparatus. It is a figure which shows an example of the menu screen for operating a content browsing application. It is a figure which shows an example of the display image shown on an output device at the time of the display process of a content image. It is a figure which shows an example of the display image expandedly displayed from the initial image. It is a figure which shows an example of the operation image for inputting the memo given to a thumbnail image.
  • FIG. 1 shows an information processing system 1 according to an embodiment of the present invention.
  • the information processing system 1 includes an information processing device 10, an information processing device 14, an input device 20, an image data providing server 2, a storage server 3, and a network server 4 that are communicably connected via a network 18.
  • the network 18 may be the Internet using the TCP / IP protocol, for example.
  • the information processing apparatus 10 has an output device 12, and the information processing apparatus 14 has an output device 16.
  • the output devices 12 and 16 may be a television having a display for outputting an image and a speaker for outputting sound, or may be a computer display.
  • the output devices 12 and 16 may be connected to the information processing devices 10 and 14 by wired cables, or may be wirelessly connected by a wireless LAN (Local Area Network) or the like.
  • the input device 20 is an input interface that is operated by a user to input a user operation instruction to the information processing device 10.
  • the information processing device 10, the input device 20, and the output device 12 may be integrally formed, for example, may be configured as a mobile terminal device equipped with an image processing function.
  • the information processing apparatuses 10 and 14 each have a function of operating independently and executing image processing.
  • the information processing apparatuses 10 and 14 are configured to have the same image processing function.
  • the image processing function will be described by taking the operation of the information processing apparatus 10 as an example.
  • the information processing apparatus 10 displays a display image such as an enlargement / reduction process of a display image displayed on the display of the output apparatus 12 or a movement process in the vertical and horizontal directions in accordance with operation information input to the input apparatus 20 from the user. Perform the change process.
  • the information processing apparatus 10 is a game apparatus that executes a GUI application or a game application, and may implement an image processing function by loading a program for image processing.
  • the information processing apparatus 10 may be a personal computer that can execute various applications, and may implement an image processing function by loading an image processing program.
  • the information processing apparatus 10 is connected to the network 18 and appropriately downloads and acquires tile images necessary for generating a display image from the image data providing server 2 in accordance with operation information input to the input apparatus 20.
  • the information processing apparatus 10 may download and obtain the entire compressed image data layered from the image data providing server 2.
  • the image data providing server 2 holds layered image data that represents the entire image with tile images of a plurality of resolutions. In response to a request from the information processing apparatus 10, the image data providing server 2 provides the information processing apparatus 10 with a tile image necessary for generating a display image in the information processing apparatus 10. Note that the image data providing server 2 and the entire hierarchized image data may be provided to the information processing apparatus 10.
  • the information processing apparatus 10 and the information processing apparatus 14 share information regarding content with each other.
  • the information processing apparatus 10 and the information processing apparatus 14 may share information related to the contents synchronously or asynchronously.
  • the information processing apparatus 10 and the information processing apparatus 14 communicate with each other, the information processing apparatus 10 operates as a host apparatus, and the information processing apparatus 14 operates as a client apparatus.
  • the network server 4 manages communication between the information processing apparatus 10 and the information processing apparatus 14.
  • the network server 4 constructs a chat system, and the information processing apparatus 10 attaches information related to the content to the chat message and transmits it to the information processing apparatus 14. Thereby, information regarding the content is shared between the information processing apparatus 10 and the information processing apparatus 14.
  • the information processing apparatus 14 since the information processing apparatus 14 also has an image processing function, the information processing apparatus 10 and the information processing apparatus 14 can display the same image related to content.
  • the information processing apparatus 10 has a function of performing clip processing (scrap processing) for cutting out all or part of the display image displayed on the output device 12 in accordance with an instruction input to the input device 20.
  • clip processing the information processing apparatus 10 generates thumbnail images of the clipped images and accumulates them in the scrapbook.
  • the information processing apparatus 10 selects a thumbnail image stored in the scrapbook, the information processing apparatus 10 can access content specified by the thumbnail image.
  • the scrap information is stored in the scrapbook of the information processing apparatus 10, but may be stored in the storage server 3.
  • FIG. 2 shows an external configuration of the input device 20.
  • the input device 20 includes a cross key 21, analog sticks 27a and 27b, and four types of operation buttons 26 as operation means that can be operated by the user.
  • the four types of operation buttons 26 include a circle button 22, a x button 23, a square button 24, and a triangle button 25.
  • a function for inputting a display image enlargement / reduction instruction and a scroll instruction in the vertical and horizontal directions is assigned to the operation unit of the input device 20.
  • an input function for a display image enlargement / reduction instruction is assigned to the right analog stick 27b.
  • the user can input an instruction to reduce the display image by pulling the analog stick 27b forward, and can input an instruction to enlarge the display image by pressing the analog stick 27b.
  • the input function of the display image scroll instruction is assigned to the analog stick 27a.
  • the user can input an instruction to scroll the display image by tilting the analog stick 27a back and forth and right and left.
  • a display image enlargement instruction, a reduction instruction, and a scroll instruction are collectively referred to as an image change instruction.
  • the input device 20 has a function of transmitting the input image change instruction signal to the information processing device 10, and is configured to be capable of wireless communication with the information processing device 10 in this embodiment.
  • the input device 20 and the information processing device 10 may establish a wireless connection using a Bluetooth (registered trademark) protocol, an IEEE802.11 protocol, or the like.
  • the input device 20 may be connected to the information processing apparatus 10 via a cable and transmit an image change instruction signal to the information processing apparatus 10.
  • FIG. 3 shows a hierarchical structure of image data used in the information processing system 1.
  • This image data is held in the image data providing server 2, and the image data providing server 2 provides the information processing apparatus 10 with tile images necessary for generating a display image as appropriate.
  • the image data providing server 2 notifies the information processing apparatus 10 of the structure data indicating the hierarchical structure of the image data, and the information processing apparatus 10 uses this data to calculate the frame image from the operation information of the input apparatus 20. Spatial coordinates specifying (display image) may be derived. Note that this hierarchical structure is common to all contents, and thus the information processing apparatus 10 may derive spatial coordinates as shown below based on the common structure data.
  • the image data has a hierarchical structure including a 0th hierarchy 30, a first hierarchy 32, a second hierarchy 34, and a third hierarchy 36 in the depth (Z-axis) direction. This is called “hierarchical data”. There may be a higher hierarchy than the fourth hierarchy.
  • the hierarchical data 28 shown in FIG. 3 has a quadtree hierarchical structure, and each hierarchy is composed of one or more tile images 38. All the tile images 38 are formed in the same size having the same number of pixels, and have, for example, 256 ⁇ 256 pixels.
  • the image data of each layer expresses one whole image (content image) with different resolutions, and the original image of the third layer 36 having the highest resolution is reduced in a plurality of stages to obtain the second layer 34, the first layer Image data of the hierarchy 32 and the 0th hierarchy 30 is generated.
  • the resolution of the Nth layer (N is an integer greater than or equal to 0) may be 1 ⁇ 2 of the resolution of the (N + 1) th layer in both the left and right (X axis) direction and the up and down (Y axis) direction.
  • the position in the depth (Z-axis) direction indicates the resolution.
  • the position closer to the 0th hierarchy 30 has a lower resolution, and the position closer to the third hierarchy 36 has a higher resolution.
  • the position in the depth direction corresponds to the scale ratio.
  • the scale ratio of the display image of the third hierarchy 36 is 1
  • the scale ratio in the second hierarchy 34 is 1.
  • the scale factor in the first hierarchy 32 is 1/16
  • the scale factor in the 0th hierarchy 30 is 1/64.
  • the display image when the display image changes in the direction from the 0th layer 30 side toward the third layer 36 side, the display image expands and the direction from the third layer 36 side toward the 0th layer 30 side. In the case of changing to, the display image is reduced.
  • the hierarchical data 28 is held in the storage device in a compressed state in a predetermined compression format.
  • the compression processing may be performed in units of tile images, or may be performed in units of a plurality of tile images within the same layer or between different layers.
  • the image data providing server 2 holds hierarchical data 28 of a plurality of contents.
  • the plurality of hierarchical data 28 is identified by identification information for specifying content (hereinafter referred to as “content ID”).
  • content ID identification information for specifying content
  • the content image is, for example, two pages of left and right facing each other when the magazine is opened, that is, when the magazine is opened.
  • the hierarchical data 28 is configured as image data of a plurality of hierarchies by first generating a scan image of a magazine spread and sequentially reducing the scanned image.
  • the image data providing server 2 may hold all spread hierarchical data for one magazine, and in this case, the content ID may be composed of a magazine (content) name and a page number.
  • the hierarchical structure of the hierarchical data 28 is set such that the horizontal direction is the X axis, the vertical direction is the Y axis, and the depth direction is the Z axis, thereby constructing a virtual three-dimensional space.
  • the X and Y axes define a common coordinate system with equal origins.
  • the information processing apparatus 10 derives the change amount of the display image from the image change instruction supplied from the input device 20, and uses the derived change amount to specify the hierarchy and the texture coordinates (UV coordinates) in the hierarchy. Is derived.
  • a combination of this hierarchy specifying information and texture coordinates is called spatial coordinates.
  • Spatial coordinates in the virtual space are used for specifying a tile image to be used and generating a display image.
  • the information processing apparatus 10 may derive the coordinates of the four corners of the frame image in the virtual space using the change amount of the display image. These four corner frame coordinates are also called spatial coordinates.
  • the information processing apparatus 10 may derive the center coordinates (X, Y) of the frame image in the virtual space and the scale factor SCALE as the space coordinates.
  • the information processing apparatus 10 only needs to be able to identify the use area of the tile image 38 in an appropriate hierarchy from the image change instruction signal supplied from the input apparatus 20, and any method may be employed.
  • the information processing apparatus 10 transmits the derived spatial coordinates to the image data providing server 2, and the image data providing server 2 provides the information processing apparatus 10 with a tile image specified by the spatial coordinates.
  • the image data providing server 2 may identify a tile image that will be necessary in the future, for example, by prediction and provide the information to the information processing apparatus 10 in advance.
  • the information processing apparatus 10 downloads the entire hierarchical data from the image data providing server 2, the information processing apparatus 10 may specify the use area of the tile image 38 from the derived spatial coordinates. .
  • FIG. 4 shows a functional block diagram of the information processing apparatus 10.
  • the information processing apparatus 10 includes a wireless interface 40, a switch 42, a display processing unit 44, a hard disk drive 50, a recording medium mounting unit 52, a disk drive 54, a main memory 60, a buffer memory 70, and a control unit 100.
  • the display processing unit 44 uses the frame memory to buffer data to be displayed on the display of the output device 12.
  • the information processing apparatus 14 may be configured to have the same function as the information processing apparatus 10.
  • the switch 42 is an Ethernet switch (Ethernet is a registered trademark), and is a device that transmits and receives data by connecting to an external device in a wired or wireless manner.
  • the switch 42 is connected to the external network 18 and receives tile image data from the image data providing server 2.
  • the switch 42 is connected to the wireless interface 40, and the wireless interface 40 is connected to the input device 20 using a predetermined wireless communication protocol.
  • An image change instruction signal input from the user in the input device 20 is supplied to the control unit 100 via the wireless interface 40 and the switch 42.
  • the hard disk drive 50 functions as an auxiliary storage device that stores data.
  • the compressed image data received via the switch 42 may be stored in the main memory 60.
  • the hierarchical data may be stored in the hard disk drive 50 when the entire hierarchical data is downloaded.
  • the recording medium mounting unit 52 reads data from the removable recording medium.
  • the disk drive 54 drives and recognizes the ROM disk to read data.
  • the ROM disk may be an optical disk or a magneto-optical disk.
  • the compressed image data may be preinstalled in the hard disk drive 50.
  • the compressed image data may be recorded on a removable recording medium or a ROM disk, and may be read out to the main memory 60 at the time of executing the display process.
  • the control unit 100 includes a multi-core CPU, and has one general-purpose processor core and a plurality of simple processor cores in one CPU.
  • the general-purpose processor core is called PPU (Power Processing Unit), and the remaining processor cores are called SPU (Synergistic-Processing Unit).
  • the control unit 100 includes a memory controller connected to the main memory 60 and the buffer memory 70.
  • the PPU has a register, has a main processor as an operation execution subject, and efficiently assigns a task as a basic processing unit in an application to be executed to each SPU. Note that the PPU itself may execute the task.
  • the SPU has a register, and includes a sub-processor as an operation execution subject and a local memory as a local storage area.
  • the local memory may be used as the buffer memory 70.
  • the main memory 60 and the buffer memory 70 are storage devices and are configured as a RAM (Random Access Memory).
  • the SPU has a dedicated DMA (Direct Memory Access) controller as a control unit, can perform high-speed data transfer between the main memory 60 and the buffer memory 70, and can perform high-speed data transfer between the frame memory and the buffer memory 70. Transfer can be realized.
  • the control unit 100 according to the present embodiment realizes a high-speed image processing function by operating a plurality of SPUs in parallel.
  • the display processing unit 44 is connected to the output device 12 and outputs an image processing result according to a request from the user.
  • FIG. 5 shows a configuration of the control unit 100 in the information processing apparatus 10.
  • the control unit 100 includes an input reception unit 110, a transmission unit 120, an information acquisition unit 130, an image processing unit 140, and a clip processing unit 160.
  • the input receiving unit 110 has a function of receiving operation information from the input device 20, and includes a change instruction receiving unit 112, a clip instruction receiving unit 114, a character input receiving unit 116, a start instruction receiving unit 118, and a scrapbook display instruction receiving unit 122. And a thumbnail selection instruction receiving unit 124.
  • the image processing unit 140 has a function of executing display image generation processing, specifically, changing processing such as enlargement / reduction of the display image, scrolling, and the like, and includes an image data acquisition unit 142, a decoding unit 144, a change amount derivation unit. 146, a spatial coordinate determination unit 148, a display image generation unit 150, a menu image generation unit 152, and a guide image generation unit 154.
  • the clip processing unit 160 has a function of executing clip processing (scrap processing), and includes a scrap information generation unit 180, a scrap information writing unit 170, a scrap information reading unit 172, a scrapbook generation unit 174, and an operation image generation unit 176.
  • the scrap information generation unit 180 includes a clipping region specification unit 162, a thumbnail image generation unit 164, a position information acquisition unit 166, and a content ID acquisition unit 168.
  • each element described as a functional block for performing various processes can be configured by a CPU (Central Processing Unit), a memory, and other LSIs in terms of hardware. This is realized by a program loaded on the computer.
  • the control unit 100 includes one PPU and a plurality of SPUs, and each functional block can be configured by the PPU and the SPU individually or in cooperation. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any one.
  • the information processing apparatus 10 executes a registered content browsing application.
  • a thumbnail image of the registered content is displayed on the menu screen of the browsing application.
  • This thumbnail image may be a still image or a moving image.
  • the information processing apparatus 10 holds a content ID for specifying the registered content, and acquires a thumbnail image of the registered content from the image data providing server 2 when the menu screen is generated.
  • the menu screen may be generated for each category, for example, and the information processing apparatus 10 acquires a necessary thumbnail image from the image data providing server 2 in accordance with the generated menu screen.
  • FIG. 6 shows an example of a menu screen for operating the content browsing application.
  • the menu screen is provided with a category selection area 200 for selecting the category of the registered content.
  • the user can select a category included in the category selection area 200 by operating the input device 20.
  • the category “car” is selected, and thumbnail images of content registered for the category “car” are displayed in the registered content display areas 204 a, 204 b, and 204 c.
  • the user can select a thumbnail image by operating the input device 20 and moving the selection frame 206, and an enlarged image of the thumbnail image in which the selection frame 206 is arranged is displayed in the selected content display area 202.
  • the menu image above is generated by the menu image generation unit 152.
  • the hard disk drive 50 holds menu information 210 necessary for generating a menu image.
  • the menu information 210 includes a category name, a content ID associated with the category, and the like, and is provided from the image data providing server 2.
  • the menu image generation unit 152 reads a content ID associated with the selected category from the menu information 210.
  • the transmission unit 120 transmits the read content ID to the image data providing server 2 via the switch 42, and the image data providing server 2 provides the information processing apparatus 10 with a thumbnail image associated with the content ID.
  • the menu image generation unit 152 pastes the thumbnail image in the registered content display area 204.
  • the menu image generating unit 152 moves the selection frame 206 between the registered content display areas 204.
  • the enlarged image may be provided from the image data providing server 2.
  • FIG. 7 shows an example of a display image displayed on the output device 12 at the start of content image display processing.
  • the start instruction receiving unit 118 receives the operation information as a display process start instruction
  • the image data acquisition unit 142 receives the image data from the image data providing server 2.
  • the image data providing server 2 holds in advance a tile image for generating an initial image in the information processing apparatus 10, and when the initial image acquisition request is transmitted together with the content ID from the transmission unit 120, the information processing apparatus 10, the tile image constituting the initial image specified by the content ID is transmitted.
  • the display image generation unit 150 generates an initial image shown in FIG. 7 using the tile image.
  • the change instruction receiving unit 112 receives a change instruction signal for a display image displayed on the display from the input device 20.
  • the change amount deriving unit 146 derives the change amount of the display image requested to be displayed based on the change instruction signal.
  • the change amount of the display image is the movement amount in the vertical and horizontal directions and the movement amount in the depth direction of the display image for each frame in the virtual three-dimensional space of the hierarchical data.
  • the spatial coordinate determination unit 148 determines the spatial coordinates (position information) of the current frame that moves according to the derived change amount from the spatial coordinates of the previous frame.
  • the spatial coordinates are position information (X, Y, SCALE) specified by the center coordinates (X, Y) of the frame image and the scale factor SCALE.
  • the change amount deriving unit 146 derives the change amount ( ⁇ X, ⁇ Y, ⁇ SCALE) based on the change instruction signal, and the spatial coordinate determination unit 148 changes the change amount (Xprev, Yprev, SCALEprev) to the previous frame position information (Xprev, Yprev, SCALEprev).
  • [Delta] X, [Delta] Y, [Delta] SCALE) is added to determine the position information (X, Y, SCALE) of the current frame.
  • the spatial coordinates may be determined by other parameters.
  • the transmitting unit 120 transmits the spatial coordinates determined by the spatial coordinate determining unit 148 to the image data providing server 2.
  • the image data providing server 2 determines whether the tile image needs to be changed in order to generate a display image in the information processing apparatus 10, and if the tile image needs to be changed, The tile image is provided to the information processing apparatus 10.
  • the image data acquisition unit 142 acquires the tile image
  • the image data acquisition unit 142 stores the tile image in the main memory 60.
  • the decoding unit 144 reads out the tile image used for generating the display image from the main memory 60, decodes it, and stores it in the buffer memory 70.
  • the display image generation unit 150 generates a display image using the tile image held in the buffer memory 70 based on the position information, and supplies the display image to the frame memory 90.
  • the guide image generation unit 154 generates a guide image 220 to be displayed in the lower right area of the screen.
  • the guide image 220 is an indicator that specifies the position of the display image area in the entire content image.
  • the entire image of the content is an image of the entire magazine spread, and is an image composed of all tile images included in one layer in the layer data.
  • the guide image generation unit 154 specifies the position of the region of the display image in the entire image from the spatial coordinates of the frame, and generates a guide image 220 indicating the region. In the example of FIG. 7, since the display image is the entire content image, the guide image 220 overlaps the content frame 222.
  • the content frame 222 is obtained by reducing the outer frame of the entire content image, and the guide image generation unit 154 determines the relationship between the outer frame of the entire content image and the display image area, and the content frame 222 and the guide image 220. Expressed in the relationship of The guide image generation unit 154 supplies the generated image to the display processing unit 44.
  • the display processing unit 44 superimposes and displays the guide image generated by the guide image generation unit 154 on the display image generated by the display image generation unit 150 to generate a frame image.
  • the information processing apparatus 10 when the display image generation unit 150 generates a display image, the information processing apparatus 10 performs a display image enlargement / reduction process and a scroll process at high speed, and provides a smooth image change to the user. it can. Further, the guide image generation unit 154 generates the guide image, so that the user can easily grasp the position of the display image in the entire content image.
  • FIG. 8 shows an example of a display image in which the handle is enlarged from the initial image shown in FIG.
  • the guide image generation unit 154 specifies the position of the display image area in the entire image from the spatial coordinates of the frame, and arranges the guide image 220 in the content frame 222.
  • the information processing apparatus 10 has a function of performing clip processing (scrap processing) for cutting out all or part of the display image displayed on the output device 12.
  • the whole display image means the whole frame image displayed on the output device 12, and the part of the display image means a part of the frame image.
  • This clip processing is executed by the clip processing unit 160.
  • the user can scrape all or part of the display image by pressing a predetermined button (for example, the ⁇ button 22) of the input device 20 while the content image is displayed.
  • a predetermined button for example, the ⁇ button 22
  • the clip instruction accepting unit 114 accepts the operation information of the ⁇ button 22 from the input device 20 as a clip instruction for cutting out all or part of the display image from the entire content image.
  • the clip instruction accepting unit 114 accepts the operation information of the ⁇ button 22 as a clip instruction for cutting out the entire display image.
  • the handle image shown in FIG. 8 is clipped. Note that, for example, the user may be able to set a rectangular area that specifies the area to be cut out on the display image.
  • the scrap information generating unit 180 When the clip instruction receiving unit 114 receives a clip instruction, the scrap information generating unit 180 generates scrap information for specifying an image to be clipped.
  • the clipping region specifying unit 162 specifies a region to be cut out from the entire content image by a clip instruction. As described above, here, the entire display image is specified as a region to be cut out.
  • the thumbnail image generation unit 164 generates a thumbnail image corresponding to the specified area.
  • the thumbnail image generation unit 164 may reduce the clipped display image and generate a thumbnail image.
  • the position information acquisition unit 166 acquires position information for specifying the position of the specified area in the entire image.
  • This position information is position information (X, Y, SCALE) of a region for generating a display image in image data having a hierarchical structure, and is used when generating the guide image 220 when clipping the entire display image.
  • the information may be Note that when the user sets a rectangular area that specifies an area to be cut out on the display image, the position information acquisition unit 166 derives and acquires position information of the rectangular area by calculation. As described above, in this embodiment, the position information acquisition unit 166 acquires the spatial coordinates of the display image as position information. Further, the content ID acquisition unit 168 acquires identification information (content ID) of the content image.
  • the scrap information writing unit 170 stores the acquired content ID, the generated thumbnail image, and the acquired position information in the hard disk drive 50 as scrap information 212 in association with each other.
  • FIG. 9 is an example of an operation image for inputting a memo attached to a thumbnail image.
  • the scrap information generating unit 180 When the clip instruction accepting unit 114 accepts a clip instruction, the scrap information generating unit 180 generates scrap information, and the operation image generating unit 176 generates an operation image 230 for inputting character information to be added to the scrap image.
  • the user can select a character (for example, alphabet) by operating the input device 20, and can input a character string to be added to the scrap image.
  • the character string “NEW CAR” is input.
  • the input character string is associated with the thumbnail image and stored in the hard disk drive 50 as scrap information.
  • FIG. 10 shows an example of a screen indicating the end of clip processing.
  • the scrap information writing unit 170 stores the content ID, thumbnail image, position information, and character string in the hard disk drive 50 as scrap information 212.
  • the scrap information writing unit 170 generates scrap information 212 and stores it in the hard disk drive 50 each time a clip instruction is generated.
  • the user can see a list of scrapped content.
  • the user presses a predetermined button (for example, ⁇ button 24) of the input device 20 to display a list of thumbnail images stored in the hard disk drive 50.
  • a predetermined button for example, ⁇ button 24
  • the scrap image list display can be changed from, for example, the display screen shown in FIG. 7
  • FIG. 11 shows an example of a screen on which the scrapbook 240 is displayed.
  • the scrapbook display instruction receiving unit 122 receives the operation information of the ⁇ button 24 from the input device 20 as an instruction to display a virtual scrapbook.
  • the scrap information reading unit 172 reads the scrap information stored in the hard disk drive 50.
  • the scrap information reading unit 172 reads the thumbnail image and the accompanying character string from the scrap information.
  • the scrapbook generation unit 174 generates a scrapbook 240 to be presented so that the user can select a thumbnail image using the read thumbnail image, and supplies the generated scrapbook 240 to the display processing unit 44.
  • the display processing unit 44 superimposes the scrapbook 240 generated by the scrapbook generation unit 174 on the display image generated by the display image generation unit 150 to generate a frame image.
  • the scrapbook 240 is configured so that the thumbnail image can be moved in the vertical direction when the user operates the input device 20.
  • a selection area 242 is set at the center in the vertical direction, and when the user presses a predetermined button, a content image corresponding to the thumbnail image arranged in the selection area 242 is displayed.
  • thumbnail image of the handle to which “NEW CAR” and a character string are added is displayed in the selection area 242.
  • This thumbnail image has been clipped in FIG.
  • the thumbnail selection instruction receiving unit 124 receives the operation information as an instruction to select a thumbnail image displayed in the selection area 242. This selection instruction is supplied to the image data acquisition unit 142.
  • the image data acquisition unit 142 When the image data acquisition unit 142 receives an instruction to select a thumbnail image, the image data acquisition unit 142 reads the scrap information 212 associated with the thumbnail image from the hard disk drive 50.
  • the transmission unit 120 transmits the read content ID and position information to the image data providing server 2, and the image data providing server 2 provides the information processing apparatus 10 with the tile image specified by the content ID and the position information. At this time, the image data providing server 2 may also provide the initial information of the content to the information processing apparatus 10.
  • the image data acquisition unit 142 stores the tile image in the main memory 60 when acquiring the tile image.
  • the decoding unit 144 reads out the tile image used for generating the display image from the main memory 60, decodes it, and stores it in the buffer memory 70.
  • the display image generation unit 150 generates a display image using the tile image held in the buffer memory 70 and supplies the display image to the frame memory 90. As a result, the same clip image as the thumbnail image is displayed on the output device 12 with a higher resolution.
  • the display image generation unit 150 may generate an initial image using the initial image data. Since the initial image shows the entire image of the content, the user can easily recognize the entire content by displaying the initial image. Note that the display time of the initial image may be as short as about 1 second, and after the initial image is displayed, it is preferable to smoothly transition to the clip image by enlargement processing. When the clip image is the same as the initial image, the initial image is continuously displayed as it is.
  • FIG. 12 is a flowchart showing clip processing.
  • the clipping region specifying unit 162 specifies an image region to be cut out from the entire content image by the clip instruction (S102). In this embodiment, the entire area of the display image is specified as the cutout area.
  • the position information acquisition unit 166 acquires position information for specifying the position of the specified area in the entire content image (S104). This position information may be spatial coordinates used when generating a display image. The spatial coordinates include information related to the scale ratio.
  • the thumbnail image generation unit 164 generates a thumbnail image corresponding to the specified area (S106).
  • the content ID acquisition unit 168 acquires identification information (content ID) of the content image (S108).
  • the scrap information writing unit 170 associates the acquired content ID, the generated thumbnail image, and the acquired position information with each other and stores them in the hard disk drive 50 as scrap information (S110).
  • the information processing apparatus 10 performs a clip process in which a user can easily recognize content intuitively.
  • the information processing apparatus 10 supplies scrap information to the information processing apparatus 14 to share information with other users (for example, friends).
  • the information acquisition unit 130 acquires the scrap information 212 from the hard disk drive 50, and the transmission unit 120 transmits the scrap information 212 to the specific information processing apparatus 14. At this time, the transmission unit 120 may transmit only the content ID and the position information among the scrap information.
  • the information processing apparatus 14 has the same image processing function as the information processing apparatus 10 and can receive the content ID and the position information to access the image data providing server 2 and display the content image.
  • the information processing apparatus 14 includes at least a receiving unit that receives a content ID and position information, a transmitting unit that transmits the received content ID and position information to the image data providing server 2, and an image provided from the image data providing server 2.
  • An image data acquisition unit that acquires data, and a display image generation unit that generates a display image according to position information using the acquired image data.
  • the transmission unit 120 may transmit the scrap information 212 to the information processing apparatus 14 using a message function used in a social networking service (SNS) or the like.
  • SNS social networking service
  • the information processing device 14 can notify the user that the message has been received by displaying an icon or the like on the output device 16 when the message is received.
  • This user opens the message at a desired timing, and acquires the scrap information 212 transmitted from the information processing apparatus 10.
  • the information processing device 14 first displays the clipping image specified by the scrap information 212 on the output device 16, but has the same image processing function as that of the information processing device 10 as described above.
  • the display image can be freely enlarged / reduced or moved by operation.
  • the information processing apparatus 10 may accumulate scrap information in the accumulation server 3.
  • the information processing apparatus 14 may access the storage server 3 at a desired timing and acquire scrap information generated by the information processing apparatus 10.
  • scrap information is accumulated in the accumulation server 3
  • the information processing apparatus 14 can acquire scrap information at an arbitrary timing, and can realize a highly convenient environment.
  • the information processing apparatus 10 may supply information on the displayed image to the information processing apparatus 14 in real time.
  • the information processing apparatus 14 displays substantially the same image as the image displayed on the information processing apparatus 10.
  • the information processing system 1 uses a chat system.
  • the information processing apparatus 10 serving as a host apparatus causes the network server 4 to generate a virtual room (chat room) for chatting.
  • the host user of the information processing apparatus 10 designates a guest user to be invited to the chat room, and transmits an invitation message from the information processing apparatus 10 to the information processing apparatus 14 of the guest user.
  • a chat system is constructed among the users who enter the chat room.
  • FIG. 13 is a sequence diagram showing processing for establishing a chat connection.
  • the network server 4 manages the network ID, address information, and user ID of the information processing apparatuses participating in the information processing system 1 in association with each other.
  • the information processing apparatus 10 creates a chat room generation request (S10).
  • the chat room generation request is transmitted to the network server 4 (S12), and the network server 4 generates a chat room (S14).
  • the information processing apparatus 10 holds a plurality of other user IDs in advance, selects a guest user to be invited to the chat room (S16), and transmits the guest user's user ID and an invitation message to the network server 4 ( S18).
  • the network server 4 identifies the network ID of the guest user information processing apparatus 14 from the user ID of the guest user (S20), and transfers the invitation message to the address associated with the network ID (S22).
  • the information processing apparatus 14 generates a room entry request indicating consent to the invitation message (S24), and transmits it to the network server 4 (S26).
  • the network server 4 permits the guest user to enter the chat room (S28), and transmits the address information of the information processing apparatus 14 to the information processing apparatus 10 (S30).
  • the information processing apparatus 10 accesses the information processing apparatus 14 based on the transmitted address information and establishes a chat connection (S32). Thereby, the host user of the information processing apparatus 10 and the guest user of the information processing apparatus 14 can chat.
  • the information processing apparatus 10 can perform a similar process with other information processing apparatuses, so that a plurality of guest users can enter the chat room.
  • the address information of all users who entered the chat room is notified to the respective information processing devices 14, and the information processing device 10 and each information processing device 14 send stream data or text data to other room users. Send. Thereby, it becomes possible to chat between users who entered the chat room.
  • the information processing apparatus 10 attaches information related to the display image to the chat message.
  • the information regarding the display image includes the ID of the content being displayed and position information (spatial coordinates).
  • the information processing apparatus 14 that has received such information accesses the image data providing server 2 to acquire a necessary tile image and generates a display image.
  • the information processing apparatus 14 can generate a display image in synchronization with the information processing apparatus 10, and thus each user can get a sense of browsing content together in the same space.
  • the information processing apparatus 10 may transmit the scrap information 212 to the information processing apparatus 14 using the message function as described above. As a result, the information processing apparatus 14 can acquire the scrap information 212 by opening the message.
  • the message may include a time when a chat room is newly opened, and the user of the information processing apparatus 14 may be attached with a promise to view the content together.
  • hierarchical data was used to generate a display image.
  • the display image can be smoothly transitioned.
  • the information processing apparatus 10 may generate a display image using only one layer of image data.
  • the clip processing unit 160 may regularly organize the scrap information 212 stored in the hard disk drive 50. For example, it is preferable that the scrap information 212 of the content already deleted in the image data providing server 2 is deleted. Therefore, the clip processing unit 160 may periodically inquire the image data providing server 2 whether the content ID included in the scrap information 212 exists in the image data providing server 2. At this time, for the content that has already been deleted, the scrap information 212 specified by the content ID is deleted. Thereby, the scrap information 212 can be organized.
  • SYMBOLS 1 ... Information processing system, 2 ... Image data provision server, 3 ... Storage server, 4 ... Network server, 10 ... Information processing apparatus, 12 ... Output device, 14 ... Information processing device 16 ... Output device 18 ... Network 20 ... Input device 100 ... Control unit 110 ... Input accepting unit 112 ... Change instruction accepting unit 114 ..Clip instruction accepting unit 116... Character input accepting unit 118... Start instruction accepting unit 120... Sending unit 122 .. Scrapbook display instruction accepting unit 124. Acceptance unit, 130 ... information acquisition unit, 140 ... image processing unit, 142 ... image data acquisition unit, 144 ... decoding unit, 146 ... change amount deriving unit, 148 ...
  • the present invention can be applied to the technical field of processing image data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

 表示画像生成部150が、ユーザからの変更指示に応じて、表示画像の拡大縮小処理や、スクロール処理を行う。クリップ指示受付部114がクリップ指示を受け付けると、クリッピング領域特定部162が、クリップ指示により切り出す領域を特定する。サムネイル画像生成部164は、特定した領域に対応するサムネイル画像を生成する。位置情報取得部166は、特定した領域の、全体画像における位置を特定する位置情報を取得する。コンテンツID取得部168は、クリップ指示を受け付けたときに表示されている画像を特定する識別情報を取得する。ハードディスクドライブ50は、識別情報、サムネイル画像、位置情報とを対応付けて記憶する。

Description

情報処理装置および情報処理システム
 本発明は、画像データを処理する情報処理装置で利用される技術に関する。
 ゲームプログラムを実行するだけでなく、動画を再生できる家庭用エンタテインメントシステムが提案されている。この家庭用エンタテインメントシステムでは、GPUがポリゴンを用いた三次元画像を生成する。
米国特許第6563999号公報
 従来より、高精細な写真などのディジタル画像から生成された複数の解像度のタイル画像を用いて、表示画像の拡大/縮小処理や、上下左右方向の移動処理を行う技術が提案されている。この画像処理技術では、原画像となる全体画像のサイズを複数段階に縮小して異なる解像度の画像を生成し、各階層の画像を一又は複数のタイル画像に分割して、原画像を階層構造で表現する。通常、最も解像度の低い画像は1つのタイル画像で構成され、最も解像度の高い原画像は、最も多い数のタイル画像で構成される。画像処理装置は、表示画像の拡大処理または縮小処理時に、使用しているタイル画像を、異なる階層のタイル画像に切り替えることで、拡大表示または縮小表示を迅速に行うようにしている。この画像処理技術によると、表示対象となる画像を拡大または縮小した場合であっても、表示解像度を高く維持して、高精細な画像をユーザに提供できる。
 近年では、高速なネットワーク環境が整備されたことにともなって、インターネットを介して、映像や音楽などのコンテンツデータを配信するサービスが普及している。そのため端末装置は、タイル画像を用いた画像処理を行う際に、全ての階層のタイル画像を保持していなくても、必要なタイル画像をサーバから適宜取得することで、ユーザからの変更指示にほぼリアルタイムに応答して、表示画像を生成できるようになる。
 そこで本発明者は、この画像処理技術の有用性に着目し、この画像処理技術を利用した新たなアプリケーションを想到するに至った。また本発明者は、画像処理技術と、高速通信とをリンクさせることで、複数ユーザで情報を共有するアプリケーションを想到するに至った。
 本発明は、画像データを処理する有用な技術を提供することを目的とする。
 上記課題を解決するために、本発明のある態様の情報処理装置は、全体画像の全部または一部をディスプレイに表示する情報処理装置であって、表示画像の変更指示を受け付ける第1受付部と、変更指示に応じて、全体画像の全部または一部である表示画像を生成する画像処理部と、クリップ指示を受け付ける第2受付部と、クリップ指示を受けて、クリップ処理を行うクリップ処理部とを備える。クリップ処理部は、クリップ指示により切り出す領域を特定するクリッピング領域特定部と、特定した領域に対応するサムネイル画像を生成するサムネイル画像生成部と、特定した領域の、全体画像における位置を特定する位置情報を取得する位置情報取得部と、サムネイル画像と位置情報とを対応付けて記憶する記憶部とを有する。
 本発明の別の態様もまた、情報処理装置である。この装置は、全体画像の全部または一部をディスプレイに表示する情報処理装置であって、表示画像の変更指示を受け付ける第1受付部と、変更指示に応じて、表示するべき画像の全体画像のなかの位置を特定する位置情報を決定する位置情報決定部と、決定した位置情報にしたがって表示画像を生成する表示画像生成部と、決定した位置情報を別の情報処理装置に送信する送信部と、を備える。
 本発明のさらに別の態様は、情報処理システムである。この情報処理システムは、第1情報処理装置と第2情報処理装置とがネットワークで接続された情報処理システムであって、第1情報処理装置は、表示画像の変更指示を受け付ける第1受付部と、変更指示に応じて、表示するべき画像の全体画像における位置を特定する位置情報を決定する位置情報決定部と、決定した位置情報にしたがって、全体画像の全部または一部である表示画像を生成する表示画像生成部と、決定した位置情報を、第2情報処理装置に送信する送信部とを有する。第2情報処理装置は、位置情報を受信する受信部と、受信した位置情報にしたがって表示画像を生成する表示画像生成部とを有する。
 なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明の実施例にかかる情報処理システムを示す図である。 入力装置の外観構成を示す図である。 情報処理システムにおいて使用する画像データの階層構造を示す図である。 情報処理装置の機能ブロック図である。 情報処理装置における制御部の構成を示す図である。 コンテンツ閲覧アプリケーションを操作するためのメニュー画面の一例を示す図である。 コンテンツ画像の表示処理開始時に出力装置に示される表示画像の一例を示す図である。 初期画像から拡大表示した表示画像の一例を示す図である。 サムネイル画像に付与するメモを入力するための操作画像の一例を示す図である。 クリップ処理の終了を示す画面の一例を示す図である。 スクラップブックが表示された画面例を示す図である。 クリップ処理を示すフローチャートである。 チャット接続を確立する処理を示すシーケンス図である。
 図1は、本発明の実施例にかかる情報処理システム1を示す。情報処理システム1は、ネットワーク18で通信可能に接続された情報処理装置10、情報処理装置14、入力装置20、画像データ提供サーバ2、蓄積サーバ3およびネットワークサーバ4を備える。ネットワーク18は、たとえばTCP/IPプロトコルを用いるインターネットであってよい。
 情報処理装置10は出力装置12を有し、情報処理装置14は出力装置16を有する。出力装置12、16は、画像を出力するディスプレイと、音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。出力装置12、16は、それぞれ情報処理装置10、14に有線ケーブルで接続されてよく、また無線LAN(Local Area Network)などにより無線接続されてもよい。入力装置20は、ユーザにより操作されて、情報処理装置10に対してユーザの操作指示を入力するための入力インタフェースである。情報処理装置10、入力装置20および出力装置12は、一体に形成されてもよく、たとえば画像処理機能を搭載した携帯端末装置として構成されてもよい。
 情報処理システム1において、情報処理装置10、14は、それぞれ単独で動作して画像処理を実行する機能を有する。情報処理装置10、14は、同一の画像処理機能を有して構成され、以下においては代表して情報処理装置10の動作を例に、画像処理機能を説明する。情報処理装置10は、ユーザから入力装置20に入力される操作情報に応じて、出力装置12のディスプレイに表示する表示画像の拡大/縮小処理や、上下左右方向への移動処理など、表示画像を変更する処理を行う。
 情報処理装置10は、GUIアプリケーションやゲームアプリケーションを実行するゲーム装置であって、画像処理用のプログラムをロードすることで画像処理機能を実現してもよい。また情報処理装置10は、様々なアプリケーションを実行可能なパーソナルコンピュータであってもよく、画像処理用のプログラムをロードすることで画像処理機能を実現してもよい。
 情報処理装置10は、ネットワーク18に接続し、入力装置20に入力される操作情報に応じて、画像データ提供サーバ2から表示画像の生成に必要なタイル画像を適宜ダウンロードして取得する。なお情報処理装置10は、画像データ提供サーバ2から階層化された圧縮画像データの全体をダウンロードして取得してもよい。
 画像データ提供サーバ2は、全体画像を複数の解像度のタイル画像で表現する階層化された画像データを保持している。画像データ提供サーバ2は、情報処理装置10からの要求に応じて、情報処理装置10において表示画像の生成に必要なタイル画像を情報処理装置10に提供する。なお画像データ提供サーバ2、階層化された画像データの全体を情報処理装置10に提供してもよい。
 また、情報処理システム1において、情報処理装置10および情報処理装置14は、互いにコンテンツに関する情報を共有する。情報処理装置10および情報処理装置14は、コンテンツに関する情報を同期して共有してもよく、また非同期で共有してもよい。実施例では、情報処理装置10と情報処理装置14とが通信するとき、情報処理装置10がホスト装置として動作し、情報処理装置14がクライアント装置として動作する。
 ネットワークサーバ4は、情報処理装置10および情報処理装置14の間の通信を管理する。情報処理システム1の1つの態様においては、ネットワークサーバ4がチャットシステムを構築し、情報処理装置10が、コンテンツに関する情報をチャットメッセージに添付して、情報処理装置14に送信する。これにより、情報処理装置10および情報処理装置14の間で、コンテンツに関する情報が共有される。情報処理システム1では情報処理装置14も、画像処理機能を有しているため、情報処理装置10と情報処理装置14とで、コンテンツに関する同じ画像を表示できる。
 情報処理装置10は、入力装置20に入力される指示に応じて、出力装置12に表示されている表示画像の全体または一部を切り出すクリップ処理(スクラップ処理)を行う機能を有する。情報処理装置10は、このクリップ処理において、切り出した画像のサムネイル画像を生成し、スクラップブックに蓄積していく。情報処理装置10は、スクラップブックに蓄積されたサムネイル画像を選択すると、そのサムネイル画像で特定されるコンテンツにアクセスできる。スクラップ情報は、情報処理装置10のスクラップブックに蓄積されるが、蓄積サーバ3に蓄積されてもよい。
 図2は、入力装置20の外観構成を示す。入力装置20は、ユーザが操作可能な操作手段として、十字キー21、アナログスティック27a、27bと、4種の操作ボタン26を備える。4種の操作ボタン26は、○ボタン22、×ボタン23、□ボタン24および△ボタン25から構成される。
 情報処理システム1において、入力装置20の操作手段に、表示画像の拡大/縮小指示、および上下左右方向へのスクロール指示を入力するための機能が割り当てられる。たとえば、表示画像の拡大/縮小指示の入力機能は、右側のアナログスティック27bに割り当てられる。ユーザはアナログスティック27bを手前に引くことで、表示画像の縮小指示を入力でき、また手前から押すことで、表示画像の拡大指示を入力できる。表示画像のスクロール指示の入力機能は、アナログスティック27aに割り当てられる。ユーザはアナログスティック27aを前後左右に倒すことで、表示画像のスクロール指示を入力できる。本実施例において、表示画像の拡大指示や縮小指示、スクロール指示を、まとめて画像変更指示とよぶ。
 入力装置20は、入力された画像変更指示信号を情報処理装置10に伝送する機能をもち、本実施例では情報処理装置10との間で無線通信可能に構成される。入力装置20と情報処理装置10は、Bluetooth(ブルートゥース)(登録商標)プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置20は、情報処理装置10とケーブルを介して接続して、画像変更指示信号を情報処理装置10に伝送してもよい。
 図3は、情報処理システム1において使用する画像データの階層構造を示す。この画像データは画像データ提供サーバ2において保持されており、画像データ提供サーバ2は、情報処理装置10に対して、表示画像の生成に必要なタイル画像を適宜提供する。なお画像データ提供サーバ2は、情報処理装置10に対して画像データの階層構造を示す構造データを通知し、情報処理装置10は、このデータを用いて、入力装置20の操作情報から、フレーム画像(表示画像)を特定する空間座標を導出してもよい。なお、この階層構造は、すべてのコンテンツにおいて共通化されており、したがって情報処理装置10は、その共通化された構造データをもとに、以下に示すように空間座標を導出してもよい。
 画像データは、深さ(Z軸)方向に、第0階層30、第1階層32、第2階層34および第3階層36を含む階層構造を有し、以下、この階層構造をもつ画像データを「階層データ」とよぶ。なお第4階層以上の高階層があってもよい。図3に示す階層データ28は4分木の階層構造を有し、各階層は、1以上のタイル画像38で構成される。すべてのタイル画像38は同じ画素数をもつ同一サイズに形成され、たとえば256×256画素を有する。各階層の画像データは、一つの全体画像(コンテンツ画像)を異なる解像度で表現しており、最高解像度をもつ第3階層36の原画像を複数段階に縮小して、第2階層34、第1階層32、第0階層30の画像データが生成される。たとえば第N階層の解像度(Nは0以上の整数)は、左右(X軸)方向、上下(Y軸)方向ともに、第(N+1)階層の解像度の1/2であってよい。
 図3に示す階層データ構造において、深さ(Z軸)方向における位置は、解像度を示し、第0階層30に近い位置ほど解像度が低く、第3階層36に近い位置ほど解像度は高い。ディスプレイに表示される画像の大きさに注目すると、深さ方向における位置は、縮尺率に対応し、第3階層36の表示画像の縮尺率を1とすると、第2階層34における縮尺率は1/4、第1階層32における縮尺率は1/16となり、第0階層30における縮尺率は1/64となる。したがって深さ方向において、表示画像が第0階層30側から第3階層36側へ向かう方向に変化する場合、表示画像は拡大していき、第3階層36側から第0階層30側へ向かう方向に変化する場合は、表示画像は縮小していく。
 画像データ提供サーバ2において、階層データ28は、所定の圧縮形式で圧縮された状態で記憶装置に保持されている。階層データにおいて、圧縮処理は、タイル画像単位に行われていてもよく、また同一階層内または異なる階層間において複数のタイル画像単位に行われていてもよい。画像データ提供サーバ2は、複数のコンテンツの階層データ28を保持している。複数の階層データ28は、コンテンツを特定する識別情報(以下、「コンテンツID」とよぶ)で識別される。本実施例において、コンテンツ画像は、たとえば1つの雑誌の見開き、すなわち雑誌を開いたときに向き合っている左右の2ページである。階層データ28は、まず雑誌の見開きのスキャン画像を生成し、そのスキャン画像を順次縮小することで、複数階層の画像データとして構成される。画像データ提供サーバ2は、1つの雑誌に関して、全ての見開きの階層データを保持していてもよく、この場合に、コンテンツIDは、雑誌(コンテンツ)名と、ページ番号などから構成されてよい。
 階層データ28の階層構造は、図3に示すように、左右方向をX軸、上下方向をY軸、深さ方向をZ軸として設定され、仮想的な3次元空間を構築する。この階層構造において、X軸およびY軸は、原点を等しくする共通の座標系を定義する。情報処理装置10は、入力装置20から供給される画像変更指示から表示画像の変更量を導出し、導出した変更量を用いて、階層を特定する情報と、その階層におけるテクスチャ座標(UV座標)を導出する。この階層特定情報およびテクスチャ座標の組み合わせを、空間座標と呼ぶ。仮想空間における空間座標は、使用するタイル画像の特定処理、および表示画像の生成処理に利用される。なお情報処理装置10は、表示画像の変更量を用いて仮想空間におけるフレーム画像の4隅の座標を導出してもよい。この4隅のフレーム座標も、空間座標と呼ぶ。また情報処理装置10は、空間座標として、仮想空間におけるフレーム画像の中心座標(X,Y)と縮尺率SCALEを導出してもよい。情報処理装置10は、入力装置20から供給される画像変更指示信号から、適切な階層のタイル画像38の使用領域を特定できればよく、いずれの手法を採用してもよい。情報処理装置10は、導出した空間座標を画像データ提供サーバ2に送信し、画像データ提供サーバ2は、空間座標より特定されるタイル画像を情報処理装置10に提供する。なお画像データ提供サーバ2は、たとえば将来的に必要となるであろうタイル画像を予測により特定し、前もって情報処理装置10に提供してもよい。なお、情報処理装置10が、階層データの全体を画像データ提供サーバ2からダウンロードしている場合には、情報処理装置10が、導出した空間座標から、タイル画像38の使用領域を特定すればよい。
 図4は、情報処理装置10の機能ブロック図を示す。情報処理装置10は、無線インタフェース40、スイッチ42、表示処理部44、ハードディスクドライブ50、記録媒体装着部52、ディスクドライブ54、メインメモリ60、バッファメモリ70および制御部100を有して構成される。表示処理部44は、フレームメモリを利用して、出力装置12のディスプレイに表示するデータをバッファリングする。本実施例において情報処理装置14も、情報処理装置10と同様の機能を有して構成されてよい。
 スイッチ42は、イーサネットスイッチ(イーサネットは登録商標)であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ42は、外部のネットワーク18に接続し、画像データ提供サーバ2からタイル画像データを受信する。またスイッチ42は無線インタフェース40に接続し、無線インタフェース40は、所定の無線通信プロトコルで入力装置20と接続する。入力装置20においてユーザから入力された画像変更指示信号は、無線インタフェース40、スイッチ42を経由して、制御部100に供給される。
 ハードディスクドライブ50は、データを記憶する補助記憶装置として機能する。スイッチ42を介して受信された圧縮画像データは、メインメモリ60に格納されてもよい。なお、階層データの全体をダウンロードする際には、階層データがハードディスクドライブ50に格納されてもよい。記録媒体装着部52は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ54は、読出専用のROMディスクが装着されると、ROMディスクを駆動して認識し、データを読み出す。ROMディスクは、光ディスクや光磁気ディスクなどであってよい。なお圧縮画像データは、ハードディスクドライブ50にプリインストールされていてもよい。また圧縮画像データは、リムーバブル記録媒体またはROMディスクに記録されていて、表示処理の実行時に、メインメモリ60に読み出されてもよい。
 制御部100は、マルチコアCPUを備え、1つのCPUの中に1つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはPPU(Power Processing Unit)と呼ばれ、残りのプロセッサコアはSPU(Synergistic-Processing Unit)と呼ばれる。
 制御部100は、メインメモリ60およびバッファメモリ70に接続するメモリコントローラを備える。PPUはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各SPUに効率的に割り当てる。なお、PPU自身がタスクを実行してもよい。SPUはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ70として使用されてもよい。メインメモリ60およびバッファメモリ70は記憶装置であり、RAM(ランダムアクセスメモリ)として構成される。SPUは制御ユニットとして専用のDMA(Direct Memory Access)コントローラをもち、メインメモリ60とバッファメモリ70の間のデータ転送を高速に行うことができ、またフレームメモリとバッファメモリ70の間で高速なデータ転送を実現できる。本実施例の制御部100は、複数のSPUを並列動作させることで、高速な画像処理機能を実現する。表示処理部44は、出力装置12に接続されて、ユーザからの要求に応じた画像処理結果を出力する。
 図5は、情報処理装置10における制御部100の構成を示す。制御部100は、入力受付部110、送信部120、情報取得部130、画像処理部140およびクリップ処理部160を備える。入力受付部110は、入力装置20から操作情報を受け付ける機能を有し、変更指示受付部112、クリップ指示受付部114、文字入力受付部116、開始指示受付部118、スクラップブック表示指示受付部122およびサムネイル選択指示受付部124を有する。画像処理部140は、表示画像の生成処理、具体的には表示画像の拡大/縮小、スクロールなどの変更処理を実行する機能を有し、画像データ取得部142、デコード部144、変更量導出部146、空間座標決定部148、表示画像生成部150、メニュー画像生成部152およびガイド画像生成部154を有する。クリップ処理部160は、クリップ処理(スクラップ処理)を実行する機能を有し、スクラップ情報生成部180、スクラップ情報書込部170、スクラップ情報読出部172、スクラップブック生成部174および操作画像生成部176を有する。スクラップ情報生成部180は、クリッピング領域特定部162、サムネイル画像生成部164、位置情報取得部166およびコンテンツID取得部168を有する。
 図5において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、CPU(Central Processing Unit)、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部100は1つのPPUと複数のSPUとを有し、PPUおよびSPUがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
 情報処理システム1において、情報処理装置10が、登録したコンテンツの閲覧アプリケーションを実行する。この閲覧アプリケーションのメニュー画面には、登録されたコンテンツのサムネイル画像が表示される。このサムネイル画像は、静止画像であっても、動画像であってもよい。情報処理装置10は、登録したコンテンツを特定するコンテンツIDを保持しており、メニュー画面の生成時には、画像データ提供サーバ2から、登録コンテンツのサムネイル画像を取得する。メニュー画面は、たとえばカテゴリ毎に生成されてよく、情報処理装置10は、生成するメニュー画面に応じて、必要なサムネイル画像を画像データ提供サーバ2から取得する。
 図6は、コンテンツ閲覧アプリケーションを操作するためのメニュー画面の一例を示す。出力装置12のディスプレイにおいて、メニュー画面には、登録したコンテンツのカテゴリを選択するためのカテゴリ選択領域200が設けられる。ユーザは入力装置20を操作して、カテゴリ選択領域200に含まれるカテゴリを選択できる。図6では、カテゴリ「car」が選択され、登録コンテンツ表示領域204a、204b、204cに、カテゴリ「car」に関して登録されているコンテンツのサムネイル画像が表示されている。ユーザは入力装置20を操作して、選択枠206を動かすことでサムネイル画像を選択でき、選択枠206が配置されたサムネイル画像の拡大画像が選択コンテンツ表示領域202に表示される。
 以上のメニュー画像は、メニュー画像生成部152により生成される。ハードディスクドライブ50は、メニュー画像の生成に必要なメニュー情報210を保持している。メニュー情報210は、カテゴリ名、カテゴリに対応付けられたコンテンツIDなどを含み、画像データ提供サーバ2から提供される。メニュー画像生成部152は、カテゴリ選択領域200においてカテゴリが選択されると、メニュー情報210から選択されたカテゴリに対応付けられたコンテンツIDを読み出す。送信部120は、読み出されたコンテンツIDをスイッチ42経由で画像データ提供サーバ2に送信し、画像データ提供サーバ2は、コンテンツIDに対応付けられたサムネイル画像を情報処理装置10に提供する。画像データ取得部142がサムネイル画像を受け取ると、メニュー画像生成部152は、サムネイル画像を登録コンテンツ表示領域204に貼り付ける。
 サムネイル選択指示受付部124が、登録コンテンツ表示領域204に表示されたサムネイル画像の選択指示すなわち選択枠206の移動指示を受け付けると、メニュー画像生成部152は、選択枠206を登録コンテンツ表示領域204間で動かし、選択コンテンツ表示領域202に、選択されたサムネイル画像の拡大画像を表示する。なお、この拡大画像は、画像データ提供サーバ2から提供されてもよい。図6に示すメニュー画面において、ユーザが入力装置20の○ボタン22を押下すると、選択コンテンツ表示領域202に示されるコンテンツ画像の表示処理が開始される。
 図7は、コンテンツ画像の表示処理開始時に出力装置12に示される表示画像の一例を示す。図6に示すメニュー画面においてユーザが○ボタン22を押下すると、開始指示受付部118が、その操作情報を、表示処理の開始指示として受け付け、画像データ取得部142が、画像データ提供サーバ2から、コンテンツ画像の初期画像データを取得する。画像データ提供サーバ2は、情報処理装置10にて初期画像を生成するためのタイル画像を予め保持しており、送信部120から初期画像の取得要求がコンテンツIDとともに送信されると、情報処理装置10に、そのコンテンツIDで特定される初期画像を構成するタイル画像を送信する。画像データ取得部142が、タイル画像を取得すると、表示画像生成部150が、タイル画像を用いて、図7に示す初期画像を生成する。
 ユーザが入力装置20のアナログスティック27を操作すると、画像変更指示信号が情報処理装置10に送信される。変更指示受付部112は、入力装置20から、ディスプレイに表示されている表示画像の変更指示信号を受け付ける。
 変更量導出部146は、変更指示信号をもとに、表示要求される表示画像の変更量を導出する。表示画像の変更量は、階層データの仮想3次元空間において、1フレームごとの表示画像の上下左右方向の移動量および深さ方向の移動量である。空間座標決定部148は、前回フレームの空間座標から、導出された変更量により移動する今回フレームの空間座標(位置情報)を決定する。ここで空間座標は、フレーム画像の中心座標(X,Y)と縮尺率SCALEで特定される位置情報(X,Y,SCALE)である。変更量導出部146は、変更指示信号をもとに変更量(ΔX,ΔY,ΔSCALE)を導出し、空間座標決定部148は、前回フレームの位置情報(Xprev,Yprev,SCALEprev)に変更量(ΔX,ΔY,ΔSCALE)を加えて、今回フレームの位置情報(X,Y,SCALE)を決定する。なお、既述したように、空間座標は他のパラメータにより定められてもよい。
 送信部120は、空間座標決定部148で決定された空間座標を、画像データ提供サーバ2に送信する。画像データ提供サーバ2は、空間座標を受け取ると、情報処理装置10にて表示画像を生成するためにタイル画像を変更する必要があるか判定し、タイル画像を変更する必要がある場合には、そのタイル画像を情報処理装置10に提供する。画像データ取得部142はタイル画像を取得すると、メインメモリ60に保持させる。デコード部144は、メインメモリ60から表示画像の生成に用いるタイル画像を読み出してデコードし、バッファメモリ70に保持させる。表示画像生成部150は、位置情報にもとづいて、バッファメモリ70に保持されたタイル画像を用いて表示画像を生成し、フレームメモリ90に供給する。
 ガイド画像生成部154は、画面右下の領域に表示するガイド画像220を生成する。ガイド画像220は、コンテンツの全体画像における表示画像の領域の位置を特定するインジケータである。コンテンツの全体画像とは、本実施例では雑誌の見開き全体の画像であり、階層データにおいて1つの階層に含まれる全てのタイル画像で構成される画像である。ガイド画像生成部154は、フレームの空間座標から、全体画像における表示画像の領域の位置を特定し、その領域を示すガイド画像220を生成する。図7の例では、表示画像がコンテンツの全体画像であるため、ガイド画像220がコンテンツ枠222に重なっている。コンテンツ枠222は、コンテンツの全体画像の外枠を縮小したものであり、ガイド画像生成部154は、コンテンツ全体画像の外枠と表示画像の領域との関係を、コンテンツ枠222とガイド画像220との関係で表現する。ガイド画像生成部154は、生成した画像を表示処理部44に供給する。表示処理部44は、表示画像生成部150で生成された表示画像に、ガイド画像生成部154で生成されたガイド画像を重畳表示して、フレーム画像を生成する。
 以上のように表示画像生成部150が表示画像を生成することで、情報処理装置10は、表示画像の拡大、縮小処理、またスクロール処理を高速に実行し、スムーズな画像の変化をユーザに提供できる。またガイド画像生成部154がガイド画像を生成することで、ユーザが、全体のコンテンツ画像における表示画像の位置を容易に把握できる。
 図8は、図7に示す初期画像から、ハンドルを拡大表示した表示画像の一例を示す。ガイド画像生成部154は、フレームの空間座標から、全体画像における表示画像領域の位置を特定し、ガイド画像220をコンテンツ枠222内に配置する。
 情報処理装置10は、出力装置12に表示されている表示画像の全体または一部を切り出すクリップ処理(スクラップ処理)を行う機能を有する。表示画像の全体とは、出力装置12に表示されているフレーム画像の全体を意味し、表示画像の一部とは、フレーム画像の一部を意味する。このクリップ処理は、クリップ処理部160により実行される。このクリップ処理によると、コンテンツ画像が表示されている間、ユーザは入力装置20の所定のボタン(たとえば○ボタン22)を押下することで、表示画像の全体または一部をスクラップできる。以下では、図8に示す表示画面において、ユーザが○ボタン22を押下した場合を例に説明する。
 クリップ指示受付部114が、入力装置20より○ボタン22の操作情報を、コンテンツの全体画像から、表示画像の全体または一部を切り出すクリップ指示として受け付ける。本実施例では、クリップ指示受付部114が、○ボタン22の操作情報を、表示画像の全体を切り出すクリップ指示として受け付け、この例では、図8に示すハンドルの画像がクリップ処理される。なお、たとえばユーザが、表示画像上で、切り出す領域を特定する矩形領域を設定できるようにしてもよい。
 クリップ指示受付部114がクリップ指示を受け付けると、スクラップ情報生成部180が、クリッピングする画像を特定するスクラップ情報を生成する。まずスクラップ情報生成部180において、クリッピング領域特定部162が、クリップ指示によりコンテンツ画像の全体から切り出す領域を特定する。既述したように、ここでは表示画像の全体が、切り出す領域として特定される。サムネイル画像生成部164は、特定した領域に対応するサムネイル画像を生成する。サムネイル画像生成部164は、切り出した表示画像を縮小して、サムネイル画像を生成してもよい。位置情報取得部166は、特定した領域の、全体画像における位置を特定する位置情報を取得する。この位置情報は、階層構造をもつ画像データにおいて、表示画像を生成する領域の位置情報(X,Y,SCALE)であり、表示画像の全体をクリッピングするときには、ガイド画像220を生成する際に用いられる情報であってよい。なお、ユーザが表示画像上で切り出す領域を特定する矩形領域を設定する場合には、位置情報取得部166は、その矩形領域の位置情報を演算により導出して取得する。このように本実施例では、位置情報取得部166が、表示画像の空間座標を、位置情報として取得する。さらにコンテンツID取得部168は、コンテンツ画像の識別情報(コンテンツID)を取得する。スクラップ情報書込部170は、取得したコンテンツID、生成したサムネイル画像および取得した位置情報とを、互いに対応付けて、スクラップ情報212としてハードディスクドライブ50に格納する。
 図9は、サムネイル画像に付与するメモを入力するための操作画像の一例である。クリップ指示受付部114がクリップ指示を受け付けると、スクラップ情報生成部180がスクラップ情報を生成するとともに、操作画像生成部176が、スクラップ画像に付加する文字情報を入力するための操作画像230を生成する。操作画像230では、ユーザが入力装置20を操作して文字(たとえばアルファベット)を選択でき、スクラップ画像に付加する文字列を入力できる。図示の例では、「NEW CAR」の文字列が入力されている。入力された文字列は、サムネイル画像に関連付けられて、スクラップ情報としてハードディスクドライブ50に格納される。
 図10は、クリップ処理の終了を示す画面の一例を示す。スクラップ情報書込部170は、コンテンツID、サムネイル画像、位置情報および文字列を、スクラップ情報212としてハードディスクドライブ50に格納する。スクラップ情報書込部170は、クリップ指示が生成されるたびに、スクラップ情報212を生成してハードディスクドライブ50に格納する。
 ユーザは、スクラップしたコンテンツの一覧を見ることができる。コンテンツ閲覧アプリケーションの実行中、ユーザは入力装置20の所定のボタン(たとえば□ボタン24)を押下することで、ハードディスクドライブ50に蓄積したサムネイル画像を一覧表示させる。スクラップしたコンテンツの一覧を画像で表現することにより、ユーザが直観的にコンテンツを把握できるインタフェースを提示できる。以下では、図7に示す表示画面において、ユーザが□ボタン24を押下した場合を例に説明する。なお、スクラップ画像の一覧表示は、たとえば図8に示す表示画面から遷移することも可能である。
 図11は、スクラップブック240が表示された画面例を示す。スクラップブック表示指示受付部122が、入力装置20より□ボタン24の操作情報を、仮想的なスクラップブックを表示させる指示として受け付ける。スクラップブック表示指示受付部122がスクラップブック表示指示を受け付けると、スクラップ情報読出部172が、ハードディスクドライブ50に格納されているスクラップ情報を読み出す。ここでは、スクラップ情報読出部172が、スクラップ情報のうち、サムネイル画像および付随する文字列を読み出す。スクラップブック生成部174は、読み出されたサムネイル画像を用いて、ユーザがサムネイル画像を選択できるように提示するスクラップブック240を生成して、表示処理部44に供給する。表示処理部44は、表示画像生成部150で生成された表示画像に、スクラップブック生成部174で生成されたスクラップブック240を重畳表示して、フレーム画像を生成する。スクラップブック240は、ユーザが入力装置20を操作することで、サムネイル画像を上下方向に動かせるように構成される。スクラップブック240において、縦方向の中央部に選択領域242が設定され、ユーザが所定のボタンを押下すると、選択領域242に配置されたサムネイル画像に対応するコンテンツ画像が表示される。
 図11に示す例では、「NEW CAR」と文字列が付加されたハンドルのサムネイル画像が選択領域242に表示されている。このサムネイル画像は、図10においてクリップ処理されたものである。この状態でユーザが所定のボタン(たとえば○ボタン22)を押下すると、サムネイル選択指示受付部124が、その操作情報を、選択領域242に表示されているサムネイル画像の選択指示として受け付ける。この選択指示は、画像データ取得部142に供給される。
 画像データ取得部142は、サムネイル画像の選択指示を受けると、そのサムネイル画像に対応付けられているスクラップ情報212をハードディスクドライブ50から読み出す。送信部120は、読み出したコンテンツIDおよび位置情報を画像データ提供サーバ2に送信し、画像データ提供サーバ2は、コンテンツIDおよび位置情報で特定されるタイル画像を情報処理装置10に提供する。このとき画像データ提供サーバ2は、そのコンテンツの初期画像データも情報処理装置10に提供してよい。
 画像データ取得部142はタイル画像を取得すると、メインメモリ60に保持させる。デコード部144は、メインメモリ60から表示画像の生成に用いるタイル画像を読み出してデコードし、バッファメモリ70に保持させる。表示画像生成部150は、バッファメモリ70に保持されたタイル画像を用いて表示画像を生成し、フレームメモリ90に供給する。これにより、サムネイル画像と同じクリップ画像が、より高い解像度で出力装置12に表示されることになる。
 なお、この画像を表示する前に、表示画像生成部150は、初期画像データを用いて初期画像を生成してもよい。初期画像はコンテンツの全体画像を示すため、初期画像を表示することで、ユーザは、コンテンツの全体を容易に認識できる。なお、初期画像の表示時間は1秒程度と短くてよく、初期画像の表示後、拡大処理によりクリップ画像にスムーズに遷移することが好ましい。なおクリップ画像が初期画像と同じである場合には、初期画像がそのまま表示され続けることになる。
 図12は、クリップ処理を示すフローチャートである。クリップ指示受付部114がクリップ指示を受け付ける(S100)と、クリッピング領域特定部162が、クリップ指示によりコンテンツ画像の全体から切り出す画像領域を特定する(S102)。本実施例では、表示画像の全体の領域が、切り出し領域として特定される。位置情報取得部166は、特定した領域の、コンテンツの全体画像における位置を特定する位置情報を取得する(S104)。この位置情報は、表示画像を生成する際に用いられる空間座標であってよい。なおこの空間座標は、縮尺率に関連する情報を含んでいる。サムネイル画像生成部164は、特定した領域に対応するサムネイル画像を生成する(S106)。コンテンツID取得部168は、コンテンツ画像の識別情報(コンテンツID)を取得する(S108)。スクラップ情報書込部170は、取得したコンテンツID、生成したサムネイル画像および取得した位置情報とを互いに対応付けて、スクラップ情報としてハードディスクドライブ50に格納する(S110)。
 以上のように、情報処理装置10は、ユーザが直観的にコンテンツを認識しやすいクリップ処理を実行する。現実世界では、友人と同じ雑誌や新聞などを見ながら語り合い、互いの感覚を共有することができる。しかしながら、実際にはスケジュール調整など難しいことも多く、特に遠隔地の友人と集合することは難しい。そこで情報処理システム1では、ネットワーク上の仮想空間で、情報を共有できる環境を提供する。
 一つの例として、情報処理装置10が、スクラップ情報を情報処理装置14に供給することで、他のユーザ(たとえば友人)との間で情報を共有する。情報取得部130は、ハードディスクドライブ50からスクラップ情報212を取得し、送信部120が、特定の情報処理装置14に、スクラップ情報212を送信する。このとき送信部120は、スクラップ情報のうち、コンテンツIDと位置情報のみを送信するようにしてもよい。情報処理装置14は、情報処理装置10と同じ画像処理機能を有しており、コンテンツIDと位置情報を受信すれば、画像データ提供サーバ2にアクセスして、コンテンツ画像を表示できる。情報処理装置14は、少なくとも、コンテンツIDと位置情報を受信する受信部と、受信したコンテンツIDと位置情報を画像データ提供サーバ2に送信する送信部と、画像データ提供サーバ2から提供される画像データを取得する画像データ取得部と、取得した画像データを用いて、位置情報にしたがって表示画像を生成する表示画像生成部とを有する。このようにして、情報処理システム1においては、スクラップした情報を複数ユーザで共有することができる。
 たとえば送信部120は、ソーシャルネットワーキングサービス(SNS)などで用いられるメッセージ機能を利用して、情報処理装置14にスクラップ情報212を送信してもよい。情報処理装置14は、ゲームアプリケーションなどを実行中であっても、メッセージを受信すると、出力装置16にアイコン等を表示することで、ユーザに、メッセージを受信したことを知らせることができる。このユーザは、好きなタイミングでメッセージを開封し、情報処理装置10から送信されたスクラップ情報212を取得する。これにより情報処理装置14のユーザは、情報処理装置10のユーザがスクラップした情報を共有できるようになる。なお情報処理装置14は、まず最初にスクラップ情報212により特定されるクリッピング画像を出力装置16に表示するが、既述したように情報処理装置10と同じ画像処理機能を有しており、ユーザの操作により表示画像を自由に拡大縮小または動かして表示できる。
 なお、情報処理装置10が、スクラップ情報を蓄積サーバ3に蓄積してもよい。たとえば情報処理装置14は、所望のタイミングで蓄積サーバ3にアクセスして、情報処理装置10が生成したスクラップ情報を取得してもよい。蓄積サーバ3にスクラップ情報が蓄積されると、情報処理装置14は、任意のタイミングでスクラップ情報を取得でき、利便性の高い環境を実現できる。
 別の例として、情報処理装置10が、リアルタイムで、表示している画像の情報を情報処理装置14に供給してもよい。これにより情報処理装置14では、情報処理装置10で表示されている画像と実質的に同じ画像が表示される。この同期処理を実現するために、情報処理システム1では、チャットシステムを利用する。
 実施例の情報処理システム1では、ホスト装置となる情報処理装置10が、チャット用の仮想的な部屋(チャットルーム)をネットワークサーバ4に生成させる。情報処理装置10のホストユーザは、チャットルームに招待するゲストユーザを指定して、そのゲストユーザの情報処理装置14に対して招待メッセージを情報処理装置10から送信する。ゲストユーザが情報処理装置14を介してチャットルームへの招待に同意し、チャットルームに入室すると、チャットルームに入室したユーザ同士の間でチャットシステムが構築される。
 図13は、チャット接続を確立する処理を示すシーケンス図である。ネットワークサーバ4は、情報処理システム1に参加する情報処理装置のネットワークID、アドレス情報およびユーザIDを対応づけて管理している。まず情報処理装置10が、チャットルームの生成要求を作成する(S10)。チャットルームの生成要求はネットワークサーバ4に送信され(S12)、ネットワークサーバ4は、チャットルームを生成する(S14)。情報処理装置10は、複数の他人のユーザIDを予め保持しており、チャットルームに招待するゲストユーザを選択して(S16)、ゲストユーザのユーザIDおよび招待メッセージをネットワークサーバ4に送信する(S18)。
 ネットワークサーバ4は、ゲストユーザのユーザIDから、ゲストユーザの情報処理装置14のネットワークIDを特定し(S20)、そのネットワークIDに対応づけられているアドレスに招待メッセージを転送する(S22)。情報処理装置14は、招待メッセージに同意することを示す入室要求を生成し(S24)、ネットワークサーバ4に送信する(S26)。それを受けてネットワークサーバ4は、ゲストユーザのチャットルームへの入室を許可し(S28)、情報処理装置10に情報処理装置14のアドレス情報を送信する(S30)。情報処理装置10は、送信されたアドレス情報をもとに情報処理装置14にアクセスし、チャット接続を確立する(S32)。これにより、情報処理装置10のホストユーザと、情報処理装置14のゲストユーザが、チャットすることが可能となる。
 情報処理装置10は、他の情報処理装置との間でも同様の処理をすることで、複数のゲストユーザがチャットルームに入室できる。チャットルームに入室した全てのユーザのアドレス情報が、それぞれの情報処理装置14に通知されて、情報処理装置10および各情報処理装置14は、自分以外の入室ユーザに対して、ストリームデータまたはテキストデータを送信する。これにより、チャットルームに入室したユーザ同士の間でチャットすることが可能となる。
 本実施例の情報処理システム1においては、情報処理装置10が、チャットメッセージに、表示画像に関する情報を添付する。ここで表示画像に関する情報は、表示しているコンテンツのIDと、位置情報(空間座標)を含む。これらの情報を受け取った情報処理装置14は、画像データ提供サーバ2にアクセスして、必要なタイル画像を取得し、表示画像を生成する。これにより情報処理装置14は、情報処理装置10と同期して表示画像を生成することができ、したがって、各ユーザは、あたかも同じ空間で、一緒にコンテンツを閲覧する感覚を得ることができる。
 なお情報処理装置10は、招待メッセージに対する応答がない場合には、既述したように、スクラップ情報212をメッセージ機能を利用して、情報処理装置14に送信しておいてもよい。これにより情報処理装置14は、メッセージを開封することで、スクラップ情報212を取得できるようになる。なお、メッセージに、チャットルームをあらためて開設する時期などを書き込んでおき、情報処理装置14のユーザに、一緒にコンテンツを閲覧する約束をとりつけるようにしてもよい。
 以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
 実施例では、表示画像を生成するために階層データを利用した。複数階層の画像データを利用することで、表示画像をスムーズに遷移させることが可能となる。しかしながら、情報処理装置10は、1階層の画像データのみを用いて、表示画像を生成してもよい。
 なお、クリップ処理部160は、ハードディスクドライブ50に格納したスクラップ情報212を定期的に整理してもよい。たとえば、画像データ提供サーバ2において既に削除されたコンテンツのスクラップ情報212は、削除されることが好ましい。したがってクリップ処理部160は、スクラップ情報212に含まれるコンテンツIDが画像データ提供サーバ2に存在しているか定期的に画像データ提供サーバ2に問い合わせてもよい。このとき、既に削除されているコンテンツについては、そのコンテンツIDで特定されるスクラップ情報212が削除される。これにより、スクラップ情報212を整理することができる。
1・・・情報処理システム、2・・・画像データ提供サーバ、3・・・蓄積サーバ、4・・・ネットワークサーバ、10・・・情報処理装置、12・・・出力装置、14・・・情報処理装置、16・・・出力装置、18・・・ネットワーク、20・・・入力装置、100・・・制御部、110・・・入力受付部、112・・・変更指示受付部、114・・・クリップ指示受付部、116・・・文字入力受付部、118・・・開始指示受付部、120・・・送信部、122・・・スクラップブック表示指示受付部、124・・・サムネイル選択指示受付部、130・・・情報取得部、140・・・画像処理部、142・・・画像データ取得部、144・・・デコード部、146・・・変更量導出部、148・・・空間座標決定部、150・・・表示画像生成部、152・・・メニュー画像生成部、154・・・ガイド画像生成部、160・・・クリップ処理部、162・・・クリッピング領域特定部、164・・・サムネイル画像生成部、166・・・位置情報取得部、168・・・コンテンツID取得部、170・・・スクラップ情報書込部、172・・・スクラップ情報読出部、174・・・スクラップブック生成部、176・・・操作画像生成部、180・・・スクラップ情報生成部。
 本発明は、画像データを処理する技術分野に適用できる。

Claims (12)

  1.  全体画像の全部または一部をディスプレイに表示する情報処理装置であって、
     表示画像の変更指示を受け付ける第1受付部と、
     変更指示に応じて、全体画像の全部または一部である表示画像を生成する画像処理部と、
     クリップ指示を受け付ける第2受付部と、
     クリップ指示を受けて、クリップ処理を行うクリップ処理部とを備え、
     前記クリップ処理部は、
     クリップ指示により切り出す領域を特定するクリッピング領域特定部と、
     特定した領域に対応するサムネイル画像を生成するサムネイル画像生成部と、
     特定した領域の、全体画像における位置を特定する位置情報を取得する位置情報取得部と、
     サムネイル画像と位置情報とを対応付けて記憶する記憶部と、
     を有することを特徴とする情報処理装置。
  2.  前記変更指示は、表示画像の拡大、縮小または移動を指示するものであることを特徴とする請求項1に記載の情報処理装置。
  3.  前記クリップ処理部は、前記第2受付部がクリップ指示を受け付けたときに表示されている画像を特定する識別情報を取得する識別情報取得部をさらに有することを特徴とする請求項1または2に記載の情報処理装置。
  4.  前記クリップ処理部は、サムネイル画像をユーザが選択できるように提示するスクラップブックを生成するスクラップブック生成部をさらに備えることを特徴とする請求項1から3のいずれかに記載の情報処理装置。
  5.  ディスプレイに表示されているサムネイル画像の選択指示を受け付ける第3受付部をさらに備え、
     前記画像処理部は、選択されたサムネイル画像に対応付けられた位置情報をもとに、表示画像を生成することを特徴とする請求項1から4のいずれかに記載の情報処理装置。
  6.  前記画像処理部は、全体画像を複数の解像度のタイル画像で表現する階層化された画像データのうち、少なくとも1つのタイル画像を用いて表示画像を生成するものであって、
     前記位置情報取得部は、縮尺率に関連する情報を、位置情報として取得することを特徴とする請求項1から5のいずれかに記載の情報処理装置。
  7.  前記画像処理部は、ネットワークを介して画像データ提供サーバからタイル画像を取得することを特徴とする請求項6に記載の情報処理装置。
  8.  識別情報および位置情報を、ネットワークを介して他の情報処理装置または蓄積サーバに送信する送信部をさらに備えることを特徴とする請求項3に記載の情報処理装置。
  9.  全体画像の全部または一部をディスプレイに表示する情報処理装置であって、
     表示画像の変更指示を受け付ける第1受付部と、
     変更指示に応じて、表示するべき画像の全体画像における位置を特定する位置情報を決定する位置情報決定部と、
     決定した位置情報にしたがって表示画像を生成する表示画像生成部と、
     決定した位置情報を、別の情報処理装置に送信する送信部と、
     を備えることを特徴とする情報処理装置。
  10.  第1情報処理装置と第2情報処理装置とがネットワークで接続された情報処理システムであって、
     第1情報処理装置は、
     表示画像の変更指示を受け付ける第1受付部と、
     変更指示に応じて、表示するべき画像の全体画像における位置を特定する位置情報を決定する位置情報決定部と、
     決定した位置情報にしたがって、全体画像の全部または一部である表示画像を生成する表示画像生成部と、
     決定した位置情報を、第2情報処理装置に送信する送信部と、を有し、
     第2情報処理装置は、
     位置情報を受信する受信部と、
     受信した位置情報にしたがって表示画像を生成する表示画像生成部と、を有することを特徴とする情報処理システム。
  11.  コンピュータに、
     表示画像の変更指示を受け付ける機能と、
     変更指示に応じて、全体画像の全部または一部である表示画像を生成する機能と、
     クリップ指示を受け付ける機能と、
     クリップ指示により切り出す領域を特定する機能と、
     特定した領域に対応するサムネイル画像を生成する機能と、
     特定した領域の、全体画像における位置を特定する位置情報を取得する機能と、
     サムネイル画像と位置情報とを対応付けて記憶部に記憶する機能と、
     を実現させるためのプログラム。
  12.  請求項11に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2010/006644 2009-12-01 2010-11-11 情報処理装置および情報処理システム WO2011067899A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/512,057 US9230298B2 (en) 2009-12-01 2010-11-11 Information processing device, and information processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009273847A JP5419654B2 (ja) 2009-12-01 2009-12-01 情報処理装置および情報処理システム
JP2009-273847 2009-12-01

Publications (1)

Publication Number Publication Date
WO2011067899A1 true WO2011067899A1 (ja) 2011-06-09

Family

ID=44114762

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/006644 WO2011067899A1 (ja) 2009-12-01 2010-11-11 情報処理装置および情報処理システム

Country Status (3)

Country Link
US (1) US9230298B2 (ja)
JP (1) JP5419654B2 (ja)
WO (1) WO2011067899A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103188546A (zh) * 2011-12-27 2013-07-03 索尼电脑娱乐公司 图像提供服务器、信息处理装置、图像处理系统及其方法
WO2017012279A1 (zh) * 2015-07-20 2017-01-26 京东方科技集团股份有限公司 显示方法及显示装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120188248A1 (en) * 2011-01-26 2012-07-26 The Boeing Company Image Management and Presentation
JP5895408B2 (ja) * 2011-09-12 2016-03-30 セイコーエプソン株式会社 表示制御装置、表示システム、表示システムの制御方法、及び、プログラム
JP6016906B2 (ja) * 2012-05-14 2016-10-26 株式会社コナミデジタルエンタテインメント 情報処理装置、プログラム、情報処理システム
CN104063844B (zh) * 2013-03-21 2019-01-15 腾讯科技(深圳)有限公司 一种缩略图生成方法及系统
US20140320592A1 (en) * 2013-04-30 2014-10-30 Microsoft Corporation Virtual Video Camera
USD765089S1 (en) * 2013-05-10 2016-08-30 Manheim Investments, Inc. Display screen or a portion thereof with graphical user interface
JP6271888B2 (ja) * 2013-07-12 2018-01-31 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
USD753705S1 (en) * 2013-11-21 2016-04-12 Microsoft Corporation Display screen with animated graphical user interface
JP6299234B2 (ja) 2014-01-23 2018-03-28 富士通株式会社 表示制御方法、情報処理装置、および表示制御プログラム
US10318572B2 (en) * 2014-02-10 2019-06-11 Microsoft Technology Licensing, Llc Structured labeling to facilitate concept evolution in machine learning
JP6264972B2 (ja) * 2014-03-18 2018-01-24 富士通株式会社 表示装置、表示制御プログラム、および表示制御方法
CN103902730B (zh) * 2014-04-15 2017-05-03 中国科学院自动化研究所 一种缩略图生成方法和系统
CN104346772B (zh) * 2014-11-06 2018-06-05 杭州华为数字技术有限公司 缩略图制作方法和装置
DE102015222489B4 (de) * 2015-11-13 2017-11-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System zur Visualisierung von Bilddaten
USD854048S1 (en) 2017-04-27 2019-07-16 Deere & Company Display screen with icon
USD916919S1 (en) * 2019-02-21 2021-04-20 Volvo Car Corporation Display screen or portion thereof with graphical user interface
US11468224B2 (en) * 2020-08-17 2022-10-11 IT Cadre, LLC Method for resizing elements of a document
USD1024099S1 (en) * 2022-02-25 2024-04-23 Waymo Llc Display screen or portion thereof with animated graphical user interface

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002278994A (ja) * 2001-03-19 2002-09-27 Kimoto & Co Ltd ファイリングシステム、サムネイル画像生成方法および画像ファイリング方法
JP2002335396A (ja) * 2002-02-01 2002-11-22 Sharp Corp 画像圧縮データ処理装置および画像表示方法
JP2004062671A (ja) * 2002-07-30 2004-02-26 Dream Technologies Kk 対象物が立体的に表されているかのように画像を表示するためのシステム及び方法
JP2007041943A (ja) * 2005-08-04 2007-02-15 Canon Inc 文書処理装置
JP2007086827A (ja) * 2005-09-16 2007-04-05 Seiko Epson Corp 画像処理装置、画像処理方法、および、プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG64486A1 (en) 1997-03-27 1999-04-27 Sony Corp Method and apparatus for information processing computer readable medium and authoring system
JP3784289B2 (ja) * 2000-09-12 2006-06-07 松下電器産業株式会社 メディア編集方法及びその装置
JP2007079641A (ja) * 2005-09-09 2007-03-29 Canon Inc 情報処理装置及び情報処理方法及びプログラム及び記憶媒体
US20070200953A1 (en) * 2006-02-28 2007-08-30 Yu-Ying Liu Method and Device for Displaying the Content of a Region of Interest within a Video Image
US8970448B2 (en) * 2009-06-18 2015-03-03 Hiperwall, Inc. Systems, methods, and devices for manipulation of images on tiled displays
US8555170B2 (en) * 2010-08-10 2013-10-08 Apple Inc. Tool for presenting and editing a storyboard representation of a composite presentation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002278994A (ja) * 2001-03-19 2002-09-27 Kimoto & Co Ltd ファイリングシステム、サムネイル画像生成方法および画像ファイリング方法
JP2002335396A (ja) * 2002-02-01 2002-11-22 Sharp Corp 画像圧縮データ処理装置および画像表示方法
JP2004062671A (ja) * 2002-07-30 2004-02-26 Dream Technologies Kk 対象物が立体的に表されているかのように画像を表示するためのシステム及び方法
JP2007041943A (ja) * 2005-08-04 2007-02-15 Canon Inc 文書処理装置
JP2007086827A (ja) * 2005-09-16 2007-04-05 Seiko Epson Corp 画像処理装置、画像処理方法、および、プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103188546A (zh) * 2011-12-27 2013-07-03 索尼电脑娱乐公司 图像提供服务器、信息处理装置、图像处理系统及其方法
JP2013134762A (ja) * 2011-12-27 2013-07-08 Sony Computer Entertainment Inc 画像処理システム、画像提供サーバ、情報処理装置、および画像処理方法
US8933936B2 (en) 2011-12-27 2015-01-13 Sony Corporation Image processing system, image provider server, information processing device, and image processing method, adapted to change in resolution
CN103188546B (zh) * 2011-12-27 2016-03-16 索尼电脑娱乐公司 图像提供服务器、信息处理装置、图像处理系统及其方法
WO2017012279A1 (zh) * 2015-07-20 2017-01-26 京东方科技集团股份有限公司 显示方法及显示装置

Also Published As

Publication number Publication date
US9230298B2 (en) 2016-01-05
US20120287152A1 (en) 2012-11-15
JP2011118546A (ja) 2011-06-16
JP5419654B2 (ja) 2014-02-19

Similar Documents

Publication Publication Date Title
JP5419654B2 (ja) 情報処理装置および情報処理システム
JP5662267B2 (ja) 画像表示システム、情報処理装置、サーバ、および画像処理方法
JP5548671B2 (ja) 画像処理システム、画像提供サーバ、情報処理装置、および画像処理方法
CN108173742B (zh) 一种图像数据处理方法、装置
JP6089454B2 (ja) 画像配信装置、表示装置及び画像配信システム
JP2008146495A (ja) 表示制御システム、表示制御装置、表示制御方法および表示制御プログラム、画像出力装置、画像出力方法および画像出力プログラム、ならびに、表示装置
JP2006511112A (ja) モバイルグラフィック表示装置
US9457275B2 (en) Information processing device
CN110720214B (zh) 显示控制设备、显示控制方法和存储介质
JP5265306B2 (ja) 画像処理装置
JP5467123B2 (ja) 情報処理装置および情報処理方法
EP2602991A1 (en) Display Apparatus and Control Method Thereof
JP2010056966A (ja) 画像コンテンツ送信サーバ、画像表示装置、画像コンテンツ送信方法、及び、画像表示方法
US8972877B2 (en) Information processing device for displaying control panel image and information image on a display
JP5992729B2 (ja) 情報処理装置および情報処理方法
JP5476734B2 (ja) サーバ、リモート操作システム、伝送方式選択方法、プログラム及び記録媒体
JP2010211586A (ja) 情報処理システム、情報処理装置、情報処理方法、制御プログラム、記録媒体
CN111782606A (zh) 显示设备、服务器和文件管理方法
JP5292149B2 (ja) 情報処理装置および情報処理方法
WO2013005371A1 (ja) 画像処理装置、画像データ生成装置、画像処理方法、画像データ生成方法、および画像ファイルのデータ構造
JP2011123127A (ja) 画像処理装置、画像表示装置及び画像伝送システム
JP2006065888A (ja) 画像表示装置及び方法、並びに情報提供装置及び方法
JP2021121899A (ja) コンテンツ表示システム、情報処理装置およびプログラム
KR20140018449A (ko) 분산된 그래픽 사용자 인터페이스를 제공하는 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10834355

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13512057

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 10834355

Country of ref document: EP

Kind code of ref document: A1