WO2011036761A1 - 多視点画像生成方法および装置 - Google Patents

多視点画像生成方法および装置 Download PDF

Info

Publication number
WO2011036761A1
WO2011036761A1 PCT/JP2009/066618 JP2009066618W WO2011036761A1 WO 2011036761 A1 WO2011036761 A1 WO 2011036761A1 JP 2009066618 W JP2009066618 W JP 2009066618W WO 2011036761 A1 WO2011036761 A1 WO 2011036761A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
viewpoint
viewpoint image
depth value
shift
Prior art date
Application number
PCT/JP2009/066618
Other languages
English (en)
French (fr)
Inventor
快行 爰島
森下　明
Original Assignee
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝 filed Critical 株式会社東芝
Priority to PCT/JP2009/066618 priority Critical patent/WO2011036761A1/ja
Priority to JP2011532839A priority patent/JP5238887B2/ja
Publication of WO2011036761A1 publication Critical patent/WO2011036761A1/ja
Priority to US13/412,741 priority patent/US8666147B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G02B30/29—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays characterised by the geometry of the lenticular array, e.g. slanted arrays, irregular arrays or arrays of varying shape or size

Definitions

  • the present invention relates to a multi-viewpoint image generation method.
  • Patent Document 3 In order to draw a CG, a multi-viewpoint image in which an object is drawn in advance is pasted on a quadrilateral polygon and drawn in real time from a plurality of viewpoints (Patent Document 3).
  • the present invention has been made in view of the above, and an object thereof is to provide a multi-viewpoint image generation method and apparatus capable of drawing a multi-viewpoint image at higher speed.
  • the present invention is based on the depth value indicating the position in the depth direction of the image, which is associated with each of the plurality of images, and the depth value is the same among the plurality of images.
  • a step of synthesizing the two images into one image, and the image synthesized in the synthesizing step is shifted according to a shift vector corresponding to the viewpoint and the depth value corresponding to the image for each of a plurality of viewpoints giving different parallaxes.
  • FIG. 2 is a block diagram showing functions of the image processing apparatus according to the present embodiment.
  • the hardware configuration of the image processing apparatus by this embodiment. 10 is a flowchart of single-viewpoint image synthesis processing according to the present embodiment. 10 is a flowchart of single-viewpoint image synthesis processing according to the present embodiment.
  • Single viewpoint image composition processing according to this embodiment Single viewpoint image composition processing according to this embodiment.
  • Single viewpoint image composition processing according to this embodiment Single viewpoint image composition processing according to this embodiment.
  • FIG. 1 is a perspective view schematically showing an example of the structure of a display unit 300 in a stereoscopic image display apparatus capable of displaying a multi-viewpoint image generated by the multi-viewpoint image generation method according to the present embodiment.
  • the display unit 300 includes a display device 301 and a lenticular plate 304 as a light beam control element disposed on the front surface of the display surface of the display device 301.
  • the display device 301 for example, an LCD (Liquid Crystal Display) can be used.
  • sub-pixels 302 having an aspect ratio of 3: 1 are arranged in a line in a straight line in the horizontal direction.
  • the sub-pixels 302 are arranged in a matrix so that red (R), green (G), and blue (B) are alternately arranged in the horizontal direction in the same row.
  • the sub-pixels 302 are aligned in a straight line in the vertical direction.
  • Each sub-pixel 302 is arranged so that R, G, and B are alternately arranged in the same column. Note that the vertical period (3Pp) of the sub-pixel row is three times the horizontal period Pp of the sub-pixel 302.
  • one effective pixel has three sub-pixels 302 of RGB arranged side by side. Since the minimum unit in which luminance and color can be arbitrarily set is configured, the sub-pixel 302 has an aspect ratio of 3: 1.
  • one effective pixel is configured by three vertical RGB sub-pixels 302, and one unit pixel group 303 (a frame in FIG. 1 is surrounded by nine effective pixels adjacent in the horizontal direction). Is shown).
  • the unit pixel group 303 is a pixel group on which images of pixels at the same position in a plurality of single-viewpoint images constituting a multi-viewpoint image are displayed. That is, the unit pixel group 303 displays a set of pixel data that generates parallax.
  • the cylindrical lens 305 constituting the lenticular plate 304 is disposed almost in front of the unit pixel group 303.
  • the horizontal pitch (Ps) of the cylindrical lenses 305 is nine times the horizontal period (Pp) of the sub-pixels arranged in the display surface.
  • Ps horizontal pitch
  • Pp horizontal period
  • the sub-pixel 302 that appears to be enlarged through the cylindrical lens is switched according to the change in the observation position of the horizontal position.
  • the multi-viewpoint composite image here refers to an image obtained by interleaving a plurality of single-viewpoint images with respect to corresponding pixels to form one image.
  • a multi-viewpoint image displayed on the display unit 300 having the structure illustrated in FIG. 1 will be described with reference to FIG.
  • the multi-viewpoint image is an intermediate image in which single-viewpoint images from different viewpoints # 0 to # 8 are arranged in a predetermined format (for example, a tile shape).
  • the arrangement of the single viewpoint images in the intermediate image is not limited to the tile shape illustrated in FIG.
  • the single viewpoint images may be arranged in a line. Other arrangements may be used as long as a plurality of single-view images constituting a multi-view image can be handled together.
  • An intermediate image in which single-viewpoint images of each viewpoint constituting one multi-viewpoint image are arranged in a tile shape is a compression encoding method (for example, MPEG (Moving Pictures Experts Group) method or JPEG ( (Joint Photographic Experts Group) method) can be applied.
  • the pixels 201A to 201I at the same position in each tile are displayed on nine effective pixels (FIG. 1) in one unit pixel group 303, respectively.
  • a single viewpoint image 260 illustrated in FIG. 3A has image information as luminance Y and color difference UV components or color components of three primary colors RGB for each pixel and attribute information A.
  • the attribute information A includes an ⁇ value indicating opacity for each pixel.
  • the ⁇ value indicates that when the range is 0 ⁇ ⁇ ⁇ 1, the value is 0 and the pixel is transparent, and the value is 1 and the pixel is completely opaque.
  • the object 261 is set to a value other than 0, such as 1, for the ⁇ value of the constituent pixels. Pixels in the region 262 other than the object 261 of the single viewpoint image 210 are transparent regions with the ⁇ value set to 0.
  • an image is synthesized using this ⁇ value.
  • the image information is expressed by the luminance Y and the color difference UV component
  • the luminance of the pixel n of the first image as the foreground is the luminance Y 1
  • a predetermined ⁇ value is set for the pixel.
  • the luminance Y 2 of the luminance of pixels m corresponding position to the pixel n is obtained by, for example, the following formula (1) when 0 ⁇ ⁇ ⁇ 1. .
  • Such image composition using the ⁇ value is called alpha blending.
  • Y (1 ⁇ ) ⁇ Y 2 + ⁇ ⁇ Y 1 (1)
  • FIG. 3B shows an example in which a plurality of single-view images 260 and 263 each having an area with pixels in which the ⁇ value is set to 0 are superimposed and synthesized.
  • FIG. 3C illustrates an example in which the single viewpoint images 260 and 263 illustrated in FIG. 3B are synthesized.
  • An object 261 of the single-viewpoint image 260 before the combination is arranged with respect to the combined single-viewpoint image 266.
  • the object 264 of the single viewpoint image 263 synthesized from the back side with respect to the single viewpoint image 260 passes through the transparent region 262 in the single viewpoint image 260 (before synthesis) on the near side and is arranged in the single viewpoint image 266. Is done.
  • the first to third methods for drawing a multi-viewpoint image by CG in a tile shape will be described in detail.
  • an object (character) expressed by a polygon mesh or the like is drawn in real time from a plurality of viewpoints.
  • Interactive display is possible by changing the shape of the polygon in real time.
  • This method is suitable for applications that require high interactivity, such as home video game software.
  • the amount of processing is large, it is difficult to draw a high-quality multi-viewpoint image in real time, that is, in a limited time.
  • a multi-viewpoint image created in advance is pasted on a quadrilateral polygon and drawn in real time from a plurality of viewpoints. For drawing each viewpoint, an image corresponding to the corresponding viewpoint is selected from the multi-viewpoint images and pasted as a texture on the quadrilateral polygon. That is, a texture that varies depending on the viewpoint is pasted on the quadrilateral polygon.
  • This second method is called multi-view sprite.
  • Multi-view sprites are not suitable for expressing interactivity such as changing the character's actions in response to user operations.
  • a built-in high-quality multi-viewpoint image can be drawn at high speed, which is suitable for applications such as movies.
  • different parallax can be given to each pixel of the image of each viewpoint, so that it is possible to reproduce the stereoscopic effect (bulge or dent) of the object drawn in the multi-viewpoint image.
  • a large-capacity memory is required.
  • a single single-viewpoint image created in advance is pasted on a quadrilateral polygon and drawn in real time from a plurality of viewpoints.
  • a single viewpoint image drawn from a certain viewpoint is pasted as a texture on a quadrilateral polygon. That is, the same texture is pasted on the quadrilateral polygon at all viewpoints.
  • This third method is called single viewpoint sprite.
  • the single viewpoint sprite In this single viewpoint sprite, all pixels of the image at each viewpoint have the same parallax. The stereoscopic effect of the object itself displayed by the multi-viewpoint image cannot be reproduced.
  • the single viewpoint sprite can express the planar depth of the entire object, that is, the depth (depth) when it is arranged as an image plane in a three-dimensional space.
  • the single-view sprite requires less memory consumption than the multi-view sprite.
  • interactivity is expressed by drawing a large number of objects in advance as separate images and overlaying them at an arbitrary timing and presenting them to the viewer.
  • an LSI capable of drawing a three-dimensional CG is used. That is, a single-viewpoint image is pasted on a quadrilateral polygon and sequentially shifted in the horizontal direction for rendering at high speed, and is performed by hardware using a three-dimensional CG LSI.
  • a 3D CG LSI is used for drawing equivalent to the single-view sprite described with reference to FIG. Is possible.
  • gaming machines installed in amusement facilities are often equipped with two-dimensional CG LSIs with lower cost and lower power consumption.
  • one single-viewpoint image 210 drawn in advance is shifted in the vertical and horizontal directions, and copied to the tiles 212A to 212I of the viewpoints # 0 to # 8 in the tile-shaped multi-viewpoint image 211, respectively.
  • the shift direction and the shift amount are changed depending on the viewpoint (copy destination tile) and the depth amount (position in the depth direction) in which the object based on the single-viewpoint image 210 is arranged.
  • This single-view sprite according to this embodiment is hereinafter referred to as a two-dimensional single-view sprite.
  • a single viewpoint image 250 from the central viewpoint is created in a size larger than each of the tiles 212A to 212I.
  • An image having a tile size is cut out from the single viewpoint image 250, and the cut-out image is copied to the tile.
  • cropping an image by shifting the cropping position in the vertical and horizontal directions according to the viewpoints # 0 to # 8, an image in which the same image is drawn from different viewpoints can be obtained.
  • the image is shifted by moving the effective display range in the image.
  • an image 251 having a tile size is cut out from a central portion of the single viewpoint image 250 having a size larger than the tile in the horizontal direction. .
  • a single viewpoint image 210 of the central viewpoint can be obtained.
  • the image 252 having the size of the tile is cut out from the center of the single viewpoint image 250 in the horizontal direction (right direction in this example) with the position shifted by the vector v 1 according to the viewpoint and the depth amount as the center.
  • a single viewpoint image whose viewpoint is shifted in the horizontal direction is obtained.
  • the single viewpoint image obtained in this way is copied to the corresponding viewpoint tile among the tiles 212A to 212I.
  • the image of the size of the tile is cut out from the center of the single viewpoint image that is larger in size in the vertical direction than the tile, with the position shifted in the vertical direction by a vector corresponding to the viewpoint and the depth amount.
  • a single-viewpoint image whose viewpoint is shifted in the vertical direction can be obtained.
  • by combining the method for generating a single-viewpoint image whose viewpoint is shifted in the vertical direction and the method for generating a single-viewpoint image whose viewpoint is shifted in the horizontal direction described above it is possible to deal with parallax in any direction. it can.
  • each of a plurality of single viewpoint images in which an image (object) at the central viewpoint is drawn in advance is copied to each tile of the tile-shaped multi-viewpoint image while being shifted according to the depth amount and the viewpoint.
  • the single-viewpoint image 230A is shifted according to the depth amount and the viewpoints # 0 to # 8, respectively, and the tiles 232A to 232I of the tiled multi-viewpoint image 231 are respectively make a copy.
  • the single-viewpoint image 230B is shifted according to the depth amount and the viewpoints # 0 to # 8, respectively, and the tiles 232A to 232I of the tiled multi-viewpoint image 231 are shifted. make a copy.
  • each image to be copied to each of the tiles 232A to 232I is combined with each image already copied to each of the tiles 232A to 232I by alpha blending based on the ⁇ value.
  • the single viewpoint images 230C to 230E are similarly shifted and shifted in accordance with the depth amount, and copied and combined for each tile of the tiled multi-viewpoint image. To do.
  • multi-view images 230A to 230E are moving images synchronized with each other, a copy of each tiled multi-view image from each of the multi-view images 230A to 230E is within at least one frame period of the moving image. It is necessary to complete with.
  • the two-dimensional single-view sprite according to the present embodiment shifts the position where the image to be copied from the original image to the tile is clipped according to the viewpoint and the depth amount. Even a two-dimensional CG LSI can be easily realized.
  • this two-dimensional single-view sprite there is a problem that the number of copies of a single-viewpoint image increases as the number of objects to be displayed increases. Therefore, when the number of objects to be displayed increases, the drawing speed of the multi-viewpoint image becomes slow. For example, the display may be delayed or the load on the system may increase.
  • FIG. 13 is a functional block diagram illustrating an example of functions of the multi-viewpoint image generation apparatus 100 that executes the multi-viewpoint image generation method according to the present embodiment.
  • the multi-viewpoint image generation device 100 includes an input unit 110, a single-viewpoint image storage unit 111, a depth information storage unit 112, a single-viewpoint image synthesis unit 113, a shift information acquisition unit 114, and a shift information storage.
  • the control unit 119 controls each unit of the multi-viewpoint image generation device 100.
  • a plurality of single viewpoint images in which an object is drawn in advance and a depth value indicating the depth amount of each object are input to the input unit 110.
  • the single viewpoint image and the depth value may be input to the input unit 110 from a hard disk or a volatile or nonvolatile memory, or may be input from an image generation device such as a camera. It may be input via a decoder such as an image reproducing device.
  • the single-viewpoint image and the depth value can be input as separate data if the correspondence between them is clear.
  • the depth value may be included in the attribute information A of the corresponding single viewpoint image and input.
  • objects 271A, 271B, and 271C are drawn for single viewpoint images 270A, 270B, and 270C, respectively.
  • the object 271A is arranged on the front side
  • the object 271C is arranged on the back side.
  • the object 271B is disposed between the objects 271A and 271C.
  • the depth amount of the object 271A arranged on the front side is the smallest and the smallest depth value is set. Further, the depth amount increases with increasing depth, and a larger depth value is set.
  • a plurality of single viewpoint images input to the input unit 110 are stored in the single viewpoint image storage unit 111.
  • the single-viewpoint images are stored in the single-viewpoint image storage unit 111 in such a way that the depth values of the drawn objects are arranged in the arrangement order from the back side toward the front side.
  • the present invention is not limited to this, and each single-viewpoint image may be stored so that depth values are arranged from the front side toward the back side.
  • the input unit 110 can control the address of the single-viewpoint image storage unit 111 to store the input single-viewpoint image at an address corresponding to the depth value.
  • the plurality of depth values input to the input unit 110 are stored in the depth information storage unit 112.
  • the depth values of the object being drawn are aligned and stored in the depth information storage unit 112 so that the depth values of the drawn object are arranged in the arrangement order from the back side to the front side.
  • the present invention is not limited to this, and the depth values may be arranged from the front side toward the back side.
  • the depth values are sorted and stored in the depth information storage unit 112 according to the depth value.
  • the arrangement order of the depth values is sorted so as to correspond to the arrangement order of the objects in the single-viewpoint image storage unit 111 described above.
  • the depth value is associated with each of the plurality of single-viewpoint images stored in the single-viewpoint image storage unit 111 according to the arrangement order in the depth information storage unit 112.
  • the single viewpoint image composition unit 113 sequentially reads single viewpoint images from the single viewpoint image storage unit 111 from the top.
  • the single viewpoint image synthesis unit 113 sequentially reads the depth values from the depth information storage unit 112 from the top.
  • the single-viewpoint image combining unit 113 combines single-viewpoint images having the same depth value and outputs the combined single-viewpoint images.
  • the synthesis process is performed, for example, by alpha blending based on the ⁇ value. When only one single viewpoint image corresponds to the depth value, the single viewpoint image is output as it is.
  • the output synthesized single-viewpoint image or a single-view image from a single viewpoint image synthesis unit 113 is a single-viewpoint image shift unit 116 1 provided the number n of viewpoints, 116 2, ..., it is supplied to 116 n.
  • the single-viewpoint image synthesis unit 113 outputs a single-viewpoint image and supplies a depth value corresponding to the single-viewpoint image to be output to the shift information acquisition unit 114.
  • the shift information acquisition unit 114 refers to the shift information storage unit 115 based on the supplied depth value, and acquires the shift vectors of the viewpoints # 0 to #n corresponding to the depth value.
  • the obtained shift vectors of the viewpoints # 0 to #n are supplied to the single viewpoint image shift units 116 1 , 116 2 ,.
  • the single viewpoint image shift units 116 1 , 116 2 ,..., 116 n constitute a multi-viewpoint image generation unit 130 that generates a tiled multi-viewpoint image.
  • FIG. 15 shows an example of the configuration of the shift information storage unit 115.
  • the shift information storage unit 115 stores a shift information table 120.
  • a shift vector representing a shift amount and a shift direction of a single viewpoint image is stored in advance for each viewpoint # 0 to # 8 and for each depth value.
  • the shift vector is, for example, a two-dimensional vector that indicates the direction of shifting the single-viewpoint image when copying the single-viewpoint image from the central viewpoint to the tiles of the respective viewpoints constituting the multi-viewpoint image.
  • the magnitude represents the shift amount.
  • the shift vector differs depending on the viewpoint and the depth value indicating the depth amount for arranging the object.
  • the shift information table is configured so that the shift vector of each viewpoint # 0 to #n can be referred to by using the depth value as an index.
  • Each of the single-viewpoint image shift units 116 1 to 116 n provided as many as the number of viewpoints n is supplied from the single-viewpoint image synthesis unit 113 based on the shift vector supplied from the shift information acquisition unit 114. Shift single-viewpoint images. For example, the method described with reference to FIG. 7 is used for the shift.
  • the single-viewpoint images shifted by the single-viewpoint image shift units 116 1 to 116 n are respectively supplied to the subsequent multi-viewpoint image storage unit 117 and copied to the corresponding viewpoint tiles in the tiled multi-viewpoint images.
  • composition by alpha blending can be performed. Thereby, a multi-viewpoint image based on the single-viewpoint image input to the input unit 110 is generated.
  • the multi-viewpoint image stored in the multi-viewpoint image storage unit 117 is supplied to the presentation unit 118.
  • the presentation unit 118 outputs the multi-viewpoint image supplied from the multi-viewpoint image storage unit 117 to the stereoscopic image display device.
  • the presentation unit 118 interleaves and outputs the single-viewpoint images of each tile constituting the multi-viewpoint image for each unit pixel group 303.
  • the presentation unit 118 may record the multi-viewpoint image supplied from the multi-viewpoint image storage unit 117 on a recording medium, or may transmit it to other devices via a network or a serial interface. .
  • a multi-viewpoint image interleaved for each unit pixel group 303 may be printed out by a printer.
  • the single-viewpoint image combining unit 113 combines the single-viewpoint images of the objects arranged at the same depth into one image, and then the one image according to the depth amount. Shift and copy to each tile of the tiled multi-viewpoint image.
  • the single-viewpoint image synthesizing unit 113 first reads the first single-viewpoint image from the single-viewpoint images stored in the single-viewpoint image storage unit 111 in the order of the depth values. At the same time, the single-viewpoint image synthesizing unit 113 reads from the depth information storage unit 112 the first depth value among the depth values that are arranged and stored in the depth value order.
  • the single-viewpoint image synthesis unit 113 reads the second depth value from the depth information storage unit 112.
  • the single-viewpoint image synthesis unit 113 compares the second depth value with the previously read depth value, and if it is determined that both are the same based on the comparison result, the single-viewpoint image storage unit 111
  • the second single-viewpoint image is read out and synthesized with the previously read single-viewpoint image to generate a new single-viewpoint image.
  • the single-viewpoint image synthesizing unit 113 reads the third depth value from the depth information stored in the depth information storage unit 112 in the order of the depth values.
  • the single-viewpoint image synthesizing unit 113 compares the third depth value with the previously read second depth value, and if it is determined that they are the same based on the comparison result, the single-viewpoint image storage unit 111.
  • the third single-viewpoint image is read out and combined with the single-viewpoint image synthesized immediately before to generate a new single-viewpoint image.
  • the single-viewpoint image synthesis unit 113 repeats the above processing until the depth value read from the depth information storage unit 112 is different from the depth value read immediately before. Thereby, the single viewpoint image of the object arrange
  • the subsequent single-viewpoint image shift unit 116 1, 116 2, ..., viewpoint among 116 n are supplied to the single-view image shift unit corresponding, according to the viewpoint and depth value Shifted.
  • FIG. 16 shows an exemplary hardware configuration of an image processing apparatus 400 to which the multi-viewpoint image generation apparatus 100 according to the present embodiment can be applied.
  • an image processing apparatus 400 includes a CPU (Central Processing Unit) 401, a GPU (Graphic Processing Unit) 402, a ROM (Read Only Memory) 403, a RAM (Random Access Memory) 404, and a VRAM (Video RAM) 405. .
  • CPU Central Processing Unit
  • GPU Graphic Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • VRAM Video RAM
  • the CPU 401 corresponds to the control unit 119 shown in FIG. 13 and controls the operation of the image processing apparatus 400.
  • the CPU 401 uses the RAM 404 as a work memory for control.
  • a program for operating the CPU 401 is stored in the ROM 403 in advance. This program is not limited to being stored in the ROM 403 in advance, but may be supplied to the image processing apparatus 400 by other methods such as a disk storage medium, a removable and non-volatile semiconductor memory, or a network. Good.
  • the CPU 401 passes a command to the GPU 402 according to the program.
  • the GPU 402 is a processor designed exclusively for image processing.
  • the GPU 402 operates in accordance with a command from the CPU 401 and has a function of executing image processing at high speed.
  • the GPU 402 performs processing on the image data written in the VRAM 405 in accordance with a command from the CPU 401.
  • FIG. 16 it is assumed that the GPU 402 is particularly adapted to the processing for two-dimensional image data.
  • the CPU 401 sends a command to the GPU 402 according to the program, and sends the GPU 402 to the above-described units (single-viewpoint image synthesis Unit 113, shift information acquisition unit 114, and single viewpoint image shift units 116 1 to 116 n ).
  • the moving image data compressed and encoded by the H.264 / AVC format is decoded by the decoder 450 and input to the image processing apparatus 400 as YUVA image data composed of each component of luminance Y and color difference UV and attribute information A.
  • the attribute information A includes an ⁇ value and a depth value.
  • the present invention is not limited to this, and the depth value may be input to the image processing apparatus 400 as another data in synchronization with the output of the decoder 450.
  • the YUVA image data input to the image processing apparatus 400 is temporarily stored in the area 410 of the RAM 404. Thereafter, the YUVA image data is transferred to the VRAM 405 under the control of the CPU 401.
  • the YUVA image data transferred to the VRAM 405 is written in the area 411 of the VRAM 405.
  • This area 411 corresponds to the single viewpoint image storage unit 111 and the depth information storage unit 112 in the functional block diagram of FIG. 13 described above.
  • the GPU 402 converts the YUVA image data into RGBA image data including each component of the three primary colors RGB and the attribute information A in accordance with a command from the CPU 401.
  • the GPU 402 writes the RGBA image data into the work buffer 412 that is an area on the VRAM 405. Although details will be described later, at this time, the GPU 402 performs the above-described single-viewpoint image synthesizing process with the same depth value in accordance with the command of the CPU 401.
  • the shift information table 120 is written in the VRAM 405.
  • the shift information table 120 is stored in advance in the ROM 403, for example.
  • the shift information table 120 is read from the ROM 403 when the image processing apparatus 400 is activated, and written to the VRAM 405 via the RAM 404.
  • the GPU 402 obtains a shift vector at the viewpoint to copy in accordance with a command from the CPU 401.
  • the GPU 402 refers to the shift information table 120 using the depth value corresponding to the single viewpoint image written in the work buffer 412 as an index.
  • the GPU 402 shifts the single-viewpoint image written in the work buffer 412 according to the shift vector corresponding to the viewpoint and the depth value in accordance with the command of the CPU 401.
  • the GPU 402 copies to the tile corresponding to the viewpoint among the tiles 414A to 414I of the tiled multi-viewpoint image in the region 413 of the VRAM 405.
  • the GPU 402 that operates according to the command of the CPU 401 corresponds to the single-viewpoint image synthesis unit 113, the shift information acquisition unit 114, and the single-viewpoint image shift units 116 1 to 116 n illustrated in FIG.
  • An area 413 in the VRAM 405 corresponds to the multi-viewpoint image storage unit 117 illustrated in FIG.
  • FIG. 17A and FIG. 17B are flowcharts illustrating an example of single-viewpoint image synthesis processing according to the present embodiment. Each process shown below is executed by the GPU 402 according to a command of the CPU 401 based on a program, for example.
  • the object of the single viewpoint image output from the decoder 450 is input to the image processing apparatus 400 and temporarily stored in the area 410 of the RAM 404.
  • the decoder 450 can output, for example, a plurality of single-viewpoint images in one frame period of the moving image, and the plurality of single-viewpoint images are arranged in the order from the depth side to the front side in the depth value order. Output.
  • step S ⁇ b> 10 the GPU 402 inputs a single viewpoint image of the first object from the area 410 of the RAM 404.
  • the single-viewpoint image of the first object is converted into RGBA image data via the area 411 of the VRAM 405 and written into the work buffer 412.
  • the depth value corresponding to the first single-viewpoint image is acquired and set as the depth value depth1.
  • the GPU 402 acquires the depth value from the attribute information A of the RGBA image data based on the single viewpoint image.
  • the GPU 402 determines whether there is a single viewpoint image of the next object. For example, the CPU 401 monitors the state of the area 410 in the RAM 404. It is determined whether or not there is a single-viewpoint image of the next object in the area 410, and the determination result is notified to the GPU 402. If there is a single viewpoint image of the next object, the process proceeds to step S ⁇ b> 12, and the depth value of the single viewpoint image of the next object is acquired by the GPU 402. For example, the CPU 401 extracts the attribute information A in the single viewpoint image of the next object stored in the area 410 and passes it to the GPU 402. The depth value acquired in step S12 is set as a depth value depth2.
  • step S13 it is determined whether or not the depth value depth1 and the depth value depth2 are the same. If they are the same, the process proceeds to step S14.
  • step S14 the GPU 402 synthesizes the single viewpoint image of the object having the depth value depth2 with the single viewpoint image written in the work buffer 412 using alpha blending or the like. The ⁇ value is extracted from the attribute information A of the single viewpoint image. Then, in the next step S15, the depth value depth2 is substituted for the depth value depth1, and the process returns to step S11.
  • step S16 the single viewpoint image written in the work buffer 412 is shifted in accordance with the viewpoint and the depth value, and copied to each tile 414A to 414I of the tiled multi-viewpoint image. Details of the processing in step S16 will be described later.
  • step S17 the GPU 402 reads out the single viewpoint image of the object having the depth value depth ⁇ b> 2 from the area 410 of the RAM 404 and inputs it to the VRAM 405.
  • the single-viewpoint image of the object having the depth value depth2 is converted into RGBA image data via the area 411 and written to the work buffer 412.
  • step S15 the depth value depth2 is substituted for the depth value depth1, and the process returns to step S11.
  • step S18 the process in step S18 is the same as the process in step S16 described above. That is, in step S18, the single viewpoint image written in the work buffer 412 is shifted according to the viewpoint and the depth value, and is copied to each tile 414A to 414I of the tiled multi-viewpoint image. Details of the processing in step S18 will be described later.
  • FIG. 17B is a flowchart showing an example of the process of copying the single-viewpoint image to each tile of the tiled multi-viewpoint image in steps S16 and S18 described above.
  • a single viewpoint image corresponding to the depth value depth1 is a processing target.
  • the number of viewpoints is n.
  • Each process shown below is executed by the GPU 402 according to a command of the CPU 401 based on a program, for example.
  • the loop variable i is initialized to 0.
  • the GPU 402 selects the viewpoint #i.
  • the GPU 402 refers to the shift information table 120 using the depth value depth1 as an index, and acquires the shift vector of the viewpoint #i.
  • the GPU 402 shifts the single viewpoint image written in the work buffer 412 according to the shift vector acquired in step S22.
  • the shifted single viewpoint image is copied to the tile of viewpoint #i of the tiled multi-viewpoint image.
  • the single-viewpoint image is combined with the image using alpha blending or the like.
  • step S23 the single viewpoint image is copied to the tile.
  • step S24 1 is added to the loop variable i.
  • step S25 the GPU 402 determines whether or not the loop variable i and the number of viewpoints n are equal. If it is determined that they are equal, it is determined that all the viewpoints have been processed, the process of the flowchart of FIG. 17B is exited, and the process returns to the process of the flowchart of FIG. 17A described above. On the other hand, if the loop variable i is different from the number of viewpoints n and it is determined that the processing has not been completed for all viewpoints, the processing is returned to step S21, and the processing is performed for the next viewpoint.
  • single viewpoint images 250A to 250E of the central viewpoint by different objects are input to the image processing apparatus 400.
  • the depth value of the single-viewpoint image 250A is 1.0
  • the depth values of the single-viewpoint images 250B, 250C, and 250D are 0.5
  • the depth value of the single-viewpoint image 250E is 0.2.
  • Single viewpoint images 250A to 250E are sequentially input to the image processing apparatus 400 and buffered in the area 410 of the RAM 404.
  • the GPU 402 reads out the single-viewpoint image 250A of the first object from the area 410, inputs it into the VRAM 405, and writes it into the work buffer 412.
  • the shift vector of the viewpoint # 0 is acquired using the depth value depth1 as an index (steps S21 and S22), and an image obtained by shifting the single viewpoint image 250A, for example, in the horizontal direction according to the acquired shift vector is generated. Then, the generated image is written into the tile 414A at the viewpoint # 0 in the area 413 in the VRAM 405 (step S23). This process is performed for each of the remaining viewpoints # 1 to # 8 (steps S24 and S25).
  • the GPU 402 reads the single viewpoint image 250C from the area 410 of the RAM 404.
  • the single viewpoint image 250C and the single viewpoint image 250B written in the work buffer 412 are combined by alpha blending based on the ⁇ value to generate a combined single viewpoint image 253 (step S14 in FIG. 17A).
  • the GPU 402 reads the single viewpoint image 250D from the area 410 of the RAM 404.
  • the single-viewpoint image 250D and the combined single-viewpoint image 253 written in the work buffer 412 are combined by alpha blending based on the ⁇ value, and the combined single-viewpoint image 253 is updated (step S14 in FIG. 17A). That is, the combined single viewpoint image 253 is a combination of the single viewpoint images 250B, 250C, and 250D based on the central viewpoint of the object.
  • the GPU 402 sets the depth value depth2 as a new depth value depth1 (step S15).
  • the GPU 402 converts the combined single viewpoint image 253 written in the work buffer 412 into a depth value and a viewpoint for each tile 414A to 414I of the tiled multi-viewpoint image. In response, the data is shifted and copied (steps S13 and S16 in FIG. 17A).
  • the single viewpoint image 250A has already been shifted and written in accordance with the depth value and the viewpoint.
  • the GPU 402 copies the combined single-viewpoint image 253 to each of the tiles 414A to 414I
  • the GPU 402 applies alpha to the single-viewpoint image 250A of each viewpoint that has already been written based on the ⁇ value.
  • Each is synthesized by blending.
  • the GPU 402 reads the single viewpoint image 250E corresponding to the depth value depth2 from the area 410 of the RAM 404, and writes it in the work buffer 412 (step S17 in FIG. 17A). Note that the combined single-viewpoint image that has been copied to each of the tiles 414A to 414I is discarded from the work buffer 412, for example.
  • the GPU 402 changes the single viewpoint image 250E written in the work buffer 412 to each tile 414A to 414I of the tiled multi-viewpoint image according to the depth value and the viewpoint.
  • the data is shifted and copied (step S18 in FIG. 17A).
  • the single-viewpoint image 250A and the combined single-viewpoint image 253 are already shifted according to the depth value and the viewpoint, and are combined and written for each viewpoint.
  • the GPU 402 copies the single viewpoint image 250E to each of the tiles 414A to 414I, as illustrated in FIG. 20, the GPU 402 converts the single viewpoint image 250E of each viewpoint into a combined single viewpoint image of each viewpoint that has already been written.
  • they are synthesized by alpha blending based on the ⁇ value. When the synthesis is performed, a series of processing is terminated.
  • single viewpoint images of objects having the same depth value are combined and combined into one combined single viewpoint image.
  • the synthesized single-viewpoint image is shifted according to the depth value and the viewpoint, and is copied to each tile of the tiled multi-viewpoint image. Therefore, the number of times that the single-viewpoint image is copied to each tile of the tiled multi-viewpoint image can be greatly reduced. As a result, a multi-viewpoint image including a large number of objects can be drawn at high speed.
  • the number of copies is the number of single-viewpoint images ⁇ the number of viewpoints n.
  • the number of copies increases as the number of objects increases and the number of single viewpoint images increases. As the number of viewpoints increases, the increase in the number of copies becomes more remarkable.
  • the single viewpoint images 250B to 250D having the same depth value are copied when the single viewpoint images 250B to 250D are combined.
  • the total number of times is 12 times, that is, 3 times, and 9 times of copying times when the composite single-viewpoint image is copied to each tile of the tiled multi-viewpoint image. This is much less than the copy count of 27 (3 ⁇ 9) when copying to each tile for each single viewpoint image.
  • only 30 times (12 times + 2 ⁇ 9 times) are required, which is much less than 45 times, and the number of times of copying is greatly reduced.
  • multi-view image generation device 111 single-view image storage unit 112 depth information storage unit 113 single-view image synthesis unit 114 shift information acquisition unit 115 shift information storage units 116 1 to 116 n single-view image shift unit 117 multi-view image storage unit 120 Shift information tables 200, 211, 231, 251 Multi-viewpoint images 212A to 212I Tile 232A to 232I Tile 252A to 252I Tile 300 Display unit 400 Image processing device 401 CPU 402 GPU 403 ROM 404 RAM 405 VRAM 412 Work buffer

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

　中央の視点からオブジェクトが描画された単視点画像を、視点およびデプスに応じたシフトベクトルに基づきシフトさせ、タイル状の多視点画像の視点に対応するタイルにコピーする。デプスおよび視点が同じであれば、シフトベクトルも同じとなるため、デプスが同じ単視点画像を、先ず１の単視点画像に合成され、合成された単視点画像をシフトベクトルに基づきシフトして、タイル状の多視点画像の各タイルにコピーする。デプスが同じ複数の単視点画像を１の単視点画像に合成してから、タイル状の多視点画像の各タイルにコピーするため、コピー回数が大幅に削減され、多視点画像の描画が高速化される。

Description

多視点画像生成方法および装置
　本発明は、多視点画像の生成方法に関する。
　従来から、インテグラルイメージング方式などにより多視点画像を用いて立体画像を表示させる場合、多視点画像を構成する複数の単視点画像をタイル状に配置して１の中間画像を形成する。中間画像に対して符号化などの処理を施す。表示の際には、中間画像の画素配列を並べ替えて、単視点画像の位置が対応する画素に対してインターリーブされた多視点合成画像に変換する（特許文献１）。この手法は、ＣＧ（コンピュータグラフィックス）の立体画像を描画する際にも用いて好適である（特許文献２）。
　ＣＧを描画するには、予めオブジェクトを描画した多視点画像を四角形ポリゴンに貼り付けて、複数の視点からリアルタイムに描画する（特許文献３）。
特許第３３５８４６６号公報 特開２００９－７５８６９号公報 特開２００９－８０５７８号公報
　しかし、複数の視点における複数の単視点画像を、多視点画像の各タイルに描画する処理が発生する。立体画像として表示するオブジェクトの数が増加するに連れ、当該オブジェクトの単視点画像が増加してタイル状の多視点画像への描画回数が増加し、多視点画像の描画速度が遅くなってしまう。
　本発明は、上記に鑑みてなされたものであって、多視点画像の描画をより高速に行うことができる多視点画像生成方法および装置を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明は、複数の画像それぞれに対応付けられた、画像の奥行き方向の位置を示すデプス値に基づき、複数の画像のうちデプス値が同一の画像を１の画像に合成する合成ステップと、合成ステップで合成された画像を、それぞれ異なる視差を与える複数の視点毎に、視点と画像に対応するデプス値とに応じたシフトベクトルに従い、シフトベクトルが示す方向および量でシフトさせて視差を与えた画像を生成するシフトステップと、シフトステップでシフトされた複視差を与えた画像を予め決められたフォーマットで配置した多視点画像を生成する生成ステップとを有することを特徴とする。
　本発明によれば、単多視点画像の描画をより高速に行うことができるという効果を奏する。
本実施形態に適用可能な表示部の構造。 多視点画像の説明。 単視点画像上のオブジェクトの例。 単視点画像上のオブジェクトの例。 単視点画像上のオブジェクトの例。 多視点スプライト。 単視点スプライト。 単視点スプライトの別の例。 オブジェクトを縦横方向にシフトさせた画像を生成する方法。 単視点スプライトによる複数オブジェクトの描画。 単視点スプライトによる複数オブジェクトの描画。 単視点スプライトによる複数オブジェクトの描画。 単視点スプライトによる複数オブジェクトの描画。 単視点スプライトによる複数オブジェクトの描画。 本実施形態による画像処理装置の機能を示すブロック図。 オブジェクトの配置位置とデプス値との関係。 シフト情報テーブルの説明。 本実施形態による画像処理装置のハードウェア構成。 本実施形態による単視点画像の合成処理のフローチャート。 本実施形態による単視点画像の合成処理のフローチャート。 本実施形態による単視点画像の合成処理。 本実施形態による単視点画像の合成処理。 本実施形態による単視点画像の合成処理。
　以下に添付図面を参照して、この発明に係る画像処理方法の一実施の形態を詳細に説明する。先ず、本実施の形態に係る多視点画像生成方法により生成された多視点画像を表示可能な立体画像表示装置について説明する。
　図１は、本実施の形態に係る多視点画像生成方法により生成された多視点画像を表示可能な立体画像表示装置における表示部３００の構造の一例を概略的に示した斜視図である。ここでは、視点数ｎ＝９として説明する。図１に例示されるように、表示部３００は、表示デバイス３０１と、当該表示デバイス３０１の表示面の前面に配置された光線制御素子としてのレンチキュラー板３０４とを備える。表示デバイス３０１としては、例えばＬＣＤ(Liquid　Crystal　Display)を用いることができる。
　表示デバイス３０１の表示面には、縦横比が３：１のサブ画素３０２が横方向に直線状に１行に並んでいる。各サブ画素３０２は同一行内で横方向に赤（Ｒ）、緑（Ｇ）、青（Ｂ）が交互に並ぶようにマトリクス状に配列されている。一方、サブ画素３０２は、垂直方向にも直線上に一列に並んでいる。各サブ画素３０２は、同一列内でＲ、Ｇ、Ｂが交互に並ぶように配列されている。なお、サブ画素行の縦周期（３Ｐｐ）は、サブ画素３０２の横周期Ｐｐの３倍である。
　一般的なカラー画像表示装置において１実効画素は、横に並んだＲＧＢの３個のサブ画素３０２を有する。輝度と色とが任意に設定できる最小単位が構成されることから、サブ画素３０２は縦横比が３：１となっている。図１の表示面では、縦に並んだＲＧＢの３個のサブ画素３０２で１実効画素が構成され、水平方向に隣接する９の実効画素で、１の単位画素群３０３（図１において枠を付して示す）が構成される。
　なお、単位画素群３０３は、多視点画像を構成する複数の単視点画像における同一位置の画素による画像が表示される画素群である。すなわち、単位画素群３０３は、視差を発生させる１組の画素データが表示される。
　レンチキュラー板３０４を構成するシリンドリカルレンズ３０５は、単位画素群３０３のほぼ正面に配置される。なお、図１の例では、シリンドリカルレンズ３０５の水平ピッチ（Ｐｓ）は、表示面内に配列されたサブ画素の横周期（Ｐｐ）の９倍となっている。このような構成により、シリンドリカルレンズ越しに拡大されて見えるサブ画素３０２が、水平位置の観察位置の変動に応じて切り替わる。各単位画素群３０３に表示される多視点合成画像の見え方が切り替わることで、観察者に立体映像を視認させることができる。なお、ここでいう多視点合成画像は、複数の単視点画像の位置が対応する画素に対してインターリーブされて１の画像とされたものをいう。
　図２を用いて、図１に例示した構造の表示部３００に表示させる多視点画像について説明する。図２は、視点数ｎ＝９である多視点画像の例である。多視点画像は、それぞれ異なる視点＃０～＃８による単視点画像を所定フォーマット（例えばタイル状）に配置した中間画像である。中間画像における単視点画像の配置は、図２に例示されるタイル状に限られない。例えば、各単視点画像を一列に並べてもよい。多視点画像を構成する複数の単視点画像を一纏まりに扱うことができれば、他の配置でもよい。
　多視点画像の符号化、記憶、伝送および復号などの処理は、この中間画像に対して行われる。１の多視点画像を構成する各視点の単視点画像をタイル状に配置した中間画像は、画像の空間的な相関を利用した圧縮符号化方式（例えばＭＰＥＧ(Moving　Pictures　Experts　Group)方式やＪＰＥＧ(Joint　Photographic　Experts　Group)方式）の適用が可能となる。各タイルにおける同一位置の画素２０１Ａ～２０１Ｉを、１の単位画素群３０３内の９の実効画素（図１）にそれぞれ表示させる。
　図３Ａ～図３Ｃを用いて、単視点画像上のオブジェクトの例について概略的に説明する。図３Ａに例示される単視点画像２６０は、画像情報を、画素毎に輝度Ｙおよび色差ＵＶ成分、あるいは、三原色ＲＧＢによる各色成分として持つと共に、属性情報Ａを持つ。属性情報Ａは、画素毎に、不透明度を示すα値を含む。α値は、その範囲を０≦α≦１とするとき、値が０でその画素が透明であり、値が１でその画素が完全に不透明であることを示す。図３Ａの例では、オブジェクト２６１は、構成する画素のα値が０以外の値、例えば１に設定される。単視点画像２１０のオブジェクト２６１以外の領域２６２の画素は、α値が０に設定され透明領域となっている。
　このα値を用いて、画像の合成を行う。例えば、画像情報が輝度Ｙおよび色差ＵＶ成分で表現され、前景である第１の画像の画素ｎの輝度を輝度Ｙ1とし、当該画素に所定のα値が設定されているものとする。また、背景である第２の画像における、画素ｎに位置が対応する画素ｍの輝度を輝度Ｙ2とする。第１の画像と第２の画像とを合成した際の、画素ｎおよび画素ｍが合成された輝度Ｙは、０≦α≦１とするとき、例えば下記の式（１）のように求められる。このような、α値を用いた画像の合成を、アルファブレンディングと呼ぶ。
Ｙ＝(1－α)×Ｙ2＋α×Ｙ1　　…（１）
　図３Ｂは、α値が０に設定されている画素による領域を持つ複数の単視点画像２６０および２６３を重ねて合成する例を示す。手前側の単視点画像２６０は、オブジェクト２６１を構成する画素がα＝１とされ、オブジェクト２６１以外の領域２６２の画素がα＝０とされる。単視点画像２６３についても同様に、オブジェクト２６４を構成する画素がα＝１とされ、それ以外の領域２６５の画素がα＝０とされている。
　図３Ｃは、図３Ｂに例示する単視点画像２６０および２６３を合成した例を示す。合成された単視点画像２６６に対して、合成前の単視点画像２６０のオブジェクト２６１が配置される。それと共に、単視点画像２６０に対して背面側から合成される単視点画像２６３のオブジェクト２６４が、手前側の単視点画像２６０（合成前）における透明領域２６２を透過して単視点画像２６６に配置される。
　ＣＧによる多視点画像をタイル状に描画する第１～第３の方法について、詳細に説明する。第１の方法は、ポリゴンメッシュなどによって表現されたオブジェクト（キャラクタ）を、複数の視点からリアルタイムに描画する。ポリゴンの形状をリアルタイムで変えることで、インタラクティブな表示が可能である。この方法は、家庭用ゲームソフトなどの高いインタラクティビティが要求されるアプリケーションに適している。一方で、処理量が多いためリアルタイムすなわち限られた時間内に高画質な多視点画像を描画することが難しい。
　第２の方法は、図４に例示するように、四角形ポリゴンに対して予め作成された多視点画像を貼り付けて、複数の視点からリアルタイムに描画する。各視点の描画は、多視点画像から該当する視点に対応する画像が選択されて、四角形ポリゴンにテクスチャとして貼り付けられる。すなわち、視点によって異なるテクスチャが四角形ポリゴンに貼り付けられる。この第２の方法を、多視点スプライトと呼ぶ。
　多視点スプライトは、ユーザの操作に応じてキャラクタの動作を変えるなどのインタラクティビティを表現するには適していない。一方で、作り込まれた高画質な多視点画像を高速に描画することができ、ムービーなどの用途に適している。この多視点スプライトでは、各視点の画像の各画素に異なる視差を付けることができるため、多視点画像に描画されるオブジェクトの立体感（膨らみや凹み）を再現することが可能である。一方で、事前に描画した多視点画像を全てメモリに記憶しておく必要があるため、大容量のメモリを必要とする。
　第３の方法は、図５に例示するように、予め作成した１の単視点画像を四角形ポリゴンに貼り付けて、複数の視点からリアルタイムに描画する。各視点の描画においては、ある１の視点（典型的には中央の視点）から描画された単視点画像が四角形ポリゴンにテクスチャとして貼り付けられる。すなわち、全ての視点において同じテクスチャが四角形ポリゴンに貼り付けられる。この第３の方法を、単視点スプライトと呼ぶ。
　この単視点スプライトでは、各視点における画像の全ての画素が同一の視差となる。多視点画像により表示されるオブジェクト自体の立体感を再現することはできない。しかし、単視点スプライトでは、オブジェクト全体の平面的な奥行き、すなわち、３次元空間に画像面として配置するときのデプス（奥行き）を表現することが可能である。また、単視点スプライトは、多視点スプライトに比べてメモリ消費量が少なくて済む。
　アミューズメント施設の遊技機などで用いるコンテンツでは、予め多数のオブジェクトを別々の画像として描画しておき、それらを任意のタイミングで重ね合わせて観察者へ提示することにより、インタラクティビティを表現している。
　このようなコンテンツを、インテグラルイメージング方式（以下、ＩＩ方式と略称する）などによる立体画像表示装置に表示する方法として、多視点スプライトを用いる方法が考えられる。しかし、既に述べたように、多視点スプライトはメモリ消費量が多い。多数のオブジェクトを全て多視点スプライトで描画すると、多くのメモリを消費するため現実的ではない。一方、多くのコンテンツにおいて、必ずしも全てのオブジェクトを立体的に表示する必要はない。したがって、例えばコンテンツを盛り上げたい場面で観察者の方向に飛び出して表示させたいオブジェクトだけを多視点スプライトで描画し、それ以外のオブジェクトを単視点スプライトで描画し、メモリ消費量と高いインタラクティビティを両立することができる。
＜本発明の実施の形態＞
　次に、本発明の一実施形態について説明する。第３の方法による単視点スプライトの描画方法を実現するために、３次元ＣＧを描画可能なＬＳＩを用いる。すなわち、単視点画像を四角形ポリゴンに貼り付けて水平方向に順次ずらして描画する処理を高速に行うために、３次元ＣＧ用のＬＳＩによりハードウェア的に行う。近年では、例えば大部分の家庭用ゲーム機器には３次元ＣＧ用のＬＳＩが搭載されているので、図５を用いて説明した単視点スプライトと同等の描画に３次元ＣＧ用のＬＳＩを用いることが可能である。
　一方、アミューズメント施設に設置される遊技機などには、より低コストで低消費電力な２次元ＣＧ用のＬＳＩが搭載されていることが多い。本実施の形態では、このような２次元ＣＧ用のＬＳＩでも単視点スプライトによる描画を行うことを可能とする。図６に例示するように、予め描画した１の単視点画像２１０を縦横方向にシフトさせて、タイル状の多視点画像２１１における各視点＃０～＃８によるタイル２１２Ａ～２１２Ｉにそれぞれコピーする。
　視点（コピー先のタイル）、ならびに、単視点画像２１０によるオブジェクトを配置するデプス量（奥行き方向の位置）によってシフトの方向とシフト量とを変える。これにより、タイルにコピーされた単視点画像に対し、図５の如く３次元ＣＧ用ＬＳＩを用いて異なる視点から描画する場合と同様の視差を与えることができる。この、本実施形態による単視点スプライトを、以下では、２次元単視点スプライトと呼ぶ。
　図６を用いて説明したような、単視点画像２１０によるオブジェクトを縦横方向にシフトさせた画像を生成する一例の方法について、図７を用いて説明する。各タイル２１２Ａ～２１２Ｉのそれぞれよりも大きなサイズで中央の視点からの単視点画像２５０を作成しておく。当該単視点画像２５０からタイルの大きさの画像を切り抜いて、切り抜いた画像をタイルにコピーする。画像を切り抜く際に、切り抜く位置を各視点＃０～＃８に応じて縦横方向にずらすことで、同一の画像を異なる視点から描画した画像を得ることができる。画像における有効な表示範囲を移動させることで、画像のシフトを行う。
　表示部３００が水平方向の視差に対応している場合、図７に例示されるように、タイルより水平方向にサイズの大きい単視点画像２５０の中央部分から、タイルの大きさの画像２５１を切り抜く。中央視点の単視点画像２１０を得ることができる。また、単視点画像２５０の中心から水平方向（この例では右方向）に、視点およびデプス量に応じたベクトルｖ1だけシフトさせた位置を中心としてタイルの大きさの画像２５２を切り抜く。水平方向に視点がシフトされた単視点画像を得る。こうして得られた単視点画像を、それぞれ各タイル２１２Ａ～２１２Ｉのうち対応する視点のタイルにコピーする。
　同様に、タイルより垂直方向にサイズが大きい単視点画像の中心から、垂直方向に、視点およびデプス量に応じたベクトルだけシフトさせた位置を中心としてタイルの大きさの画像を切り抜く。垂直方向に視点がシフトされた単視点画像を得ることができる。この場合は、垂直方向の視差に対応できる。また、この垂直方向に視点がシフトされた単視点画像の生成方法と、上述した水平方向に視点がシフトされた単視点画像の生成方法とを組み合わせることで、任意の方向の視差に対応可能にできる。
　ここで、この本実施形態による２次元単視点スプライトによる描画を複数のオブジェクトに対して行う場合について、図８～図１２を用いて説明する。例えば中央の視点の画像（オブジェクト）が予め描画された複数の単視点画像のそれぞれを、タイル状の多視点画像の各タイルに対し、デプス量および視点に応じてそれぞれシフトさせてコピーする。
　ここで、図８～図１２において、中央の視点による各単視点画像２３０Ａ～２３０Ｅは、互いに異なるオブジェクトが描画され、オブジェクト以外の領域はα＝０とされ透明とされていると共に、それぞれデプス量が設定されている。
　先ず、図８に例示されるように、単視点画像２３０Ａをデプス量および視点＃０～＃８に応じてそれぞれシフトさせて、タイル状の多視点画像２３１の各タイル２３２Ａ～２３２Ｉに対してそれぞれコピーする。次に、図９に例示されるように、単視点画像２３０Ｂをデプス量および視点＃０～＃８に応じてそれぞれシフトさせて、タイル状の多視点画像２３１の各タイル２３２Ａ～２３２Ｉに対してコピーする。このとき、各タイル２３２Ａ～２３２Ｉに対してコピーする各画像が、当該各タイル２３２Ａ～２３２Ｉに既にコピーされている各画像に対して、α値に基づきアルファブレンディングにより合成される。単視点画像２３０Ｃ～２３０Ｅについても、図１０～図１２にそれぞれ例示されるように、同様にしてデプス量に応じてシフトさせて、タイル状の多視点画像の各タイルに対してそれぞれコピーおよび合成する。
　なお、多視点画像２３０Ａ～２３０Ｅが互いに同期した動画像であれば、上述した多視点画像２３０Ａ～２３０Ｅそれぞれから、タイル状の多視点画像の各タイルに対するコピーは、少なくとも動画像の１フレーム周期以内で完了する必要がある。
　このように、本実施の形態による２次元単視点スプライトは、元の画像からタイルにコピーする画像を切り抜く位置を、視点およびデプス量に応じてずらす。２次元ＣＧ用ＬＳＩでも容易に実現可能である。その一方で、この２次元単視点スプライトでも、表示させるオブジェクト数が増えるのに従い単視点画像のコピー回数が増加する課題がある。したがって、表示させるオブジェクトが多くなると、多視点画像の描画速度が遅くなってしまう。例えば、表示に遅延を来したり、システムの負荷が大きくなったりするおそれがある。
　そこで、本実施の形態では、同じデプスに配置されるオブジェクトが、各視点において同じ方向に、同じ量だけシフトされることに着目する。同じデプスに配置されるオブジェクトの単視点画像を１枚の画像に合成した後、その合成された１枚の画像をデプス量および視点に応じてシフトさせて、タイル状の多視点画像の各タイルにコピーする。これにより、単視点画像のコピー回数を大幅に削減し、より描画速度を向上させることが可能となる。
　次に、このような処理を行うための、本実施形態による画像処理方法について説明する。図１３は、本実施形態による多視点画像生成方法を実行する多視点画像生成装置１００の機能を示す一例の機能ブロック図である。図１３に例示されるように、多視点画像生成装置１００は、入力部１１０、単視点画像記憶部１１１、デプス情報記憶部１１２、単視点画像合成部１１３、シフト情報取得部１１４、シフト情報記憶部１１５、複数の単視点画像シフト部１１６、多視点画像記憶部１１７、提示部１１８および制御部１１９を備える。制御部１１９は、この多視点画像生成装置１００の各部を制御する。
　予めオブジェクトが描画された複数の単視点画像と、各オブジェクトのデプス量を示すデプス値とが入力部１１０に対して入力される。単視点画像およびデプス値は、ハードディスクや揮発性または不揮発性のメモリから入力部１１０に対して入力されてもよいし、カメラなどの画像生成装置から入力されるようにもできる。画像再生装置などのデコーダを介して入力されるようにしてもよい。また、単視点画像およびデプス値は、互いの対応関係が明確であれば、それぞれ別個のデータとして入力することができる。勿論、デプス値を、対応する単視点画像の属性情報Ａに含めて入力してもよい。
　ここで、図１４を用いて、各オブジェクトの配置位置とデプス値との関係について、概略的に説明する。図１４に示されるように、単視点画像２７０Ａ、２７０Ｂおよび２７０Ｃのそれぞれに対して、オブジェクト２７１Ａ、２７１Ｂおよび２７１Ｃが描画される。図１４の例では、オブジェクト２７１Ａが最も手前側に配置され、オブジェクト２７１Ｃが最も奥側に配置される。オブジェクト２７１Ｂは、オブジェクト２７１Ａおよび２７１Ｃの間に配置される。このような場合に、最も手前側に配置されるオブジェクト２７１Ａのデプス量が最も小さく、最も小さい値のデプス値が設定される。また、奥側に向かうに連れ、デプス量が大きくなりより大きい値のデプス値が設定される。
　入力部１１０に入力された複数の単視点画像は、単視点画像記憶部１１１に記憶される。各単視点画像は、描画されているオブジェクトのデプス値が、奥側を先頭として手前側へ向けて配置順に並ぶように整列されて単視点画像記憶部１１１に記憶される。これに限らず、手前側を先頭として奥側に向けてデプス値が並ぶように、各単視点画像を記憶してもよい。
　例えば、デプス値に従った順番で入力部１１０に対して単視点画像を入力するように、予め決めておく。これに限らず、入力部１１０が単視点画像記憶部１１１のアドレス制御を行うようにし、入力された単視点画像を、デプス値に応じたアドレスに記憶させるようにもできる。
　一方、入力部１１０に入力された複数のデプス値は、デプス情報記憶部１１２に記憶される。各デプス値は、描画されているオブジェクトのデプス値が、奥側を先頭として手前側へ向けて配置順に並ぶように整列されてデプス情報記憶部１１２に記憶される。これに限らず、手前側を先頭として奥側に向けてデプス値が並ぶようにしてもよい。
　すなわち、各デプス値は、デプス情報記憶部１１２において、デプス値の大小に応じてソートされて記憶される。このとき、各デプス値の並び順が、上述した単視点画像記憶部１１１におけるオブジェクトの配置順と対応するようにソートされる。換言すれば、デプス値は、デプス情報記憶部１１２における並び順によって、単視点画像記憶部１１１に記憶される複数の単視点画像のそれぞれと対応付けられる。
　単視点画像合成部１１３は、単視点画像記憶部１１１から単視点画像を先頭から順次読み出す。単視点画像合成部１１３は、デプス情報記憶部１１２からデプス値を先頭から順次読み出す。また、単視点画像合成部１１３は、デプス値が同一の単視点画像同士を合成して、合成単視点画像として出力する。合成処理は、例えばα値に基づくアルファブレンディングにより行われる。デプス値に対して１の単視点画像のみが対応する場合は、当該単視点画像がそのまま出力される。単視点画像合成部１１３から出力された合成単視点画像または単視点画像は、視点の数ｎだけ設けられた単視点画像シフト部１１６1、１１６2、…、１１６nにそれぞれ供給される。
　なお、以下では、特に記載のない限り、合成単視点画像または単視点画像を単視点画像で代表させて記述する。
　単視点画像合成部１１３は、単視点画像を出力すると共に、出力する単視点画像に対応するデプス値をシフト情報取得部１１４に供給する。シフト情報取得部１１４は、供給されたデプス値に基づきシフト情報記憶部１１５を参照し、デプス値に対応する各視点＃０～＃ｎのシフトベクトルをそれぞれ取得する。取得された各視点＃０～＃ｎのシフトベクトルは、それぞれ視点が対応する単視点画像シフト部１１６1、１１６2、…、１１６nに供給される。後述するように、単視点画像シフト部１１６1、１１６2、…、１１６nにより、タイル状の多視点画像を生成する多視点画像生成部１３０が構成される。
　図１５は、シフト情報記憶部１１５の一例の構成を示す。シフト情報記憶部１１５は、シフト情報テーブル１２０を記憶する。シフト情報テーブル１２０は、単視点画像のシフト量およびシフト方向を表すシフトベクトルが、各視点＃０～＃８毎およびデプス値毎に予め格納される。シフトベクトルは、より具体的には、例えば中央視点による単視点画像を、多視点画像を構成する各視点のタイルにコピーする際に、当該単視点画像をシフトする方向を指し示す２次元ベクトルであり、その大きさがシフト量を表す。シフトベクトルは、視点と、オブジェクトを配置するデプス量を示すデプス値とにより異なる。シフト情報テーブルは、デプス値をインデクスとして、各視点＃０～＃ｎそれぞれのシフトベクトルを参照できるように構成されている。
　視点の数ｎと同じ数だけ設けられた単視点画像シフト部１１６1～１１６nのそれぞれは、シフト情報取得部１１４から供給されたシフトベクトルに基づいて、単視点画像合成部１１３から供給された単視点画像をシフトさせる。シフトは、例えば図７を用いて説明したような方法を用いる。単視点画像シフト部１１６1～１１６nでシフトされた単視点画像は、それぞれ後段の多視点画像記憶部１１７に供給され、タイル状の多視点画像における対応する視点のタイルにコピーされる。コピー対象のタイルに既に単視点画像がコピーされている場合は、アルファブレンディングによる合成を行うことができる。これにより、入力部１１０に入力された単視点画像に基づく多視点画像が生成される。
　多視点画像記憶部１１７に記憶される多視点画像は、提示部１１８に供給される。提示部１１８は、多視点画像記憶部１１７から供給された多視点画像を立体画像表示装置に対して出力する。この場合、提示部１１８は、例えば、多視点画像を構成する各タイルの単視点画像を、単位画素群３０３毎にインターリーブして出力する。これに限らず、提示部１１８は、多視点画像記憶部１１７から供給された多視点画像を記録媒体に記録してもよいし、ネットワークやシリアルインターフェイスを介して他の機器に伝送してもよい。また、単位画素群３０３毎にインターリーブした多視点画像を、プリンタによりプリントアウトしてもよい。
　本実施形態では、上述したように、単視点画像合成部１１３において、同じデプスに配置されるオブジェクトの単視点画像を１枚の画像に合成した後、その１枚の画像をデプス量に応じてシフトさせて、タイル状の多視点画像の各タイルにコピーする。
　一例として、単視点画像合成部１１３は、最初に、単視点画像記憶部１１１から、デプス値順に整列されて記憶されている単視点画像のうち先頭の単視点画像を読み出す。それと共に、単視点画像合成部１１３は、デプス情報記憶部１１２から、デプス値順に整列されて記憶されているデプス値のうち先頭のデプス値を読み出す。
　次に、単視点画像合成部１１３は、デプス情報記憶部１１２から２番目のデプス値を読み出す。単視点画像合成部１１３は、この２番目のデプス値と、先に読み出しておいたデプス値とを比較し、比較結果に基づき両者が同一であると判定されたら、単視点画像記憶部１１１から２番目の単視点画像を読み出して、先に読み出しておいた単視点画像と合成し、新たな単視点画像を生成する。
　次に、単視点画像合成部１１３は、デプス情報記憶部１１２から、デプス値順に整列されて記憶されているデプス値のうち３番目のデプス値を読み出す。単視点画像合成部１１３は、この３番目のデプス値と、先に読み出した２番目のデプス値とを比較し、比較結果に基づき両者が同一であると判定されたら、単視点画像記憶部１１１から３番目の単視点画像を読み出して、直前に合成された単視点画像と合成し、新たな単視点画像を生成する。
　単視点画像合成部１１３は、デプス情報記憶部１１２から読み出したデプス値が、直前に読み出したデプス値と異なる値になるまで、上述の処理を繰り返す。これにより、同じデプスに配置されるオブジェクトの単視点画像を１枚に合成することができる。この１枚に合成された単視点画像は、後段の単視点画像シフト部１１６1、１１６2、…、１１６nのうち視点が対応する単視点画像シフト部に供給され、視点およびデプス値に応じてシフトされる。
　図１６は、本実施形態による多視点画像生成装置１００を適用可能な画像処理装置４００の一例のハードウェア構成を示す。図１６において、画像処理装置４００は、ＣＰＵ(Central　Processing　Unit)４０１、ＧＰＵ(Graphic　Processing　Unit)４０２、ＲＯＭ(Read　Only　Memory)４０３、ＲＡＭ(Random　Access　Memory)４０４およびＶＲＡＭ(Video　RAM)４０５を備える。
　ＣＰＵ４０１は、図１３に示す制御部１１９に対応し、この画像処理装置４００の動作を制御する。ＣＰＵ４０１は、制御に際しＲＡＭ４０４をワークメモリとして用いる。ＣＰＵ４０１が動作するためのプログラムは、ＲＯＭ４０３に予め記憶されている。このプログラムは、ＲＯＭ４０３に予め記憶しておくのに限らず、ディスク記憶媒体や着脱可能で不揮発性の半導体メモリ、ネットワークを介してなど、他の方法で画像処理装置４００に対して供給してもよい。
　ＣＰＵ４０１は、プログラムに従いＧＰＵ４０２に対してコマンドを渡す。ＧＰＵ４０２は、画像処理専用に設計されたプロセッサである。ＧＰＵ４０２は、ＣＰＵ４０１からのコマンドに従い動作し、画像処理を高速に実行する機能を有する。例えば、ＧＰＵ４０２は、ＣＰＵ４０１からのコマンドに従い、ＶＲＡＭ４０５に書き込まれた画像データに対する処理を行う。この図１６の例では、ＧＰＵ４０２は、特に２次元の画像データに対する処理に特に適応させて設計されているものとする。
　一例として、ＣＰＵ４０１は、本実施形態による多視点画像生成方法を実行するプログラムが例えばＲＯＭ４０３から読み出され実行されると、当該プログラムに従いコマンドをＧＰＵ４０２に送り、ＧＰＵ４０２を上述した各部（単視点画像合成部１１３およびシフト情報取得部１１４、ならびに、単視点画像シフト部１１６1～１１６n）として機能させる。
　例えばＨ．２６４／ＡＶＣ方式で圧縮符号化された動画像データがデコーダ４５０で復号され、輝度Ｙ、色差ＵＶの各成分と、属性情報ＡとからなるＹＵＶＡ画像データとして画像処理装置４００に入力される。ここでは、属性情報Ａがα値およびデプス値を含むものとする。これに限らず、デプス値を、デコーダ４５０の出力と同期的に、別のデータとして画像処理装置４００に入力してもよい。画像処理装置４００に入力されたＹＵＶＡ画像データは、ＲＡＭ４０４の領域４１０に一時的に格納する。その後、ＹＵＶＡ画像データは、ＣＰＵ４０１の制御によりＶＲＡＭ４０５に転送される。
　ＶＲＡＭ４０５に転送されたＹＵＶＡ画像データは、ＶＲＡＭ４０５の領域４１１に書き込まれる。この領域４１１は、上述した図１３の機能ブロック図における単視点画像記憶部１１１およびデプス情報記憶部１１２に対応する。ＧＰＵ４０２は、ＣＰＵ４０１のコマンドに従い、このＹＵＶＡ画像データを、三原色ＲＧＢの各成分と属性情報Ａとを含むＲＧＢＡ画像データに変換する。ＧＰＵ４０２は、ＲＧＢＡ画像データをＶＲＡＭ４０５上の領域であるワークバッファ４１２に書き込む。詳細は後述するが、このとき、ＧＰＵ４０２は、ＣＰＵ４０１のコマンドに従い、上述した、同一のデプス値を持つ単視点画像の合成処理を行う。
　また、ＶＲＡＭ４０５には、シフト情報テーブル１２０が書き込まれる。シフト情報テーブル１２０は、例えば、ＲＯＭ４０３に予め記憶されている。シフト情報テーブル１２０は、この画像処理装置４００の起動に伴いＲＯＭ４０３から読み出され、ＲＡＭ４０４を介してＶＲＡＭ４０５に書き込まれる。
　ＧＰＵ４０２は、ＣＰＵ４０１のコマンドに従い、コピーを行おうとする視点におけるシフトベクトルを取得する。ＧＰＵ４０２は、ワークバッファ４１２に書き込まれた単視点画像に対応するデプス値をインデクスとしてシフト情報テーブル１２０を参照する。ＧＰＵ４０２は、ＣＰＵ４０１のコマンドに従い、ワークバッファ４１２に書き込まれた単視点画像を、視点およびデプス値に応じたシフトベクトルに従いシフトさせる。ＧＰＵ４０２は、ＶＲＡＭ４０５の領域４１３における、タイル状の多視点画像のタイル４１４Ａ～４１４Ｉのうち視点が対応するタイルに対してコピーする。
　上述のように、ＣＰＵ４０１のコマンドに従い動作するＧＰＵ４０２は、図１３に示す単視点画像合成部１１３、シフト情報取得部１１４、単視点画像シフト部１１６1～１１６nに対応する。また、ＶＲＡＭ４０５における領域４１３は、図１３に示す多視点画像記憶部１１７に対応する。
　図１７Ａおよび図１７Ｂは、本実施形態による単視点画像の合成処理の一例を示すフローチャートである。以下に示す各処理は、例えばプログラムに基づくＣＰＵ４０１のコマンドに従い、ＧＰＵ４０２により実行される。
　デコーダ４５０から出力された、単視点画像によるオブジェクトが画像処理装置４００に入力され、ＲＡＭ４０４の領域４１０に一時的に格納される。ここで、デコーダ４５０は、例えば動画の１フレーム周期に複数枚の単視点画像を出力可能とされ、当該複数の単視点画像は、デプス値順に、奥側から手前側に向けた順序で並べられて出力されるものとする。
　先ず、ステップＳ１０において、ＧＰＵ４０２は、ＲＡＭ４０４の領域４１０から最初のオブジェクトの単視点画像を入力する。最初のオブジェクトの単視点画像を、ＶＲＡＭ４０５の領域４１１を介してＲＧＢＡ画像データに変換してワークバッファ４１２に書き込む。それと共に、この最初の単視点画像に対応するデプス値を取得し、デプス値depth1とする。例えばＧＰＵ４０２は、当該単視点画像によるＲＧＢＡ画像データの属性情報Ａからデプス値を取得する。
　次のステップＳ１１で、ＧＰＵ４０２は、次のオブジェクトの単視点画像があるか否かを判定する。例えば、ＣＰＵ４０１がＲＡＭ４０４における領域４１０の状態を監視する。領域４１０に次のオブジェクトの単視点画像があるか否かを判定し、その判定結果をＧＰＵ４０２に通知する。若し、次のオブジェクトの単視点画像がある場合、処理はステップＳ１２に移行され、当該次のオブジェクトの単視点画像のデプス値がＧＰＵ４０２によって取得される。例えば、ＣＰＵ４０１が領域４１０に格納される次のオブジェクトの単視点画像における属性情報Ａを抽出し、ＧＰＵ４０２に渡す。このステップＳ１２で取得されたデプス値を、デプス値depth2とする。
　次のステップＳ１３で、デプス値depth1とデプス値depth2とが同一であるか否かを判定する。若し、同一である場合、処理はステップＳ１４に移行される。ステップＳ１４では、ＧＰＵ４０２は、デプス値depth2のオブジェクトの単視点画像を、ワークバッファ４１２に書き込まれている単視点画像に対してアルファブレンディングなどを用いて合成する。α値は、当該単視点画像の属性情報Ａから抽出する。そして、次のステップＳ１５でデプス値depth2をデプス値depth1に代入して、処理がステップＳ１１に戻される。
　一方、上述のステップＳ１３で、デプス値depth1とデプス値depth2とが異なる場合、処理はステップＳ１６に移行される。ステップＳ１６では、ワークバッファ４１２に書き込まれている単視点画像を、視点およびデプス値に応じてシフトさせて、タイル状の多視点画像の各タイル４１４Ａ～４１４Ｉにコピーする。このステップＳ１６の処理の詳細は、後述する。
　ステップＳ１６でワークバッファ４１２の多視点画像の各タイル４１４Ａ～４１４Ｉへのコピーが行われたら、処理はステップＳ１７に移行される。ステップＳ１７では、ＧＰＵ４０２は、デプス値depth2のオブジェクトの単視点画像をＲＡＭ４０４の領域４１０から読み出してＶＲＡＭ４０５に入力する。デプス値depth2のオブジェクトの単視点画像を、領域４１１を介してＲＧＢＡ画像データに変換して、ワークバッファ４１２に書き込む。そして、処理がステップＳ１５に移行され、デプス値depth2をデプス値depth1に代入して、処理がステップＳ１１に戻される。
　上述のステップＳ１１で、次のオブジェクトが無い場合、処理はステップＳ１８に移行される。ステップＳ１８の処理は、上述したステップＳ１６の処理と同一である。すなわち、ステップＳ１８では、ワークバッファ４１２に書き込まれている単視点画像を、視点およびデプス値に応じてシフトさせて、タイル状の多視点画像の各タイル４１４Ａ～４１４Ｉにコピーする処理が行われる。このステップＳ１８の処理の詳細は、後述する。
　図１７Ｂは、上述したステップＳ１６およびステップＳ１８の、単視点画像をタイル状の多視点画像の各タイルにコピーする一例の処理を示すフローチャートである。ここでは、上述のステップＳ１０またはステップＳ１５に従い、デプス値depth1に対応する単視点画像が処理対象となる。また、視点数をｎとする。以下に示す各処理は、例えばプログラムに基づくＣＰＵ４０１のコマンドに従い、ＧＰＵ４０２により実行される。
　先ず、最初のステップＳ２０で、ループ変数ｉが０に初期化される。次のステップＳ２１で、ＧＰＵ４０２は、視点＃ｉを選択し、ステップＳ２２で、デプス値depth1をインデクスとしてシフト情報テーブル１２０を参照し、視点＃ｉのシフトベクトルを取得する。
　次のステップＳ２３で、ＧＰＵ４０２は、ステップＳ２２で取得したシフトベクトルに従い、ワークバッファ４１２に書き込まれている単視点画像をシフトさせる。シフトした単視点画像を、タイル状の多視点画像の視点＃ｉのタイルにコピーする。このとき、当該タイルに既に書き込まれている画像があれば、その画像に対し、当該単視点画像をアルファブレンディングなどを用いて合成する。
　ステップＳ２３で単視点画像をタイルへコピーがする。ステップＳ２４でループ変数ｉに１を加算する。ステップＳ２５で、ＧＰＵ４０２は、ループ変数ｉと視点数ｎとが等しいか否かを判定する。若し、等しいと判定されたら、全ての視点での処理が終了したと判定し、図１７Ｂのフローチャートによる処理を抜け、上述の図１７Ａのフローチャートの処理に戻る。一方、ループ変数ｉが視点数ｎと異なり、全ての視点について処理が終了していないと判定されたら、処理がステップＳ２１に戻され、次の視点について処理が行われる。
　上述した図１７Ａおよび図１７Ｂのフローチャートによる処理について、図１８、図１９および図２０を用いて具体的に説明する。以下では、例えば、それぞれ異なるオブジェクトによる、中央視点の単視点画像２５０Ａ～２５０Ｅが画像処理装置４００に入力される。このとき、単視点画像２５０Ａのデプス値が１．０、単視点画像２５０Ｂ、２５０Ｃおよび２５０Ｄのデプス値がそれぞれ０．５、単視点画像２５０Ｅのデプス値が０．２であるものとする。これら単視点画像２５０Ａ～２５０Ｅは、デプス値の大きい順に整列して入力される。また、視点数ｎ＝９であるものとする。
　単視点画像２５０Ａ～２５０Ｅが順次、画像処理装置４００に入力され、ＲＡＭ４０４の領域４１０にバッファリングされる。ＧＰＵ４０２は、領域４１０から最初のオブジェクトの単視点画像２５０Ａを読み出してＶＲＡＭ４０５に入力し、ワークバッファ４１２に書き込む。それと共に、ＧＰＵ４０２は、当該単視点画像２５０Ａのデプス値＝１．０を取得し、デプス値depth1とする（図１７ＡのステップＳ１０）。
　ＲＡＭ４０４の領域４１０に次のオブジェクトの単視点画像２５０Ｂが存在するので、ＧＰＵ４０２は、当該単視点画像２５０Ｂのデプス値＝０．５を取得し、デプス値depth2とする（図１７ＡのステップＳ１１、ステップＳ１２）。デプス値depth1とデプス値depth2とが異なるので、ＧＰＵ４０２は、ワークバッファ４１２に書き込まれている単視点画像２５０Ａを、タイル状の多視点画像の各タイル４１４Ａ～４１４Ｉに対し、デプス値および視点に応じてシフトさせてコピーする（図１７ＡのステップＳ１３、ステップＳ１６）。
　すなわち、デプス値depth1をインデクスとして視点＃０のシフトベクトルを取得し（ステップＳ２１、ステップＳ２２）、取得したシフトベクトルに従い単視点画像２５０Ａを例えば横方向にシフトさせた画像を生成する。そして、生成された画像をＶＲＡＭ４０５内の領域４１３における視点＃０のタイル４１４Ａに書き込む（ステップＳ２３）。この処理を、残りの視点＃１～＃８に対してそれぞれ行う（ステップＳ２４、ステップＳ２５）。
　単視点画像２５０Ａの各タイル４１４Ａ～４１４Ｉへのコピーが完了したら、ＧＰＵ４０２は、ＲＡＭ４０４の領域４１０から、デプス値depth2に対応する単視点画像２５０Ｂを読み出し、ワークバッファ４１２に書き込む（図１７ＡのステップＳ１７）。なお、各タイル４１４Ａ～４１４Ｉへのコピーが完了した単視点画像２５０Ａは、例えばワークバッファ４１２から破棄される。ＧＰＵ４０２は、デプス値depth2＝０．５を新たなデプス値depth1とする（ステップＳ１５）。
　ＲＡＭ４０４の領域４１０に次のオブジェクトの単視点画像２５０Ｃが存在するので、ＧＰＵ４０２は、当該単視点画像２５０Ｃのデプス値＝０．５を取得し、新たなデプス値depth2とする（図１７ＡのステップＳ１１、ステップＳ１２）。
　デプス値depth1とデプス値depth2とが等しいので、ＧＰＵ４０２は、ＲＡＭ４０４の領域４１０から単視点画像２５０Ｃを読み出す。この単視点画像２５０Ｃと、ワークバッファ４１２に書き込まれている単視点画像２５０Ｂとをα値に基づきアルファブレンディングにより合成し、合成単視点画像２５３を生成する（図１７ＡのステップＳ１４）。その後、ＧＰＵ４０２は、デプス値depth2＝０．５を新たなデプス値depth1とする（図１７ＡのステップＳ１５）。
　ＲＡＭ４０４の領域４１０に次のオブジェクトの単視点画像２５０Ｄが存在するので、ＧＰＵ４０２は、当該単視点画像２５０Ｄのデプス値＝０．５を取得し、新たなデプス値depth2とする（図１７ＡのステップＳ１１、ステップＳ１２）。
　デプス値depth1とデプス値depth2とが等しいので、ＧＰＵ４０２は、ＲＡＭ４０４の領域４１０から単視点画像２５０Ｄを読み出す。この単視点画像２５０Ｄと、ワークバッファ４１２に書き込まれている合成単視点画像２５３とをα値に基づきアルファブレンディングにより合成し、合成単視点画像２５３を更新する（図１７ＡのステップＳ１４）。すなわち、合成単視点画像２５３は、オブジェクトの中央視点による単視点画像２５０Ｂ、２５０Ｃおよび２５０Ｄが合成されたものとなる。その後、ＧＰＵ４０２は、デプス値depth2を新たなデプス値depth1とする（ステップＳ１５）。
　ＲＡＭ４０４の領域４１０に次のオブジェクトの単視点画像２５０Ｅが存在するので、ＧＰＵ４０２は、当該単視点画像２５０Ｃのデプス値＝０．２を取得し、新たなデプス値depth2とする（図１７ＡのステップＳ１１、ステップＳ１２）。
　デプス値depth1とデプス値depth2とが異なるので、ＧＰＵ４０２は、ワークバッファ４１２に書き込まれている合成単視点画像２５３を、タイル状の多視点画像の各タイル４１４Ａ～４１４Ｉに対し、デプス値および視点に応じてシフトさせてコピーする（図１７ＡのステップＳ１３、ステップＳ１６）。
　ここで、各タイル４１４Ａ～４１４Ｉには、既に単視点画像２５０Ａがデプス値および視点に応じてシフトされて書き込まれている。ＧＰＵ４０２は、合成単視点画像２５３を各タイル４１４Ａ～４１４Ｉにコピーする際に、各視点の合成単視点画像を、既に書き込まれている各視点の単視点画像２５０Ａに対して、α値に基づきアルファブレンディングによりそれぞれ合成する。
　その後、ＧＰＵ４０２は、ＲＡＭ４０４の領域４１０から、デプス値depth2に対応する単視点画像２５０Ｅを読み出し、ワークバッファ４１２に書き込む（図１７ＡのステップＳ１７）。なお、各タイル４１４Ａ～４１４Ｉへのコピーが完了した合成単視点画像は、例えばワークバッファ４１２から破棄される。ＧＰＵ４０２は、デプス値depth2＝０．２を新たなデプス値depth1とする（ステップＳ１５）。
　ここで、ＲＡＭ４０４の領域４１０に次のオブジェクトの単視点画像が無い状態となる。そのため、ＧＰＵ４０２は、図２０に例示されるように、ワークバッファ４１２に書き込まれている単視点画像２５０Ｅを、タイル状の多視点画像の各タイル４１４Ａ～４１４Ｉに対し、デプス値および視点に応じてシフトさせてコピーする（図１７ＡのステップＳ１８）。
　各タイル４１４Ａ～４１４Ｉには、既に単視点画像２５０Ａと合成単視点画像２５３とが、デプス値および視点に応じてシフトされ、視点毎に合成されて書き込まれている。ＧＰＵ４０２は、単視点画像２５０Ｅを各タイル４１４Ａ～４１４Ｉにコピーする際に、図２０に例示されるように、各視点の単視点画像２５０Ｅを、既に書き込まれている各視点の合成単視点画像に対して、α値に基づきアルファブレンディングによりそれぞれ合成する。合成が行われると、一連の処理が終了される。
　上述したように、本実施形態に係る画像処理装置４００によれば、同一のデプス値を持つオブジェクトの単視点画像を合成して１の合成単視点画像に纏める。そして、この合成単視点画像をデプス値および視点に応じてシフトさせて、タイル状の多視点画像の各タイルにコピーするようにしている。そのため、単視点画像をタイル状の多視点画像の各タイルにコピーする回数を大幅に削減することができる。その結果、多数のオブジェクトを含む多視点画像を高速に描画することが可能になる。
　例えば、タイル状の多視点画像の各タイルに単視点画像のコピーを行う処理を、単視点画像毎に行う場合、コピー回数は、単視点画像数×視点数ｎとなる。図８～図１２の例では、単視点画像数＝５、視点数ｎ＝９なので、コピー回数は、５×９＝４５回となる。この場合、オブジェクト数が増え、単視点画像の数が増えるに従い、コピー回数が増加することになる。視点数が増加すると、コピー回数の増加はより顕著なものとなる。
　これに対して、本実施形態の方法によれば、例えば図１８～図２０の例では、デプス値が同一の単視点画像２５０Ｂ～２５０Ｄにおいて、これら単視点画像２５０Ｂ～２５０Ｄを合成する際のコピー回数の３回と、合成単視点画像をタイル状の多視点画像の各タイルにコピーする際のコピー回数の９回との合計１２回で済むことになる。これは、単視点画像毎に各タイルへのコピーを行う際のコピー回数２７回（３×９回）に比べて格段に少ない。図１８～図２０の例全体を通しても、３０回（１２回＋２×９回）で済むことになり、４５回に比べて格段に少なく、コピー回数が大幅に削減されている。
１００　多視点画像生成装置
１１１　単視点画像記憶部
１１２　デプス情報記憶部
１１３　単視点画像合成部
１１４　シフト情報取得部
１１５　シフト情報記憶部
１１６1～１１６n　単視点画像シフト部
１１７　多視点画像記憶部
１２０　シフト情報テーブル
２００，２１１，２３１，２５１　多視点画像
２１２Ａ～２１２Ｉ　タイル
２３２Ａ～２３２Ｉ　タイル
２５２Ａ～２５２Ｉ　タイル
３００　表示部
４００　画像処理装置
４０１　ＣＰＵ
４０２　ＧＰＵ
４０３　ＲＯＭ
４０４　ＲＡＭ
４０５　ＶＲＡＭ
４１２　ワークバッファ

Claims (5)

  1. 　複数の画像それぞれに対応付けられた、画像の奥行き方向の位置を示すデプス値に基づき、該複数の画像のうち該デプス値が同一の画像を１の画像に合成する合成ステップと、
    　前記合成ステップで合成された画像を、それぞれ異なる視差を与える複数の視点毎に、該視点と該画像に対応する前記デプス値とに応じたシフトベクトルに従い、該シフトベクトルが示す方向および量でシフトさせて視差を与えた画像を生成するシフトステップと、
    　前記シフトステップでシフトされた前記複視差を与えた画像を予め決められたフォーマットで配置した多視点画像を生成する生成ステップと
    を有する
    ことを特徴とする多視点画像生成方法。
  2. 　前記デプス値と、前記シフトベクトルとが対応付けられて格納されるシフト情報テーブルを、前記デプス情報記憶部に記憶される前記デプス値をインデックスとして参照して、前記シフトベクトルを取得するシフト情報取得ステップをさらに有し、
    　前記シフトステップは、
    　前記シフト情報取得ステップで取得された前記シフトベクトルに従い、該シフトベクトルが示す方向および量で、前記合成ステップにより合成された前記画像をシフトさせる
    ことを特徴とする請求項１に記載の多視点画像生成方法。
  3. 　制御部の制御に基づきメモリを用いて画像処理を行う画像処理部が、前記合成ステップと、前記シフトステップと、前記生成ステップとを実行する
    ことを特徴とする請求項１に記載の多視点画像生成方法。
  4. 　前記合成ステップは、画像記憶部に記憶された前記複数の画像それぞれと対応付けてデプス情報記憶部に記憶された前記デプス値に基づき、該画像記憶部に記憶される該複数の画像のうち該デプス値が同一の画像を１の画像に合成し、
    　前記画像記憶部および前記デプス情報記憶部は、前記メモリ内に設けられる
    ことを特徴とする請求項３に記載の多視点画像生成方法。
  5. 　制御部と、メモリと、該制御部の制御に基づき該メモリを用いて画像処理を行う画像処理部とを含む多視点画像生成装置であって、
    　複数の画像を記憶する、前記メモリに設けられる画像記憶部と、
    　前記画像記憶部に記憶された前記複数の画像それぞれの奥行き方向の位置を示すデプス値を、該複数の画像のそれぞれに対応付けられて記憶する、前記メモリに設けられるデプス情報記憶部と、
    　前記デプス情報記憶部に記憶される前記デプス値に基づき、前記画像記憶部に記憶される前記複数の画像のうち該デプス値が同一の画像を１の画像に合成する、前記画像処理部に含まれる合成部と、
    　前記合成部で合成された画像を、それぞれ異なる視差を与える複数の視点毎に、該視点と該画像に対応する前記デプス値とに応じたシフトベクトルに従い、該シフトベクトルが示す方向および量でシフトさせて視差を与えた画像を生成する、前記画像処理部に含まれるシフト部と、
    　前記シフト部でシフトされた前記視差を与えた画像を、予め決められたフォーマットで配置して生成する、前記画像処理部に含まれる生成部と
    を有する
    ことを特徴とする多視点画像生成装置。
PCT/JP2009/066618 2009-09-25 2009-09-25 多視点画像生成方法および装置 WO2011036761A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2009/066618 WO2011036761A1 (ja) 2009-09-25 2009-09-25 多視点画像生成方法および装置
JP2011532839A JP5238887B2 (ja) 2009-09-25 2009-09-25 多視点画像生成方法および装置
US13/412,741 US8666147B2 (en) 2009-09-25 2012-03-06 Multi-view image generating method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/066618 WO2011036761A1 (ja) 2009-09-25 2009-09-25 多視点画像生成方法および装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/412,741 Continuation US8666147B2 (en) 2009-09-25 2012-03-06 Multi-view image generating method and apparatus

Publications (1)

Publication Number Publication Date
WO2011036761A1 true WO2011036761A1 (ja) 2011-03-31

Family

ID=43795532

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/066618 WO2011036761A1 (ja) 2009-09-25 2009-09-25 多視点画像生成方法および装置

Country Status (3)

Country Link
US (1) US8666147B2 (ja)
JP (1) JP5238887B2 (ja)
WO (1) WO2011036761A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013168897A (ja) * 2012-02-17 2013-08-29 Nintendo Co Ltd 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
JP2013251663A (ja) * 2012-05-31 2013-12-12 Nippon Hoso Kyokai <Nhk> 画像符号化装置および画像復号装置
WO2013187129A1 (ja) * 2012-06-12 2013-12-19 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2019004271A (ja) * 2017-06-14 2019-01-10 日本放送協会 画像符号化装置および画像復号化装置、並びに、画像符号化プログラムおよび画像復号化プログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120236114A1 (en) * 2011-03-18 2012-09-20 Te-Hao Chang Depth information generator for generating depth information output by only processing part of received images having different views, and related depth information generating method and depth adjusting apparatus thereof
JP5907368B2 (ja) * 2011-07-12 2016-04-26 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR20130098122A (ko) * 2012-02-27 2013-09-04 세종대학교산학협력단 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법
WO2013129822A1 (ko) 2012-02-27 2013-09-06 세종대학교산학협력단 영상 부호화와 복호화 장치 및 영상을 부호화와 복호화하는 방법
DE102012016865B4 (de) 2012-08-25 2022-12-15 Connaught Electronics Ltd. Verbessertes Alpha-Blending von Bildern eines Kamerasystems eines Kraftfahrzeugs
KR101856568B1 (ko) * 2013-09-16 2018-06-19 삼성전자주식회사 다시점 영상 디스플레이 장치 및 제어 방법
EP2860975A1 (en) * 2013-10-09 2015-04-15 Thomson Licensing Method for processing at least one disparity map, corresponding electronic device and computer program product
KR102153605B1 (ko) * 2013-11-27 2020-09-09 삼성디스플레이 주식회사 입체 영상 표시 장치
US20150213784A1 (en) * 2014-01-24 2015-07-30 Amazon Technologies, Inc. Motion-based lenticular image display
JP6611531B2 (ja) * 2015-09-16 2019-11-27 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229560A (ja) * 2003-11-28 2005-08-25 Hirobumi Ito 立体画像表示方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3358466B2 (ja) 1996-10-18 2002-12-16 凸版印刷株式会社 視差画像のデータ処理方法および装置
EP0896301A1 (en) * 1997-08-06 1999-02-10 Victor Company Of Japan, Limited Stereoscopic image interpolating apparatus and method
JP2009075869A (ja) 2007-09-20 2009-04-09 Toshiba Corp 多視点画像描画装置、方法及びプログラム
JP2009080578A (ja) 2007-09-25 2009-04-16 Toshiba Corp 多視点データ生成装置、方法及びプログラム
US8774512B2 (en) * 2009-02-11 2014-07-08 Thomson Licensing Filling holes in depth maps

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229560A (ja) * 2003-11-28 2005-08-25 Hirobumi Ito 立体画像表示方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013168897A (ja) * 2012-02-17 2013-08-29 Nintendo Co Ltd 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
JP2013251663A (ja) * 2012-05-31 2013-12-12 Nippon Hoso Kyokai <Nhk> 画像符号化装置および画像復号装置
WO2013187129A1 (ja) * 2012-06-12 2013-12-19 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JPWO2013187129A1 (ja) * 2012-06-12 2016-02-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US9773333B2 (en) 2012-06-12 2017-09-26 Sony Corporation Information processing device, information processing method, and program
JP2019004271A (ja) * 2017-06-14 2019-01-10 日本放送協会 画像符号化装置および画像復号化装置、並びに、画像符号化プログラムおよび画像復号化プログラム

Also Published As

Publication number Publication date
JP5238887B2 (ja) 2013-07-17
US8666147B2 (en) 2014-03-04
US20120170833A1 (en) 2012-07-05
JPWO2011036761A1 (ja) 2013-02-14

Similar Documents

Publication Publication Date Title
JP5238887B2 (ja) 多視点画像生成方法および装置
JP4392060B2 (ja) 視差深度依存画素シフト
JP4047387B2 (ja) 立体画像ディスプレイ駆動装置
JP5567562B2 (ja) 多用途三次元画像フォーマット
JP5208767B2 (ja) オンザフライハードウェア画像纏め
US9083963B2 (en) Method and device for the creation of pseudo-holographic images
EP2347597B1 (en) Method and system for encoding a 3d image signal, encoded 3d image signal, method and system for decoding a 3d image signal
JP4982862B2 (ja) プログラム、情報記憶媒体及び画像生成システム
JP2013539256A (ja) ３次元コンテンツに関する画像を合成する方法
JP2009124768A (ja) マルチメディア情報生成装置およびマルチメディア情報再生装置
JP2005175566A (ja) 立体表示システム
JP4523368B2 (ja) 立体視画像生成装置およびプログラム
JPH11514118A (ja) 立体画像の発生
JP2007249398A (ja) 画像処理システム、表示装置および画像処理方法
JPH11510940A (ja) ３次元画像テクスチュアマッピング
JP2009516205A (ja) オートステレオスコープ表示装置上で少なくとも１つの画像領域をモノスコープ方式で表現するための方法および機構ならびに該機構を有する情報再現装置
JP4703635B2 (ja) 立体視画像生成方法、その装置、及び立体視画像表示装置
US20140354786A1 (en) Image processor
JP2003295114A (ja) 立体像表示装置
JP5016648B2 (ja) 多層構造を持つ３次元表示装置のための画像処理方法
CN110597577A (zh) 一种头戴可视设备及其分屏显示方法和装置
JP2009064355A (ja) プログラム、情報記憶媒体及び画像生成システム
US20140118513A1 (en) Image processor
CN103024414A (zh) 一种基于WinXP系统的3D显示方法
Zinger et al. iGLANCE project: free-viewpoint 3D video

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09849792

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011532839

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09849792

Country of ref document: EP

Kind code of ref document: A1