WO2020036214A1 - 画像生成装置、画像生成方法及びプログラム - Google Patents

画像生成装置、画像生成方法及びプログラム Download PDF

Info

Publication number
WO2020036214A1
WO2020036214A1 PCT/JP2019/032038 JP2019032038W WO2020036214A1 WO 2020036214 A1 WO2020036214 A1 WO 2020036214A1 JP 2019032038 W JP2019032038 W JP 2019032038W WO 2020036214 A1 WO2020036214 A1 WO 2020036214A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel value
pixel
storage unit
management data
acquisition management
Prior art date
Application number
PCT/JP2019/032038
Other languages
English (en)
French (fr)
Inventor
健一郎 横田
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to CN201980053375.5A priority Critical patent/CN112567430A/zh
Priority to US17/267,236 priority patent/US11551383B2/en
Priority to JP2020537103A priority patent/JP6947939B2/ja
Publication of WO2020036214A1 publication Critical patent/WO2020036214A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Definitions

  • the present invention relates to an image generation device, an image generation method, and a program.
  • a superimposed image is generated at a predetermined frame rate by superimposing a background image representing a game play situation and a foreground image in which a user interface in the game is represented by two-dimensional objects such as characters, figures, or symbols. May be drawn in the frame buffer.
  • a three-dimensional image is generated and drawn in a frame buffer.
  • a region where a two-dimensional object is to be arranged is predetermined by a designer or the like, and it is predetermined that a pixel value representing colorless and transparent is set for pixels outside the region.
  • a pixel value representing colorless and transparent is set for pixels outside the region.
  • a pixel value representing black is set for pixels outside the circular visual field range.
  • the storage capacity of the same size as the other pixels is stored in the frame buffer up to the pixel in which it is predetermined that a predetermined value such as a pixel value representing colorless and transparent or a pixel value representing black is set as the pixel value.
  • a predetermined value such as a pixel value representing colorless and transparent or a pixel value representing black
  • a storage capacity of 32 bits is required for a pixel for which a predetermined value is set as a pixel value. Need not be allocated in the frame buffer.
  • the present invention has been made in view of the above circumstances, and one of its objects is to provide a frame buffer for storing a pixel value of a pixel in which a predetermined value is set as a pixel value.
  • An object of the present invention is to provide an image generating apparatus, an image generating method, and a program that can save storage capacity.
  • an image generation device includes a pixel value storage unit that stores a pixel value, and determines whether to acquire a pixel value of each pixel included in an image from the pixel value storage unit.
  • An acquisition management data storage unit that stores acquisition management data, and an acquisition determination unit that determines whether to acquire a pixel value from the pixel value storage unit for each pixel based on the acquisition management data,
  • a pixel value acquisition unit that acquires a pixel value of a pixel determined to acquire a pixel value from the value storage unit from the pixel value storage unit, and a pixel value determination unit that determines a pixel value of each pixel.
  • the pixel value storage unit stores a pixel value of a pixel determined to obtain a pixel value from the pixel value storage unit, and the pixel value determination unit obtains a pixel value from the pixel value storage unit For the pixel that is determined, A pixel value obtained from the pixel value storage unit is determined as a pixel value of the pixel, and the pixel value determination unit sets a predetermined value for a pixel determined not to obtain a pixel value from the pixel value storage unit. It is determined as the pixel value of the pixel.
  • the acquisition management data includes a plurality of individual acquisition management data, each of which is associated with a plurality of the pixels, and the acquisition determination unit determines the individual acquisition management data based on the individual acquisition management data. Determines whether to obtain the pixel values of a plurality of pixels associated with the pixel value storage unit, the pixel value determination unit is determined not to obtain the pixel value from the pixel value storage unit, For all of the plurality of pixels associated with the individual acquisition management data, a predetermined value is determined as the pixel value of the plurality of pixels.
  • the individual acquisition management data may be associated with a plurality of pixels occupying a rectangular area in the image.
  • the pixel value storage unit stores a pixel value and an alpha value
  • the pixel value determination unit determines a pixel value to be obtained from the pixel value storage unit. Determines a pixel value and an alpha value obtained from the pixel value storage unit as a pixel value and an alpha value of the pixel, and determines that the pixel value determination unit does not obtain a pixel value from the pixel value storage unit.
  • a predetermined value is determined as a pixel value and an alpha value of the pixel, and the image whose pixel value and alpha value are determined by the pixel value determination unit is superimposed on another image to form a superimposed image.
  • An image generation unit that generates the image.
  • the acquisition management data indicates that no pixel value is acquired from the pixel value storage unit for a pixel occupying a given area in the image.
  • the image generation method indicates a pixel value storage step of storing a pixel value in a pixel value storage unit, and indicates whether to acquire a pixel value of each pixel included in an image from the pixel value storage unit.
  • the step for a pixel whose pixel value is determined to be obtained from the pixel value storage unit, the pixel value obtained from the pixel value storage unit is determined as the pixel value of the pixel, and in the pixel value determination step, For a pixel for which it is determined not to obtain a pixel value from the pixel value storage unit, a predetermined value is determined as the pixel value of the pixel.
  • the program according to the present invention includes a pixel value storage procedure for storing a pixel value in a pixel value storage unit, and acquisition management data indicating whether or not to obtain a pixel value of each pixel included in an image from the pixel value storage unit.
  • An acquisition management data storage procedure for storing in an acquisition management data storage unit, an acquisition determination procedure for determining whether or not to acquire a pixel value from the pixel value storage unit for each of the pixels based on the acquisition management data,
  • a computer executes a pixel value acquisition procedure of acquiring a pixel value of a pixel determined to acquire a pixel value from the value storage section from the pixel value storage section, and a pixel value determination procedure of determining a pixel value of each pixel.
  • the pixel value of a pixel whose pixel value is determined to be obtained from the pixel value storage unit is stored in the pixel value storage unit.
  • the pixel value obtained from the pixel value storage unit is determined as the pixel value of the pixel, and in the pixel value determination procedure, the pixel value storage is performed.
  • a predetermined value is determined as the pixel value of the pixel.
  • FIG. 1 is a diagram illustrating an example of a configuration of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 4 is a diagram schematically illustrating an example of a data structure of acquisition management data associated with a foreground image. It is a figure which shows typically an example of the data structure of the acquisition management data matched with the three-dimensional image.
  • FIG. 2 is a functional block diagram illustrating an example of a function of the image processing apparatus according to the embodiment of the present disclosure.
  • FIG. 3 is a flowchart illustrating an example of a flow of a process performed by the image processing apparatus according to the embodiment of the present disclosure.
  • FIG. 3 is a flowchart illustrating an example of a flow of a process performed by the image processing apparatus according to the embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating an example of a configuration of an image processing apparatus 10 according to an embodiment of the present invention.
  • the image processing device 10 according to the present embodiment is, for example, a game console, a portable game terminal, a personal computer, or the like.
  • the image processing apparatus 10 according to the present embodiment includes a processor 12, a storage unit 14, an operation unit 16, and a display unit 18.
  • the processor 12 is a program control device such as a CPU that operates according to a program installed in the image processing apparatus 10.
  • the processor 12 according to the present embodiment also includes a GPU (Graphics Processing Unit) that draws an image in a frame buffer based on graphics commands and data supplied from the CPU.
  • GPU Graphics Processing Unit
  • the storage unit 14 is a storage element such as a ROM or a RAM, a hard disk drive, or the like.
  • a storage element such as a ROM or a RAM, a hard disk drive, or the like.
  • an area of a frame buffer in which an image is drawn by the GPU is secured.
  • the operation unit 16 is a keyboard, a mouse, a controller of a game console, or the like, and receives a user's operation input, and outputs a signal indicating the content of the operation input to the processor 12.
  • the display unit 18 is a display device such as a liquid crystal display, and displays various images according to instructions from the processor 12.
  • the display unit 18 may be a head-mounted display (HMD).
  • HMD head-mounted display
  • FIG. 2 is a diagram schematically illustrating an example of the acquisition management data 20 according to the present embodiment.
  • the background image may be, for example, a frame image representing a game play situation in which a virtual three-dimensional object representing a game character arranged in the virtual three-dimensional space is viewed from a viewpoint in the virtual three-dimensional space.
  • the foreground image may be, for example, a frame image representing information on a user interface in a game.
  • the foreground image may be a frame image representing a two-dimensional object that is a character, a graphic, or a symbol.
  • the acquisition management data 20 shown in FIG. 2 is an example of the acquisition management data 20 associated with the foreground image.
  • a game playing situation in which a virtual three-dimensional object placed in a virtual three-dimensional space is viewed from a viewpoint in the virtual three-dimensional space is often represented by graphics. Likely to not be.
  • the frame image on which the two-dimensional object, which is a character, graphic, or symbol, is arranged is blurred, so that it is difficult for the user to read the content.
  • the foreground image has a higher resolution than the background image. Then, for example, after resizing the background image to have the resolution of the foreground image, the foreground image and the resized background image are superimposed to generate a superimposed image.
  • a superimposed image is generated by performing an alpha blending process on a foreground image and a resized background image.
  • a frame buffer area in which the pixel value of the background image is stored and a frame buffer area in which the pixel value and the alpha value of the foreground image are stored are separately provided.
  • a frame buffer in which the pixel values of the background image are stored is referred to as a background frame buffer
  • a frame buffer in which the pixel values and the alpha value of the foreground image are stored is referred to as a foreground frame buffer.
  • the size of the pixel value of one pixel stored in the background frame buffer is 24 bits.
  • the size of the pixel value of one pixel stored in the foreground frame buffer is 24 bits, and the size of the alpha value is 8 bits. Therefore, the storage capacity of the foreground frame buffer for storing the pixel value and the alpha value of one pixel is 32 bits. Note that the pixel values of the red, green, and blue components of one pixel may each be 8 bits in size.
  • the acquisition management data 20 shown in FIG. 2 includes a plurality of individual acquisition management data 22.
  • One individual acquisition management data 22 shown in FIG. 2 is associated with one pixel block when the foreground image is divided into a plurality of pixel blocks to which a plurality of pixels respectively belong.
  • the number of pixels belonging to one pixel block is 14000, and the total size of the pixel values of the pixels belonging to the pixel block is 56 kilobytes.
  • the pixel block may be a plurality of pixels occupying a rectangular area in the foreground image.
  • the position of each individual acquisition management data 22 included in the acquisition management data 20 shown in FIG. 2 is associated with the position of a pixel block associated with the individual acquisition management data 22 in the foreground image. I have.
  • the acquisition management data 20 shown in FIG. 2 is, for example, data indicating whether to acquire a pixel value and an alpha value from a foreground frame buffer.
  • one individual acquisition management data 22 included in the acquisition management data 20 may be, for example, a 1-bit flag indicating whether to acquire a pixel value and an alpha value from the foreground frame buffer.
  • 1 may be set as a value in the individual acquisition management data 22 indicating that the pixel value and the alpha value are acquired from the foreground frame buffer.
  • 0 may be set as a value in the individual acquisition management data 22 indicating that the pixel value and the alpha value are not acquired from the foreground frame buffer.
  • first type individual acquisition management data 22a the individual acquisition management data 22 with a value of 1
  • second type individual acquisition management data 22b the individual acquisition management data 22 with a value of 0
  • the individual acquisition management data 22 with hatching corresponds to the first type individual acquisition management data 22a
  • the individual acquisition management data 22 without hatching corresponds to the second type individual acquisition management data 22b.
  • a region where user interface information can be arranged in the foreground image is set in advance by a designer or the like, and a predetermined value such as a pixel value representing colorless and transparent is set for pixels outside the region. Is determined in advance.
  • the first type individual acquisition management data 22a is set as the individual acquisition management data 22 associated with an area where information such as a user interface can be arranged in the foreground image.
  • the first type individual acquisition management data 22a is set as the individual acquisition management data 22 associated with the lower left rectangular area.
  • the second type individual acquisition management data 22b is set as the individual acquisition management data 22 associated with the pixels other than the rectangular area.
  • an access is made to the foreground frame buffer in which the pixel value and the alpha value of the pixel are stored.
  • access is made to the foreground frame buffer in which the pixel value and the alpha value of each of the 14000 pixels are stored.
  • the pixel value and the alpha value of the pixel are obtained.
  • the acquired pixel value and alpha value are determined as the pixel value and alpha value of the pixel.
  • the pixels associated with the second type individual acquisition management data 22b do not access the foreground frame buffer. Then, for all 14000 pixels associated with the second type individual acquisition management data 22b, the predetermined value is determined as the pixel value and the alpha value of the pixel.
  • the predetermined value is determined as the pixel value and the alpha value of the pixel.
  • a pixel value and an alpha value representing colorless and transparent may be determined as the pixel value and the alpha value of the pixel. In this way, for the pixels associated with the second type individual acquisition management data 22b, the content of the background image appears in the superimposed image.
  • FIG. 3 is a diagram schematically showing another example of the acquisition management data 20 according to the present embodiment.
  • a three-dimensional image is generated at a predetermined frame rate (for example, every 1/60 second).
  • the three-dimensional image is, for example, the left-eye image and the right-eye image that have been distortion-corrected, so that stereoscopic viewing can be performed by a head-mounted display including an optical system. It is a rectangular image included in the visual field range.
  • the acquisition management data 20 shown in FIG. 3 is an example of the acquisition management data 20 associated with the three-dimensional image.
  • the acquisition management data 20 shown in FIG. 3 includes a plurality of individual acquisition management data 22.
  • One individual acquisition management data 22 shown in FIG. 3 is associated with one pixel block when the three-dimensional image is divided into a plurality of pixel blocks to which a plurality of pixels respectively belong.
  • the pixel block may be a plurality of pixels occupying a rectangular area in the foreground image.
  • the position of each individual acquisition management data 22 included in the acquisition management data 20 shown in FIG. 3 is associated with the position of the pixel block associated with the individual acquisition management data 22 in the foreground image. I have.
  • the acquisition management data 20 shown in FIG. 3 is, for example, data indicating whether to acquire a pixel value from a frame buffer.
  • one individual acquisition management data 22 included in the acquisition management data 20 may be, for example, a 1-bit flag indicating whether or not to acquire a pixel value from the frame buffer.
  • 1 is set as a value in the individual acquisition management data 22 indicating that a pixel value is obtained from the frame buffer
  • 0 is set as a value in the individual acquisition management data 22 indicating that the pixel value is not obtained from the frame buffer. It may be set.
  • the individual acquisition management data 22 with a value of 1 set is referred to as first type individual acquisition management data 22a, and the individual acquisition management data 22 with a value of 0 set as the second type individual acquisition management data. 22b.
  • the hatched individual acquisition management data 22 corresponds to the first type individual acquisition management data 22a
  • the unacquired individual acquisition management data 22 corresponds to the second type individual acquisition management data 22b. Is equivalent to
  • FIG. 3 shows two circular visual field regions 24 respectively associated with the circular visual field range of the left eye and the circular visual field range of the right eye of the user in the three-dimensional image.
  • the visual field region 24 is associated with a given region in a three-dimensional image.
  • the individual acquisition management data 22 in which all of the included pixels are associated with the pixel blocks outside the viewing area 24 is set as the second type individual acquisition management data 22b. Then, the individual acquisition management data 22 in which some or all of the included pixels are associated with the pixel blocks in the visual field 24 is set as the first type individual acquisition management data 22a.
  • a frame buffer in which the pixel value of the pixel is stored for a pixel associated with the first type individual acquisition management data 22a.
  • an access is made to a frame buffer in which pixel values of each of the plurality of pixels are stored.
  • the pixel value of the pixel is obtained for each of the plurality of pixels.
  • the acquired pixel value is determined as the pixel value of the pixel.
  • a pixel associated with the second type individual acquisition management data 22b access to the frame buffer in which the pixel value of the pixel is stored is not performed.
  • a predetermined value is determined as the pixel value of the pixel.
  • a pixel value representing black may be determined as a pixel value of the pixel. In this way, the area outside the visual field area 24 in the three-dimensional image becomes black.
  • a predetermined value such as a pixel value representing black is set as a pixel value of a pixel in an area outside the circular visual field range. Therefore, as for the pixel associated with the second type individual acquisition management data 22b in which all of the pixels included as described above are associated with the pixel block outside the visual field region 24, the pixel value representing black has the pixel value of the pixel. There is no problem if it is determined as a value.
  • a frame buffer for storing the pixel value of the pixel associated with the first type individual acquisition management data 22a is provided. Storage capacity is secured. On the other hand, the storage capacity of the frame buffer for storing the pixel value of the pixel associated with the second type individual acquisition management data 22b is not secured.
  • an area in the storage unit 14 corresponding to the storage capacity of the frame buffer for storing the pixel value of the pixel associated with the second type individual acquisition management data 22b is, for example, a frame buffer. It can be used for other purposes.
  • the acquisition management data 20 itself may be stored in an area secured as a frame buffer in the storage unit 14, or may be stored outside the area secured as a frame buffer in the storage unit 14.
  • the storage capacity of the frame buffer for storing the pixel values of the pixels for which the predetermined values are set as the pixel values can be saved.
  • the storage unit 14 secures them as the foreground frame buffer.
  • the size of the area can be saved.
  • the size can be saved.
  • the storage capacity of the storage unit 14 necessary for storing the acquisition management data 20 is equal to the storage capacity of the storage unit 14 necessary for storing the pixel values. Smaller than storage capacity. Therefore, even if the acquisition management data 20 is stored in the area secured as a frame buffer in the storage unit 14, the storage capacity of the frame buffer can be saved as a whole.
  • the pixel value may be stored in the foreground frame buffer and the alpha value may not be stored.
  • the superimposed image may be generated by overwriting the resized background image with the foreground image.
  • FIG. 4 is a functional block diagram illustrating an example of functions implemented in the image processing apparatus 10 according to the present embodiment. It is not necessary for the image processing apparatus 10 according to the present embodiment to implement all of the functions illustrated in FIG. 4, and functions other than the functions illustrated in FIG. 4 may be implemented.
  • the image processing apparatus 10 functionally includes, for example, an acquisition management data storage unit 30, a pixel value storage unit 32, an acquisition determination unit 34, a pixel value acquisition unit 36, a pixel value determination unit 38, An image generation unit 40 and a display control unit 42 are included.
  • the acquisition management data storage unit 30 and the pixel value storage unit 32 are implemented mainly by the storage unit 14.
  • the acquisition determining unit 34, the pixel value acquiring unit 36, the pixel value determining unit 38, and the image generating unit 40 are implemented mainly by the processor 12.
  • the display control unit 42 is mainly implemented by the processor 12 and the display unit 18.
  • the image processing device 10 plays a role as an image generation device that generates an image in the present embodiment.
  • the above functions may be implemented by executing a program including instructions corresponding to the above functions installed in the image processing apparatus 10 as a computer by the processor 12.
  • This program may be supplied to the image processing apparatus 10 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, a flash memory, or via the Internet. .
  • the acquisition management data storage unit 30 stores, for example, the acquisition management data 20 indicating whether or not to acquire the pixel value of each pixel included in the image from the pixel value storage unit 32.
  • the acquisition management data 20 may include a plurality of individual acquisition management data 22 each associated with a plurality of pixels. Then, as described with reference to FIG. 2, the individual acquisition management data 22 may be associated with a plurality of pixels occupying a rectangular area in the image. 2 and 3, one individual acquisition management data 22 is associated with a plurality of pixels (pixel blocks) in a rectangular area in an image. Note that one individual acquisition management data 22 may be associated with one pixel.
  • the acquisition management data 20 may indicate that no pixel value is acquired from the pixel value storage unit 32 for a pixel occupying a given area in the image. For example, as shown in the example of FIG. 2, even if the individual acquisition management data 22 associated with pixels occupying a given area outside the area where the two-dimensional object can be arranged indicates that the pixel value storage unit 32 is not accessed. Good. Also, for example, as in the example of FIG. 3, the individual acquisition management data 22 associated with pixels occupying a given area outside the given circular viewing range associated with the viewing area 24 is stored in the pixel value storage unit 32. It may indicate that no access is made.
  • the pixel value storage unit 32 stores a pixel value.
  • the pixel value storage unit 32 may store the pixel value of the pixel for which the acquisition determination unit 34 determines to acquire the pixel value from the pixel value storage unit 32.
  • the pixel value storage unit 32 may store the pixel value and the alpha value of a pixel for which it is determined that the pixel value is to be obtained from the pixel value storage unit 32.
  • the storage capacity of the frame buffer for storing the pixel value of the pixel for which it is determined that the pixel value is not to be obtained from the pixel value storage unit 32 is not secured in the pixel value storage unit 32.
  • the region to be performed corresponds to the pixel value storage unit 32.
  • the acquisition determination unit 34 determines whether to acquire a pixel value from the pixel value storage unit 32 for each pixel included in an image based on the acquisition management data 20.
  • the acquisition determining unit 34 may determine whether to acquire the pixel values of a plurality of pixels associated with the individual acquisition management data 22 from the pixel value storage unit 32 based on the individual acquisition management data 22. Good. For example, for a pixel associated with the first type individual acquisition management data 22a, it may be determined to acquire a pixel value from the pixel value storage unit 32. Further, it may be determined that a pixel value is not acquired from the pixel value storage unit 32 for a pixel associated with the second type individual acquisition management data 22b.
  • the pixel value obtaining unit 36 obtains, from the pixel value storage unit 32, the pixel value of the pixel for which the pixel value is determined to be obtained from the pixel value storage unit 32.
  • the pixel value determination unit 38 determines a pixel value of each pixel included in an image.
  • the pixel value determination unit 38 determines the pixel value obtained from the pixel value storage unit 32 as the pixel value of the pixel I do.
  • the pixel value determining unit 38 determines a predetermined value as the pixel value of the pixel.
  • the pixel value determination unit 38 may determine the pixel value and the alpha value. For example, for a pixel whose pixel value is determined to be obtained from the pixel value storage unit 32, the pixel value and the alpha value obtained from the pixel value storage unit 32 may be determined as the pixel value and the alpha value of the pixel. . Further, for example, for a pixel for which it is determined not to obtain a pixel value from the pixel value storage unit 32, a predetermined value may be determined as the pixel value and the alpha value of the pixel. In the example described with reference to FIG. 2, the predetermined values are a pixel value and an alpha value representing colorless and transparent. In the example described with reference to FIG. 3, the predetermined value is a pixel value representing black.
  • the pixel value determining unit 38 determines that the pixel value is not to be obtained from the pixel value storage unit 32.
  • the predetermined value is changed to the plurality of pixels. It may be determined as a pixel value of a pixel.
  • the predetermined value may be determined as the pixel value and the alpha value of the plurality of pixels.
  • the image generation unit 40 generates an image based on the pixel values determined by the pixel value determination unit 38.
  • the image generation unit 40 may generate a superimposed image by superimposing an image whose pixel value and alpha value are determined by the pixel value determination unit 38 and another image.
  • the image generation unit 40 includes a foreground image whose pixel value is determined by the pixel value determination unit 38 and a background image whose pixel values are stored in the background frame buffer. May be superimposed to generate a superimposed image.
  • a superimposed image may be generated by superimposing the foreground image and the resized background image.
  • the pixel value determination unit 38 may determine the pixel value of each pixel included in the superimposed image.
  • an alpha blending process based on the alpha value of the pixel in the foreground image may be executed.
  • the pixel value in the superimposed image associated with the pixel is determined.
  • a pixel value may be determined.
  • the image generation unit 40 may generate a superimposed image based on the pixel values determined in this way.
  • the image generation unit 40 may generate a three-dimensional image.
  • the display control unit 42 causes the display unit 18 to display an image generated by the image generation unit 40.
  • the superimposed image described with reference to FIG. 2 may be displayed on the display.
  • the three-dimensional image described with reference to FIG. 3 may be displayed on the HMD.
  • the acquisition management data 20 in the frame is stored in the acquisition management data storage unit 30 at a predetermined frame rate.
  • the pixel value of the background image in the frame is stored in the background frame buffer at a predetermined frame rate.
  • the pixel value and the alpha value of the pixel of the foreground image associated with the first type individual acquisition management data 22a in the frame are stored in the foreground frame buffer.
  • the acquisition determining unit 34 acquires the acquisition management data 20 in the frame from the acquisition management data storage unit 30 (S101).
  • the acquisition determining unit 34 selects, from the individual acquisition management data 22 included in the acquisition management data 20 acquired in the processing shown in S101, the individual acquisition management data for which the processing shown in S103 to S107 has not been executed in the frame. 22 is selected (S102).
  • the acquisition determining unit 34 confirms the value set in the individual acquisition management data 22 selected in the processing shown in S102 (S103).
  • the value is confirmed to be 1. That is, it is assumed that the individual acquisition management data 22 is confirmed to be the first type individual acquisition management data 22a.
  • the pixel value acquisition unit 36 accesses the pixel value storage unit 32 and obtains the pixel value and the alpha value of each of the plurality of pixels belonging to the pixel block associated with the first type individual acquisition management data 22a. Is acquired (S104).
  • the pixel value determination unit 38 determines the pixel value and the alpha value of the pixel acquired in the process illustrated in S104 by the pixel value and the alpha value of the pixel included in the foreground image. It is determined as a value (S105).
  • the pixel value determination unit 38 sets a predetermined value as the pixel value and the alpha value of the pixel included in the foreground image for all the pixels belonging to the pixel block associated with the second type individual acquisition management data 22b. It is determined (S106).
  • a pixel value and an alpha value representing colorless and transparent are determined as the pixel value and the alpha value of the pixel.
  • the pixel value determination unit 38 determines pixel values of a plurality of pixels in the superimposed image associated with the plurality of pixels belonging to the pixel block (S107).
  • the superimposed image The pixel value of the pixel may be determined.
  • the pixel value determination unit 38 confirms whether or not the processing shown in S103 to S107 has been performed on all the individual acquisition management data 22 in the frame (S108).
  • the image generation unit 40 When the processing shown in S103 to S107 has been performed on all the individual acquisition management data 22 in the frame (S108: Y), the image generation unit 40 generates a superimposed image in the frame (S109).
  • the superimposed image is generated based on the pixel values determined in the processing shown in S107.
  • the display control unit 42 causes the display unit 18 to display the superimposed image generated in the process of S109 (S110), and returns to the process of S101.
  • the processing shown in S101 to S110 is repeatedly executed at a predetermined frame rate.
  • the acquisition management data 20 in the frame may not be stored in the acquisition management data storage unit 30 at a predetermined frame rate.
  • the common acquisition management data 20 may be used in all frames.
  • the process in S110 ends the process may return to the process in S102, and the process in the next frame may be executed.
  • the acquisition management data 20 in the frame is stored in the acquisition management data storage unit 30 at a predetermined frame rate.
  • the pixel value of the pixel of the three-dimensional image associated with the first type individual acquisition management data 22a in the frame is stored in the frame buffer at a predetermined frame rate.
  • the acquisition determining unit 34 acquires the acquisition management data 20 in the frame from the acquisition management data storage unit 30 (S201).
  • the acquisition determining unit 34 selects, from the individual acquisition management data 22 included in the acquisition management data 20 acquired in the processing shown in S201, the individual acquisition management data for which the processing shown in S203 to S206 has not been executed in the frame. 22 is selected (S202).
  • the acquisition determining unit 34 checks the value set in the individual acquisition management data 22 selected in the processing shown in S202 (S203).
  • the pixel value acquisition unit 36 accesses the pixel value storage unit 32 to acquire the pixel values of each of the plurality of pixels belonging to the pixel block associated with the first type individual acquisition management data 22a. (S204).
  • the pixel value determination unit 38 determines, for each of the plurality of pixels belonging to the pixel block, the pixel value of the pixel acquired in the process illustrated in S204 as the pixel value of the pixel included in the three-dimensional image ( S205).
  • the pixel value determination unit 38 determines a predetermined value as the pixel value of the pixel included in the three-dimensional image for all the pixels belonging to the pixel block associated with the second type individual acquisition management data 22b. (S206).
  • a pixel value representing black is determined as the pixel value of the pixel.
  • the pixel value determination unit 38 confirms whether or not the processing shown in S203 to S206 has been performed on all the individual acquisition management data 22 in the frame (S207).
  • the image generation unit 40 When the processing shown in S203 to S206 has been performed on all the individual acquisition management data 22 in the frame (S207: Y), the image generation unit 40 generates a three-dimensional image in the frame (S208).
  • the three-dimensional image is generated based on the pixel values determined in the processing shown in S205 or S206.
  • the display control unit 42 causes the display unit 18 to display the three-dimensional image generated in the process shown in S208 (S209), and returns to the process shown in S201.
  • the processing shown in S201 to S209 is repeatedly executed at a predetermined frame rate.
  • the acquisition management data 20 in the frame may not be stored in the acquisition management data storage unit 30 at a predetermined frame rate.
  • the common acquisition management data 20 may be used in all frames.
  • the process may return to the process shown in S202, and the process in the next frame may be executed.

Abstract

画素値として所定値が設定されることが予め定められている画素の画素値を記憶するためのフレームバッファの記憶容量を節約できる画像生成装置、画像生成方法及びプログラムを提供する。取得管理データ記憶部（３０）は、取得管理データを記憶する。画素値記憶部（３２）は、画素値記憶部（３２）から画素値を取得することが決定される画素の画素値を記憶する。取得決定部（３４）は、取得管理データに基づいて、各画素について画素値記憶部（３２）から画素値を取得するか否かを決定する。画素値決定部（３８）は、画素値記憶部（３２）から画素値を取得することが決定される画素については、画素値記憶部（３２）から取得される画素値を当該画素の画素値として決定する。画素値決定部（３８）は、画素値記憶部（３２）から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する。

Description

画像生成装置、画像生成方法及びプログラム
　本発明は、画像生成装置、画像生成方法及びプログラムに関する。
　ゲームのプレイ状況を表す背景画像と、文字、図形、又は、記号などの二次元オブジェクトによってゲームにおけるユーザインタフェースが表された前景画像とを、重畳させた重畳画像を、所定のフレームレートで生成してフレームバッファに描画することがある。
　また、光学系を含むヘッドマウントディスプレイによる立体視ができるよう、歪み補正された左眼用画像及び右眼用画像をそれぞれユーザの左眼の円形視野範囲と右眼の円形視野範囲に含む矩形の三次元画像を生成してフレームバッファに描画することがある。
　例えば上述の前景画像において、二次元オブジェクトが配置されるべき領域がデザイナー等により予め定められており、当該領域外の画素には無色透明を表す画素値が設定されることが予め定められていることがある。
　また例えば、上述した矩形の三次元画像では、円形視野範囲外の画素には黒色を表す画素値が設定されることが予め定められている。
　ここで例えば、無色透明を表す画素値や黒色を表す画素値などといった所定値が画素値として設定されることが予め定められている画素についてまで他の画素と同サイズの記憶容量をフレームバッファに確保する必要はない。例えば１つの画素の色及び透過度を記憶するために３２ビットの記憶容量が必要である画像において、画素値として所定値が設定されることが予め定められている画素についてまで３２ビットの記憶容量をフレームバッファに確保する必要はない。
　本発明は上記実情に鑑みてなされたものであって、その目的の一つは、画素値として所定値が設定されることが予め定められている画素の画素値を記憶するためのフレームバッファの記憶容量を節約できる画像生成装置、画像生成方法及びプログラムを提供することにある。
　上記課題を解決するために、本発明に係る画像生成装置は、画素値を記憶する画素値記憶部と、画像に含まれる各画素の画素値を前記画素値記憶部から取得するか否かを示す取得管理データを記憶する取得管理データ記憶部と、前記取得管理データに基づいて、前記各画素について前記画素値記憶部から画素値を取得するか否かを決定する取得決定部と、前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部から取得する画素値取得部と、前記各画素の画素値を決定する画素値決定部と、を含み、前記画素値記憶部は、前記画素値記憶部から画素値を取得することが決定される画素の画素値を記憶し、前記画素値決定部は、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値を当該画素の画素値として決定し、前記画素値決定部は、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する。
　本発明の一態様では、前記取得管理データは、それぞれ複数の前記画素に対応付けられる個別取得管理データを複数含み、前記取得決定部は、前記個別取得管理データに基づいて、当該個別取得管理データに対応付けられる複数の画素の画素値を前記画素値記憶部から取得するか否かを決定し、前記画素値決定部は、前記画素値記憶部から画素値を取得しないことが決定される、前記個別取得管理データに対応付けられる複数の画素についてはすべて、所定値を当該複数の画素の画素値として決定する。
　この態様では、前記個別取得管理データは、前記画像内の矩形領域を占める複数の画素に対応付けられていてもよい。
　また、本発明の一態様では、前記画素値記憶部は、画素値及びアルファ値を記憶し、前記画素値決定部は、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値及びアルファ値を当該画素の画素値及びアルファ値として決定し、前記画素値決定部は、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値及びアルファ値として決定し、前記画素値決定部により画素値及びアルファ値が決定される画像と他の画像とを重畳することにより重畳画像を生成する画像生成部、をさらに含む。
　また、本発明の一態様では、前記取得管理データは、前記画像内の所与の領域を占める画素については前記画素値記憶部から画素値を取得しないことを示す。
　また、本発明に係る画像生成方法は、画素値を画素値記憶部に記憶させる画素値記憶ステップと、画像に含まれる各画素の画素値を前記画素値記憶部から取得するか否かを示す取得管理データを取得管理データ記憶部に記憶させる取得管理データ記憶ステップと、前記取得管理データに基づいて、前記各画素について前記画素値記憶部から画素値を取得するか否かを決定する取得決定ステップと、前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部から取得する画素値取得ステップと、前記各画素の画素値を決定する画素値決定ステップと、を含み、前記画素値記憶ステップでは、前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部に記憶させ、前記画素値決定ステップでは、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値を当該画素の画素値として決定し、前記画素値決定ステップでは、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する。
　また、本発明に係るプログラムは、画素値を画素値記憶部に記憶させる画素値記憶手順、画像に含まれる各画素の画素値を前記画素値記憶部から取得するか否かを示す取得管理データを取得管理データ記憶部に記憶させる取得管理データ記憶手順、前記取得管理データに基づいて、前記各画素について前記画素値記憶部から画素値を取得するか否かを決定する取得決定手順、前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部から取得する画素値取得手順、前記各画素の画素値を決定する画素値決定手順、をコンピュータに実行させ、前記画素値記憶手順では、前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部に記憶させ、前記画素値決定手順では、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値を当該画素の画素値として決定し、前記画素値決定手順では、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する。
本発明の一実施形態に係る画像処理装置の構成の一例を示す図である。 前景画像に対応付けられる取得管理データのデータ構造の一例を模式的に示す図である。 三次元画像に対応付けられる取得管理データのデータ構造の一例を模式的に示す図である。 本発明の一実施形態に係る画像処理装置の機能の一例を示す機能ブロック図である。 本発明の一実施形態に係る画像処理装置で行われる処理の流れの一例を示すフロー図である。 本発明の一実施形態に係る画像処理装置で行われる処理の流れの一例を示すフロー図である。
　以下、本発明の一実施形態について、図面を参照しながら説明する。
　図１は、本発明の一実施形態に係る画像処理装置１０の構成の一例を示す図である。本実施形態に係る画像処理装置１０は、例えば、ゲームコンソール、携帯型ゲーム端末、パーソナルコンピュータ等である。図１に示すように、本実施形態に係る画像処理装置１０は、プロセッサ１２、記憶部１４、操作部１６、表示部１８、を含んでいる。
　プロセッサ１２は、画像処理装置１０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施形態に係るプロセッサ１２には、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
　記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。また、本実施形態に係る記憶部１４には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
　操作部１６は、キーボードやマウス、あるいはゲームコンソールのコントローラ等であって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ１２に出力する。
　表示部１８は、液晶ディスプレイ等の表示デバイスであって、プロセッサ１２の指示に従って各種の画像を表示する。また表示部１８は、ヘッドマウントディスプレイ（ＨＭＤ）であってもよい。
　以下、図２及び図３に例示する取得管理データ２０を用いた、本実施形態に係る画像処理装置１０における画像に含まれる画素の画素値を記憶するためのフレームバッファの記憶容量の節約の一例について説明する。
　図２は、本実施形態に係る取得管理データ２０の一例を模式的に示す図である。
　ここでは例えば、所定のフレームレートで（例えば１／６０秒毎に）背景画像と前景画像とを重畳した重畳画像が生成されることとする。ここで背景画像は例えば、仮想三次元空間内に配置されたゲームキャラクタを表す仮想三次元オブジェクトを当該仮想三次元空間内の視点から見たゲームのプレイ状況を表すフレーム画像であってもよい。また前景画像は例えば、ゲームにおけるユーザインタフェースの情報を表すフレーム画像であってもよい。ここで前景画像は、文字、図形、又は、記号である二次元オブジェクトを表すフレーム画像であってもよい。そして図２に示す取得管理データ２０は、当該前景画像に対応付けられる取得管理データ２０の一例である。
　例えば仮想三次元空間内に配置された仮想三次元オブジェクトを当該仮想三次元空間内の視点から見たゲームのプレイ状況はグラフィックスにより表現されることが多いため、その表現が多少ぼけても気にならない可能性が高い。一方で、文字、図形、又は、記号である二次元オブジェクトが配置されたフレーム画像については、解像度が低いと、ぼけてしまうため、ユーザはその内容を読み取りにくい。
　このことを踏まえ、以下の説明では例えば、背景画像よりも前景画像の方が、解像度が高いこととする。そして例えば、前景画像の解像度となるよう背景画像をリサイズした上で、前景画像とリサイズ後の背景画像とを重畳させることで、重畳画像が生成されることとする。以下の説明では例えば、前景画像とリサイズ後の背景画像に対してアルファブレンド処理を実行することにより重畳画像が生成されることとする。
　また以下の説明では例えば、記憶部１４内に、背景画像の画素値が記憶されるフレームバッファの領域と、前景画像の画素値及びアルファ値が記憶されるフレームバッファの領域と、が別に設けられる。以下、背景画像の画素値が記憶されるフレームバッファを背景フレームバッファと呼び、前景画像の画素値及びアルファ値が記憶されるフレームバッファを前景フレームバッファと呼ぶこととする。
　ここで例えば、背景フレームバッファに記憶される１つの画素の画素値のサイズは２４ビットであることとする。また例えば、前景フレームバッファに記憶される１つの画素の画素値のサイズは２４ビットでアルファ値のサイズは８ビットであることとする。そのため、１つの画素の画素値及びアルファ値を記憶するための前景フレームバッファの記憶容量は３２ビットとなる。なお、１つの画素の赤成分、緑成分、青成分の画素値のサイズがそれぞれ８ビットであってもよい。
　図２に示す取得管理データ２０には、複数の個別取得管理データ２２が含まれている。図２に示す１つの個別取得管理データ２２は、前景画像をそれぞれ複数の画素が属する複数の画素ブロックに分割した際の１つの画素ブロックに対応付けられる。ここで例えば、１つの画素ブロックに属する画素の数は１４０００であり、当該画素ブロックに属する画素の画素値のサイズの合計は５６キロバイトであることとする。
　また例えば、当該画素ブロックは前景画像内の矩形領域を占める複数の画素であってもよい。また図２に示されている、取得管理データ２０に含まれるそれぞれの個別取得管理データ２２の位置は、前景画像内における当該個別取得管理データ２２に対応付けられる画素ブロックの位置に対応付けられている。
　図２に示す取得管理データ２０は、例えば、前景フレームバッファから画素値及びアルファ値を取得するか否かを示すデータである。ここで例えば、取得管理データ２０に含まれる１つの個別取得管理データ２２は、例えば前景フレームバッファから画素値及びアルファ値を取得するか否かを示す１ビットのフラグであってもよい。そして例えば、前景フレームバッファから画素値及びアルファ値を取得することを示す個別取得管理データ２２には値として１が設定されてもよい。また、前景フレームバッファから画素値及びアルファ値を取得しないことを示す個別取得管理データ２２には値として０が設定されてもよい。
　以下、値として１が設定された個別取得管理データ２２を第１種個別取得管理データ２２ａと呼び、値として０が設定された個別取得管理データ２２を第２種個別取得管理データ２２ｂと呼ぶこととする。図２の例では、ハッチが付されている個別取得管理データ２２が第１種個別取得管理データ２２ａに相当し、ハッチが付されていない個別取得管理データ２２が第２種個別取得管理データ２２ｂに相当する。
　図２の例では、例えばデザイナー等により、前景画像にユーザインタフェースの情報を配置できる領域が予め設定されており、当該領域外の画素には無色透明を表す画素値などといった所定値が設定されることが予め定められていることとする。このような場合には例えば、図２に示すように、前景画像にユーザインタフェース等の情報を配置できる領域に対応付けられる個別取得管理データ２２として、第１種個別取得管理データ２２ａが設定される。図２の例では左下の矩形領域に対応付けられる個別取得管理データ２２として第１種個別取得管理データ２２ａが設定されている。そして当該矩形領域以外の画素に対応付けられる個別取得管理データ２２として第２種個別取得管理データ２２ｂが設定されている。
　ここで図２の例では例えば、第１種個別取得管理データ２２ａに対応付けられる画素については、当該画素の画素値及びアルファ値が記憶されている前景フレームバッファへのアクセスが行われる。ここでは例えば、１つの第１種個別取得管理データ２２ａに対応付けられる１４０００画素については、当該１４０００画素のそれぞれについての画素値及びアルファ値が記憶されている前景フレームバッファへのアクセスが行われる。そして当該１４０００画素のそれぞれについての、当該画素の画素値及びアルファ値が取得される。そして当該１４０００画素については、取得された画素値及びアルファ値が当該画素の画素値及びアルファ値として決定される。
　一方、第２種個別取得管理データ２２ｂに対応付けられる画素については、前景フレームバッファへのアクセスは行われない。そして当該第２種個別取得管理データ２２ｂに対応付けられる１４０００画素のすべてについて、所定値が当該画素の画素値及びアルファ値として決定される。ここで例えば無色透明を表す画素値及びアルファ値が当該画素の画素値及びアルファ値として決定されてもよい。このようにすれば第２種個別取得管理データ２２ｂに対応付けられる画素については重畳画像に背景画像の内容が表れることとなる。
　図３は、本実施形態に係る取得管理データ２０の別の一例を模式的に示す図である。
　ここでは例えば、所定のフレームレートで（例えば１／６０秒毎に）三次元画像が生成されることとする。当該三次元画像は、例えば、光学系を含むヘッドマウントディスプレイによる立体視ができるよう、歪み補正された左眼用画像及び右眼用画像をそれぞれユーザの左眼の円形視野範囲と右眼の円形視野範囲に含む矩形の画像である。そして図３に示す取得管理データ２０は、当該三次元画像に対応付けられる取得管理データ２０の一例である。
　図３に示す取得管理データ２０には、複数の個別取得管理データ２２が含まれている。図３に示す１つの個別取得管理データ２２は、三次元画像をそれぞれ複数の画素が属する複数の画素ブロックに分割した際の１つの画素ブロックに対応付けられる。
　また例えば、当該画素ブロックは前景画像内の矩形領域を占める複数の画素であってもよい。また図３に示されている、取得管理データ２０に含まれるそれぞれの個別取得管理データ２２の位置は、前景画像内における当該個別取得管理データ２２に対応付けられる画素ブロックの位置に対応付けられている。
　図３に示す取得管理データ２０は、例えば、フレームバッファから画素値を取得するか否かを示すデータである。ここで例えば、取得管理データ２０に含まれる１つの個別取得管理データ２２は、例えばフレームバッファから画素値を取得するか否かを示す１ビットのフラグであってもよい。そして例えば、フレームバッファから画素値を取得することを示す個別取得管理データ２２には値として１が設定され、フレームバッファから画素値を取得しないことを示す個別取得管理データ２２には値として０が設定されてもよい。
　図３の例でも、値として１が設定された個別取得管理データ２２を第１種個別取得管理データ２２ａと呼び、値として０が設定された個別取得管理データ２２を第２種個別取得管理データ２２ｂと呼ぶこととする。図３の例でも、ハッチが付されている個別取得管理データ２２が第１種個別取得管理データ２２ａに相当し、ハッチが付されていない個別取得管理データ２２が第２種個別取得管理データ２２ｂに相当する。
　また図３には、三次元画像におけるユーザの左眼の円形視野範囲と右眼の円形視野範囲にそれぞれ対応付けられる円形の視野領域２４が２つ示されている。本実施形態では例えば、当該視野領域２４は、三次元画像内の所与の領域に対応付けられることとする。そして図３の例では含まれる画素のすべてが視野領域２４外である画素ブロックに対応付けられる個別取得管理データ２２が第２種個別取得管理データ２２ｂとして設定される。そして含まれる画素の一部又は全部が視野領域２４内である画素ブロックに対応付けられる個別取得管理データ２２が第１種個別取得管理データ２２ａとして設定される。
　図３の例では、第１種個別取得管理データ２２ａに対応付けられる画素については、当該画素の画素値が記憶されているフレームバッファへのアクセスが行われる。ここでは例えば、１つの第１種個別取得管理データ２２ａに対応付けられる複数の画素については、当該複数の画素のそれぞれについての画素値が記憶されているフレームバッファへのアクセスが行われる。そして当該複数の画素のそれぞれについての、当該画素の画素値が取得される。そして当該複数の画素については、取得された画素値が当該画素の画素値として決定される。
　一方、第２種個別取得管理データ２２ｂに対応付けられる画素については、当該画素の画素値が記憶されているフレームバッファへのアクセスは行われない。当該画素については所定値が当該画素の画素値として決定される。ここで例えば黒色を表す画素値が当該画素の画素値として決定されてもよい。このようにすれば三次元画像内の視野領域２４の外の領域については黒色となる。
　三次元画像では、円形視野範囲外の領域内の画素の画素値として、例えば黒色を表す画素値などといった所定値が設定されることが予め定められている。そのため上述のようにして含まれる画素のすべてが視野領域２４外である画素ブロックに対応付けられる第２種個別取得管理データ２２ｂに対応付けられる画素については、黒色を表す画素値が当該画素の画素値として決定されても問題はない。
　本実施形態では、図２に示す取得管理データ２０においても図３に示す取得管理データ２０においても、第１種個別取得管理データ２２ａに対応付けられる画素の画素値を記憶するためのフレームバッファの記憶容量が確保される。一方で、第２種個別取得管理データ２２ｂに対応付けられる画素の画素値を記憶するためのフレームバッファの記憶容量は確保されない。そして本実施形態では例えば、第２種個別取得管理データ２２ｂに対応付けられる画素の画素値を記憶するためのフレームバッファの記憶容量に相当する記憶部１４内の領域については、例えばフレームバッファとしての用途以外に利用可能となる。
　なお取得管理データ２０そのものについては、記憶部１４においてフレームバッファとして確保されている領域に記憶されてもよいし、記憶部１４においてフレームバッファとして確保されている領域外に記憶されてもよい。
　以上のようにして本実施形態によれば、画素値として所定値が設定されることが予め定められている画素の画素値を記憶するためのフレームバッファの記憶容量を節約できることとなる。例えば図２を参照して説明した例では、前景画像に含まれるすべての画素の画素値及びアルファ値が前景フレームバッファに記憶される場合と比較して、記憶部１４に前景フレームバッファとして確保される領域のサイズが節約できることとなる。また例えば図３を参照して説明した例では、三次元画像に含まれるすべての画素の画素値がフレームバッファに記憶される場合と比較して、記憶部１４にフレームバッファとして確保される領域のサイズが節約できることとなる。
　なお取得管理データ２０を記憶するための記憶容量が記憶部１４に必要ではあるが、取得管理データ２０の記憶に必要な記憶部１４の記憶容量は、画素値の記憶に必要な記憶部１４の記憶容量に比べて小さい。そのため取得管理データ２０が記憶部１４においてフレームバッファとして確保されている領域に記憶されたとしても全体としてはフレームバッファの記憶容量を節約できることとなる。
　また例えば、図２を参照して説明した例において、前景フレームバッファに画素値のみが記憶されアルファ値が記憶されなくてもよい。そしてこの場合に例えば、リサイズ後の背景画像に前景画像を上書きすることで重畳画像が生成されるようにしてもよい。
　以下、取得管理データ２０を用いた画素値の決定を中心に、本実施形態に係る画像処理装置１０の機能及び本実施形態に係る画像処理装置１０で実行される処理についてさらに説明する。
　図４は、本実施形態に係る画像処理装置１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る画像処理装置１０で、図４に示す機能のすべてが実装される必要はなく、また、図４に示す機能以外の機能が実装されていても構わない。
　図４に示すように、画像処理装置１０には、機能的には例えば、取得管理データ記憶部３０、画素値記憶部３２、取得決定部３４、画素値取得部３６、画素値決定部３８、画像生成部４０、表示制御部４２、が含まれる。取得管理データ記憶部３０、画素値記憶部３２は、記憶部１４を主として実装される。取得決定部３４、画素値取得部３６、画素値決定部３８、画像生成部４０は、プロセッサ１２を主として実装される。表示制御部４２は、プロセッサ１２及び表示部１８を主として実装される。画像処理装置１０は、本実施形態における、画像を生成する画像生成装置としての役割を担うこととなる。
　以上の機能は、コンピュータである画像処理装置１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して画像処理装置１０に供給されてもよい。
　取得管理データ記憶部３０は、本実施形態では例えば、画像に含まれる各画素の画素値を画素値記憶部３２から取得するか否かを示す取得管理データ２０を記憶する。
　ここで取得管理データ２０は、それぞれ複数の画素に対応付けられる個別取得管理データ２２を複数含んでいてもよい。そして、図２を参照して説明したように、個別取得管理データ２２が画像内の矩形領域を占める複数の画素に対応付けられていてもよい。図２及び図３の例では、１つの個別取得管理データ２２は、画像内の矩形領域内の複数の画素（画素ブロック）に対応付けられている。なお、１つの個別取得管理データ２２が、１つの画素に対応付けられていてもよい。
　また取得管理データ２０は、画像内の所与の領域を占める画素については画素値記憶部３２から画素値を取得しないことを示していてもよい。例えば図２の例のように、二次元オブジェクトが配置できる領域外の所与の領域を占める画素に対応付けられる個別取得管理データ２２が、画素値記憶部３２にアクセスしないことを示していてもよい。また例えば図３の例のように、視野領域２４に対応付けられる所与の円形視野範囲の外の所与の領域を占める画素に対応付けられる個別取得管理データ２２が、画素値記憶部３２にアクセスしないことを示していてもよい。
　画素値記憶部３２は、本実施形態では例えば、画素値を記憶する。ここで例えば、画素値記憶部３２は、取得決定部３４によって画素値記憶部３２から画素値を取得することが決定される画素の画素値を記憶してもよい。
　また画素値記憶部３２が、画素値記憶部３２から画素値を取得することが決定される画素の画素値及びアルファ値を記憶してもよい。
　また本実施形態では例えば、画素値記憶部３２から画素値を取得しないことが決定される画素の画素値を記憶するためのフレームバッファの記憶容量は画素値記憶部３２に確保されない。
　例えば、図２を参照した説明における前景画像の画素の画素値及びアルファ値が記憶される前景フレームバッファや図３を参照した説明における三次元画像の画素の画素値が記憶されるフレームバッファとして確保される領域が、画素値記憶部３２に相当する。
　取得決定部３４は、本実施形態では例えば、取得管理データ２０に基づいて、画像に含まれる各画素について画素値記憶部３２から画素値を取得するか否かを決定する。ここで取得決定部３４は、個別取得管理データ２２に基づいて、当該個別取得管理データ２２に対応付けられる複数の画素の画素値を画素値記憶部３２から取得するか否かを決定してもよい。例えば、第１種個別取得管理データ２２ａに対応付けられる画素については、画素値記憶部３２から画素値を取得することが決定されてもよい。また、第２種個別取得管理データ２２ｂに対応付けられる画素については、画素値記憶部３２から画素値を取得しないことが決定されてもよい。
　画素値取得部３６は、本実施形態では例えば、画素値記憶部３２から画素値を取得することが決定される画素の画素値を画素値記憶部３２から取得する。
　画素値決定部３８は、本実施形態では例えば、画像に含まれる各画素の画素値を決定する。ここで画素値決定部３８は、例えば、画素値記憶部３２から画素値を取得することが決定される画素については、画素値記憶部３２から取得される画素値を当該画素の画素値として決定する。また画素値決定部３８は、例えば、画素値記憶部３２から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する。
　ここで画素値決定部３８が、画素値及びアルファ値を決定してもよい。例えば画素値記憶部３２から画素値を取得することが決定される画素については、画素値記憶部３２から取得される画素値及びアルファ値を当該画素の画素値及びアルファ値として決定してもよい。また例えば、画素値記憶部３２から画素値を取得しないことが決定される画素については、当該画素の画素値及びアルファ値として所定値を決定してもよい。図２を参照して説明した例では、当該所定値は無色透明を表す画素値及びアルファ値である。また図３を参照して説明した例では、当該所定値は黒色を表す画素値である。
　また画素値決定部３８が、画素値記憶部３２から画素値を取得しないことが決定される、第２種個別取得管理データ２２ｂに対応付けられる複数の画素についてはすべて、所定値を当該複数の画素の画素値として決定してもよい。ここで第２種個別取得管理データ２２ｂに対応付けられる複数の画素についてはすべて、所定値が当該複数の画素の画素値及びアルファ値として決定されてもよい。
　画像生成部４０は、本実施形態では例えば、画素値決定部３８により決定される画素値に基づく画像を生成する。ここで画像生成部４０は、画素値決定部３８により画素値及びアルファ値が決定される画像と他の画像とを重畳することにより重畳画像を生成してもよい。例えば図２を参照して説明したように、画像生成部４０は、画素値決定部３８により画素値が決定される前景画像と、背景フレームバッファに画素の画素値が記憶されている背景画像と、を重畳することにより、重畳画像を生成してもよい。また前景画像とリサイズ後の背景画像とを重畳することにより重畳画像が生成されてもよい
　また例えば、画素値決定部３８が、重畳画像に含まれる各画素の画素値を決定してもよい。ここで例えば、前景画像における画素のアルファ値に基づくアルファブレンド処理が実行されてもよい。例えば前景画像に含まれる画素のアルファ値と、当該画素の画素値と、当該画素に対応付けられる背景画像内の画素の画素値とに基づいて、当該画素に対応付けられる重畳画像内の画素の画素値が決定されてもよい。そして画像生成部４０が、このようにして決定される画素値に基づいて重畳画像を生成してもよい。
　また図３を参照して説明したように、画像生成部４０は、三次元画像を生成してもよい。
　表示制御部４２は、本実施形態では例えば、画像生成部４０が生成する画像を表示部１８に表示させる。ここで例えば図２を参照して説明した重畳画像がディスプレイに表示されるようにしてもよい。また例えば図３を参照して説明した三次元画像がＨＭＤに表示されるようにしてもよい。
　ここで、本実施形態に係る画像処理装置１０で行われる処理の流れの一例を、図５に例示するフロー図を参照しながら説明する。本処理例に示す処理は、図２を参照して説明した例に相当する。
　なお本処理例では、所定のフレームレートで、当該フレームにおける取得管理データ２０が取得管理データ記憶部３０に記憶されることとする。また本処理例では、所定のフレームレートで、背景フレームバッファに当該フレームにおける背景画像の画素値が記憶されることとする。また所定のフレームレートで、前景フレームバッファに当該フレームにおける第１種個別取得管理データ２２ａに対応付けられる前景画像の画素の画素値及びアルファ値が記憶されることとする。
　まず取得決定部３４が、取得管理データ記憶部３０から、当該フレームにおける取得管理データ２０を取得する（Ｓ１０１）。
　そして取得決定部３４が、Ｓ１０１に示す処理で取得された取得管理データ２０に含まれる個別取得管理データ２２のうちから、当該フレームにおいて、Ｓ１０３～Ｓ１０７に示す処理が未実行である個別取得管理データ２２を１つ選択する（Ｓ１０２）。
　そして取得決定部３４が、Ｓ１０２に示す処理で選択された個別取得管理データ２２に設定されている値を確認する（Ｓ１０３）。
　ここで値が１であることが確認されたとする。すなわち、当該個別取得管理データ２２が第１種個別取得管理データ２２ａであることが確認されたとする。この場合は、画素値取得部３６が、画素値記憶部３２にアクセスして、当該第１種個別取得管理データ２２ａに対応付けられる画素ブロックに属する複数の画素のそれぞれについての画素値及びアルファ値を取得する（Ｓ１０４）。
　そして画素値決定部３８が、当該画素ブロックに属する複数の画素のそれぞれについて、Ｓ１０４に示す処理で取得された当該画素の画素値及びアルファ値を、前景画像に含まれる当該画素の画素値及びアルファ値として決定する（Ｓ１０５）。
　一方、Ｓ１０３に示す処理で値が０であることが確認されたとする。すなわち、当該個別取得管理データ２２が第２種個別取得管理データ２２ｂであることが確認されたとする。この場合は、画素値決定部３８が、当該第２種個別取得管理データ２２ｂに対応付けられる画素ブロックに属するすべての画素について、前景画像に含まれる当該画素の画素値及びアルファ値として所定値を決定する（Ｓ１０６）。ここでは例えば当該画素の画素値及びアルファ値として無色透明を表す画素値及びアルファ値が決定される。
　そして画素値決定部３８が、当該画素ブロックに属する複数の画素に対応付けられる重畳画像内の複数の画素についての画素値を決定する（Ｓ１０７）。ここで例えば、Ｓ１０５又はＳ１０６に示す処理で決定された前景画像に含まれる画素の画素値及びアルファ値と、当該画素に対応付けられる背景画像の画素の画素値と、に基づいて、重畳画像における当該画素の画素値が決定されてもよい。
　そして画素値決定部３８が、当該フレームにおいてすべての個別取得管理データ２２についてＳ１０３～Ｓ１０７に示す処理が実行されたか否かを確認する（Ｓ１０８）。
　当該フレームにおいてすべての個別取得管理データ２２についてＳ１０３～Ｓ１０７に示す処理が実行されていない場合は（Ｓ１０８：Ｎ）、Ｓ１０２に示す処理に戻る。
　当該フレームにおいてすべての個別取得管理データ２２についてＳ１０３～Ｓ１０７に示す処理が実行された場合は（Ｓ１０８：Ｙ）、画像生成部４０が、当該フレームにおける重畳画像を生成する（Ｓ１０９）。ここでは例えば、Ｓ１０７に示す処理で決定された画素値に基づいて当該重畳画像は生成される。
　そして表示制御部４２が、Ｓ１０９に示す処理で生成された重畳画像を表示部１８に表示させて（Ｓ１１０）、Ｓ１０１に示す処理に戻る。
　本処理例では、Ｓ１０１～Ｓ１１０に示す処理が所定のフレームレートで繰り返し実行されることとなる。
　なお以上の処理例において、所定のフレームレートで、当該フレームにおける取得管理データ２０が取得管理データ記憶部３０に記憶されなくてもよい。例えばすべてのフレームにおいて共通の取得管理データ２０が用いられるようにしてもよい。この場合はＳ１１０に示す処理が終了した際にＳ１０２に示す処理に戻り、次のフレームにおける処理が実行されるようにしてもよい。
　次に、本実施形態に係る画像処理装置１０で行われる処理の流れの別の一例を、図６に例示するフロー図を参照しながら説明する。本処理例に示す処理は、図３を参照して説明した例に相当する。
　なお本処理例では、所定のフレームレートで、当該フレームにおける取得管理データ２０が取得管理データ記憶部３０に記憶されることとする。また本処理例では、所定のフレームレートで、フレームバッファに当該フレームにおける第１種個別取得管理データ２２ａに対応付けられる三次元画像の画素の画素値が記憶されることとする。
　まず取得決定部３４が、取得管理データ記憶部３０から、当該フレームにおける取得管理データ２０を取得する（Ｓ２０１）。
　そして取得決定部３４が、Ｓ２０１に示す処理で取得された取得管理データ２０に含まれる個別取得管理データ２２のうちから、当該フレームにおいて、Ｓ２０３～Ｓ２０６に示す処理が未実行である個別取得管理データ２２を１つ選択する（Ｓ２０２）。
　そして取得決定部３４が、Ｓ２０２に示す処理で選択された個別取得管理データ２２に設定されている値を確認する（Ｓ２０３）。
　ここで値が１であることが確認されたとする。すなわち、当該個別取得管理データ２２が第１種個別取得管理データ２２ａであることが確認されたとする。この場合は、画素値取得部３６が、画素値記憶部３２にアクセスして、当該第１種個別取得管理データ２２ａに対応付けられる画素ブロックに属する複数の画素のそれぞれについての画素値を取得する（Ｓ２０４）。
　そして画素値決定部３８が、当該画素ブロックに属する複数の画素のそれぞれについて、Ｓ２０４に示す処理で取得された当該画素の画素値を、三次元画像に含まれる当該画素の画素値として決定する（Ｓ２０５）。
　一方、Ｓ２０３に示す処理で値が０であることが確認されたとする。すなわち、当該個別取得管理データ２２が第２種個別取得管理データ２２ｂであることが確認されたとする。この場合は、画素値決定部３８が、当該第２種個別取得管理データ２２ｂに対応付けられる画素ブロックに属するすべての画素について、三次元画像に含まれる当該画素の画素値として所定値を決定する（Ｓ２０６）。ここでは例えば当該画素の画素値として黒色を表す画素値が決定される。
　そして画素値決定部３８が、当該フレームにおいてすべての個別取得管理データ２２についてＳ２０３～Ｓ２０６に示す処理が実行されたか否かを確認する（Ｓ２０７）。
　当該フレームにおいてすべての個別取得管理データ２２についてＳ２０３～Ｓ２０６に示す処理が実行されていない場合は（Ｓ２０７：Ｎ）、Ｓ２０２に示す処理に戻る。
　当該フレームにおいてすべての個別取得管理データ２２についてＳ２０３～Ｓ２０６に示す処理が実行された場合は（Ｓ２０７：Ｙ）、画像生成部４０が、当該フレームにおける三次元画像を生成する（Ｓ２０８）。ここでは例えば、Ｓ２０５又はＳ２０６に示す処理で決定された画素値に基づいて当該三次元画像は生成される。
　そして表示制御部４２が、Ｓ２０８に示す処理で生成された三次元画像を表示部１８に表示させて（Ｓ２０９）、Ｓ２０１に示す処理に戻る。
　本処理例では、Ｓ２０１～Ｓ２０９に示す処理が所定のフレームレートで繰り返し実行されることとなる。
　なお以上の処理例において、所定のフレームレートで、当該フレームにおける取得管理データ２０が取得管理データ記憶部３０に記憶されなくてもよい。例えばすべてのフレームにおいて共通の取得管理データ２０が用いられるようにしてもよい。この場合はＳ２０９に示す処理が終了した際にＳ２０２に示す処理に戻り、次のフレームにおける処理が実行されるようにしてもよい。
　なお、本発明は上述の実施形態に限定されるものではない。
　また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (7)

  1. 　画素値を記憶する画素値記憶部と、
    　画像に含まれる各画素の画素値を前記画素値記憶部から取得するか否かを示す取得管理データを記憶する取得管理データ記憶部と、
    　前記取得管理データに基づいて、前記各画素について前記画素値記憶部から画素値を取得するか否かを決定する取得決定部と、
    　前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部から取得する画素値取得部と、
    　前記各画素の画素値を決定する画素値決定部と、を含み、
    　前記画素値記憶部は、前記画素値記憶部から画素値を取得することが決定される画素の画素値を記憶し、
    　前記画素値決定部は、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値を当該画素の画素値として決定し、
    　前記画素値決定部は、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する、
    　ことを特徴とする画像生成装置。
  2. 　前記取得管理データは、それぞれ複数の前記画素に対応付けられる個別取得管理データを複数含み、
    　前記取得決定部は、前記個別取得管理データに基づいて、当該個別取得管理データに対応付けられる複数の画素の画素値を前記画素値記憶部から取得するか否かを決定し、
    　前記画素値決定部は、前記画素値記憶部から画素値を取得しないことが決定される、前記個別取得管理データに対応付けられる複数の画素についてはすべて、所定値を当該複数の画素の画素値として決定する、
    　ことを特徴とする請求項１に記載の画像生成装置。
  3. 　前記個別取得管理データは、前記画像内の矩形領域を占める複数の画素に対応付けられる、
    　ことを特徴とする請求項２に記載の画像生成装置。
  4. 　前記画素値記憶部は、画素値及びアルファ値を記憶し、
    　前記画素値決定部は、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値及びアルファ値を当該画素の画素値及びアルファ値として決定し、
    　前記画素値決定部は、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値及びアルファ値として決定し、
    　前記画素値決定部により画素値及びアルファ値が決定される画像と他の画像とを重畳することにより重畳画像を生成する画像生成部、をさらに含む、
    　ことを特徴とする請求項１から３のいずれか一項に記載の画像生成装置。
  5. 　前記取得管理データは、前記画像内の所与の領域を占める画素については前記画素値記憶部から画素値を取得しないことを示す、
    　ことを特徴とする請求項１から４のいずれか一項に記載の画像生成装置。
  6. 　画素値を画素値記憶部に記憶させる画素値記憶ステップと、
    　画像に含まれる各画素の画素値を前記画素値記憶部から取得するか否かを示す取得管理データを取得管理データ記憶部に記憶させる取得管理データ記憶ステップと、
    　前記取得管理データに基づいて、前記各画素について前記画素値記憶部から画素値を取得するか否かを決定する取得決定ステップと、
    　前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部から取得する画素値取得ステップと、
    　前記各画素の画素値を決定する画素値決定ステップと、を含み、
    　前記画素値記憶ステップでは、前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部に記憶させ、
    　前記画素値決定ステップでは、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値を当該画素の画素値として決定し、
    　前記画素値決定ステップでは、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する、
    　ことを特徴とする画像生成方法。
  7. 　画素値を画素値記憶部に記憶させる画素値記憶手順、
    　画像に含まれる各画素の画素値を前記画素値記憶部から取得するか否かを示す取得管理データを取得管理データ記憶部に記憶させる取得管理データ記憶手順、
    　前記取得管理データに基づいて、前記各画素について前記画素値記憶部から画素値を取得するか否かを決定する取得決定手順、
    　前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部から取得する画素値取得手順、
    　前記各画素の画素値を決定する画素値決定手順、をコンピュータに実行させ、
    　前記画素値記憶手順では、前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部に記憶させ、
    　前記画素値決定手順では、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値を当該画素の画素値として決定し、
    　前記画素値決定手順では、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する、
    　ことを特徴とするプログラム。
PCT/JP2019/032038 2018-08-17 2019-08-15 画像生成装置、画像生成方法及びプログラム WO2020036214A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980053375.5A CN112567430A (zh) 2018-08-17 2019-08-15 图像生成装置、图像生成方法和程序
US17/267,236 US11551383B2 (en) 2018-08-17 2019-08-15 Image generating apparatus, image generating method, and program for generating an image using pixel values stored in advance
JP2020537103A JP6947939B2 (ja) 2018-08-17 2019-08-15 画像生成装置、画像生成方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018153493 2018-08-17
JP2018-153493 2018-08-17

Publications (1)

Publication Number Publication Date
WO2020036214A1 true WO2020036214A1 (ja) 2020-02-20

Family

ID=69525442

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/032038 WO2020036214A1 (ja) 2018-08-17 2019-08-15 画像生成装置、画像生成方法及びプログラム

Country Status (4)

Country Link
US (1) US11551383B2 (ja)
JP (1) JP6947939B2 (ja)
CN (1) CN112567430A (ja)
WO (1) WO2020036214A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580832B2 (en) * 2020-10-23 2023-02-14 Himax Technologies Limited Motion detection system and method
CN114445598A (zh) * 2020-10-30 2022-05-06 北京京东方光电科技有限公司 一种显示数据处理方法、系统、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07240845A (ja) * 1994-02-28 1995-09-12 Fuji Film Micro Device Kk 画像のデータ圧縮および伸張
JPH10288980A (ja) * 1997-02-17 1998-10-27 Seiko Epson Corp 画像表示装置および画像表示システム
JP2013187595A (ja) * 2012-03-06 2013-09-19 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5008838A (en) * 1989-11-17 1991-04-16 Digital Corporation Method for simultaneous initialization of a double buffer and a frame buffer
US6011566A (en) * 1994-09-01 2000-01-04 Unisys Corporation System and method to display raster images with negligible delay time and reduced memory requirements
US6198835B1 (en) * 1998-01-08 2001-03-06 Xerox Corporation Image input device and method for providing scanning artifact detection
AUPQ377899A0 (en) * 1999-10-29 1999-11-25 Canon Kabushiki Kaisha Phase three kernel selection
US20070188506A1 (en) * 2005-02-14 2007-08-16 Lieven Hollevoet Methods and systems for power optimized display
US7450778B2 (en) * 2005-03-17 2008-11-11 Hewlett-Packard Development Company, L.P. Artifact reduction in a digital video
US9292940B2 (en) * 2011-04-28 2016-03-22 Koninklijke Philips N.V. Method and apparatus for generating an image coding signal
US9830714B2 (en) * 2014-06-27 2017-11-28 Samsung Electronics Co., Ltd. Graphics processing with advection to reconstruct missing sample data points
US10078883B2 (en) * 2015-12-03 2018-09-18 Qualcomm Incorporated Writing graphics data from local memory to system memory
US10269119B2 (en) * 2015-12-07 2019-04-23 Avigilon Analytics Corporation System and method for background and foreground segmentation
US10127632B1 (en) * 2016-09-05 2018-11-13 Google Llc Display and update of panoramic image montages
US10762702B1 (en) * 2018-06-22 2020-09-01 A9.Com, Inc. Rendering three-dimensional models on mobile devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07240845A (ja) * 1994-02-28 1995-09-12 Fuji Film Micro Device Kk 画像のデータ圧縮および伸張
JPH10288980A (ja) * 1997-02-17 1998-10-27 Seiko Epson Corp 画像表示装置および画像表示システム
JP2013187595A (ja) * 2012-03-06 2013-09-19 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US11551383B2 (en) 2023-01-10
US20210233292A1 (en) 2021-07-29
CN112567430A (zh) 2021-03-26
JP6947939B2 (ja) 2021-10-13
JPWO2020036214A1 (ja) 2021-04-30

Similar Documents

Publication Publication Date Title
CN105405103B (zh) 通过在空间上和/或在时间上改变采样模式增强抗锯齿
CN109377546B (zh) 虚拟现实模型渲染方法及装置
US20240005591A1 (en) Method and system for rendering panoramic video
CN111080780B (zh) 虚拟角色模型的边缘处理方法和装置
TW201248542A (en) Z culling method, three-dimensional graphics processing method of Z culling and apparatus thereof
US20140016913A1 (en) Moving image generation device
KR20100103704A (ko) 그래픽스 처리 시스템의 오프-스크린 표면을 위한 멀티-버퍼 지원
KR20180056316A (ko) 타일-기반 렌더링을 수행하는 방법 및 장치
WO2020036214A1 (ja) 画像生成装置、画像生成方法及びプログラム
CN111228801A (zh) 游戏场景的渲染方法和装置、存储介质、处理器
CN108846791A (zh) 物理模型的渲染方法、装置及电子设备
TWI622016B (zh) Depicting device
EP3816941A1 (en) Image processing system and method
CN105550973B (zh) 图形处理单元、图形处理系统及抗锯齿处理方法
US8824778B2 (en) Systems and methods for depth map generation
US20140306958A1 (en) Stereoscopic rendering system
US8400445B2 (en) Image processing program and image processing apparatus
US11288774B2 (en) Image processing method and apparatus, storage medium, and electronic apparatus
CN112740278B (zh) 用于图形处理的方法及设备
US20170168687A1 (en) Image processing method and apparatus for operating in low-power mode
CN109814703B (zh) 一种显示方法、装置、设备和介质
US7724253B1 (en) System and method for dithering depth values
US10255717B2 (en) Geometry shadow maps with per-fragment atomics
CN112513940A (zh) α值确定装置、α值确定方法、程序和图像数据的数据结构
JP6861910B2 (ja) 情報処理装置、プログラム及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19849593

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020537103

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19849593

Country of ref document: EP

Kind code of ref document: A1