WO2020152754A1 - 画像生成装置および画像生成方法 - Google Patents

画像生成装置および画像生成方法 Download PDF

Info

Publication number
WO2020152754A1
WO2020152754A1 PCT/JP2019/001693 JP2019001693W WO2020152754A1 WO 2020152754 A1 WO2020152754 A1 WO 2020152754A1 JP 2019001693 W JP2019001693 W JP 2019001693W WO 2020152754 A1 WO2020152754 A1 WO 2020152754A1
Authority
WO
WIPO (PCT)
Prior art keywords
distortion
image
information
rendering
distorted
Prior art date
Application number
PCT/JP2019/001693
Other languages
English (en)
French (fr)
Inventor
稲田　徹悟
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to PCT/JP2019/001693 priority Critical patent/WO2020152754A1/ja
Priority to JP2020567682A priority patent/JP7170752B2/ja
Priority to EP19911390.3A priority patent/EP3916679A4/en
Priority to US17/421,630 priority patent/US11544822B2/en
Publication of WO2020152754A1 publication Critical patent/WO2020152754A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Definitions

  • the present invention relates to a technique for generating an image.
  • a system has been developed that displays a stereoscopic image on the head-mounted display, and when the user wearing the head-mounted display rotates his/her head, the stereoscopic image corresponding to the direction of the line of sight is displayed to enhance the sense of presence.
  • a head-mounted display it is possible to enhance the immersive feeling in the image and improve the operability of applications such as games.
  • the head-mounted display uses an optical lens with a high curvature in order to display an image with a wide viewing angle in front of and around the user's eyes, and the user can look into the display panel through the lens.
  • a lens having a high curvature is used, the image is distorted due to the distortion aberration of the lens. Therefore, distortion correction is applied to the rendered image in advance so that it looks correct when viewed through a lens with a high curvature, and the distortion-corrected image is transmitted to the head mounted display and displayed on the display panel. It looks normal when viewed through a lens with a high curvature.
  • the present invention has been made in view of these problems, and an object thereof is to provide an image generation technique capable of reducing the memory capacity or the drawing latency.
  • an image generating apparatus includes a distortion information storage unit that stores information for deforming and distorting an image as distortion information, and a rasterizing process using the distortion information. And a distortion rendering unit that renders the distortion image without generating the distortion-free image in the memory.
  • Another aspect of the present invention is an image generation method. This method reads information for deforming and distorting an image as distortion information, and performs a rasterizing process using the distortion information to perform a distortion rendering step of rendering a distorted image without generating an undistorted image in a memory. Including.
  • any combination of the above constituent elements and the expression of the present invention converted between a method, a device, a system, a computer program, a data structure, a recording medium, etc. are also effective as an aspect of the present invention.
  • FIG. 5A is a diagram illustrating a conventional rendering process
  • FIG. 5B is a diagram illustrating a distortion rendering process according to the first embodiment
  • 6 is a flowchart illustrating a procedure of distortion rendering processing according to the first embodiment.
  • FIG. 7 is a diagram illustrating a process of determining a rasterization start position of FIG. 6.
  • FIG. 7 is a diagram illustrating a process of determining a rasterization start position of FIG. 6.
  • 19(a) and 19(b) are diagrams for explaining the distortion rendering processing when the gazing point dynamically changes. It is a figure explaining the modification of the conventional rendering process of FIG. It is a block diagram of the image generation apparatus of the third embodiment. It is a figure explaining the conventional reprojection process. It is a figure explaining the distortion reprojection process of 3rd Embodiment. It is a figure explaining the distortion reprojection process of 3rd Embodiment in detail.
  • 25(a) to 25(c) are diagrams for explaining the procedure of the distortion reprojection process. It is a figure explaining the procedure of the conventional reprojection process. It is a figure explaining the procedure of the conventional reprojection process.
  • FIG. 1 is an external view of the head mounted display 100.
  • the head-mounted display 100 is a display device that is worn on a user's head to appreciate a still image or a moving image displayed on the display and listen to voice or music output from headphones.
  • the position information of the head of the user who wears the head mounted display 100 and the orientation information such as the rotation angle and the inclination of the head are measured by a gyro sensor, an acceleration sensor, etc. built in or attached to the head mounted display 100. be able to.
  • Head-mounted display 100 is an example of a “wearable display”.
  • a method of generating an image displayed on the head-mounted display 100 will be described, but the image generation method of the present embodiment is not limited to the head-mounted display 100 in a narrow sense, and may include glasses, glasses-type displays, glasses-type cameras, It can also be applied to the case where headphones, a headset (headphones with a microphone), earphones, earrings, a camera with a ear, a hat, a hat with a camera, a hair band, etc. are attached.
  • FIG. 2 is a configuration diagram of the image generation system according to the present embodiment.
  • the head mounted display 100 is connected to the image generation apparatus 200 by an interface 300 such as HDMI (High-Definition Multimedia Interface), which is a standard of a communication interface for transmitting video/audio as a digital signal, as an example. ..
  • HDMI High-Definition Multimedia Interface
  • the image generating apparatus 200 predicts the position/orientation information of the head mounted display 100 from the current position/orientation information of the head mounted display 100 in consideration of the delay from the image generation to the display, and predicts the head mounted display 100.
  • An image to be displayed on the head mounted display 100 is drawn based on the position/orientation information and transmitted to the head mounted display 100.
  • An example of the image generation device 200 is a game machine.
  • the image generation device 200 may be connected to a server via a network.
  • the server may provide the image generating apparatus 200 with an online application such as a game in which a plurality of users can participate via the network.
  • the head mounted display 100 may be connected to a computer or a mobile terminal instead of the image generating device 200.
  • FIG. 3 is a functional configuration diagram of the head mounted display 100.
  • the control unit 10 is a main processor that processes and outputs signals such as image signals and sensor signals, and commands and data.
  • the input interface 20 receives an operation signal and a setting signal from a user and supplies them to the control unit 10.
  • the output interface 30 receives the image signal from the control unit 10 and displays it on the display panel 32.
  • the communication control unit 40 transmits the data input from the control unit 10 to the outside by wired or wireless communication via the network adapter 42 or the antenna 44.
  • the communication control unit 40 also receives data from the outside by wire or wireless communication via the network adapter 42 or the antenna 44, and outputs the data to the control unit 10.
  • the storage unit 50 temporarily stores data, parameters, operation signals, etc. processed by the control unit 10.
  • the attitude sensor 64 detects position information of the head mounted display 100 and attitude information such as a rotation angle and a tilt of the head mounted display 100.
  • the attitude sensor 64 is realized by appropriately combining a gyro sensor, an acceleration sensor, an angular acceleration sensor, and the like.
  • a motion sensor that is a combination of at least one of a triaxial geomagnetic sensor, a triaxial acceleration sensor, and a triaxial gyro (angular velocity) sensor may be used to detect the front-back, left-right, and up-down movements of the user's head.
  • the external input/output terminal interface 70 is an interface for connecting peripheral devices such as a USB (Universal Serial Bus) controller.
  • the external memory 72 is an external memory such as a flash memory.
  • the HDMI transmitting/receiving unit 90 transmits/receives video/audio digital signals to/from the image generating apparatus 200 according to HDMI.
  • the HDMI transmitting/receiving unit 90 receives the image generated by the image generating device 200 from the image generating device 200 via the HDMI transmission path, and supplies the image to the control unit 10.
  • the control unit 10 can supply the image and text data to the output interface 30 to be displayed on the display panel 32, or can be supplied to the communication control unit 40 and transmitted to the outside.
  • the current position/orientation information of the head mounted display 100 detected by the orientation sensor 64 is notified to the image generating apparatus 200 via the communication control unit 40 or the external input/output terminal interface 70.
  • the HDMI transmitting/receiving unit 90 may transmit the current position/orientation information of the head mounted display 100 to the image generating apparatus 200.
  • FIG. 4 is a functional configuration diagram of the image generation apparatus 200 according to the present embodiment. This drawing depicts a block diagram focusing on functions, and these functional blocks can be realized in various forms by only hardware, only software, or a combination thereof.
  • At least a part of the functions of the image generating apparatus 200 may be mounted on the head mounted display 100. Alternatively, at least a part of the functions of the image generating apparatus 200 may be installed in a server connected to the image generating apparatus 200 via a network.
  • the position/posture acquisition unit 210 acquires the current position/posture information of the head mounted display 100 from the head mounted display 100.
  • the viewpoint/gaze setting unit 220 uses the position/orientation information of the head mounted display 100 acquired by the position/orientation acquisition unit 210 to set the user's viewpoint position and gaze direction.
  • the image generation unit 230 includes a distortion rendering unit 232, a distortion information storage unit 234, and a scene data storage unit 244.
  • the distortion rendering unit 232 reads the scene data from the scene data storage unit 244, and according to the viewpoint position and the direction of the user's viewpoint set by the viewpoint/line-of-sight setting unit 220, the line-of-sight from the viewpoint position of the user wearing the head-mounted display 100. Renders an object in virtual space that looks in the direction.
  • the distortion rendering unit 232 reads the distortion information from the distortion information storage unit 234, and simultaneously executes the processing of distorting and distorting the image according to the distortion generated in the optical system of the head mounted display 100.
  • the distortion rendering unit 232 refers to the distortion information of the optical system of the head mounted display 100, directly renders the distortion image without generating a distortion-free image, and writes it in the frame buffer of the image storage unit 260.
  • the process of directly rendering the distorted image in the frame buffer without generating the undistorted image in the intermediate buffer in this way is called “distortion rendering process", and will be described in detail later.
  • the HDMI transmission/reception unit 280 reads frame data of the augmented reality image generated by the image generation unit 230 from the image storage unit 260 and transmits it to the head mounted display 100 according to HDMI.
  • FIG. 5A is a diagram illustrating a conventional rendering process
  • FIG. 5B is a diagram illustrating a distortion rendering process according to the present embodiment.
  • the rendering unit 231 reads the scene data from the scene data storage unit 244, as shown in FIG.
  • the distortion conversion unit 233 reads the distortion information from the distortion information storage unit 234, and distorts the undistorted image 400 based on the distortion information to generate the distorted image 420.
  • a memory is required to store the undistorted image 400, and since the distortion conversion process is performed after the rendering is once performed, it takes an extra processing time and the rendering latency becomes long.
  • the distortion rendering unit 232 converts the scene in the virtual space based on the scene data stored in the scene data storage unit 244 into the distortion information storage unit 234.
  • the distorted image 420 is distorted from the beginning based on the distorted information stored in (1) and rendered, and the distorted image 420 is written in the frame buffer.
  • the memory capacity for storing an undistorted image can be reduced, and since distortion conversion processing is also performed at the same time as rendering, processing time can be shortened and drawing latency can be shortened. You can
  • Power saving is important when performing drawing processing in a device such as a mobile terminal that has a limited battery capacity. Power consumption is reduced. Further, in the head mounted display 100, it is important to reduce the drawing latency in order to reduce the motion sickness and to improve the user experience. However, in the distortion rendering of the present embodiment, the distortion conversion is performed at the time of rendering, so that the processing time is shortened and low. Images can be drawn with latency.
  • FIG. 6 is a flowchart showing the procedure of the distortion rendering processing of this embodiment.
  • the rasterization process uses the coordinates of the three vertices of the target triangle to determine the rasterization range.
  • the rasterization range cannot be determined only by the coordinates of the three vertices of the strained triangle. Therefore, rasterization is continued from the rasterization start position of the distorted triangle to the outside of the triangle in the upward and downward directions.
  • the distortion rendering unit 232 determines the rasterization start position using the coordinates after distortion is applied (S10).
  • the distortion rendering unit 232 rasterizes upward from the rasterization start position (S20).
  • the distortion rendering unit 232 then rasterizes in the upward direction from the rasterization start position (S30).
  • FIG. 7 and 8 are diagrams illustrating the rasterization start position determination processing S10 of FIG.
  • FIG. 7 is a diagram illustrating a method of determining the rasterization start position.
  • the triangle 310 to be subjected to the raster rice processing in the coordinate system X_org-Y_org before the distortion is applied becomes the distorted triangle 312 in the coordinate system X_dist-Y_dist after the distortion is applied.
  • the three vertices v0, v1, v2 of the triangle 310 before applying the distortion move to the three vertices v0′, v1′, v2′ of the triangle 312 after applying the distortion.
  • the distortion function is represented by dist
  • the three vertices v0′, v1′, and v2′ of the distorted triangle 312 are given by the following equations.
  • v0' dist(v0)
  • v1' dist(v1)
  • v2' dist(v2)
  • the vertex v2' with the smallest X coordinate is selected. Since the coordinate value of the vertex v2' is generally not an integer value, the pixel closest to the vertex v2', that is, the point P'which is closest to the vertex v2' and whose X and Y coordinates are both integers is selected as the rasterization start position.
  • FIG. 8 is a diagram illustrating a method of generating a rasterization start pixel.
  • the coordinates of the rasterization start pixel P′ before the distortion is applied in the coordinate system after the distortion is applied are obtained.
  • the inside/outside determination of the triangle and the parameter generation are performed.
  • the value of the rasterization start pixel P is obtained by the linear sum of the values of the three vertices v0, v1, v2 of the triangle.
  • the pixel value of the rasterization start pixel P'after applying the distortion is set by the pixel value of the rasterization start pixel P before applying the distortion. In this way, the rasterization start pixel P'after applying the distortion is generated, and the rasterization start position determination processing S10 ends.
  • 9 to 12 are diagrams illustrating the upward rasterization process S20 of FIG.
  • the pixels Q1', Q2', Q3', and Q4' are processed while moving one pixel to the right from the rasterization start pixel P'in the coordinate system X_dist-Y_dist after distortion is applied.
  • the pixels Q1', Q2', Q3', and Q4' after the distortion are converted into the pixels Q1, Q2, Q3, and Q4 before the distortion is applied, respectively.
  • the inside/outside determination of the triangle and the parameter generation are performed for the pixels Q1, Q2, Q3, and Q4 before applying the distortion.
  • the values of the pixels Q1, Q2, and Q3 before applying the distortion are set to the values of the three vertices v0, v1, and v2 of the triangle by using the barycentric coordinate system. And the values of the pixels Q1′, Q2′, and Q3′ after the distortion is applied are set to the calculated values. Since the pixel Q4 before applying the distortion is outside the triangle, the pixel Q4' after applying the distortion is not generated, and the movement to the right in the coordinate system X_dist-Y_dist after applying the distortion ends.
  • the pixel Q5′ is moved up one pixel from the pixel Q4′ that has finished moving to the right, and is moved one pixel to the left from the pixel Q5′.
  • Process', Q6', Q7'. the rasterization is restarted from the pixel inside the triangle before the distortion is applied. However, if the first pixel Q5' after moving up one pixel from the pixel Q4' that has finished moving to the right is already inside the triangle before applying distortion, move it to the right until it goes out of the triangle. Then you need to move it one pixel to the left.
  • the pixels Q5', Q6', and Q7' after the distortion is applied are converted into the pixels Q5, Q6, and Q7 before the application of the distortion, respectively. Pixels Q5 and Q6 before distortion are outside the triangle, while pixels Q7 before distortion are inside the triangle. Therefore, the rasterization is restarted from the pixel Q7' after the distortion is applied.
  • the pixels Q8', Q9', and Q10' are processed while moving one pixel to the left from the rasterization restart pixel Q7' in the coordinate system X_dist-Y_dist after distortion is applied.
  • the pixels Q8', Q9', and Q10' after the distortion are converted into the pixels Q8, Q9, and Q10 before the distortion are applied, respectively. Since the pixels Q8 and Q9 before applying the distortion are inside the triangle, the values of the pixels Q8 and Q9 before applying the distortion are obtained from the values of the three vertices v0, v1 and v2 of the triangle, and the pixels Q8′ and Q9 after applying the distortion are obtained.
  • the lines are similarly scanned in the upward direction and rasterized.
  • searching for a pixel for restarting rasterization of a new line if scanning does not enter the inside of the triangle even after reaching the end of the X coordinate range S that has been scanned, the scan ends.
  • the rasterizing process in the upward direction ends at the last pixel Lu'.
  • FIG. 13 is a diagram illustrating the downward rasterization process S30 of FIG. Similar to the upward rasterizing process S20, pixels inside the triangle are rasterized while moving one pixel to the left from the rasterization start pixel P′ in the coordinate system X_dist-Y_dist after the distortion is applied, and the pixel inside the triangle is exposed. Then, the pixel inside the triangle is rasterized while moving one pixel down and moving one pixel to the right.
  • the pixels are rasterized while moving downward line by line, and as in the upward rasterizing process S20, if the pixels do not fall inside the triangle even if the end of the scanned X coordinate range S is reached,
  • the downward rasterization process ends at the pixel Ld′.
  • FIG. 14 is a diagram illustrating a method of calculating a differential value in the X direction and the Y direction of a parameter in the distortion rendering process.
  • the X-direction differential value and the Y-direction differential value of the pixel parameter may be required.
  • the pixel P′ and the adjacent pixels A′, B′, and C′ in the coordinate system X_dist ⁇ Y_dist after the distortion is applied are each subjected to the inverse distortion function undist to remove the distortion, and then, before the distortion is applied.
  • the differential value dp/dx of the parameter of the pixel P′ in the X direction is calculated by the difference between the pixel P′ and the adjacent pixel A′.
  • the differential value dp/dy of the parameter of the pixel P′ in the Y direction is calculated by the difference between the pixel P′ and the adjacent pixel C′.
  • rasterization is performed in units of 2 ⁇ 2 pixels, and the difference value between adjacent pixels in the horizontal and vertical directions is calculated along with the pixel value, and the difference value in the horizontal and vertical directions is differentiated in the X and Y directions.
  • the value is shared in 2 ⁇ 2 pixel units.
  • the line buffer may hold the parameter values of the current line and adjacent lines above or below the current line to obtain the pixel difference in the X direction and the Y direction.
  • FIGS. 15(a) to 15(c) are diagrams for explaining distortion conversion and inverse distortion conversion.
  • the above-mentioned distortion conversion function dist and inverse distortion conversion function undist can be given by polynomials as shown in FIG.
  • Distortion transformation and inverse distortion transformation may be defined by mesh approximation as shown in FIG. By interpolating from the mesh vertices in the vicinity, it is possible to perform distortion conversion and inverse distortion conversion on an arbitrary point.
  • FIG. 15C values obtained by performing distortion conversion and inverse distortion conversion on the distance r from the distortion center are held in the form of a table, and the distortion conversion and inverse distortion conversion of an arbitrary point are approximated by referring to the table. You may go.
  • the distortion-free image is not rendered in the frame buffer and then the distortion-free image is not subjected to the distortion conversion processing to generate the distortion image. Render the distorted image directly into the framebuffer. Since the undistorted image is not generated in the intermediate buffer, the memory capacity can be reduced, and the power consumption required for memory access can also be reduced. In addition, since rendering and distortion processing are performed at the same time, processing time can be shortened and drawing latency can be shortened.
  • the distortion rendering process of the first embodiment described above can be applied to foveated rendering.
  • the gazing area including the gazing point of the user's field of view is rendered with higher resolution than other areas.
  • FIG. 16 is a configuration diagram of the image generation apparatus 200 according to the second embodiment. The configuration and operation different from those of the image generating apparatus 200 according to the first embodiment will be described, and the description of common configuration and operation will be omitted.
  • the position/posture acquisition unit 210 acquires information on the point of gaze of the user from the head mounted display 100 and stores it in the gaze information storage unit 238 as gaze information.
  • the gaze information includes position information of the gaze point and scale information indicating a ratio of increasing the resolution of the gaze area including the gaze point with respect to the resolution of the non-gaze area.
  • the distortion information calculation unit 236 refers to the gaze information, calculates “gaze distortion information” obtained by modifying the distortion information in consideration of the ratio of the resolution of the gaze area to the non-gaze area, and stores the “gaze distortion information” in the distortion information storage unit 234. ..
  • the distortion rendering unit 232 reads gaze distortion information from the distortion information storage unit 234, renders a distorted image based on the gaze distortion information, and stores it in the image storage unit 260.
  • the new gaze information is stored in the gaze information storage unit 238 and distortion information is stored.
  • the calculation unit 236 refers to the new gaze information, deforms the distortion information, and stores the new gaze distortion information in the distortion information storage unit 234.
  • the distortion rendering unit 232 renders the distortion image based on the new gaze distortion information.
  • FIG. 17 is a diagram illustrating a conventional rendering process.
  • the rendering unit 231 reads the scene data from the scene data storage unit 244, reads the gaze information from the gaze information storage unit 238, renders an image with a high resolution of the gaze area including the gaze point G, and writes the image in the frame buffer.
  • the gazing area including the gazing point G is reduced by 1.0 times and the non-gazing area is reduced by 0.5 times. Since the non-gazing area has a smaller number of pixels than the gazing area, the load of rasterization is suppressed. On the other hand, since the gaze area has a large number of pixels, the image quality is high.
  • the distortion conversion unit 233 reads distortion information from the distortion information storage unit 234 and distorts the rendered image. At the time of this distortion conversion processing, a non-gaze region having a resolution of 0.5 times is sampled by a factor of 2 to generate a 1 ⁇ image and save it in the memory.
  • the scan-out unit 251 outputs the same-size image to the display panel 32.
  • FIG. 18 is a diagram for explaining the distortion rendering processing according to the present embodiment.
  • the distortion information calculation unit 236 deforms the distortion information based on the gaze information read from the gaze information storage unit 238 to calculate gaze distortion information, and stores the gaze distortion information in the distortion information storage unit 234.
  • the distortion rendering unit 232 reads scene data from the scene data storage unit 244, reads gaze distortion information from the distortion information storage unit 234, and renders an image distorted by the gaze distortion information.
  • a distorted image in which the gazing area including the gazing point G is reduced 1.0 times and the non-gazing area is reduced 0.5 times is generated in the frame buffer.
  • the scaling-out scan-out unit 252 reads the gaze information from the gaze information storage unit 238, buffers an image for at least two lines in a line buffer, scales the image in accordance with the scale information included in the gaze information, and performs the same magnification. Output the image.
  • double sampling is performed for a region having a resolution of 0.5.
  • bilinear interpolation requires a line buffer for two lines. Since scaling is performed at the time of scan-out, it is not necessary to expand a normal-size image in the memory as in the conventional rendering process of FIG. 17, so the memory capacity can be reduced. Also, since rendering and distortion processing are performed at the same time, processing time can be shortened.
  • the scan-out unit with scaling 252 is mounted on the output interface 30 and outputs an image to the display panel 32.
  • the image read from the image storage unit 260 is transmitted to the head mounted display 100 by the HDMI transmission/reception unit 280, and the head mounted display 100.
  • the scaled-out scan-out unit 252 mounted on the output interface 30 outputs the image to the display panel 32.
  • 19(a) and 19(b) are diagrams for explaining the distortion rendering processing when the gazing point dynamically changes.
  • the distortion information calculation unit 236 calculates the gaze distortion information A based on the information of the gazing point GA, and the distortion rendering unit 232 generates the gaze distortion image based on the gaze distortion information A.
  • a gaze-distorted image in which the gaze area including the gaze point GA on the upper left is reduced 1.0 times and the non-gaze area is reduced 0.5 times is generated.
  • the scaled-out scan-out unit 252 doubles and outputs the non-gaze region based on the scale information.
  • the distortion information calculation unit 236 calculates the gaze distortion information B based on the information of the gazing point GB, and the distortion rendering unit 232 generates the gaze distortion image based on the gaze distortion information B.
  • a gaze-distorted image in which the gaze region including the gaze point GB at the lower right is reduced 1.0 times and the non-gaze region is reduced 0.5 times is generated.
  • the gazing area including the gazing point GB is set to be narrower than the gazing area including the gazing point GA in FIG.
  • the scale setting between the gaze area and the non-gaze area is arbitrary.
  • the scaled-out scan-out unit 252 doubles and outputs the non-gaze region based on the scale information.
  • FIG. 20 is a diagram for explaining a modification of the conventional rendering process of FIG.
  • the configuration of the distortion conversion unit 233 of FIG. 17 is removed, and instead, the distortion conversion/scaling scan-out unit 253 is provided.
  • the rendering unit 231 renders the gaze image based on the scene data and the gaze information.
  • the scan-out unit with distortion conversion and scaling 253 reads the gaze image into the line buffer, performs distortion conversion and scaling processing at the time of scan-out, and outputs a normal-size image.
  • the number of required line buffers varies depending on the strength of distortion. A large number of line buffers are required to withstand strong deformation in the y direction.
  • the distortion rendering processing of the present embodiment of FIG. 18 only scaling is performed at the time of scan-out, and in the case of bilinear interpolation, there is an advantage that a buffer amount of 2 lines is sufficient.
  • the distortion rendering process of the first embodiment can be applied to reprojection.
  • distortion conversion is performed at the same time as reprojection processing, and a distortion image subjected to reprojection processing from a rendered distortion image (called a “reprojection distortion image”) is obtained. Can be generated.
  • the movement of the head mounted display 100 is detected, the CPU issues a drawing command, the GPU (Graphics Processing Unit) executes rendering, and the drawn image is output to the head mounted display 100.
  • draw is performed at a frame rate of 60 fps (frames/second), for example, and a delay of one frame occurs after the movement of the head mounted display 100 is detected and before an image is output. This is about 16.67 milliseconds under a frame rate of 60 fps, which is a sufficient time for humans to detect a shift.
  • time warp or “reprojection” is performed to correct the rendered image according to the latest position and orientation of the head mounted display 100, thereby making it difficult for humans to detect the shift.
  • FIG. 21 is a configuration diagram of the image generation apparatus 200 according to the third embodiment. The configuration and operation different from those of the image generating apparatus 200 according to the first embodiment will be described, and the description of common configuration and operation will be omitted.
  • the distortion rendering unit 232 generates a distorted image based on distortion information when rendering based on scene data, but distorts an already generated distorted image during reprojection.
  • the distorted image is trapezoidally transformed to generate a reprojection distorted image.
  • the distortion rendering unit 232 cooperates with the texture coordinate conversion unit 240, so that the distortion rendering unit 232 and the texture coordinate conversion unit 240 function as the distortion reprojection unit 246.
  • the distortion rendering unit 232 provides the coordinates of the virtual texture to be referenced to the texture coordinate conversion unit 240.
  • the texture coordinate conversion unit 240 reads the texture distortion information from the texture distortion information storage unit 242 and converts the coordinate value of the virtual texture referred to by the distortion rendering unit 232 into the coordinate value of the actual texture based on the texture distortion information.
  • the texture coordinate conversion unit 240 reads pixel data from the distorted image that is the actual texture based on the converted coordinate values of the actual texture, and provides the pixel data to the distortion rendering unit 232.
  • FIG. 22 is a diagram illustrating a conventional reprojection process.
  • the projection surface S2 of the head mounted display 100 rotates at time t2 according to the posture of the user.
  • trapezoidal transformation is performed on the distortion-free image 400 to generate a reprojection image 410, which is a reprojection process.
  • An undistorted image 400 is rendered according to the posture of the head mounted display 100 at time t1. Using the undistorted image 400 as a texture, reprojection processing is performed so as to match the latest posture of the head mounted display 100 at time t2, and a reprojection image 410 is generated. Then, the reprojection image 410 is subjected to distortion conversion to generate a distorted image 420.
  • FIG. 23 is a diagram for explaining the distortion reprojection processing of this embodiment.
  • the distortion rendering unit 232 renders the distortion image 430 on the projection surface S1 by distortion rendering processing according to the posture of the head mounted display 100 at time t1.
  • the distortion reprojection unit 246 uses the distortion image 430 as a texture to perform distortion reprojection processing so as to match the latest posture of the head mounted display 100 at time t2, and the projection distortion image 440 on the projection surface S2. To render.
  • trapezoidal conversion and distortion conversion are performed at the same time.
  • FIG. 24 is a diagram for explaining the distortion reprojection processing of the present embodiment in more detail.
  • the distortion rendering unit 232 does not generate the undistorted image in the frame buffer, but directly generates the distorted image in the frame buffer. Therefore, since the undistorted image does not actually exist in the frame buffer, it is impossible to perform the distortion reprojection process for simultaneously performing the trapezoidal transformation and the distortion transformation on the undistorted image. Therefore, when the distorted image 430 is used as a texture, a virtual texture having no distortion (referred to as “virtual texture”) is assumed, and the distortion reprojection process is performed on the virtual texture 450. Since the virtual texture has no distortion, it is possible to generate the reprojection distortion image 440 by applying the distortion rendering processing of the present embodiment and performing the distortion conversion simultaneously with the trapezoidal conversion.
  • the data access to the virtual texture 450 is converted into the data access to the distorted image 430 which is the actual texture with distortion actually generated in the frame buffer, and the distortion which is the actual texture is converted.
  • the data can be acquired from the image 430.
  • the coordinate conversion of the texture from the virtual texture 450 to the distorted image 430 which is the real texture is the same distortion conversion as the distortion information referred to in the distortion rendering process.
  • the texture distortion information necessary for converting the texture coordinates is obtained in advance from the distortion information referred to in the distortion rendering processing.
  • 25(a) to 25(c) are diagrams for explaining the procedure of the distortion reprojection process.
  • the virtual texture 450 is divided into two large triangles, and the virtual texture coordinates are set at the vertices v0, v1, v2 of the triangle as follows.
  • the three vertices of the virtual texture 450 correspond to the three vertices of a distorted triangle on the projection surface S2 by the trapezoidal transformation and the distortion transformation.
  • the distortion rendering unit 232 performs the distortion rendering processing described in the first embodiment on the distorted triangle and rasterizes it.
  • FIG. 25B a case where the pixel P is rasterized will be described.
  • the virtual texture coordinates of the pixel P are obtained as follows, for example. P: Tex_v (0.4, 0.2)
  • the virtual texture coordinates are converted into the actual texture coordinates by distortion conversion.
  • the actual texture coordinates of the pixel P are obtained as follows, for example.
  • the virtual texture coordinate Tex_v (0.4, 0.2) is converted into the actual texture coordinate Tex_r (0.3, 0.3).
  • sampling is performed from the distorted image 430 based on the actual texture coordinate Tex_r (0.3, 0.3).
  • the points inside the two triangles are rasterized by the distortion rendering process, so that the reprojection distortion image 440 is finally generated.
  • FIG. 26 is a diagram illustrating a procedure of a conventional reprojection process. Since it is a simple scene drawing, it is assumed that rendering does not take long and the prediction time of reprojection is short.
  • the distortion conversion unit 233 performs distortion conversion on the undistorted image 400 based on the distortion information
  • the distorted image 420 at time t N. To generate.
  • FIG. 27 is a diagram illustrating a procedure of a conventional reprojection process.
  • the estimated time at the time of reprojection is the total time of the time required for reprojection processing, the synchronization waiting time, and the time required for distortion conversion.
  • FIG. 28 is a diagram illustrating a procedure of the distortion reprojection processing according to the present embodiment. Since it is a simple scene drawing, it is assumed that rendering does not take long and the prediction time of reprojection is short.
  • FIG. 29 is a diagram illustrating a procedure of the distortion reprojection processing according to the present embodiment.
  • the distortion rendering unit 232 renders the distortion image 420 based on the scene data and the distortion information.
  • the prediction time at the time of reprojection is only the time required for the distortion reprojection process, and the prediction time is shorter than that of the conventional reprojection process of FIGS. This is latency, and can be expected to improve prediction accuracy. Further, since no intermediate buffer is used, memory resources can be reduced. In mobile devices, memory access is reduced, so there is a power saving effect.
  • FIG. 30 is a configuration diagram of the image generation apparatus 200 according to the fourth embodiment.
  • the configuration and operation related to the distortion information calculation unit 236 have been described in the second embodiment, and the configuration and operation related to the distortion reprojection unit 246 have been described in the third embodiment, so description thereof will be omitted. Now, the configuration and operation of combining these will be described.
  • FIG. 31 is a diagram illustrating a procedure of the distortion reprojection processing according to the present embodiment. It is assumed that the rendering takes relatively little time and the prediction time for reprojection is short.
  • FIG. 32 is a diagram for explaining the procedure of the distortion reprojection processing according to the present embodiment. It is assumed that the rendering takes a relatively long time and the prediction time of the reprojection is long.
  • the gaze distortion information B generated on the basis is held.
  • the distortion rendering unit 232 renders the distortion image 420 based on the scene data and the gaze distortion information A.
  • reprojection and texture distortion information and gaze distortion information are separately used, and thus it is possible to perform projection corresponding to forbiated rendering.
  • the distortion transformation includes linear transformation such as scaling, parallel movement, and rotation that can be represented by a homogeneous coordinate matrix, and is represented by a polynomial of second or higher degree that cannot be represented by a homogeneous coordinate matrix, such as lens distortion.
  • Arbitrary deformations such as non-linear deformations such as
  • control unit 20 input interface, 30 output interface, 32 display panel, 40 communication control unit, 42 network adapter, 44 antenna, 50 storage unit, 64 attitude sensor, 70 external input/output terminal interface, 72 external memory, 100 head mount Display, 200 image generation device, 210 position/orientation acquisition unit, 220 viewpoint/gaze setting unit, 230 image generation unit, 232 distortion rendering unit, 234 distortion information storage unit, 234 distortion information storage unit, 236 distortion information calculation unit, 238 Gaze information storage unit, 240 texture coordinate conversion unit, 242 texture distortion information storage unit, 244 scene data storage unit, 246 distortion reprojection unit, 260 image storage unit, 280 HDMI transmission/reception unit, 300 interface.
  • This invention can be used for image generation technology.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Image Generation (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

画像生成装置２００は、画像を変形させて歪ませるための情報を歪み情報として記憶する歪み情報記憶部２３４と、歪み情報を用いたラスタライズ処理によって、歪み無し画像をメモリに生成することなく、歪み画像をレンダリングする歪みレンダリング部２３２とを含む。歪みレンダリング部２３２は、歪み情報にもとづいてラスタライズ処理対象の三角形を変換した歪みのある三角形の頂点の位置から上方向および下方向に歪みのある三角形をラスタライズ処理することにより、歪み画像をレンダリングする。

Description

画像生成装置および画像生成方法
　この発明は、画像を生成する技術に関する。
　ヘッドマウントディスプレイに立体映像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じた立体映像が表示されるようにして臨場感を高めたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させることもできる。
　ヘッドマウントディスプレイではユーザの眼前と周囲に視野角の広い映像を表示させるために曲率の高い光学レンズを採用し、ユーザがレンズを介してディスプレイパネルを覗き込む構成になっている。しかしながら、曲率の高いレンズを用いるとレンズの歪曲収差によって映像が歪んでしまう。そこで、曲率の高いレンズを通して見たときに正しく見えるように、レンダリングされた画像に対してあらかじめ歪み補正を施し、歪み補正後の画像をヘッドマウントディスプレイに伝送してディスプレイパネルに表示し、ユーザが曲率の高いレンズを通して見ると正常に見えるようにしている。
　レンダリングされた画像に歪み補正を施すためには、レンダリングされた画像をいったんフレームバッファに保持し、フレームバッファに格納された画像を歪み補正して出力する必要がある。そのため、歪みなし画像を保存するためのメモリ容量が必要になり、また歪み補正のための処理時間が余分にかかる。モバイル端末などの描画処理する場合はメモリ容量を削減して省電力化を図ることが求められる。また、ヘッドマウントディスプレイでは酔いを軽減するために描画レイテンシを短縮することが求められている。
　本発明はこうした課題に鑑みてなされたものであり、その目的は、メモリ容量を削減または描画レイテンシを短縮することができる画像生成技術を提供することにある。
　上記課題を解決するために、本発明のある態様の画像生成装置は、画像を変形させて歪ませるための情報を歪み情報として記憶する歪み情報記憶部と、前記歪み情報を用いたラスタライズ処理によって、歪み無し画像をメモリに生成することなく、歪み画像をレンダリングする歪みレンダリング部とを含む。
　本発明の別の態様は、画像生成方法である。この方法は、画像を変形させて歪ませるための情報を歪み情報として読み出し、前記歪み情報を用いたラスタライズ処理によって、歪み無し画像をメモリに生成することなく、歪み画像をレンダリングする歪みレンダリングステップを含む。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、メモリ容量を削減または描画レイテンシを短縮することができる。
ヘッドマウントディスプレイの外観図である。 第１の実施の形態に係る画像生成システムの構成図である。 ヘッドマウントディスプレイの機能構成図である。 第１の実施の形態に係る画像生成装置の機能構成図である。 図５（ａ）は、従来のレンダリング処理を説明する図であり、図５（ｂ）は、第１の実施の形態の歪みレンダリング処理を説明する図である。 第１の実施の形態の歪みレンダリング処理の手順を示すフローチャートである。 図６のラスタライズ開始位置の決定処理を説明する図である。 図６のラスタライズ開始位置の決定処理を説明する図である。 図６の上方向のラスタライズ処理を説明する図である。 図６の上方向のラスタライズ処理を説明する図である。 図６の上方向のラスタライズ処理を説明する図である。 図６の上方向のラスタライズ処理を説明する図である。 図６の下方向のラスタライズ処理を説明する図である。 歪みレンダリング処理でパラメータのＸ方向、Ｙ方向の微分値を算出する方法を説明する図である。 図１５（ａ）～図１５（ｃ）は、歪み変換および逆歪み変換を説明する図である。 第２の実施の形態に係る画像生成装置の構成図である。 従来のレンダリング処理を説明する図である。 第２の実施の形態の歪みレンダリング処理を説明する図である。 図１９（ａ）および図１９（ｂ）は、注視点が動的に変わる場合の歪みレンダリング処理を説明する図である。 図１７の従来のレンダリング処理の変形例を説明する図である。 第３の実施の形態の画像生成装置の構成図である。 従来のリプロジェクション処理を説明する図である。 第３の実施の形態の歪みリプロジェクション処理を説明する図である。 第３の実施の形態の歪みリプロジェクション処理をより詳しく説明する図である。 図２５（ａ）～図２５（ｃ）は、歪みリプロジェクション処理の手順を説明する図である。 従来のリプロジェクション処理の手順を説明する図である。 従来のリプロジェクション処理の手順を説明する図である。 第３の実施の形態の歪みリプロジェクション処理の手順を説明する図である。 第３の実施の形態の歪みリプロジェクション処理の手順を説明する図である。 第４の実施の形態に係る画像生成装置の構成図である。 第４の実施の形態の歪みリプロジェクション処理の手順を説明する図である。 第４の実施の形態の歪みリプロジェクション処理の手順を説明する図である。
（第１の実施の形態）
　図１は、ヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。
　ヘッドマウントディスプレイ１００に内蔵または外付けされたジャイロセンサや加速度センサなどによりヘッドマウントディスプレイ１００を装着したユーザの頭部の位置情報と頭部の回転角や傾きなどの姿勢（orientation）情報を計測することができる。
　ヘッドマウントディスプレイ１００は、「ウェアラブルディスプレイ」の一例である。ここでは、ヘッドマウントディスプレイ１００に表示される画像の生成方法を説明するが、本実施の形態の画像生成方法は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。
　図２は、本実施の形態に係る画像生成システムの構成図である。ヘッドマウントディスプレイ１００は、一例として、映像・音声をデジタル信号で伝送する通信インタフェースの標準規格であるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）などのインタフェース３００で画像生成装置２００に接続される。
　画像生成装置２００は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報から、映像の生成から表示までの遅延を考慮してヘッドマウントディスプレイ１００の位置・姿勢情報を予測し、ヘッドマウントディスプレイ１００の予測位置・姿勢情報を前提としてヘッドマウントディスプレイ１００に表示されるべき画像を描画し、ヘッドマウントディスプレイ１００に伝送する。
　画像生成装置２００の一例はゲーム機である。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。ヘッドマウントディスプレイ１００は、画像生成装置２００の代わりに、コンピュータや携帯端末に接続されてもよい。
　図３は、ヘッドマウントディスプレイ１００の機能構成図である。
　制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２０は、ユーザからの操作信号や設定信号を受け付け、制御部１０に供給する。出力インタフェース３０は、制御部１０から画像信号を受け取り、ディスプレイパネル３２に表示する。
　通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。
　記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。
　姿勢センサ６４は、ヘッドマウントディスプレイ１００の位置情報と、ヘッドマウントディスプレイ１００の回転角や傾きなどの姿勢情報を検出する。姿勢センサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。３軸地磁気センサ、３軸加速度センサおよび３軸ジャイロ（角速度）センサの少なくとも１つ以上を組み合わせたモーションセンサを用いて、ユーザの頭部の前後、左右、上下の動きを検出してもよい。
　外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。
　ＨＤＭＩ送受信部９０は、ＨＤＭＩにしたがって映像・音声のデジタル信号を画像生成装置２００との間で送受信する。ＨＤＭＩ送受信部９０は、画像生成装置２００により生成された画像をＨＤＭＩ伝送路で画像生成装置２００から受信し、制御部１０に供給する。
　制御部１０は、画像やテキストデータを出力インタフェース３０に供給してディスプレイパネル３２に表示させたり、通信制御部４０に供給して外部に送信させることができる。
　姿勢センサ６４が検出したヘッドマウントディスプレイ１００の現在の位置・姿勢情報は、通信制御部４０または外部入出力端子インタフェース７０を介して画像生成装置２００に通知される。あるいは、ＨＤＭＩ送受信部９０がヘッドマウントディスプレイ１００の現在の位置・姿勢情報を画像生成装置２００に送信してもよい。
　図４は、本実施の形態に係る画像生成装置２００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
　画像生成装置２００の少なくとも一部の機能をヘッドマウントディスプレイ１００に実装してもよい。あるいは、画像生成装置２００の少なくとも一部の機能を、ネットワークを介して画像生成装置２００に接続されたサーバに実装してもよい。
　位置・姿勢取得部２１０は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報をヘッドマウントディスプレイ１００から取得する。
　視点・視線設定部２２０は、位置・姿勢取得部２１０により取得されたヘッドマウントディスプレイ１００の位置・姿勢情報を用いて、ユーザの視点位置および視線方向を設定する。
　画像生成部２３０は、歪みレンダリング部２３２と、歪み情報記憶部２３４と、シーンデータ記憶部２４４とを含む。
　歪みレンダリング部２３２は、シーンデータ記憶部２４４からシーンデータを読み出し、視点・視線設定部２２０によって設定されたユーザの視点位置および視線方向にしたがって、ヘッドマウントディスプレイ１００を装着したユーザの視点位置から視線方向に見える仮想空間のオブジェクトをレンダリングする。レンダリングの際、歪みレンダリング部２３２は、歪み情報記憶部２３４から歪み情報を読み出し、ヘッドマウントディスプレイ１００の光学系で生じる歪みに合わせて画像を変形（distortion）させて歪ませる処理を同時に実行する。すなわち、歪みレンダリング部２３２は、ヘッドマウントディスプレイ１００の光学系の歪み情報を参照して、歪み無し画像を生成することなく、歪み画像を直接レンダリングし、画像記憶部２６０のフレームバッファに書き込む。このように歪み無し画像を中間バッファに生成することなく、歪み画像を直接フレームバッファにレンダリングする処理を「歪みレンダリング処理」と呼び、詳しくは後述する。
　ＨＤＭＩ送受信部２８０は、画像記憶部２６０から画像生成部２３０により生成された拡張現実画像のフレームデータを読み出し、ＨＤＭＩにしたがってヘッドマウントディスプレイ１００に伝送する。
　図５（ａ）は、従来のレンダリング処理を説明する図であり、図５（ｂ）は、本実施の形態の歪みレンダリング処理を説明する図である。
　従来、ヘッドマウントディスプレイ１００のディスプレイパネル３２に表示するための歪み画像４２０を生成する場合、図５（ａ）に示すように、レンダリング部２３１がシーンデータ記憶部２４４からシーンデータを読み出し、シーンデータにもとづいて歪み無し画像４００をフレームバッファにレンダリングした後、歪み変換部２３３が歪み情報記憶部２３４から歪み情報を読み出し、歪み無し画像４００を歪み情報にもとづいて歪ませて歪み画像４２０を生成していた。この従来のレンダリング処理では、歪み無し画像４００を保存するためにメモリが必要であり、また、いったんレンダリングした後、歪み変換処理を施すため、処理時間が余分にかかり、描画レイテンシが長くなる。
　本実施の形態の歪みレンダリング処理では、図５（ｂ）に示すように、歪みレンダリング部２３２が、シーンデータ記憶部２４４に格納されたシーンデータにもとづく仮想空間のシーンを、歪み情報記憶部２３４に格納された歪み情報にもとづいて最初から歪ませてレンダリングし、歪み画像４２０をフレームバッファに書き込む。本実施の形態の歪みレンダリングでは、歪み無し画像を保存するためのメモリ容量を削減することができ、また、レンダリングと同時に歪み変換処理も行うため、処理時間を短縮し、描画レイテンシを短縮することができる。
　モバイル端末などバッテリ容量に制約がある装置で描画処理を行う場合には省電力化が重要になるが、本実施の形態の歪みレンダリングでは、歪み無し画像をメモリに生成しないため、メモリアクセス回数が減り、消費電力が抑えられる。また、ヘッドマウントディスプレイ１００では酔い軽減などユーザ体験向上のために描画レイテンシの短縮が重要であるが、本実施の形態の歪みレンダリングでは、歪み変換をレンダリング時に行うため、処理時間を短縮し、低レイテンシで画像を描画することができる。
　図６は、本実施の形態の歪みレンダリング処理の手順を示すフローチャートである。
　通常、ラスタライズ処理は処理対象の三角形の３頂点の座標を用いてラスタライズ範囲を確定する。しかし、三角形を歪み情報にもとづいて歪み変換すると、歪みが非線形である場合、歪みの生じた三角形の３頂点の座標のみではラスタライズ範囲を確定できない。そのため、歪みの生じた三角形のラスタライズ開始位置から上方向および下方向に三角形の外側に出るまでラスタライズを続ける。
　歪みレンダリング部２３２は、歪み適用後の座標を用いてラスタライズ開始位置を決定する（Ｓ１０）。歪みレンダリング部２３２は、ラスタライズ開始位置から上方向にラスタライズする（Ｓ２０）。上方向のラスタライズが終了すると、次に歪みレンダリング部２３２は、ラスタライズ開始位置から上方向にラスタライズする（Ｓ３０）。
　図７および図８は、図６のラスタライズ開始位置の決定処理Ｓ１０を説明する図である。
　図７は、ラスタライズ開始位置の決定方法を説明する図である。図７に示すように、歪み適用前の座標系Ｘ＿ｏｒｇ－Ｙ＿ｏｒｇにおけるラスタライス処理対象の三角形３１０は、歪み適用後の座標系Ｘ＿ｄｉｓｔ－Ｙ＿ｄｉｓｔでは歪んだ三角形３１２になる。歪み適用前の三角形３１０の３頂点ｖ０、ｖ１、ｖ２は、歪み適用後の三角形３１２の３頂点ｖ０’、ｖ１’、ｖ２’に移動する。歪み関数をｄｉｓｔで表すと、歪んだ三角形３１２の３頂点ｖ０’、ｖ１’、ｖ２’は以下の式で与えられる。
　ｖ０’＝ｄｉｓｔ（ｖ０）
　ｖ１’＝ｄｉｓｔ（ｖ１）
　ｖ２’＝ｄｉｓｔ（ｖ２）
　歪んだ三角形３１２においてＸ座標が最も小さい頂点を選択する。図７の例ではＸ座標が最も小さい頂点ｖ２’が選択される。頂点ｖ２’の座標値は一般に整数値ではないので、頂点ｖ２’に最も近いピクセル、すなわち頂点ｖ２’に最も近いＸ座標、Ｙ座標がともに整数である点Ｐ’をラスタライズ開始位置として選択する。
　図８は、ラスタライズ開始ピクセルの生成方法を説明する図である。歪み適用後の座標系におけるラスタライズ開始ピクセルＰ’の歪み適用前の座標を求める。歪み関数ｄｉｓｔの逆関数であるｕｎｄｉｓｔを用いて歪み適用前のラスタライズ開始ピクセルＰを次式によって求める。
　Ｐ＝ｕｎｄｉｓｔ（Ｐ’）
　求められた歪み適用前のラスタライズ開始ピクセルＰについて、三角形の内外判定とパラメータ生成を行う。たとえば重心座標系を利用して、ラスタライズ開始ピクセルＰの値を三角形の３頂点ｖ０、ｖ１、ｖ２の値の線形和で求める。
　歪み適用後のラスタライズ開始ピクセルＰ’のピクセル値を歪み適用前のラスタライズ開始ピクセルＰのピクセル値で設定する。このようにして歪み適用後のラスタライズ開始ピクセルＰ’が生成され、ラスタライズ開始位置の決定処理Ｓ１０が終了する。
　図９～図１２は、図６の上方向のラスタライズ処理Ｓ２０を説明する図である。
　図９に示すように、歪み適用後の座標系Ｘ＿ｄｉｓｔ－Ｙ＿ｄｉｓｔにおいてラスタライズ開始ピクセルＰ’から右に１ピクセルずつ移動しながら、ピクセルＱ１’、Ｑ２’、Ｑ３’、Ｑ４’を処理する。逆歪み関数ｕｎｄｉｓｔを適用して歪みを除去すると、歪み適用後のピクセルＱ１’、Ｑ２’、Ｑ３’、Ｑ４’はそれぞれ歪み適用前のピクセルＱ１、Ｑ２、Ｑ３、Ｑ４に変換される。歪み適用前のピクセルＱ１、Ｑ２、Ｑ３、Ｑ４について三角形の内外判定とパラメータ生成を行う。歪み適用前のピクセルＱ１、Ｑ２、Ｑ３は、三角形の内部にあるため、重心座標系などを用いて歪み適用前のピクセルＱ１、Ｑ２、Ｑ３の値を三角形の３頂点ｖ０、ｖ１、ｖ２の値の線形和で求め、歪み適用後のピクセルＱ１’、Ｑ２’、Ｑ３’の値を求められた値に設定する。歪み適用前のピクセルＱ４は、三角形の外部にあるため、歪み適用後のピクセルＱ４’は生成されず、歪み適用後の座標系Ｘ＿ｄｉｓｔ－Ｙ＿ｄｉｓｔにおける右への移動は終了する。
　図１０に示すように、歪み適用後の座標系Ｘ＿ｄｉｓｔ－Ｙ＿ｄｉｓｔにおいて右への移動が終了したピクセルＱ４’から１ピクセル上に移動し、ピクセルＱ５’から左に１ピクセルずつ移動しながら、ピクセルＱ５’、Ｑ６’、Ｑ７’を処理する。最初に歪み適用前の三角形の内部に入ったピクセルからラスタライズを再開する。ただし、右への移動が終了したピクセルＱ４’から１ピクセル上に移動した後の最初のピクセルＱ５’が既に歪み適用前の三角形の内部にあった場合、いったん三角形の外部に出るまで右に移動してから、左に１ピクセルずつ移動する必要がある。
　図１０の例では、逆歪み関数ｕｎｄｉｓｔを適用して歪みを除去すると、歪み適用後のピクセルＱ５’、Ｑ６’、Ｑ７’はそれぞれ歪み適用前のピクセルＱ５、Ｑ６、Ｑ７に変換される。歪み適用前のピクセルＱ５、Ｑ６は三角形の外部にあるが、歪み適用前のピクセルＱ７は三角形の内部にある。よって、歪み適用後のピクセルＱ７’からラスタライズを再開する。
　図１１に示すように、歪み適用後の座標系Ｘ＿ｄｉｓｔ－Ｙ＿ｄｉｓｔにおいてラスタライズ再開ピクセルＱ７’から左に１ピクセルずつ移動しながら、ピクセルＱ８’、Ｑ９’、Ｑ１０’を処理する。逆歪み関数ｕｎｄｉｓｔを適用して歪みを除去すると、歪み適用後のピクセルＱ８’、Ｑ９’、Ｑ１０’はそれぞれ歪み適用前のピクセルＱ８、Ｑ９、Ｑ１０に変換される。歪み適用前のピクセルＱ８、Ｑ９は三角形の内部にあるため、歪み適用前のピクセルＱ８、Ｑ９の値を三角形の３頂点ｖ０、ｖ１、ｖ２の値から求め、歪み適用後のピクセルＱ８’、Ｑ９’の値を求められた値に設定する。歪み適用前のピクセルＱ１０は、三角形の外部にあるため、歪み適用後のピクセルＱ１０’は生成されず、歪み適用後の座標系Ｘ＿ｄｉｓｔ－Ｙ＿ｄｉｓｔにおける左への移動は終了する。
　以降、図１２に示すように、同様に１ラインずつ上方向にスキャンし、ラスタライズする。新しいラインのラスタライズ再開ピクセルを探す際、これまでにスキャンしたＸ座標範囲Ｓの端まで行っても三角形の内部に入らない場合、スキャンを終了する。図１２の例では最後ピクセルＬｕ’において上方向のラスタライズ処理を終了する。
　図１３は、図６の下方向のラスタライズ処理Ｓ３０を説明する図である。上方向のラスタライズ処理Ｓ２０と同様に、歪み適用後の座標系Ｘ＿ｄｉｓｔ－Ｙ＿ｄｉｓｔにおいてラスタライズ開始ピクセルＰ’から左に１ピクセルずつ移動しながら、三角形の内部にあるピクセルをラスタライズし、三角形の外部に出ると、１ピクセル下に移動し、右に１ピクセルずつ移動しながら、三角形の内部にあるピクセルをラスタライズする。以降、１ラインずつ下方向に移動しながらピクセルをラスタライズし、上方向のラスタライズ処理Ｓ２０と同様に、それまでにスキャンしたＸ座標範囲Ｓの端まで行っても三角形の内部に入らない場合、最後ピクセルＬｄ’において下方向のラスタライズ処理を終了する。
　図１４は、歪みレンダリング処理でパラメータのＸ方向、Ｙ方向の微分値を算出する方法を説明する図である。描画の際にミップマップを用いる場合など、ピクセルのパラメータのＸ方向、Ｙ方向の微分値が必要になることがある。
　図１４に示すように、歪み適用後の座標系Ｘ＿ｄｉｓｔ－Ｙ＿ｄｉｓｔにおけるピクセルＰ’と隣接ピクセルＡ’、Ｂ’、Ｃ’は、逆歪み関数ｕｎｄｉｓｔを適用して歪みを除去すると、それぞれ歪み適用前の座標系Ｘ＿ｏｒｇ－Ｙ＿ｏｒｇにおけるピクセルＰ、Ａ、Ｂ、Ｃに変換される。
　ピクセルＰ’のパラメータのＸ方向の微分値ｄｐ／ｄｘは、ピクセルＰ’と隣接ピクセルＡ’の差分により計算される。ピクセルＰ’の値は歪み適用前のピクセルＰをラスタライズすることで得られ、隣接ピクセルＡ’の値は歪み適用前のピクセルＡをラスタライズすることで得られる。同様に、ピクセルＰ’のパラメータのＹ方向の微分値ｄｐ／ｄｙは、ピクセルＰ’と隣接ピクセルＣ’の差分により計算される。ピクセルＰ’の値は歪み適用前のピクセルＰをラスタライズすることで得られ、隣接ピクセルＣ’の値は歪み適用前のピクセルＡをラスタライズすることで得られる。
　そこで、２×２ピクセル単位でラスタライズを行って、ピクセルの値とともに、水平方向および垂直方向の隣接ピクセルとの差分値を計算し、水平方向および垂直方向の差分値をＸ方向、Ｙ方向の微分値として２×２ピクセル単位で共有する。あるいは、ラインバッファにおいて現在のラインとその上または下に隣接するラインのパラメータ値を保持しておき、Ｘ方向、Ｙ方向のピクセル間差分を求めるようにしてもよい。
　図１５（ａ）～図１５（ｃ）は、歪み変換および逆歪み変換を説明する図である。上述の歪み変換関数ｄｉｓｔ、逆歪み変換関数ｕｎｄｉｓｔは、図１５（ａ）のように多項式で与えることができる。図１５（ｂ）のようにメッシュ近似で歪み変換および逆歪み変換を定義してもよい。近傍のメッシュ頂点から補間することで任意の点を歪み変換および逆歪み変換することができる。図１５（ｃ）のように、歪み中心からの距離ｒを歪み変換および逆歪み変換した値をテーブルの形式で保持し、テーブルを参照して近似的に任意の点の歪み変換および逆歪み変換を行ってもよい。
　以上述べたように、本実施の形態の画像生成装置２００による歪みレンダリング処理では、歪み無し画像をフレームバッファにレンダリングした後、歪み無し画像に歪み変換処理を施して歪み画像を生成するのではなく、歪み画像を直接フレームバッファにレンダリングする。歪み無し画像を中間バッファに生成しないため、メモリ容量を削減することができ、メモリアクセスのために必要な消費電力も削減することができる。また、レンダリングと歪み処理を同時に行うため、処理時間を短縮し、描画レイテンシを短縮することができる。
（第２の実施の形態）
　上述の第１の実施の形態の歪みレンダリング処理は、フォービエイテッド（foveated）レンダリングに応用することができる。フォービエイテッドレンダリングでは、ユーザの視野の注視点を含む注視領域を他の領域よりも高解像度でレンダリングする。第１の実施の形態で利用した歪み情報を注視点に応じて動的に切り替えることで、注視点に応じた歪み画像を生成することができる。
　図１６は、第２の実施の形態に係る画像生成装置２００の構成図である。第１の実施の形態の画像生成装置２００とは異なる構成と動作について説明し、共通する構成と動作については説明を省略する。
　位置・姿勢取得部２１０は、ヘッドマウントディスプレイ１００からユーザの注視点の情報を取得し、注視情報記憶部２３８に注視情報として格納する。注視情報には、注視点の位置情報の他、注視点を含む注視領域の解像度を非注視領域の解像度に対して高める割合を示す縮尺情報が含まれる。
　歪み情報算出部２３６は、注視情報を参照して、非注視領域に対する注視領域の解像度の比率を考慮して歪み情報を変形した「注視歪み情報」を算出して歪み情報記憶部２３４に格納する。歪みレンダリング部２３２は、歪み情報記憶部２３４から注視歪み情報を読み出し、注視歪み情報にもとづいて歪み画像をレンダリングして画像記憶部２６０に格納する。
　ユーザの注視点は動的に変化するため、位置・姿勢取得部２１０がヘッドマウントディスプレイ１００からユーザの新しい注視点の情報を取得すると、注視情報記憶部２３８に新しい注視情報が格納され、歪み情報算出部２３６が新しい注視情報を参照して歪み情報を変形させ、新しい注視歪み情報を歪み情報記憶部２３４に格納する。歪みレンダリング部２３２は、新しい注視歪み情報にもとづいて歪み画像をレンダリングする。
　図１７は、従来のレンダリング処理を説明する図である。レンダリング部２３１は、シーンデータ記憶部２４４からシーンデータを読み出し、注視情報記憶部２３８から注視情報を読み出し、注視点Ｇを含む注視領域の解像度を高くした画像をレンダリングしてフレームバッファに書き込む。ここでは注視点Ｇを含む注視領域を１．０倍、非注視領域を０．５倍に縮小しており、非注視領域は注視領域に比べてピクセル数が少ないので、ラスタライズの負荷が抑えられるのに対して、注視領域はピクセル数が多いので、高画質になる。
　歪み変換部２３３は、歪み情報記憶部２３４から歪み情報を読み出し、レンダリングされた画像を歪ませる。この歪み変換処理の際、０．５倍の解像度の非注視領域は２倍でサンプリングすることで、等倍画像を生成し、メモリに保存する。スキャンアウト部２５１は、等倍画像をディスプレイパネル３２に出力する。
　図１８は、本実施の形態の歪みレンダリング処理を説明する図である。歪み情報算出部２３６は、注視情報記憶部２３８から読み出した注視情報にもとづいて歪み情報を変形して注視歪み情報を算出し、歪み情報記憶部２３４に保存する。歪みレンダリング部２３２は、シーンデータ記憶部２４４からシーンデータを読み出し、歪み情報記憶部２３４から注視歪み情報を読み出し、注視歪み情報によって歪ませた画像をレンダリングする。ここでは注視点Ｇを含む注視領域が１．０倍、非注視領域が０．５倍に縮小された歪み画像がフレームバッファに生成される。
　スケーリング付きスキャンアウト部２５２は、注視情報記憶部２３８から注視情報を読み出し、ラインバッファに少なくとも２ライン分の画像をバッファリングして注視情報に含まれる縮尺情報にしたがって画像のスケーリングを行って等倍画像を出力する。ここでは０．５倍の解像度の領域については２倍のサンプリングを行う。たとえばバイリニア補間であれば２ライン分のラインバッファが必要である。スキャンアウト時にスケーリングを行うため、図１７の従来のレンダリング処理のように等倍画像をメモリに展開する必要がないため、メモリ容量を削減することができる。また、レンダリングと歪み処理を同時に行うため、処理時間を短縮することができる。
　なお、ここでは、説明の便宜上、画像生成部２３０の構成がヘッドマウントディスプレイ１００に設けられ、フレームバッファの画像がディスプレイパネル３２にスキャンアウトされる構成を説明する。この場合は、スケーリング付きスキャンアウト部２５２は出力インタフェース３０に実装され、ディスプレイパネル３２に画像を出力する。図４のように画像生成部２３０の構成が画像生成装置２００に設けられる場合でも、画像記憶部２６０から読み出された画像はＨＤＭＩ送受信部２８０によってヘッドマウントディスプレイ１００に送信され、ヘッドマウントディスプレイ１００の出力インタフェース３０に実装されたスケーリング付きスキャンアウト部２５２が画像をディスプレイパネル３２に出力する。
　図１９（ａ）および図１９（ｂ）は、注視点が動的に変わる場合の歪みレンダリング処理を説明する図である。
　図１９（ａ）では、注視点ＧＡの情報にもとづいて歪み情報算出部２３６は、注視歪み情報Ａを算出し、歪みレンダリング部２３２は、注視歪み情報Ａにもとづいて注視歪み画像を生成する。左上の注視点ＧＡを含む注視領域が１．０倍、非注視領域が０．５倍に縮小された注視歪み画像が生成される。スケーリング付きスキャンアウト部２５２は、縮尺情報にもとづいて非注視領域については２倍のサンプリングを行って出力する。
　図１９（ｂ）では、注視点ＧＢの情報にもとづいて歪み情報算出部２３６は、注視歪み情報Ｂを算出し、歪みレンダリング部２３２は、注視歪み情報Ｂにもとづいて注視歪み画像を生成する。右下の注視点ＧＢを含む注視領域が１．０倍、非注視領域が０．５倍に縮小された注視歪み画像が生成される。注視点ＧＢを含む注視領域は、図１９（ａ）の注視点ＧＡを含む注視領域よりも狭く設定されている。注視領域と非注視領域の間の縮尺の設定は任意である。スケーリング付きスキャンアウト部２５２は、縮尺情報にもとづいて非注視領域については２倍のサンプリングを行って出力する。
　図２０は、図１７の従来のレンダリング処理の変形例を説明する図である。図２０では、図１７の歪み変換部２３３の構成を外し、その代わりに歪み変換及びスケーリング付きスキャンアウト部２５３を設ける。レンダリング部２３１はシーンデータと注視情報にもとづいて注視画像をレンダリングする。歪み変換及びスケーリング付きスキャンアウト部２５３は、注視画像をラインバッファに読み出し、スキャンアウト時に歪み変換とスケーリング処理を行い、等倍画像を出力する。歪みの強度に応じて必要なラインバッファの本数が変わる。ｙ方向の強い変形に耐えるためには多数のラインバッファが必要になる。それに対して、図１８の本実施の形態の歪みレンダリング処理では、スキャンアウト時にはスケーリングを行うだけであり、バイリニア補間の場合は２ラインのバッファ量で足りるという利点がある。
　（第３の実施の形態）
　第１の実施の形態の歪みレンダリング処理は、リプロジェクションにも応用できる。第１の実施の形態で利用した歪み情報を利用して、リプロジェクション処理と同時に歪み変換を行い、レンダリングされた歪み画像からリプロジェクション処理された歪み画像（「リプロジェクション歪み画像」と呼ぶ）を生成することができる。
　ここで、リプロジェクションについて説明する。ヘッドマウントディスプレイ１００にヘッドトラッキング機能をもたせて、ユーザの頭部の動きと連動して視点や視線方向を変えて仮想現実の映像を生成した場合、仮想現実の映像の生成から表示までに遅延があるため、映像生成時に前提としたユーザの頭部の向きと、映像をヘッドマウントディスプレイ１００に表示した時点でのユーザの頭部の向きとの間でずれが発生し、ユーザは酔ったような感覚（「ＶＲ酔い（Virtual Reality Sickness）」などと呼ばれる）に陥ることがある。
　このように、ヘッドマウントディスプレイ１００の動きを検知し、ＣＰＵが描画コマンドを発行し、ＧＰＵ（Graphics Processing Unit）がレンダリングを実行し、描画された画像がヘッドマウントディスプレイ１００に出力されるまでには時間がかかる。描画がたとえば６０ｆｐｓ（フレーム／秒）のフレームレートで行われており、ヘッドマウントディスプレイ１００の動きを検知してから画像を出力するまでに１フレーム分の遅れが生じるとする。これはフレームレート６０ｆｐｓのもとでは、１６．６７ミリ秒ほどであり、人間がずれを感知するには十分な時間である。
　そこで、「タイムワープ」または「リプロジェクション」と呼ばれる処理を行い、レンダリングした画像をヘッドマウントディスプレイ１００の最新の位置と姿勢に合わせて補正することで人間がずれを感知しにくいようにする。
　図２１は、第３の実施の形態の画像生成装置２００の構成図である。第１の実施の形態の画像生成装置２００とは異なる構成と動作について説明し、共通する構成と動作については説明を省略する。
　歪みレンダリング部２３２は、第１の実施の形態と同様、シーンデータにもとづいてレンダリングする際は、歪み情報にもとづいて歪み画像を生成するが、リプロジェクションの際は、既に生成された歪み画像をテクスチャとして利用して、歪み画像を台形変換してリプロジェクション歪み画像を生成する。リプロジェクションの際は、歪みレンダリング部２３２はテクスチャ座標変換部２４０と連携するため、歪みレンダリング部２３２とテクスチャ座標変換部２４０が歪みリプロジェクション部２４６として機能する。
　歪みレンダリング部２３２は、参照すべき仮想テクスチャの座標をテクスチャ座標変換部２４０に提供する。テクスチャ座標変換部２４０は、テクスチャ歪み情報記憶部２４２からテクスチャ歪み情報を読み出し、テクスチャ歪み情報にもとづいて、歪みレンダリング部２３２が参照する仮想テクスチャの座標値を実テクスチャの座標値に変換する。テクスチャ座標変換部２４０は、変換後の実テクスチャの座標値にもとづいて実テクスチャである歪み画像からピクセルデータを読み出し、歪みレンダリング部２３２に提供する。
　図２２は、従来のリプロジェクション処理を説明する図である。時刻ｔ１におけるヘッドマウントディスプレイ１００の投影面Ｓ１に対して、時刻ｔ２ではヘッドマウントディスプレイ１００の投影面Ｓ２はユーザの姿勢に応じて回転している。投影面Ｓ１にレンダリングされた歪み無し画像４００を投影面Ｓ２に表示させるために、歪み無し画像４００に台形変換を行い、リプロジェクション画像４１０を生成するのがリプロジェクション処理である。
　時刻ｔ１でのヘッドマウントディスプレイ１００の姿勢に合わせて歪み無し画像４００がレンダリングされる。歪み無し画像４００をテクスチャとして利用して、時刻ｔ２でのヘッドマウントディスプレイ１００の最新の姿勢に合うようにリプロジェクション処理を施し、リプロジェクション画像４１０を生成する。その後、リプロジェクション画像４１０に歪み変換を施して歪み画像４２０を生成する。
　図２３は、本実施の形態の歪みリプロジェクション処理を説明する図である。歪みレンダリング部２３２は、時刻ｔ１でのヘッドマウントディスプレイ１００の姿勢に合わせて、歪みレンダリング処理によって歪み画像４３０を投影面Ｓ１にレンダリングする。歪みリプロジェクション部２４６は、歪み画像４３０をテクスチャとして利用して、時刻ｔ２でのヘッドマウントディスプレイ１００の最新の姿勢に合うように歪みリプロジェクション処理を施し、投影面Ｓ２にリプロジェクション歪み画像４４０をレンダリングする。歪みリプロジェクション処理では、台形変換と歪み変換が同時に行われる。
　図２４は、本実施の形態の歪みリプロジェクション処理をより詳しく説明する図である。
　本実施の形態では、歪みレンダリング部２３２は歪み無し画像をフレームバッファに生成せずに、歪み画像を直接フレームバッファに生成する。そのため、歪み無し画像がフレームバッファに実在しないため、歪み無し画像に対して、台形変換と歪み変換を同時に行う歪みリプロジェクション処理を施すことはできない。そこで、歪み画像４３０をテクスチャとして利用する際、仮想的に歪みのないテクスチャ（「仮想テクスチャ」と呼ぶ）を想定し、仮想テクスチャ４５０に対して歪みリプロジェクション処理を施す。仮想テクスチャは歪みがないため、本実施の形態の歪みレンダリング処理を適用して、台形変換と同時に歪み変換を施すことで、リプロジェクション歪み画像４４０を生成することができる。
　ただし、仮想テクスチャ４５０は実在しないため、仮想テクスチャ４５０へのデータアクセスを、フレームバッファに実際に生成された歪み有りの実テクスチャである歪み画像４３０へのデータアクセスに変換し、実テクスチャである歪み画像４３０からデータを取得できるようにする。仮想テクスチャ４５０から実テクスチャである歪み画像４３０へのテクスチャの座標変換は、歪みレンダリング処理で参照する歪み情報と同じ歪み変換である。ただし、テクスチャとして利用するために、テクスチャ座標を導入し、スケールとオフセットを調整する。仮想テクスチャ４５０を仮想テクスチャ座標系ｓ＿ｏｒｇ－ｔ＿ｏｒｇに設け、実テクスチャである歪み画像４３０を実テクスチャ座標系ｓ＿ｄｉｓｔ－ｔ＿ｄｉｓｔに設け、画像サイズがｓ＝１．０、ｔ＝１．０になるようにスケーリングし、画像の左上の座標がｓ＝０、ｔ＝０となるようにオフセットする。テクスチャ座標の変換に必要なテクスチャ歪み情報は、歪みレンダリング処理で参照する歪み情報からあらかじめ求めておく。
　図２５（ａ）～図２５（ｃ）は、歪みリプロジェクション処理の手順を説明する図である。図２５（ａ）に示すように、仮想テクスチャ４５０を大きな二つの三角形に分割し、三角形の頂点ｖ０、ｖ１、ｖ２に仮想テクスチャ座標を以下のように設定する。
　ｖ０：Ｔｅｘ＿ｖ（１．０，０．０）
　ｖ１：Ｔｅｘ＿ｖ（０．０，１．０）
　ｖ２：Ｔｅｘ＿ｖ（０．０，０．０）
　仮想テクスチャ４５０の３頂点は台形変換と歪み変換により、投影面Ｓ２では歪みのある三角形の３頂点に対応する。歪みレンダリング部２３２が歪みのある三角形に対して実施の形態１で述べた歪みレンダリング処理を実行し、ラスタライズする。ここでは、図２５（ｂ）に示すように、ピクセルＰをラスタライズする場合を説明する。ピクセルＰに逆歪み変換を施すことにより、ピクセルＰの仮想テクスチャ座標はたとえば以下のように求められる。
　Ｐ：Ｔｅｘ＿ｖ（０．４，０．２）
　仮想テクスチャは仮想的に存在するだけでフレームバッファに実在しないので、歪み変換によって仮想テクスチャ座標を実テクスチャ座標に変換する。これにより、図２５（ｃ）に示すように、ピクセルＰの実テクスチャ座標がたとえば以下のように求められる。ここでは、仮想テクスチャ座標Ｔｅｘ＿ｖ（０．４，０．２）が実テクスチャ座標Ｔｅｘ＿ｒ（０．３，０．３）に変換される。
　Ｐ：Ｔｅｘ＿ｒ（０．３，０．３）
　実際にピクセルＰをサンプリングするときは、実テクスチャ座標Ｔｅｘ＿ｒ（０．３，０．３）にもとづいて歪み画像４３０からサンプリングする。２つの三角形の内部の点を歪みレンダリング処理によってラスタライズすることにより、最終的にリプロジェクション歪み画像４４０が生成される。
　図２６は、従来のリプロジェクション処理の手順を説明する図である。ここでは単純なシーンの描画のため、レンダリングに時間がかからず、リプロジェクションの予測時間が短い場合を想定する。レンダリング部２３１はシーンデータにもとづいて時刻ｔ＝Ｎの歪み無し画像４００をレンダリングし、歪み変換部２３３が歪み無し画像４００を歪み情報にもとづいて歪み変換し、時刻ｔ＝Ｎの歪み画像４２０を生成する。レンダリング処理よりも高いフレームレートで画像を出力する場合、時刻ｔ＝Ｎ＋１では、リプロジェクション部２４５は、直前の時刻ｔ＝Ｎの描画結果である歪み無し画像４００に対してリプロジェクション処理を施し、リプロジェクション歪み無し画像４１２を生成し、歪み変換部２３３がリプロジェクション歪み無し画像４１２を歪み情報にもとづいて歪み変換し、時刻ｔ＝Ｎ＋１のリプロジェクション歪み画像４２２を生成する。
　図２７は、従来のリプロジェクション処理の手順を説明する図である。ここでは複雑なシーンの描画のため、レンダリングに時間がかかり、リプロジェクションの予測時間が長い場合を想定する。レンダリング部２３１はシーンデータにもとづいて歪み無し画像４００をレンダリングするが処理時間がかかったため、リプロジェクション部２４５は、歪み無し画像４００に対してリプロジェクション処理を施し、時刻ｔ＝Ｎのリプロジェクション画像４１０を生成し、歪み変換部２３３がリプロジェクション画像４１０を歪み情報にもとづいて歪み変換し、時刻ｔ＝Ｎのリプロジェクション歪み画像４２１を生成する。また、次の時刻ｔ＝Ｎ＋１では、リプロジェクション部２４５は、歪み無し画像４００に対してリプロジェクション処理を施し、時刻ｔ＝Ｎ＋１のリプロジェクション画像４１０を生成し、歪み変換部２３３がリプロジェクション画像４１０を歪み情報にもとづいて歪み変換し、時刻ｔ＝Ｎ＋１のリプロジェクション歪み画像４２１を生成する。
　図２６、図２７のいずれの場合でもリプロジェクション時の予測時間は、リプロジェクション処理にかかる時間、同期待ち時間、歪み変換にかかる時間を合計した時間である。
　図２８は、本実施の形態の歪みリプロジェクション処理の手順を説明する図である。ここでは単純なシーンの描画のため、レンダリングに時間がかからず、リプロジェクションの予測時間が短い場合を想定する。歪みレンダリング部２３２は、シーンデータと歪み情報にもとづいて時刻ｔ＝Ｎの歪み画像４２０をレンダリングする。歪みリプロジェクション部２４６は、時刻ｔ＝Ｎの歪み画像４２０に対して時刻ｔ＝Ｎ＋１のヘッドマウントディスプレイ１００の姿勢に合うように歪みリプロジェクション処理を施し、時刻ｔ＝Ｎ＋１の歪みリプロジェクション歪み画像４２２を生成する。
　図２９は、本実施の形態の歪みリプロジェクション処理の手順を説明する図である。ここでは複雑なシーンの描画のため、レンダリングに時間がかかり、リプロジェクションの予測時間が長い場合を想定する。歪みレンダリング部２３２は、シーンデータと歪み情報にもとづいて歪み画像４２０をレンダリングする。歪みリプロジェクション部２４６は、歪み画像４２０に対して歪みリプロジェクション処理を施し、時刻ｔ＝Ｎの歪みリプロジェクション歪み画像４２１を生成する。次の時刻ｔ＝Ｎ＋１では、歪みリプロジェクション部２４６は、歪み画像４２０に対して歪みリプロジェクション処理を施し、時刻ｔ＝Ｎ＋１の歪みリプロジェクション歪み画像４２２を生成する。
　図２８、図２９のいずれの場合でもリプロジェクション時の予測時間は、歪みリプロジェクション処理にかかる時間だけであり、図２６、２７の従来のリプロジェクション処理に比べて予測時間が短くなるので、低レイテンシであり、予測精度の向上も期待できる。また、中間バッファを介さないため、メモリリソースを削減できる。モバイル機器では、メモリアクセスが減る分、省電力の効果もある。
（第４の実施の形態）
　第２の実施の形態のフォービエイテッドレンダリングと、第３の実施の形態のリプロジェクションとを組み合わせて行う場合を説明する。
　図３０は、第４の実施の形態に係る画像生成装置２００の構成図である。歪み情報算出部２３６に関連する構成と動作は第２の実施の形態で説明し、歪みリプロジェクション部２４６に関連する構成と動作は第３の実施の形態で説明したので説明を省略し、ここでは、これらを組み合わせた構成と動作について説明する。
　図３１は、本実施の形態の歪みリプロジェクション処理の手順を説明する図である。レンダリングに比較的時間がかからず、リプロジェクションの予測時間が短い場合を想定する。歪み情報記憶部２３４には、時刻ｔ＝Ｎでは注視点ＧＡの情報にもとづいて歪み情報算出部２３６によって生成された注視歪み情報Ａが保持されており、時刻ｔ＝Ｎ＋１では注視点ＧＢの情報にもとづいて歪み情報算出部２３６によって生成された注視歪み情報Ｂが保持されており、注視歪み情報が時間とともに変化していることに留意する。
　歪みレンダリング部２３２は、シーンデータと注視歪み情報Ａにもとづいて時刻ｔ＝Ｎの注視歪み画像４２０をレンダリングする。
　歪みリプロジェクション部２４６は、時刻ｔ＝Ｎの注視歪み画像４２０に対して時刻ｔ＝Ｎ＋１のヘッドマウントディスプレイ１００の姿勢に合うように歪みリプロジェクション処理を施すが、テクスチャ座標変換には時刻ｔ＝Ｎのテクスチャ歪み情報Ａを利用し、歪み変換には時刻ｔ＝Ｎ＋１の注視歪み情報Ｂを利用する。テクスチャ座標変換部２４０が時刻ｔ＝Ｎの注視歪み画像４２０に対応する仮想テクスチャを参照する際は、時刻ｔ＝Ｎのテクスチャ歪み情報Ａを利用するが、歪みレンダリング部２３２が注視歪み画像４２０を歪みリプロジェクション処理する際は、時刻ｔ＝Ｎ＋１の注視歪み情報Ｂにもとづいて歪み変換するからである。このようにして歪みリプロジェクション部２４６は、時刻ｔ＝Ｎの注視歪み画像４２０から、時刻ｔ＝Ｎ＋１のリプロジェクション注視歪み画像４２２を生成する。
　図３２は、本実施の形態の歪みリプロジェクション処理の手順を説明する図である。レンダリングに比較的時間がかかり、リプロジェクションの予測時間が長い場合を想定する。図３１と同様、歪み情報記憶部２３４には、時刻ｔ＝Ｎでは注視点ＧＡの情報にもとづいて生成された注視歪み情報Ａが保持されており、時刻ｔ＝Ｎ＋１では注視点ＧＢの情報にもとづいて生成された注視歪み情報Ｂが保持されている。
　歪みレンダリング部２３２は、シーンデータと注視歪み情報Ａにもとづいて歪み画像４２０をレンダリングする。歪みリプロジェクション部２４６は、歪み画像４２０に対して歪みリプロジェクション処理を施すが、テクスチャ座標変換には時刻ｔ＝Ｎのテクスチャ歪み情報Ａを利用し、歪み変換には時刻ｔ＝Ｎの注視歪み情報Ａを利用する。このようにして歪みリプロジェクション部２４６は、歪み画像４２０から時刻ｔ＝Ｎのリプロジェクション注視歪み画像４２１を生成する。
　次の時刻ｔ＝Ｎ＋１では、歪みリプロジェクション部２４６は、歪み画像４２０に対して歪みリプロジェクション処理を施すが、テクスチャ座標変換には時刻ｔ＝Ｎのテクスチャ歪み情報Ａを利用し、歪み変換には時刻ｔ＝Ｎ＋１の注視歪み情報Ｂを利用する。このようにして歪みリプロジェクション部２４６は、歪み画像４２０から時刻ｔ＝Ｎ＋１のリプロジェクション注視歪み画像４２２を生成する。
　本実施の形態の歪みリプロジェクション処理では、リプロジェクション次にテクスチャ歪み情報と注視歪み情報とを個別に用いることでフォービエイテッドレンダリングに対応したリプロジェクションが可能になる。
　上記のいずれの実施の形態でも、ヘッドマウントディスプレイ１００の光学系のように表示画像に非線形の歪みが生じる場合を説明したが、歪みは非線形に限らず、線形の歪みであっても歪みレンダリング処理を適用することができる。たとえば、壁にプロジェクションマッピングを行う場合、プロジェクタは壁を見上げるように斜めに設置されるため、画像にあらかじめ台形変換を施す必要がある。このような線形の歪みを画像に施す場合にも歪みレンダリングを適用して、レンダリング処理と歪み変換を同時に行うことでメモリ容量の削減と処理時間の短縮を図ることができる。ヘッドアップディスプレイや車のフロントガラスへの描画の際にも画像の歪み変換が必要になり、同様に歪みレンダリングを適用することができる。このように歪み変換として、拡大縮小、平行移動、回転など同次座標行列で表現可能な線形の変形の他、同次座標行列で表現できない、たとえばレンズの歪みなど２次以上の多項式で表現されるような非線形の変形など任意の変形を想定することができる。
　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　１０　制御部、　２０　入力インタフェース、　３０　出力インタフェース、　３２　ディスプレイパネル、　４０　通信制御部、　４２　ネットワークアダプタ、　４４　アンテナ、　５０　記憶部、　６４　姿勢センサ、　７０　外部入出力端子インタフェース、　７２　外部メモリ、　１００　ヘッドマウントディスプレイ、　２００　画像生成装置、　２１０　位置・姿勢取得部、　２２０　視点・視線設定部、　２３０　画像生成部、　２３２　歪みレンダリング部、　２３４　歪み情報記憶部、　２３４　歪み情報記憶部、　２３６　歪み情報算出部、　２３８　注視情報記憶部、　２４０　テクスチャ座標変換部、　２４２　テクスチャ歪み情報記憶部、　２４４　シーンデータ記憶部、　２４６　歪みリプロジェクション部、　２６０　画像記憶部、　２８０　ＨＤＭＩ送受信部、　３００　インタフェース。
　この発明は、画像生成技術に利用できる。

Claims (8)

  1. 　画像を変形させて歪ませるための情報を歪み情報として記憶する歪み情報記憶部と、
    　前記歪み情報を用いたラスタライズ処理によって、歪み無し画像をメモリに生成することなく、歪み画像をレンダリングする歪みレンダリング部とを含むことを特徴とする画像生成装置。
  2. 　前記歪みレンダリング部は、前記歪み情報にもとづいてラスタライズ処理対象の三角形を変換した歪みのある三角形の頂点の位置から上方向および下方向に歪みのある三角形をラスタライズ処理することにより、歪み画像をレンダリングすることを特徴とする請求項１に記載の画像生成装置。
  3. 　前記歪みレンダリング部は、上方向および下方向に歪みのある三角形をラスタライズ処理する際、歪み適用前の歪みのない三角形においてピクセルの内外判定およびパラメータ生成を行うことを特徴とする請求項２に記載の画像生成装置。
  4. 　ユーザの注視領域と非注視領域の間の解像度の比率に関する情報を含む注視情報にもとづいて前記歪み情報を変形して注視歪み情報を生成する歪み情報算出部をさらに含み、
    　前記レンダリング部は、前記注視歪み情報を用いたラスタライズ処理によって、歪み無し画像をメモリに生成することなく、前記歪み画像をレンダリングすることを特徴とする請求項１から３のいずれかに記載の画像生成装置。
  5. 　前記歪みレンダリング部によってレンダリングされた歪み画像をテクスチャとして用いて、前記歪み画像に対して前記歪み情報を用いたラスタライズ処理を施すことによって、歪み無し画像をメモリに生成することなく、前記歪み画像をリプロジェクション処理する歪みリプロジェクション処理部をさらに含むことを特長とする請求項１から４のいずれかに記載の画像生成装置。
  6. 　前記歪み画像のテクスチャから歪みを除去した仮想テクスチャの座標値を前記歪み情報にもとづいて前記歪み画像のテクスチャの座標値に変換し、前記歪み画像のテクスチャの座標値からピクセルデータを取得するテクスチャ座標変換部をさらに含み、
    　前記歪みリプロジェクション処理部は、前記仮想テクスチャに対して前記歪み情報を用いたラスタライズ処理を施すことによって、歪み無し画像をメモリに生成することなく、前記歪み画像をリプロジェクション処理し、前記仮想テクスチャのピクセルデータをアクセスする際、前記テクスチャ座標変換部から、前記仮想テクスチャのピクセルに対応する前記歪み画像のテクスチャのピクセルのデータを取得することを特徴とする請求項５に記載の画像生成装置。
  7. 　画像を変形させて歪ませるための情報を歪み情報として読み出し、前記歪み情報を用いたラスタライズ処理によって、歪み無し画像をメモリに生成することなく、歪み画像をレンダリングする歪みレンダリングステップを含むことを特徴とする画像生成方法。
  8. 　画像を変形させて歪ませるための情報を歪み情報として読み出し、前記歪み情報を用いたラスタライズ処理によって、歪み無し画像をメモリに生成することなく、歪み画像をレンダリングする歪みレンダリング機能をコンピュータに実現させることを特徴とするプログラム。
PCT/JP2019/001693 2019-01-21 2019-01-21 画像生成装置および画像生成方法 WO2020152754A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2019/001693 WO2020152754A1 (ja) 2019-01-21 2019-01-21 画像生成装置および画像生成方法
JP2020567682A JP7170752B2 (ja) 2019-01-21 2019-01-21 画像生成装置および画像生成方法
EP19911390.3A EP3916679A4 (en) 2019-01-21 2019-01-21 IMAGE FORMING DEVICE AND IMAGE FORMING METHOD
US17/421,630 US11544822B2 (en) 2019-01-21 2019-01-21 Image generation apparatus and image generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/001693 WO2020152754A1 (ja) 2019-01-21 2019-01-21 画像生成装置および画像生成方法

Publications (1)

Publication Number Publication Date
WO2020152754A1 true WO2020152754A1 (ja) 2020-07-30

Family

ID=71736833

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/001693 WO2020152754A1 (ja) 2019-01-21 2019-01-21 画像生成装置および画像生成方法

Country Status (4)

Country Link
US (1) US11544822B2 (ja)
EP (1) EP3916679A4 (ja)
JP (1) JP7170752B2 (ja)
WO (1) WO2020152754A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210192681A1 (en) * 2019-12-18 2021-06-24 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004072553A (ja) * 2002-08-08 2004-03-04 Digital Zuu:Kk 映像歪み補正方法及び同方法用プログラム
JP2016085586A (ja) * 2014-10-24 2016-05-19 株式会社ソニー・コンピュータエンタテインメント 画像生成装置、画像抽出装置、画像生成方法、および画像抽出方法
JP2017097122A (ja) * 2015-11-20 2017-06-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
JP2018049603A (ja) * 2016-09-05 2018-03-29 アーム・リミテッド グラフィックス処理システム及びグラフィックスプロセッサ

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3473510B2 (ja) 1999-07-21 2003-12-08 株式会社デンソー 地図表示装置
JP5847315B2 (ja) 2012-08-31 2016-01-20 三菱電機株式会社 表示装置
US10546365B2 (en) * 2017-03-27 2020-01-28 Advanced Micro Devices, Inc. Single pass flexible screen/scale rasterization
CN110770796B (zh) * 2017-06-05 2024-03-15 谷歌有限责任公司 平稳变化的中央凹型渲染

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004072553A (ja) * 2002-08-08 2004-03-04 Digital Zuu:Kk 映像歪み補正方法及び同方法用プログラム
JP2016085586A (ja) * 2014-10-24 2016-05-19 株式会社ソニー・コンピュータエンタテインメント 画像生成装置、画像抽出装置、画像生成方法、および画像抽出方法
JP2017097122A (ja) * 2015-11-20 2017-06-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
JP2018049603A (ja) * 2016-09-05 2018-03-29 アーム・リミテッド グラフィックス処理システム及びグラフィックスプロセッサ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3916679A4 *

Also Published As

Publication number Publication date
US20220076389A1 (en) 2022-03-10
JPWO2020152754A1 (ja) 2021-12-02
US11544822B2 (en) 2023-01-03
EP3916679A1 (en) 2021-12-01
EP3916679A4 (en) 2022-08-31
JP7170752B2 (ja) 2022-11-14

Similar Documents

Publication Publication Date Title
US10861215B2 (en) Asynchronous time and space warp with determination of region of interest
JP4553362B2 (ja) システム、画像処理装置、情報処理方法
WO2017212679A1 (ja) 画像生成装置および画像生成方法
CN106663336B (zh) 图像生成装置和图像生成方法
JP6310898B2 (ja) 画像処理装置、情報処理装置、および画像処理方法
US20210368152A1 (en) Information processing apparatus, information processing method, and program
US11120632B2 (en) Image generating apparatus, image generating system, image generating method, and program
JP6978289B2 (ja) 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム
JP7150134B2 (ja) ヘッドマウントディスプレイおよび画像表示方法
JPWO2020170454A1 (ja) 画像生成装置、ヘッドマウントディスプレイ、および画像生成方法
JP7134060B2 (ja) 画像生成装置および画像生成方法
JP7142762B2 (ja) 表示装置および画像表示方法
JP2020167659A (ja) 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法
WO2020152754A1 (ja) 画像生成装置および画像生成方法
JP7429761B2 (ja) 画像表示装置、画像表示システムおよび画像表示方法
US20230128288A1 (en) Compositor layer extrapolation
US20230239458A1 (en) Stereoscopic-image playback device and method for generating stereoscopic images
WO2021006191A1 (ja) 画像表示装置、画像表示システムおよび画像表示方法
JP7377014B2 (ja) 画像表示装置、画像表示システムおよび画像表示方法
JP2020106655A (ja) 情報処理装置、情報処理方法及びプログラム
JP2020167657A (ja) 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法
JP7365183B2 (ja) 画像生成装置、ヘッドマウントディスプレイ、コンテンツ処理システム、および画像表示方法
WO2024004134A1 (ja) 画像送信装置および画像送信方法
JP7066414B2 (ja) 画像処理装置、表示システム、画像処理方法及びプログラム
JP2021096772A (ja) 画像処理装置、画像処理方法、システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19911390

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020567682

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019911390

Country of ref document: EP

Effective date: 20210823