WO2021186581A1 - 画像生成装置および画像生成方法 - Google Patents

画像生成装置および画像生成方法 Download PDF

Info

Publication number
WO2021186581A1
WO2021186581A1 PCT/JP2020/011798 JP2020011798W WO2021186581A1 WO 2021186581 A1 WO2021186581 A1 WO 2021186581A1 JP 2020011798 W JP2020011798 W JP 2020011798W WO 2021186581 A1 WO2021186581 A1 WO 2021186581A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
real space
shadow
virtual object
background
Prior art date
Application number
PCT/JP2020/011798
Other languages
English (en)
French (fr)
Inventor
良徳 大橋
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to US17/907,827 priority Critical patent/US11948483B2/en
Priority to PCT/JP2020/011798 priority patent/WO2021186581A1/ja
Priority to JP2022508679A priority patent/JP7454648B2/ja
Publication of WO2021186581A1 publication Critical patent/WO2021186581A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/023—Display panel composed of stacked panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0238—Improving the black level
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0242—Compensation of deficiencies in the appearance of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/38—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using electrochromic devices

Definitions

  • the present invention relates to an image generation technique.
  • a virtual reality (VR) image is displayed on the head-mounted display according to the line-of-sight direction of the user wearing the head-mounted display.
  • the head-mounted display is non-transparent, the user does not see anything other than the image displayed on the head-mounted display, which enhances the immersive feeling in the image world.
  • a user wearing a non-transmissive head-mounted display cannot directly see the outside world, but with an optically transmissive head-mounted display, an image of computer graphics (CG (Computer Graphics)) superimposed on the outside world while looking at the outside world. Can be seen.
  • CG Computer Graphics
  • the optical transmissive head-mounted display generates and displays an augmented reality (AR (Augmented Reality)) image by superimposing an object in the virtual world generated by CG on the outside world.
  • AR Augmented Reality
  • the image of augmented reality is different from the virtual reality separated from the real world, the real world is expanded with virtual objects, and the user experiences the virtual world while being aware of the connection with the real world. Can be done.
  • a CG image is superimposed on the outside world, but the black color of the CG image is treated as transmissive. Even if you try to superimpose black, the shadow of the virtual object cannot be drawn and displayed because it becomes transparent. In order to display shadows, it is necessary to reduce the brightness only in the shadow area to make it darker, but even if the entire optical element of the transmissive head-mounted display can be uniformly shaded by using a dimming element, the shadow area It is not possible to partially block only the light. Even if a dimming element that can partially change the transmittance can be realized, the dimming element at the eyepiece position changes the brightness at the focal point of the eye, so it seems that the brightness is reduced in the real world. It is not possible to represent the shadow of a virtual object that cannot be seen and falls in real space.
  • the present invention has been made in view of these problems, and an object of the present invention is to provide an image generation technique capable of expressing a shadow of a virtual object superimposed on a real space.
  • the image generation device of an embodiment of the present invention is an image generation device that generates an image displayed on a transmissive display, and when generating an image superimposed on a real space, the above-mentioned An image is generated in which the background area on which the virtual object is not superimposed is drawn with a background color of a predetermined brightness so that the shadow area of the virtual object reflected in the real space looks relatively dark.
  • Another aspect of the present invention is an image generation method.
  • This method is an image generation method for generating an image displayed on a transmissive display, and when generating an image superimposed on the real space, the shadow area of the virtual object reflected in the real space becomes relatively dark. To make it visible, an image is generated in which the background area on which the virtual object is not superimposed is drawn with a background color of a predetermined brightness.
  • FIG. 1 is a configuration diagram of a transmissive display 100 according to the first embodiment.
  • the transmissive head-mounted display 200 is an example of a "wearable display".
  • a method of generating an image displayed on the transmissive head-mounted display 200 will be described, but the image generation method of the present embodiment is not limited to the transmissive head-mounted display 200 in a narrow sense, and is not limited to the transmissive head-mounted display 200 in a narrow sense. It can also be applied when wearing a glasses-type camera, headphones, a headset (headphones with a microphone), earphones, earphones, an ear-hook camera, a hat, a hat with a camera, a hair band, and the like.
  • the transmissive head-mounted display 200 includes a transmissive display 100, a first dimming element 110, and a second dimming element 120.
  • the first dimming element 110 is provided on the outside world side of the transmissive display 100
  • the second dimming element 120 is provided in front of the transmissive display 100.
  • the first dimming element 110 and the second dimming element 120 are, for example, a liquid crystal device, an electrochromic device, and the like.
  • the transmissive display 100 is an optical element capable of optically transmitting the outside world while displaying an image such as CG by a half mirror or the like.
  • the first dimming element 110 is provided to block strong light from the outside world. When the transmissive head-mounted display 200 is used in a bright place such as outdoors, the transmittance of the first dimming element 110 is lowered to block light.
  • the first dimming element 110 is not an indispensable configuration unless it is assumed to be used in an environment with strong external light.
  • the second dimming element 120 is provided to adjust the brightness of the CG image displayed on the transmissive display 100. As will be described later, in order to raise the brightness of the transmissive display 100 as a whole in order to express the shadow of the virtual object, the transmittance of the second dimming element 120 is lowered to lower the brightness of the transmissive display 100. If there is no problem in increasing the brightness of the background region, the second dimming element 120 is not an indispensable configuration.
  • the user sees the outside world from the viewpoint 130 through the first dimming element 110, the transmissive display 100, and the second dimming element 120.
  • FIG. 2 is a configuration diagram of the image generation device 300 according to the first embodiment.
  • the figure depicts a block diagram focusing on functions, and these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • the transmissive head-mounted display 200 is connected to the image generator 300 wirelessly or by wire.
  • the image generation device 300 draws an image to be displayed on the transmissive head-mounted display 200 with reference to the attitude information of the transmissive head-mounted display 200, and transmits the image to the transmissive head-mounted display 200.
  • the configuration of the image generation device 300 may be built into the transmissive head-mounted display 200 and integrated, or at least a part of the configuration of the image generation device 300 may be mounted on the transmissive head-mounted display 200. Further, at least a part of the functions of the image generation device 300 may be implemented in a server connected to the image generation device 300 via a network.
  • the space recognition unit 10 recognizes the real space of the outside world, models the real space with a polygon mesh structure, and gives the mesh data of the real space to the rendering unit 20.
  • the shape information and depth information of an object in the real world can be obtained by 3D scanning the space in the real world and recognizing the space.
  • depth information in the real space can be acquired by using a depth sensor of a method such as an infrared pattern, Structured Light, or TOF (TimeOfFlight), or depth information in the real space can be acquired from the parallax information of a stereo camera. In this way, the real space is pre-scanned in 3D and modeled with a polygon mesh structure.
  • the rendering unit 20 renders the virtual object in the virtual space, renders the mesh structure of the real space generated by the space recognition unit 10, and renders the shadow of the virtual object reflected in the mesh structure of the real space.
  • the rendering unit 20 renders the virtual object, stores the color value in the pixel buffer 32, and renders the mesh structure in the real space in, for example, white (RGB (255, 255, 255)). It is stored in the pixel buffer 32.
  • Virtual objects in virtual space are rendered to generate color values, but real objects such as walls, floors, ceilings, and stationary objects in real space are rendered, but no color information is generated and they are drawn in solid white. Will be done.
  • the rendering unit 20 renders the shadow cast by the virtual object on the mesh structure in the real space in, for example, black (RGB (0,0,0)) or a translucent color with an alpha value set, and saves it in the pixel buffer 32. do.
  • the shadow of the virtual object is taken as an example, but there are various possible expressions related to the light that the virtual object gives to the real space other than the shadow.
  • the rendering unit 20 expresses the light of the virtual space with respect to the real space, specifically, the shadow cast by the virtual object on the real object, the reflection of the virtual object in the real space, and the back of the object in the virtual space in the foreground.
  • a visible expression, a lighting expression by a virtual light source in a virtual space, etc. are drawn as a semi-transparent CG image.
  • shadow mapping can draw shadows and reflections using a method such as projecting a depth map from a light source onto a plane or a technique such as ray tracing.
  • the depth values of these objects are written in the scene depth buffer 34, and the context between the objects is determined.
  • a specific depth value is not written in the scene depth buffer 34 for the pixel in which the object is not drawn, and the scene depth value is infinite (indefinite).
  • the rendering unit 20 writes the depth value at the corresponding pixel position of the real space depth buffer 36 when rendering the mesh structure in the real space.
  • the rendering unit 20 may render a shadow on the mesh structure of the real space, but it should be noted that in that case, the depth value is already written at the corresponding pixel position of the real space depth buffer 36.
  • a predetermined value for example 1, may be written.
  • the depth value or 1 is not written at the pixel position where the mesh structure in the real space is not rendered, so that the initial value (for example, infinity or zero) remains.
  • the transmittance control unit 45 controls the transmittance of the first dimming element 110 and the second dimming element 120 of the transmissive head-mounted display 200 as necessary. As will be described later, in order to make the background area through which the real space is transparent shine with a gray background color without superimposing the virtual objects so that the shadow of the virtual object looks relatively dark, the transmissive head-mounted display 200 is transparent. It is necessary to reduce the brightness of the type display 100 as a whole. Therefore, the transmittance control unit 45 adjusts to lower the transmittance of the second dimming element 120 so that the background region does not appear to emit light.
  • the transmittance of the second dimming element 120 By lowering the transmittance of the second dimming element 120, the brightness, gradation, and vividness of the transmissive display 100 are sacrificed. Make the light control element 120 completely transparent.
  • the transmittance control unit 45 may dynamically change the transmittance of the second dimming element 120 with reference to the dynamic range of the brightness of the CG image generated by the rendering unit 20. When the brightness of the background color is increased in order to make the shadow appear darker, the transmittance control unit 45 may adjust to decrease the transmittance of the second dimming element 120 accordingly.
  • the transmittance control unit 45 adjusts to lower the transmittance of the first dimming element 110 according to the intensity of the external light, and makes the transmissive display 100. Shade the displayed CG image so that it is easy to see.
  • the transmittance control unit 45 may adjust the transmittance of the first dimming element 110 according to the transmittance of the second dimming element 120.
  • the transmittance of the second dimming element 120 is lowered to make it darker, the transmittance of the first dimming element 110 can be increased to take in more light from the outside world.
  • the post-process unit 40 executes a process for displaying the shadow of the virtual object on the drawing data in the virtual space and the real space generated by the rendering unit 20.
  • the pixel value conversion unit 50 makes the color of the background area (referred to as “background color”) that allows the real space to pass through without superimposing virtual objects to be gray (for example, RGB (20, 20, 20)).
  • the color values of all the pixels stored in the pixel buffer 32 are raised by the following equation, and the color values of the converted pixels are stored in the pixel buffer 32.
  • RGB' RGB * (255-20) / 255 + 20
  • RGB is the value of each original RGB color of each pixel
  • RGB' is the value of each RGB color after conversion of each pixel.
  • white RGB (255, 255, 255)
  • the gradation can be reduced by scaling
  • the overall level can be raised by (20, 20, 20).
  • the shadow / background processing unit 60 refers to the real space depth buffer 36, determines the shadow area of the virtual object, overwrites it with black (RGB (0,0,0)), and overwrites the background area other than the shadow. The process of discriminating and filling with the background color (RGB (20, 20, 20)) is performed.
  • the shadow area is determined as follows. First, in the area where the depth value or 1 is written in the real space depth buffer 36, the shadow of the virtual object may be reflected because the real space is drawn. The area of the real space where the shadow is not reflected is drawn in white. Therefore, it is determined that the region in which the depth value or 1 is written in the real space depth buffer 36 and the color is not white is the shadow.
  • the shadow / background processing unit 60 overwrites the area determined to be a shadow with black (RGB (0,0,0)) and makes the area transparent. Since the shadow color may be less than or equal to the background color (RGB (20,20,20)), it is not limited to black (RGB (0,0,0), but RGB (20,20,20) to RGB (0). , 0,0) may be adjusted, and shadow boundaries may be anti-aliased.
  • the background color (RGB (20, 20, 20)). Overwrite with. As a result, the background area shines weakly as a whole, and the transmitted shadow area looks relatively dark, so that the shadow of the virtual object appears in the real space.
  • the post-process unit 40 may perform post-processes such as depth of field adjustment, tone mapping, and antialiasing to post-process the CG image so that it looks natural and smooth.
  • the reprojection unit 70 performs reprojection processing on the post-processed CG image and converts it into an image that can be seen from the latest viewpoint position and line-of-sight direction of the transmissive head-mounted display 200.
  • a transmissive head-mounted display 200 is provided with a head tracking function and a virtual reality image is generated by changing the viewpoint or line-of-sight direction in conjunction with the movement of the user's head, from generation to display of the virtual reality image. Due to the delay, there is a discrepancy between the orientation of the user's head, which is assumed at the time of image generation, and the orientation of the user's head when the image is displayed on the transmissive head-mounted display 200. You may fall into a feeling of drunkenness (called "VR sickness (Virtual Reality Sickness)" etc.).
  • time warp or “reprojection” is performed to correct the rendered image according to the latest position and orientation of the transmissive head-mounted display 200, making it difficult for humans to detect the deviation. ..
  • the distortion processing unit 86 performs a process of distorting and distorting the reprojected CG image according to the distortion generated in the optical system of the transmissive head-mounted display 200, and the distortion process is performed.
  • the applied CG image is supplied to the display unit 90.
  • the display unit 90 transmits the generated CG image to the transmissive head-mounted display 200 and causes the transmissive head-mounted display 200 to display the CG image.
  • the CG image provided by the display unit 90 is displayed on the transmissive display 100 of the transmissive head-mounted display 200 and is superimposed on the real space.
  • the user can see the augmented reality image in which the CG image is superimposed on a part of the real space.
  • FIG. 3 is a diagram showing a real space of the outside world that can be seen through the transmissive head-mounted display 200. Tables, chairs and whiteboards are installed in the conference room with windows. The space recognition unit 10 performs this space recognition in the real space and generates polygon mesh data.
  • FIG. 4A is a diagram showing a virtual object 400 in a virtual space rendered by a conventional method.
  • the background area 420 in which the virtual object 400 does not exist is filled with black, and when it is displayed on the transmissive display 100, the black background area 420 is transparent and the real space appears to be transparent as it is.
  • FIG. 4B is a diagram showing how the virtual object 400 is superimposed on the transparent real space by the conventional method.
  • the rendered virtual object 400 is superimposed on the real space, the background area is transparent, and the real space can be seen as it is. Therefore, it seems that the virtual object 400 exists independently of the real space. I feel unnatural.
  • FIG. 5A is a diagram showing a virtual object 400 rendered by the image generation method of the present embodiment.
  • the rendering unit 20 renders the virtual object 400, renders the mesh structure of the real space in white, and renders the shadow 410 of the virtual object reflected in the mesh structure of the real space in black.
  • the pixel value conversion unit 50 fills the background area 420 other than the shadow 410 of the virtual object 400 with gray.
  • FIG. 5B is a diagram showing how the virtual object 400 is superimposed on the transparent real space by the image generation method of the present embodiment.
  • the background area other than the shadow 410 is gray and superimposed on the real space, but the shadow 410 of the virtual object 400 is transparent because it is black. Since the background area other than the shadow 410 shines weakly, the shadow 410 of the virtual object 400 looks relatively dark.
  • the shadow 410 of the virtual object 400 can be expressed as if it is reflected in the real space, the virtual object 400 is not separated from the real space, but the virtual object 400 is used. You can feel the nature as if it exists in the real space.
  • FIG. 6 is a flowchart showing the image generation procedure of the present embodiment.
  • the space recognition unit 10 recognizes the real space of the outside world and generates mesh data (S10).
  • the rendering unit 20 renders the mesh in the real space in white and renders the virtual object in the virtual space with the color value (S20). Further, the rendering unit 20 renders the shadow of the virtual object reflected on the mesh in the real space in black (S30).
  • the pixel value conversion unit 50 raises the bottom of all the pixels of the rendering result so that the background color becomes gray (S40).
  • the shadow / background processing unit 60 overwrites the shadow with black and overwrites the background area other than the shadow with gray as the background color (S50).
  • the reprojection unit 70 performs a reprojection process on the rendered image (S60).
  • the distortion processing unit 80 applies distortion processing to the reprojected image (S70).
  • the display unit 90 superimposes and displays the rendered image in the transparent real space (S80).
  • the background area is displayed slightly brighter, and the transparent shadow area is relatively dark, so that the shadow appears to be cast in the real space.
  • the image generator 300 of the second embodiment will be described.
  • the shadow of the virtual object reflected in the real space is expressed by rendering the light and the shadow reflected in the real space from the virtual light source, instead of raising the pixel value of the background area uniformly.
  • FIG. 7 is a configuration diagram of the image generation device 300 according to the second embodiment.
  • the space recognition unit 10 recognizes the real space of the outside world, models the real space with a polygon mesh structure, and gives the mesh data of the real space to the rendering unit 20.
  • the rendering unit 20 renders a virtual object in the virtual space, renders a mesh structure in the real space generated by the space recognition unit 10 assuming a virtual light source, and casts a shadow of the virtual object reflected in the mesh structure in the real space. Render.
  • the virtual light source may perform light source estimation and match the position of the light source in the real space. For example, if it is outdoors, the position of the sun and the type and brightness of the light source may be determined based on the date and time and the weather at that place.
  • the rendering unit 20 renders the virtual object, stores the color value in the pixel buffer 32, and sets the material or texture color of the mesh in the real space to, for example, dark gray (RGB (10, 10, 10). )), The color value reflecting how the light from the virtual light source hits the mesh is obtained and stored in the pixel buffer 32.
  • dark gray RGB (10, 10, 10).
  • the rendering unit 20 renders the shadow cast by the virtual object on the mesh structure in the real space in, for example, black (RGB (0,0,0)) or a translucent color with an alpha value set, and saves it in the pixel buffer 32. do.
  • the final brightness of the shadow may be determined by referring to the dynamic range of the brightness of the output CG image.
  • the brightness of the final shadow may be brighter than that of RGB (10, 10, 10), and the periphery of the shadow may be even brighter.
  • the black level may be corrected so that the darkest portion in the CG image becomes RGB (0,0,0).
  • the CG image is dark as a whole, even if the shadow portion is RGB (0,0,0), the brightness around the shadow portion may be only slightly bright. In that case, the color of the shadow portion may remain RGB (0, 0, 0), and the tone curve may be adjusted to increase the overall brightness so as to widen the color range of the other portions.
  • the rendering unit 20 When the rendering unit 20 renders virtual objects in virtual space or polygon meshes in real space, the depth values of these objects are written in the scene depth buffer 34, and the context between the objects is determined.
  • the post-process unit 40 performs after-effect processing on the CG image of the rendering result based on the brightness of the transmitted real space. For example, when the real space is dark, the tone curve of the CG image is adjusted so that the output CG image is also dark.
  • the image generation device 300 of the second embodiment since the light hitting condition by the virtual light source is rendered according to the shape of the mesh in the real space, it is not necessary to raise the bottom of all the pixels and the brightness of the shadow portion. It is sufficient to render and output so that is lower than other parts. Therefore, in the transmissive head-mounted display 200, the second dimming element 120 is also unnecessary.
  • an image generation technique for expressing the shadow of a virtual object has been described by taking the transmissive head-mounted display 200 as an example.
  • this image generation technique is not limited to the transmissive head-mounted display 200, and is not limited to the transmissive head-mounted display 200.
  • the shadow of a virtual object can be expressed by applying the image generation technique of the present invention not only to a head-mounted display mounted at the eyepiece position but also to a transmissive display viewed from a distant position.
  • This invention can be used for image generation technology.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

透過型ディスプレイに表示される画像を生成する画像生成装置画像生成装置３００を提供する。画像生成装置３００は、現実空間に重畳される画像を生成する際、現実空間に映る仮想オブジェクトの影の領域を相対的に暗く見えるように、仮想オブジェクトが重畳されない背景領域を所定の輝度の背景色で描画した画像を生成する。レンダリング部２０は、仮想オブジェクトをレンダリングするとともに、現実空間のメッシュ構造をレンダリングし、現実空間のメッシュ構造に映る仮想オブジェクトの影をレンダリングする。画素値変換部５０は、背景領域が一律に所定の輝度の背景色になるように、全画素の色を底上げする。影・背景処理部６０は、仮想オブジェクトの影の領域を判別し、影以外の背景領域を前記背景色に設定し、影の領域を背景色以下の輝度の色に設定する。

Description

画像生成装置および画像生成方法
　この発明は、画像生成技術に関する。
　ヘッドマウントディスプレイを装着したユーザの視線方向に合わせて仮想現実（ＶＲ(Virtual Reality)）の映像をヘッドマウントディスプレイに表示することが行われている。ヘッドマウントディスプレイが非透過型である場合、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まる。
　非透過型ヘッドマウントディスプレイを装着したユーザは外界を直接見ることができないが、光学透過型ヘッドマウントディスプレイでは、外界を見ながら、外界に重畳されたコンピュータグラフィックス（ＣＧ(Computer Graphics)）の画像を見ることができる。
　光学透過型ヘッドマウントディスプレイは、ＣＧによって生成された仮想世界のオブジェクトを外界に重畳させることで拡張現実（ＡＲ(Augmented Reality)）の映像を生成して表示する。拡張現実の映像は、現実世界から切り離された仮想現実とは違って、現実世界が仮想オブジェクトで拡張されたものであり、ユーザは現実世界とのつながりを意識しつつ、仮想世界を体験することができる。
　透過型ヘッドマウントディスプレイでは、外界にＣＧ画像を重畳するが、ＣＧ画像の黒色は透過扱いになる。黒色を重畳しようとしても、透過になってしまうため、仮想オブジェクトの影を描画して表示することができない。影を表示するためには影の領域だけ輝度を落として暗くする必要があるが、調光素子を用いて透過型ヘッドマウントディスプレイの光学素子の全体を一律に遮光はできても、影の領域だけを部分的に遮光することはできない。仮に透過率を部分的に変えられる調光素子を実現できたとしても、接眼位置にある調光素子は目の焦点で輝度を変えるものであるため、現実世界で輝度が下がっているようには見えず、現実空間に落ちる仮想オブジェクトの影を表現することはできない。
　本発明はこうした課題に鑑みてなされたものであり、その目的は、現実空間に重畳される仮想オブジェクトの影を表現することができる画像生成技術を提供することにある。
　上記課題を解決するために、本発明のある態様の画像生成装置は、透過型ディスプレイに表示される画像を生成する画像生成装置であって、現実空間に重畳される画像を生成する際、前記現実空間に映る仮想オブジェクトの影の領域が相対的に暗く見えるように、前記仮想オブジェクトが重畳されない背景領域を所定の輝度の背景色で描画した画像を生成する。
　本発明の別の態様は、画像生成方法である。この方法は、透過型ディスプレイに表示される画像を生成する画像生成方法であって、現実空間に重畳される画像を生成する際、前記現実空間に映る仮想オブジェクトの影の領域が相対的に暗く見えるように、前記仮想オブジェクトが重畳されない背景領域を所定の輝度の背景色で描画した画像を生成する。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、現実空間に重畳される仮想オブジェクトの影を表現することができる。
第１の実施の形態に係る透過型ディスプレイの構成図である。 第１の実施の形態に係る画像生成装置の構成図である。 透過型ヘッドマウントディスプレイを透過して見える外界の現実空間を示す図である。 従来手法によってレンダリングされる仮想空間の仮想オブジェクト４００を示す図である。 従来手法によって、透過される現実空間に仮想オブジェクト４００が重畳される様子を示す図である。 本実施の形態の画像生成方法によってレンダリングされる仮想オブジェクト４００を示す図である。 本実施の形態の画像生成方法によって、透過される現実空間に仮想オブジェクト４００が重畳される様子を示す図である。 本実施の形態の画像生成手順を示すフローチャートである。 第２の実施の形態に係る画像生成装置の構成図である。
　図１は、第１の実施の形態に係る透過型ディスプレイ１００の構成図である。
　透過型ヘッドマウントディスプレイ２００は、「ウェアラブルディスプレイ」の一例である。ここでは、透過型ヘッドマウントディスプレイ２００に表示される画像の生成方法を説明するが、本実施の形態の画像生成方法は、狭義の透過型ヘッドマウントディスプレイ２００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。
　透過型ヘッドマウントディスプレイ２００は、透過型ディスプレイ１００、第一調光素子１１０および第二調光素子１２０を含む。視点１３０から見て、透過型ディスプレイ１００の外界側に第一調光素子１１０が設けられ、透過型ディスプレイ１００の手前に第二調光素子１２０が設けられる。第一調光素子１１０および第二調光素子１２０は、一例として液晶デバイス、エレクトロクロミックデバイスなどである。
　透過型ディスプレイ１００は、ハーフミラー等により、ＣＧなどの映像を表示しながら、光学的に外界を透過して見ることができる光学素子である。
　第一調光素子１１０は外界の強い光を遮光するために設けられる。透過型ヘッドマウントディスプレイ２００を屋外のような明るい場所で使用するときは第一調光素子１１０の透過率を下げることで遮光する。外光の強い環境での使用を前提としないのであれば、第一調光素子１１０は必須の構成ではない。
　第二調光素子１２０は透過型ディスプレイ１００に表示されるＣＧ画像の輝度を調整するために設けられる。後述のように仮想オブジェクトの影を表現するために透過型ディスプレイ１００の輝度を全体的に底上げするため、第二調光素子１２０の透過率を下げて透過型ディスプレイ１００の輝度を下げる。背景領域の輝度が明るくなることに問題がなければ、第二調光素子１２０は必須の構成ではない。
　ユーザは視点１３０から外界を第一調光素子１１０、透過型ディスプレイ１００、第二調光素子１２０を通して見る。
　図２は、第１の実施の形態に係る画像生成装置３００の構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
　透過型ヘッドマウントディスプレイ２００は、無線または有線で画像生成装置３００に接続される。画像生成装置３００は、透過型ヘッドマウントディスプレイ２００の姿勢情報を参照して、透過型ヘッドマウントディスプレイ２００に表示するべき画像を描画し、透過型ヘッドマウントディスプレイ２００に伝送する。
　画像生成装置３００の構成を透過型ヘッドマウントディスプレイ２００に内蔵させて一体化してもよく、あるいは画像生成装置３００の構成の少なくとも一部を透過型ヘッドマウントディスプレイ２００に搭載してもよい。また、画像生成装置３００の少なくとも一部の機能を、ネットワークを介して画像生成装置３００に接続されたサーバに実装してもよい。
　空間認識部１０は、外界の現実空間の認識を行い、現実空間をポリゴンメッシュ構造でモデル化し、現実空間のメッシュデータをレンダリング部２０に与える。現実世界の物体の形状情報や奥行き情報は、現実世界の空間を３Ｄスキャンして空間認識することで得られる。たとえば、赤外線パターン、Ｓｔｒｕｃｔｕｒｅｄ　Ｌｉｇｈｔ、ＴＯＦ（Time Of Flight）などの方式のデプスセンサを用いて現実空間の奥行き情報を取得したり、ステレオカメラの視差情報から現実空間の奥行き情報を取得することができる。このように現実空間はあらかじめ３Ｄスキャンされ、ポリゴンメッシュ構造でモデリングされる。
　レンダリング部２０は、仮想空間の仮想オブジェクトをレンダリングするとともに、空間認識部１０により生成された現実空間のメッシュ構造をレンダリングし、現実空間のメッシュ構造に映る仮想オブジェクトの影をレンダリングする。
　より具体的には、レンダリング部２０は、仮想オブジェクトをレンダリングしてカラー値を画素バッファ３２に保存するとともに、現実空間のメッシュ構造をたとえば白（ＲＧＢ（２５５，２５５，２５５））でレンダリングして画素バッファ３２に保存する。仮想空間の仮想オブジェクトはレンダリングされてカラー値が生成されるが、現実空間の壁、床、天井、静止物体などの現実のオブジェクトはレンダリングされても、色情報は生成されずに白一色で描画される。
　さらに、レンダリング部２０は、仮想オブジェクトが現実空間のメッシュ構造に落とす影をたとえば黒（ＲＧＢ（０，０，０））やアルファ値を設定した半透明の色でレンダリングして画素バッファ３２に保存する。
　影を反映する方法として他にも、シャドウマッピングやレイトレーシングを使って影をレンダリングし、影のみポストプロセスなどで暗めに重畳する方法もある。
　ここでは仮想オブジェクトの影を例として挙げたが、仮想オブジェクトが現実空間へ与える光に関する表現は影以外にもいろいろ考えられる。レンダリング部２０は、現実空間に対する仮想空間の光に関する表現、具体的には仮想オブジェクトが現実オブジェクトに落とす影や現実空間への仮想オブジェクトの映り込み、手前にある仮想空間のオブジェクトの背後が透けて見える表現、仮想空間における仮想の光源によるライティング表現などを半透明のＣＧ画像として描画する。たとえばシャドウマッピングは光源からの深度マップを平面に投影する方法やレイトレーシングなどの手法を用いて影や映り込みを描画することができる。仮想オブジェクトの影や映り込みの半透明ＣＧ画像を現実空間に重畳することで現実空間に対する仮想オブジェクトの影や映り込みを表現することができる。現実空間のオブジェクトは白一色でレンダリングされているため、影や映り込みが描画された領域とは区別することができる。
　レンダリング部２０が仮想空間の仮想オブジェクトや現実空間のポリゴンメッシュをレンダリングする際、これらのオブジェクトの奥行き値をシーンデプスバッファ３４に書き込み、オブジェクト間の前後関係を判定する。オブジェクトが描画されない画素はシーンデプスバッファ３４において具体的なデプス値が書き込まれず、シーンデプス値は無限大（不定）である。
　レンダリング部２０は、現実空間のメッシュ構造をレンダリングする際、実空間デプスバッファ３６の対応する画素位置にデプス値を書き込む。レンダリング部２０は、現実空間のメッシュ構造に影をレンダリングすることもあるが、その場合は実空間デプスバッファ３６の対応する画素位置にデプス値が既に書き込まれていることに留意する。実空間デプスバッファ３６にデプス値を書き込む代わりに、所定の値、たとえば１を書き込んでもよい。実空間デプスバッファ３６において、現実空間のメッシュ構造がレンダリングされない画素位置にはデプス値または１が書き込まれないため、初期値（たとえば無限大やゼロ）のままである。
　シーンデプスバッファ３４とは別に実空間デプスバッファ３６を設ける理由は、仮想オブジェクトを重畳せずに現実空間をそのまま透過させる領域（「背景領域」と呼ぶ）と、仮想オブジェクトが描画される領域を区別するためである。
　透過率制御部４５は、透過型ヘッドマウントディスプレイ２００の第一調光素子１１０および第二調光素子１２０の透過率を必要に応じて制御する。後述のように、仮想オブジェクトの影が相対的に暗く見えるように、仮想オブジェクトを重畳させずに現実空間がそのまま透過する背景領域をグレーの背景色で光らせるため、透過型ヘッドマウントディスプレイ２００の透過型ディスプレイ１００の輝度を全体的に下げる必要がある。そこで、透過率制御部４５は、背景領域が発光していないように見えるように、第二調光素子１２０の透過率を下げる調整を行う。
　第二調光素子１２０の透過率を下げることで、透過型ディスプレイ１００の輝度、階調、鮮やかさが犠牲になるため、透過率制御部４５は、影を表現する必要がない場合、第二調光素子１２０を完全透過にする。
　透過率制御部４５は、レンダリング部２０により生成されるＣＧ画像の輝度のダイナミックレンジを参照して、第二調光素子１２０の透過率を動的に変えてもよい。透過率制御部４５は、影を濃く見せるために背景色の輝度を上げた場合は、それに合わせて第二調光素子１２０の透過率を下げる調整を行ってもよい。
　また、透過率制御部４５は、外光の影響が強い屋外などで利用する場合、外光の強度に応じて、第一調光素子１１０の透過率を下げる調整を行い、透過型ディスプレイ１００に表示されるＣＧ画像が見えやすくなるように遮光する。
　さらに、透過率制御部４５は、第二調光素子１２０の透過率に合わせて、第一調光素子１１０の透過率を調整してもよい。第二調光素子１２０の透過率を下げて暗くする場合、第一調光素子１１０の透過率を上げて、外界の光をより多く取り入れることができる。
　ポストプロセス部４０は、レンダリング部２０により生成された仮想空間と現実空間の描画データに対して、仮想オブジェクトの影を表示するための処理を実行する。
　画素値変換部５０は、仮想オブジェクトを重畳させずに現実空間をそのまま透過させる背景領域の色（「背景色」と呼ぶ）がグレー（たとえばＲＧＢ（２０，２０，２０））になるように、画素バッファ３２に格納された全画素のカラー値を次式によって底上げし、変換後の各画素のカラー値を画素バッファ３２に保存する。
　ＲＧＢ’＝ＲＧＢ＊（２５５－２０）／２５５＋２０
ここで、ＲＧＢは各画素の元のＲＧＢ各色の値であり、ＲＧＢ’は各画素の変換後のＲＧＢ各色の値である。この変換により、白（ＲＧＢ（２５５，２５５，２５５））は白のままに残して、階調をスケーリングにより落として、全体的に（２０，２０，２０）だけ底上げすることができる。
　影・背景処理部６０は、実空間デプスバッファ３６を参照して、仮想オブジェクトの影の領域を判別して黒（ＲＧＢ（０，０，０））で上書きするとともに、影以外の背景領域を判別して背景色（ＲＧＢ（２０，２０，２０））で塗りつぶす処理を行う。
　影の領域の判別方法は次のようにして行う。まず実空間デプスバッファ３６にデプス値または１が書き込まれている領域は、現実空間が描画されているので仮想オブジェクトの影が映る可能性がある。影が映っていない現実空間の領域は白で描画されている。そこで、実空間デプスバッファ３６にデプス値または１が書き込まれており、かつ、色が白ではない領域が影であると判別する。影・背景処理部６０は、影と判別された領域を黒（ＲＧＢ（０，０，０））で上書きし、その領域を透過させる。影の色は、背景色（ＲＧＢ（２０，２０，２０））以下であればよいので、黒（ＲＧＢ（０，０，０）に限らず、ＲＧＢ（２０，２０，２０）～ＲＧＢ（０，０，０）の間で調整してもよい。また、影の境界をアンチエイリアシングしてもよい。
　実空間デプスバッファ３６にデプス値または１が書き込まれており、かつ、影ではない領域は、背景領域であり、何も重畳されない領域であるから、背景色（ＲＧＢ（２０，２０，２０））で上書きする。これにより、背景領域は全体的に弱く光るようになり、透過する影の領域は相対的に暗く見えるため、現実空間に仮想オブジェクトの影が映っているように見える。
　ポストプロセス部４０は、これ以外にも、被写界深度調整、トーンマッピング、アンチエイリアシングなどのポストプロセスを施し、ＣＧ画像が自然で滑らかに見えるように後処理してもよい。
　リプロジェクション部７０は、ポストプロセスが施されたＣＧ画像に対してリプロジェクション処理を施し、透過型ヘッドマウントディスプレイ２００の最新の視点位置と視線方向から見える画像に変換する。
　ここで、リプロジェクションについて説明する。透過型ヘッドマウントディスプレイ２００にヘッドトラッキング機能をもたせて、ユーザの頭部の動きと連動して視点や視線方向を変えて仮想現実の映像を生成した場合、仮想現実の映像の生成から表示までに遅延があるため、映像生成時に前提としたユーザの頭部の向きと、映像を透過型ヘッドマウントディスプレイ２００に表示した時点でのユーザの頭部の向きとの間でずれが発生し、ユーザは酔ったような感覚（「ＶＲ酔い（Virtual Reality Sickness）」などと呼ばれる）に陥ることがある。
　そこで、「タイムワープ」または「リプロジェクション」と呼ばれる処理を行い、レンダリングした画像を透過型ヘッドマウントディスプレイ２００の最新の位置と姿勢に合わせて補正することで人間がずれを感知しにくいようにする。
　歪み処理部８６は、リプロジェクション処理が施されたＣＧ画像に対して透過型ヘッドマウントディスプレイ２００の光学系で生じる歪みに合わせて画像を変形（distortion）させて歪ませる処理を施し、歪み処理が施されたＣＧ画像を表示部９０に供給する。
　表示部９０は、生成されたＣＧ画像を透過型ヘッドマウントディスプレイ２００に伝送して透過型ヘッドマウントディスプレイ２００にＣＧ画像を表示させる。
　表示部９０により提供されるＣＧ画像は、透過型ヘッドマウントディスプレイ２００の透過型ディスプレイ１００に表示され、現実空間に重畳される。これによりユーザは現実空間の一部にＣＧ画像が重畳された拡張現実画像を見ることができる。
　図３、図４Ａ、図４Ｂ、図５Ａ、および図５Ｂの例を参照して本実施の形態の画像生成方法を説明する。
　図３は、透過型ヘッドマウントディスプレイ２００を透過して見える外界の現実空間を示す図である。窓のある会議室にテーブル、椅子、ホワイトボードが設置されている。空間認識部１０は、この現実空間の空間認識を行ってポリゴンメッシュデータを生成する。
　図４Ａは、従来手法によってレンダリングされる仮想空間の仮想オブジェクト４００を示す図である。ここでは、比較のため、仮想オブジェクト４００に影をつけない場合を示す。仮想オブジェクト４００が存在しない背景領域４２０は黒で塗りつぶされ、透過型ディスプレイ１００に表示される際は、黒の背景領域４２０は透過され、現実空間がそのまま透過されて見える。
　図４Ｂは、従来手法によって、透過される現実空間に仮想オブジェクト４００が重畳される様子を示す図である。
　従来手法では、レンダリングされた仮想オブジェクト４００が現実空間に重畳され、背景領域は透過されて現実空間がそのまま見えるため、仮想オブジェクト４００が現実空間とは切り離されて独立して存在しているような不自然さが感じられる。
　図５Ａは、本実施の形態の画像生成方法によってレンダリングされる仮想オブジェクト４００を示す図である。
　本実施の形態では、レンダリング部２０は、仮想オブジェクト４００をレンダリングするとともに、現実空間のメッシュ構造を白でレンダリングし、現実空間のメッシュ構造に映る仮想オブジェクトの影４１０を黒でレンダリングする。画素値変換部５０は、仮想オブジェクト４００の影４１０以外の背景領域４２０をグレーで塗りつぶす。
　図５Ｂは、本実施の形態の画像生成方法によって、透過される現実空間に仮想オブジェクト４００が重畳される様子を示す図である。
　影４１０以外の背景領域はグレーで現実空間に重畳されるが、仮想オブジェクト４００の影４１０は黒色のため透過される。影４１０以外の背景領域が弱く光るため、仮想オブジェクト４００の影４１０は相対的に暗く見える。本実施の形態の画像生成方法では、仮想オブジェクト４００の影４１０が現実空間に映っているかのような表現ができるため、仮想オブジェクト４００が現実空間から切り離されているのではなく、仮想オブジェクト４００があたかも現実空間に存在しているような自然さが感じられる。
　図６は、本実施の形態の画像生成手順を示すフローチャートである。
　空間認識部１０は、外界の現実空間を認識し、メッシュデータを生成する（Ｓ１０）。
　レンダリング部２０は、現実空間のメッシュを白でレンダリングし、仮想空間の仮想オブジェクトをカラー値でレンダリングする（Ｓ２０）。さらに、レンダリング部２０は、現実空間のメッシュに映る仮想オブジェクトの影を黒でレンダリングする（Ｓ３０）。
　画素値変換部５０は、レンダリング結果の全画素を背景色がグレーになるように底上げする（Ｓ４０）。影・背景処理部６０は、影を黒で上書きし、影以外の背景領域を背景色のグレーで上書きする（Ｓ５０）。
　リプロジェクション部７０は、レンダリング結果の画像に対してリプロジェクション処理を施す（Ｓ６０）。歪み処理部８０は、リプロジェクション処理された画像に歪み処理を施す（Ｓ７０）。
　表示部９０は、透過される現実空間にレンダリングされた画像を重畳表示する（Ｓ８０）。背景領域がやや明るく表示され、透過される影の領域は相対的に暗くなるため、現実空間に影が落ちているように見える。
　次に第２の実施の形態の画像生成装置３００を説明する。第２の実施の形態では、背景領域の画素値を一律に底上げするのではなく、仮想光源から現実空間に映る光と影をレンダリングすることで、現実空間に映る仮想オブジェクトの影を表現する。
　図７は、第２の実施の形態に係る画像生成装置３００の構成図である。
　空間認識部１０は、外界の現実空間の認識を行い、現実空間をポリゴンメッシュ構造でモデル化し、現実空間のメッシュデータをレンダリング部２０に与える。
　レンダリング部２０は、仮想空間の仮想オブジェクトをレンダリングするとともに、仮想光源を想定して空間認識部１０により生成された現実空間のメッシュ構造をレンダリングし、現実空間のメッシュ構造に映る仮想オブジェクトの影をレンダリングする。仮想光源は、光源推定を行って、現実空間の光源の位置と合わせてもよい。たとえば、屋外であれば、日時とその場所の天気にもとづいて太陽の位置と光源の種類や明るさを決めてもよい。
　より具体的には、レンダリング部２０は，仮想オブジェクトをレンダリングしてカラー値を画素バッファ３２に保存するとともに、現実空間のメッシュのマテリアルまたはテクスチャの色をたとえば暗いグレー（ＲＧＢ（１０，１０，１０））であると仮定して、メッシュへの仮想光源からの光の当たり方を反映したカラー値を求め、画素バッファ３２に保存する。
　さらに、レンダリング部２０は、仮想オブジェクトが現実空間のメッシュ構造に落とす影をたとえば黒（ＲＧＢ（０，０，０））やアルファ値を設定した半透明の色でレンダリングして画素バッファ３２に保存する。
　最終的な影の輝度は、出力されるＣＧ画像の輝度のダイナミックレンジを参照して決めればよい。レンダリング時の光源などの設定によっては、最終的な影の輝度がＲＧＢ（１０，１０，１０）よりも明るくなり、影の周囲はさらに明るくなることもあり得る。その場合、ＣＧ画像中の最も暗い部分がＲＧＢ（０，０，０）になるようにブラックレベル補正をしてもよい。また、ＣＧ画像が全体的に暗い場合、影の部分がＲＧＢ（０，０，０）であっても、その周囲の輝度がわずかに明るいだけであることもある。その場合、影の部部の色はＲＧＢ（０，０，０）のままで、それ以外の部分の色のレンジを広げるように、トーンカーブを調整して全体の輝度を上げてもよい。
　レンダリング部２０が仮想空間の仮想オブジェクトや現実空間のポリゴンメッシュをレンダリングする際、これらのオブジェクトの奥行き値をシーンデプスバッファ３４に書き込み、オブジェクト間の前後関係を判定する。
　ポストプロセス部４０は、透過される現実空間の輝度にもとづいて、レンダリング結果のＣＧ画像にアフターエフェクト処理を施す。たとえば、現実空間が暗い場合、出力されるＣＧ画像も暗くなるようにＣＧ画像のトーンカーブを調整する。
　透過率制御部４５、リプロジェクション部７０、歪み処理部８０、および表示部９０の動作については実施の形態と同じであるから、ここでは説明を省略する。
　第２の実施の形態の画像生成装置３００によれば、現実空間のメッシュの形状に合わせて仮想光源による光の当たり具合をレンダリングするため、全画素を底上げする必要がなく、影の部分の輝度を他の部分よりも下げるようなレンダリングをして出力すればよい。したがって、透過型ヘッドマウントディスプレイ２００において第二調光素子１２０も不要になる。
　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　上記の説明では、透過型ヘッドマウントディスプレイ２００を例に、仮想オブジェクトの影を表現する画像生成技術を説明したが、この画像生成技術は、透過型ヘッドマウントディスプレイ２００に限らず、透過型ディスプレイ全般に適用することができる。たとえば、タブレットサイズの透過型ディスプレイをかざして外界に重畳される仮想世界を見たり、現実のオブジェクトが存在する空間に透過型ディスプレイを設置し、透過型ディスプレイを通して向こう側にある現実のオブジェクトに重畳される仮想世界を見ることも行われている。接眼位置に装着されるヘッドマウントディスプレイに限らず、離れた位置から見る透過型ディスプレイにおいても、本発明の画像生成技術を適用して、仮想オブジェクトの影を表現することができる。
　この発明は、画像生成技術に利用できる。
　１０　空間認識部、　２０　レンダリング部、　３０　画像データ記憶部、　３２　画素バッファ、　３４　シーンデプスバッファ、　３６　実空間デプスバッファ、　４０　ポストプロセス部、　４５　透過率制御部、　５０　画素値変換部、　６０　影・背景処理部、　７０　リプロジェクション部、　８０　歪み処理部、　９０　表示部、　１００　透過型ディスプレイ、　１１０　第一調光素子、　１２０　第二調光素子、　１３０　視点、　２００　透過型ヘッドマウントディスプレイ、　３００　画像生成装置。

Claims (8)

  1. 　透過型ディスプレイに表示される画像を生成する画像生成装置であって、
    　現実空間に重畳される画像を生成する際、前記現実空間に映る仮想オブジェクトの影の領域が相対的に暗く見えるように、前記仮想オブジェクトが重畳されない背景領域を所定の輝度の背景色で描画した画像を生成することを特徴とする画像生成装置。
  2. 　前記仮想オブジェクトをレンダリングするとともに、前記現実空間のメッシュ構造をレンダリングし、前記現実空間のメッシュ構造に映る前記仮想オブジェクトの影をレンダリングするレンダリング部と、
    　前記背景領域が一律に所定の輝度の背景色になるように、全画素の色を底上げする画素値変換部と、
    　前記仮想オブジェクトの影の領域を判別し、影以外の背景領域を前記背景色に設定し、影の領域を背景色以下の輝度の色に設定する影・背景処理部とを含むことを特徴とする請求項１に記載の画像生成装置。
  3. 　全画素の色の底上げに応じて、前記透過型ディスプレイの手前に設けられた調光素子の透過率を下げるように調整する透過率制御部をさらに含むことを特徴とする請求項２に記載の画像生成装置。
  4. 　前記透過型ディスプレイの手前に設けられた調光素子の透過率に合わせて、前記透過型ディスプレイの外界側に設けられた別の調光素子の透過率を調整することを特徴とする請求項３に記載の画像生成装置。
  5. 　前記仮想オブジェクトをレンダリングするとともに、仮想光源を想定して前記現実空間のメッシュ構造をレンダリングすることにより、前記メッシュ構造に当てられた仮想光源による光を反映した背景色で前記背景領域をレンダリングし、前記現実空間のメッシュ構造に映る前記仮想オブジェクトの影をレンダリングするレンダリング部を含むことを特徴とする請求項１に記載の画像生成装置。
  6. 　レンダリングされた画像全体の輝度のダイナミックレンジまたは現実空間の輝度にもとづいて、レンダリングされた画像のトーンカーブを調整するポストプロセス部をさらに含むことを特徴とする請求項５に記載の画像生成装置。
  7. 　透過型ディスプレイに表示される画像を生成する画像生成方法であって、
    　現実空間に重畳される画像を生成する際、前記現実空間に映る仮想オブジェクトの影の領域が相対的に暗く見えるように、前記仮想オブジェクトが重畳されない背景領域を所定の輝度の背景色で描画した画像を生成することを特徴とする画像生成方法。
  8. 　透過型ディスプレイに表示される画像を生成するプログラムであって、
    　現実空間に重畳される画像を生成する際、前記現実空間に映る仮想オブジェクトの影の領域が相対的に暗く見えるように、前記仮想オブジェクトが重畳されない背景領域を所定の輝度の背景色で描画した画像を生成する機能をコンピュータに実現させることを特徴とするプログラム。
PCT/JP2020/011798 2020-03-17 2020-03-17 画像生成装置および画像生成方法 WO2021186581A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/907,827 US11948483B2 (en) 2020-03-17 2020-03-17 Image generation apparatus and image generation method
PCT/JP2020/011798 WO2021186581A1 (ja) 2020-03-17 2020-03-17 画像生成装置および画像生成方法
JP2022508679A JP7454648B2 (ja) 2020-03-17 2020-03-17 画像生成装置および画像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/011798 WO2021186581A1 (ja) 2020-03-17 2020-03-17 画像生成装置および画像生成方法

Publications (1)

Publication Number Publication Date
WO2021186581A1 true WO2021186581A1 (ja) 2021-09-23

Family

ID=77771888

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/011798 WO2021186581A1 (ja) 2020-03-17 2020-03-17 画像生成装置および画像生成方法

Country Status (3)

Country Link
US (1) US11948483B2 (ja)
JP (1) JP7454648B2 (ja)
WO (1) WO2021186581A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021149526A1 (ja) * 2020-01-23 2021-07-29 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013517579A (ja) * 2010-03-25 2013-05-16 ビズモードライン カンパニー リミテッド 拡張現実システム
US20160125644A1 (en) * 2014-11-04 2016-05-05 Atheer, Inc. Method and appartus for selectively integrating sensory content
JP2019004471A (ja) * 2018-07-12 2019-01-10 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2019053423A (ja) * 2017-09-13 2019-04-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019152794A (ja) * 2018-03-05 2019-09-12 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2019176577A1 (ja) * 2018-03-14 2019-09-19 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9311751B2 (en) 2011-12-12 2016-04-12 Microsoft Technology Licensing, Llc Display of shadows via see-through display
US9652892B2 (en) 2013-10-29 2017-05-16 Microsoft Technology Licensing, Llc Mixed reality spotlight
KR102568898B1 (ko) * 2016-10-26 2023-08-22 삼성전자주식회사 디스플레이 장치 및 컨텐츠를 디스플레이하는 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013517579A (ja) * 2010-03-25 2013-05-16 ビズモードライン カンパニー リミテッド 拡張現実システム
US20160125644A1 (en) * 2014-11-04 2016-05-05 Atheer, Inc. Method and appartus for selectively integrating sensory content
JP2019053423A (ja) * 2017-09-13 2019-04-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019152794A (ja) * 2018-03-05 2019-09-12 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2019176577A1 (ja) * 2018-03-14 2019-09-19 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
JP2019004471A (ja) * 2018-07-12 2019-01-10 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法

Also Published As

Publication number Publication date
JPWO2021186581A1 (ja) 2021-09-23
US20230118678A1 (en) 2023-04-20
US11948483B2 (en) 2024-04-02
JP7454648B2 (ja) 2024-03-22

Similar Documents

Publication Publication Date Title
JP7386825B2 (ja) 仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法
CA3054619C (en) Mixed reality system with virtual content warping and method of generating virtual content using same
JP6732716B2 (ja) 画像生成装置、画像生成システム、画像生成方法、およびプログラム
US20100110069A1 (en) System for rendering virtual see-through scenes
US11120632B2 (en) Image generating apparatus, image generating system, image generating method, and program
US20120120071A1 (en) Shading graphical objects based on face images
JP2012079291A (ja) プログラム、情報記憶媒体及び画像生成システム
US11545108B2 (en) Modifying rendered image data based on ambient light from a physical environment
JP7234021B2 (ja) 画像生成装置、画像生成システム、画像生成方法、およびプログラム
US11941729B2 (en) Image processing apparatus, method for controlling image processing apparatus, and storage medium
WO2021186581A1 (ja) 画像生成装置および画像生成方法
KR102336156B1 (ko) 초고화질 이미지 구현 방법 및 시스템
JP2023099443A (ja) Ａｒ処理方法及び装置
JP7377014B2 (ja) 画像表示装置、画像表示システムおよび画像表示方法
EP4070538A1 (en) Encoding stereo splash screen in static image
US11915349B1 (en) Extrusion technique for curve rendering
KR100900076B1 (ko) 경계선이 자연스러운 3차원 텍스쳐 장치 및 방법
WO2022196368A1 (ja) 表示装置、表示方法およびプログラム
EP4246966A2 (en) Lenticular image generation
WO2023049304A1 (en) Expanded field of view using multiple cameras
JP2024079674A (ja) 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
JP2021015372A (ja) 画像表示装置、画像表示システムおよび画像表示方法
NZ751028B2 (en) Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods
NZ791691A (en) Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20925136

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022508679

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20925136

Country of ref document: EP

Kind code of ref document: A1