WO2024095753A1 - 表示処理装置、および表示処理方法、並びに記憶媒体 - Google Patents

表示処理装置、および表示処理方法、並びに記憶媒体 Download PDF

Info

Publication number
WO2024095753A1
WO2024095753A1 PCT/JP2023/037470 JP2023037470W WO2024095753A1 WO 2024095753 A1 WO2024095753 A1 WO 2024095753A1 JP 2023037470 W JP2023037470 W JP 2023037470W WO 2024095753 A1 WO2024095753 A1 WO 2024095753A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
visual field
sampling interval
data
virtual object
Prior art date
Application number
PCT/JP2023/037470
Other languages
English (en)
French (fr)
Inventor
仕豪 温
雅人 赤尾
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2024095753A1 publication Critical patent/WO2024095753A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Definitions

  • This disclosure relates to a display processing device, a display processing method, and a storage medium, and in particular to a display processing device, a display processing method, and a storage medium that are capable of displaying holographic images with low latency and low power consumption.
  • CGH Computer Generated Holography
  • CGH technology uses a computer to electrically address and control spatial light modulators (SLMs), directly controlling light waves and generating a holographic image through the resulting light focusing effect. Because CGH technology is realized through complex calculations, the processing load associated with the calculations is large and requires a long processing time.
  • SLMs spatial light modulators
  • ARHMDs and similar devices are worn by the user, there are limitations on their size, which in turn limits the computers that can be installed, and it is possible that they may not be able to provide sufficient processing speed to enable users to view hologram images created by CGHs without feeling unnatural.
  • Patent Document 1 a 3D image is not displayed over the entire display area, and a 2D image is viewed, particularly in the peripheral vision area, which reduces the stereoscopic effect when the entire image is viewed, and there is a risk of discomfort.
  • This disclosure has been made in light of these circumstances, and in particular, by effectively reducing the amount of calculations involved in CGH technology, it is possible to display natural hologram images with low latency and low power consumption.
  • the display processing device and storage medium of one aspect of the present disclosure are a display processing device including a gaze information acquisition unit that acquires user gaze information from a sensor, a resampling processing unit that resamples the sampling interval of depth data of three-dimensional data in the user's central visual field, which corresponds to the user's line of sight based on the gaze information, to be narrower than the sampling interval of the depth data of the three-dimensional data in the user's peripheral visual field, and a wavefront propagation processing unit that performs wavefront propagation processing of color data of the three-dimensional data based on the depth data resampled by the resampling processing unit, and generates a propagation signal representing a hologram, and a storage medium having a program stored therein that causes a computer to function as such a display processing device.
  • a display processing method includes the steps of acquiring user gaze information from a sensor, resampling the sampling interval of depth data of three-dimensional data in the user's central visual field, which corresponds to the user's line of sight based on the gaze information, to be narrower than the sampling interval of the depth data of the three-dimensional data in the user's peripheral visual field, and performing wavefront propagation processing of color data of the three-dimensional data based on the resampled depth data to generate a propagation signal representing a hologram.
  • a user's gaze information is acquired from a sensor, and the sampling interval of the depth data of the three-dimensional data in the user's central visual field, which corresponds to the user's line of sight based on the gaze information, is resampled to be narrower than the sampling interval of the depth data of the three-dimensional data in the user's peripheral visual field, and wavefront propagation processing is performed on the color data of the three-dimensional data based on the resampled depth data to generate a propagation signal representing a hologram.
  • 1A and 1B are diagrams illustrating an example of three-dimensional data for explaining the principle of displaying a hologram image.
  • 2A to 2C are diagrams illustrating an RGB map and a depth map generated based on the three-dimensional data of FIG. 1 .
  • 3 is a diagram for explaining an example of expressing the depth map of FIG. 2 in the coordinate system of FIG. 1 .
  • FIG. FIG. 4 is a diagram illustrating an example of the depth map of FIG. 3 being discretized and resampled.
  • 1 is a diagram for explaining the gaze direction, central visual field, effective visual field, and peripheral visual field of the human eye.
  • 4A and 4B are diagrams illustrating an example of the depth map of FIG. 3 being discretized and resampled using the techniques of the present disclosure.
  • FIG. 4A to 4C are diagrams illustrating other examples of the depth map of FIG. 3 being discretized and resampled using the techniques of the present disclosure.
  • FIG. 1 is a diagram illustrating an example of the configuration of a display system according to the present disclosure.
  • 9 is a diagram illustrating an example of the configuration of a modulation control unit in FIG. 8 .
  • 1A and 1B are diagrams illustrating the positional relationship between a hologram image and a spatial light modulator when viewed from the user's eye.
  • 13A to 13C are diagrams illustrating occlusion processing when the depth maps of all virtual objects are discretized and resampled with an equal number of layers.
  • FIGS. 11A to 11C are diagrams illustrating occlusion processing when discretized and resampled using the method of the present disclosure.
  • 10 is a flowchart illustrating a modulation control process by the modulation control unit of FIG. 9 .
  • FIG. 13 is a diagram showing an example of the arrangement of Pa and Pb in formulas (5) and (6).
  • FIG. 4 is a diagram illustrating a first modification example when the depth map of FIG. 3 is discretized and resampled using the technique of the present disclosure.
  • FIG. 4 is a diagram illustrating a second modification example when the depth map of FIG. 3 is discretized and resampled using the technique of the present disclosure. 2 shows an example of the configuration of a general-purpose computer.
  • FIG. 1 is a top view of five virtual objects 11-1 to 11-5, arranged upright in the horizontal direction (X direction) in the figure, with their triangular bottom surfaces abutting the floor surface, as viewed from the top bottom side.
  • the forward direction relative to the paper surface of FIG. 1 is the Y direction
  • the Z direction in the figure is the depth direction as seen from the viewer. Therefore, as shown in FIG. 1, the viewer views the five virtual objects 11-1 to 11-5 as triangular prisms extending vertically with their apexes protruding to the front, and arranged horizontally.
  • Three-dimensional data defined as three-dimensional virtual objects 11-1 to 11-5 as shown in Figure 1 is converted into a color map (RGB Map) consisting of RGB data (color data) as texture information shown in the left part of Figure 2, and a depth map (Depth Map) shown in the right part of Figure 2, by rendering corresponding to the line of sight V1.
  • RGB Map color map
  • Depth Map depth map
  • color distributions 11c-1 to 11c-5 corresponding to virtual objects 11-1 to 11-5, respectively, are arranged from the left in the figure. Note that in the color map in the left part of FIG. 2, color distributions 11c-1 to 11c-5 are expressed in the same color, but this is merely an example, and the distributions may correspond to the color schemes set on the surfaces of virtual objects 11-1 to 11-5.
  • depth distributions 11d-1 to 11d-5 corresponding to virtual objects 11-1 to 11-5, respectively, are arranged from the left in the figure.
  • the depth values closer to the viewer are expressed as darker and the depth values further away are expressed as lighter.
  • the depth map on the right side of FIG. 2 is converted to a representation from a direction corresponding to the top view of FIG. 1, it is expressed, for example, as shown in FIG. 3.
  • the depth distributions 11d-1 to 11d-5 in FIG. 2 corresponding to the virtual objects 11-1 to 11-5 are expressed as depth distributions 21-1 to 21-5, respectively.
  • the color map and the depth map generated by rendering based on the three-dimensional data will be collectively referred to as RGB+D data.
  • the RGB+D data generated by rendering based on the three-dimensional data in this way is discretized and resampled so that each depth value represented by the depth distribution of the depth map has a coarse granularity. More specifically, to make the granularity of the depth values coarser, the depth values are resampled so that the granularity is represented by multiple layers of coarse granularity. That is, the depth values are discretized as shown in Figure 4, and resampled so that they are represented by, for example, five layers.
  • the depth distributions 21-1 to 21-5 in FIG. 3 corresponding to the virtual objects 11-1 to 11-5, respectively, are discretized into five layers LN1 to LN5 and resampled to be expressed as depth distributions 31-1 to 31-5.
  • complex wavefront information is generated by wavefront propagation processing based on RGB+D data consisting of the depth map expressed by the depth distributions 31-1 to 31-5 consisting of the five layers LN1 to LN5 and the color map shown on the left side of FIG. 2.
  • a spatial light modulator is controlled based on the generated complex wavefront information, and a hologram image is projected and viewed by the viewer.
  • the above is the principle of displaying hologram images using CGH technology.
  • the stereoscopic effect can be expected to improve as the number of layers in the depth direction is increased and the spacing between layers is narrowed, but the amount of calculation increases, and there are concerns that the increased amount of calculation will cause processing delays and increase power consumption.
  • the amount of calculations can be reduced by reducing the number of layers in the depth direction and increasing the spacing between layers, which makes it possible to suppress processing delays and achieve power savings; however, this can lead to a reduction in the stereoscopic effect and cause viewers to feel uncomfortable when viewing hologram images.
  • the stereoscopic effect can be reduced and viewers can feel uncomfortable.
  • the central visual field CV is a visual field that has a range of a certain visual angle ⁇ c ( ⁇ c is, for example, about 2 degrees) centered on the line of sight, and is a visual field in which the shape and color of an object can be clearly recognized with high sensitivity.
  • the effective visual field EV is a visual field outside the central visual field CV, with a certain visual angle ⁇ e ( ⁇ e is, for example, approximately 20 degrees) centered on the line of sight ED.
  • ⁇ e is, for example, approximately 20 degrees
  • the degree of recognition is lower than that of the central visual field CV, it is a visual field in which it is possible to recognize the shape and color of objects to a certain extent.
  • the peripheral vision PV is the area outside the effective visual field EV, and has low sensitivity, allowing only a vague recognition of shape and color.
  • peripheral visual field PV is shown as the range indicated by the dotted line, but the entire visual field outside the effective visual field EV is the peripheral visual field. Therefore, in Figure 5, the visual field that includes everything outside the range enclosed by the dotted line of the effective visual field EV is the peripheral visual field.
  • the combined central visual field CV and effective visual field EV which is the visual field in which the human eye can recognize shape and color to a certain degree, will be collectively referred to as the central visual field CV.
  • central visual field we mean the range of the combined central visual field CV and effective visual field EV in Figure 5.
  • object direction the direction as seen by eye E
  • line of sight parallax angle the line of sight direction
  • the virtual object direction which is the direction as seen from the eye E (user's viewpoint) of each virtual object 11, may be the direction of a straight line connecting the eye E (user's viewpoint) to a specific position of each virtual object 11, such as the center of gravity, the closest position, or the farthest position.
  • the line of sight direction Vc1 is the virtual object direction itself. Therefore, for virtual object 11-3 (FIG. 1) located in the virtual object direction with line of sight direction Vc1, the line of sight parallax angle is the minimum value of 0. Therefore, depth distribution 21-3 corresponding to virtual object 11-3 is discretized and resampled into the maximum number of five layers LN1 to LN5, as in depth distribution 41-3.
  • the line of sight parallax angle is ⁇ d1 (>0) for virtual objects 11-2 and 11-4 located in the virtual object directions Vc1-1 and Vc1+1. Therefore, the depth distributions 21-2 and 21-4 corresponding to virtual objects 11-2 and 11-4 are discretized into three widely spaced layers LN1, LN3, and LN5, which are fewer than the number of layers for virtual object 11-3, as in depth distributions 41-2 and 41-4, and are resampled.
  • the line of sight parallax angle is ⁇ d2 (> ⁇ d1) for virtual objects 11-1 and 11-5 located in virtual object directions Vc1-2 and Vc1+2. Therefore, the depth distributions 21-1 and 21-5 corresponding to virtual objects 11-1 and 11-5 are discretized and resampled into two layers LN1 and LN5, which are spaced farther apart and have fewer layers than those of virtual objects 11-2 and 11-4, as in depth distributions 41-1 and 41-5.
  • the line of sight parallax angles for virtual objects 11-3 and 11-5 located in virtual object directions Vc2+1 and Vc2-1 are ⁇ d11 and ⁇ d12 ( ⁇ d11 ⁇ ⁇ d12) (>0). Therefore, the depth distributions 21-3 and 21-5 corresponding to virtual objects 11-3 and 11-5 are discretized and resampled into three layers LN1, LN3, and LN5, which are fewer than the five layers of virtual object 11-4 and have wider spacing, like depth distributions 51-3 and 51-5.
  • the line of sight parallax angle for virtual object 11-2 located in virtual object direction Vc-2 is ⁇ d13 (> ⁇ d11, ⁇ d12). Therefore, depth distribution 21-2 corresponding to virtual object 11-2 is discretized and resampled into two layers LN1 and LN5, which are further fewer and have a wider spacing than the three layers of virtual objects 11-3 and 11-5, like depth distribution 51-2.
  • the line of sight parallax angle for virtual object 11-1 located in virtual object direction Vc2-3 is ⁇ d14 (> ⁇ d13). Therefore, like depth distribution 51-1, the depth distribution 21-1 corresponding to virtual object 11-1 is discretized and resampled into only one layer LN3, which is even fewer than the two layers of virtual object 11-2.
  • the farther the gaze parallax angle of a virtual object 11 is from the gaze direction the fewer the number of layers in the depth direction, and the wider the interval between layers is set.
  • the number of layers in the depth direction is greater for virtual objects 11 in a range closer to the central visual field, where the line-of-sight parallax angle is smaller, and the interval between layers is set narrower. Therefore, in a range where the shape and color of an object can be recognized with high sensitivity by the user's eyes E, a virtual object with a detailed representation in the depth direction is displayed. In contrast, the number of layers in the depth direction is reduced for virtual objects 11 in the peripheral visual field, where the line-of-sight parallax angle is greater, and the interval between layers is set wider.
  • the virtual object is represented with a simplified representation in the depth direction, but the user's eyes E can only vaguely recognize the shape and color of the object in the peripheral visual field, so the impact is small.
  • the virtual object in the central visual field is limited to the entire area of the hologram image.
  • the virtual object in the peripheral visual field is all virtual objects other than the central visual field. Therefore, by reducing the number of layers of virtual objects in the peripheral visual field, it is possible to effectively reduce the amount of calculation for the entire hologram image. As a result, it is possible to reduce the overall amount of calculations involved in CGH technology, achieving low latency and power consumption, while displaying hologram images with a high stereoscopic effect and a natural feeling.
  • the holographic image display system disclosed herein is configured to be used as an ARHMD (Augmented Reality Head Mounted Display) worn by a user, but other configurations are also acceptable as long as they are capable of displaying holographic images.
  • ARHMD Augmented Reality Head Mounted Display
  • the display system 101 in FIG. 8 includes a light source 111, lenses 112 and 113, a beam splitter 114, a spatial light modulator (SLM) 115, a modulation control unit 116, and a gaze detection unit 117.
  • SLM spatial light modulator
  • the light source 111 generates a laser beam consisting of coherent light, which is incident on the spatial light modulator 115 via lenses 112 and 113 and a beam splitter 114.
  • the lenses 112 and 113 expand (adjust) the beam diameter of the laser light LS, which is coherent light from the light source 111, to match the size of the display surface of the spatial light modulator 115, like the laser light LE made of coherent light.
  • the laser light LE whose beam diameter has been expanded by the lenses 112 and 113, enters the spatial light modulator 115 via the beam splitter 114.
  • FIG. 8 shows an example in which the lenses 112 and 113 are made of two lenses.
  • the configuration may include two or more lenses or other optical systems.
  • the beam splitter 114 transmits the incident light LE, whose beam diameter has been expanded by the lenses 112 and 113, in the direction of the arrow R1, allowing it to enter the spatial light modulator 115 consisting of an SLM.
  • the beam splitter 114 also reflects the modulated light from the direction of the arrow R2, which is obtained by modulating the incident light LE by the spatial light modulator 115 and reflecting it, in the direction of the arrow R3 towards the eye E of the user who is the viewer, allowing it to enter the user's eye E.
  • the beam splitter 114 transmits the incident light from the real space in the direction of the arrow R4, allowing it to enter the user's eye E.
  • the spatial light modulator (SLM) 115 is controlled by the modulation control unit 116.
  • the spatial light modulator 115 electrically controls the spatial distribution (amplitude, phase, polarization, etc.) of the incident light, which is the laser light LE emitted by the light source 111 and has a beam diameter expanded by the lenses 112 and 113, to modulate (change the light) and reflect it.
  • the spatial light modulator 115 is composed of an element such as a liquid crystal.
  • the spatial light modulator 115 modulates the laser light LE as the incident light by controlling the element such as a liquid crystal by the modulation control unit 116, thereby changing the wavefront shape and generating a hologram image.
  • the incident light composed of the laser light LE is also simply referred to as the incident light LE.
  • the spatial light modulator 115 in this embodiment composed of a reflective SLM may be composed of a transmissive SLM.
  • the spatial light modulator 115 will be described using a phase-only SLM as an example, but is not limited to this and may be, for example, an amplitude-only SLM.
  • the spatial light modulator 115 in FIG. 8 is of the reflective type and the phase-shift limited type, so it modulates the incident light LE consisting of coherent light incident in the direction of the arrow R1, and reflects the reflected light consisting of the modulated light as a hologram image in the directions of the arrows R2 and R3 to be incident on the user's eye E.
  • the reflected light as a hologram image is projected onto the mirror image ISLM of the spatial light modulator 115, so that the user's eye E views the hologram image RI.
  • the incident light from the real space from the direction of the arrow R4 is also incident on the user's eye E, so that the user's eye E views the hologram image RI in a state superimposed on the real space.
  • the user views the hologram image RI displayed in AR in the real space through the beam splitter 114.
  • the modulation control unit 116 generates complex wavefront information based on RGB+D data consisting of a color map and a depth map obtained by rendering the three-dimensional data that defines the virtual object, and information on the user's line of sight detected by the line of sight detection unit 117. More specifically, the modulation control unit 116 generates complex wavefront information by wavefront propagation processing using the principles described with reference to Figures 1 to 7, and controls the spatial light modulator 115 based on the generated complex wavefront information. A detailed configuration example of the modulation control unit 116 will be described later in detail with reference to Figure 9.
  • the gaze detection unit 117 includes sensors such as an IMU (Inertial Measurement Unit) provided in the display system 101 consisting of an ARHMD worn on the user's head, and a camera that acquires images of the user's eyes and face.
  • the gaze detection unit 117 outputs information acquired by such sensors to the modulation control unit 116 as gaze information for identifying the user's gaze direction.
  • the gaze direction may not only be the gaze direction based on the position of the user's eyes, but also the normal direction near the center of the user's face in real space.
  • the gaze direction may also be the normal direction at the center position of both of the user's eyes, or the normal direction of both or one of the user's eyes or the forehead on the head. Therefore, hereinafter, the sensor information acquired by various sensors provided in the gaze detection unit 117 for identifying these gaze directions will be collectively referred to as gaze information.
  • the gaze direction will be identified based on the gaze information.
  • the modulation control unit 116 in Fig. 9 includes a three-dimensional image rendering unit 131, a resampling processing unit 132, a wavefront propagation unit 133, and an interference fringe conversion unit 134.
  • the three-dimensional image rendering unit 131 generates an RGB map consisting of RGB data (texture information) of the virtual object and a depth map consisting of depth information of the virtual object by rendering based on the three-dimensional data M of the virtual object to be displayed.
  • the three-dimensional image rendering unit 131 then combines the generated RGB map and depth map and outputs them to the resampling processing unit 132 as RGB+D data.
  • the resampling processing unit 132 identifies the user's gaze direction based on the gaze information supplied from the gaze detection unit 117, and performs resampling by discretization while adjusting the number of layers of the depth map for each virtual object.
  • the resampling processing unit 132 then outputs RGB+D data consisting of the depth map and RGB map for the resampled number of layers to the wavefront propagation unit 133.
  • the wavefront propagation unit 133 performs wavefront propagation processing on the RGB+D data resampled by the resampling processing unit 132 to generate a propagation signal consisting of complex wavefront information of a hologram pattern corresponding to the image of the hologram image displayed by the spatial light modulator 115.
  • the wavefront propagation unit 133 then outputs the generated propagation signal to the interference fringe conversion unit 134.
  • the wavefront propagation unit 133 performs occlusion processing based on depth map information in the RGB+D data, and repeats the process of superimposing the RGB data of the layer furthest in the depth direction with the RGB data of the layer one layer before.
  • the wavefront propagation unit 133 then finally achieves wavefront propagation processing by propagating the RGB data of all layers to the layer furthest from the front, and generates a propagation signal consisting of complex wavefront information equivalent to one hologram pattern.
  • the occlusion processing will be described in detail later with reference to Figures 10 to 12.
  • the interference fringe conversion unit 134 encodes the propagation signal consisting of the complex wavefront information generated by the wavefront propagation unit 133 into amplitude information or phase information and outputs it to the spatial light modulator 115.
  • the spatial light modulator 115 modulates the incident light LE based on the amplitude information or phase information supplied from the interference fringe conversion unit 134 of the modulation control unit 116, thereby displaying a hologram image consisting of a virtual object defined by the three-dimensional data M.
  • the hologram image viewed from the user's eye E is viewed as a hologram image RI on the mirror image ISLM of the spatial light modulator 115 as shown in Fig. 10 by the function realized by the beam splitter 114. It is also assumed that the hologram image RI in Fig. 10 includes virtual objects 11-1 to 11-5 by modulating the incident light LE by the spatial light modulator 115 based on the RGB+D data including the depth maps of the depth distributions 41-1 to 41-5 in Fig. 6.
  • the triangular prism-shaped virtual objects 11-1 to 11-5 are viewed as having a shape in which the apex of the triangle protrudes from the center toward the front when viewed from above, and the horizontal ends are recessed toward the back.
  • the display surface of the spatial light modulator 115 the surface where the incident light LE is modulated and the hologram image resulting from the modulation is reflected: SLM position
  • This 2D image can be considered to be an image constructed on the surface closest to the mirror image ISLM of the spatial light modulator 115 in Figure 10, that is, the surface closest to the user's eye E.
  • This single 2D image is generally called the wavefront recording plane (WRP).
  • the wavefront recording plane is generated by overlaying the texture information of the layer furthest from the user's eye E in the depth direction, layer by layer, in order, on the texture information (RGB data) of the layer furthest from the user's eye E, based on the depth map and RGB map in the RGB+D data. Therefore, the texture information of all layers is propagated to the frontmost layer in the wavefront recording plane. Therefore, the wavefront recording plane corresponds to a single hologram pattern of the frontmost layer, in which the texture information of all layers is overlaid on the texture information of the frontmost layer.
  • the occlusion process is a process of generating this wavefront recording plane based on the RGB+D data.
  • the occlusion process is a process of propagating the texture information of all layers to the frontmost layer by overlaying the overlapping texture information of the frontmost layer on the texture information of the backmost layer, in order, starting from the backmost layer, based on the depth data.
  • This occlusion process is carried out as follows, for example, when the depth data for all virtual objects is composed of the same number of layers with the same spacing between layers, that is, for example, as shown in FIG. 11. Note that in FIG. 11, depth distributions 31-1 to 31-5 consisting of five layers are set for all virtual objects 11-1 to 11-5.
  • the texture information of layer LN5 is propagated to the texture information of layer LN4, as indicated by the arrow. If the texture information of layer LN5 propagated to layer LN4 overlaps with the texture information in layer LN4, the texture information of layer LN5 is replaced with the texture information of layer LN4. Through this occlusion process, the texture information of layer LN4 is superimposed on the texture information corresponding to the depth data of layer LN5.
  • the texture information of layer LN4 is propagated to the texture information of layer LN3, as indicated by the arrow. If the texture information of layer LN4 propagated to layer LN3 overlaps with the texture information in layer LN3, the texture information of layer LN4 is replaced with the texture information of layer LN3. Through this occlusion processing, the texture information of layer LN3 is superimposed on the texture information corresponding to the depth data of layer LN4.
  • the texture information of layer LN3 is propagated to the texture information of layer LN2, as indicated by the arrow. If the texture information of layer LN3 propagated to layer LN2 overlaps with the texture information in layer LN2, the texture information of layer LN3 is replaced with the texture information of layer LN2. By this occlusion processing, the texture information of layer LN2 is superimposed on the texture information corresponding to the depth data of layer LN3.
  • occlusion processing between layers LN2 and LN1 propagates the texture information of layer LN1 to the texture information of layer LN2, as indicated by the arrow. If the texture information of layer LN2 propagated to layer LN1 overlaps with the texture information in layer LN1, the texture information of layer LN2 is replaced with the texture information of layer LN1. This occlusion processing causes the texture information of layer LN1 to be superimposed on the texture information corresponding to the depth data of layer LN2. Then, through this series of processing, all of the texture information is propagated to the texture information of layer LN1.
  • occlusion processing is achieved by repeatedly overlaying the texture information of the layer one layer closer to the front on top of the texture information of the layer further back for each virtual object. For this reason, parallel processing is not possible with occlusion processing, and the amount of calculation required is extremely large.
  • the number of layers (number of samples) is set to be large and the spacing between layers is set to be narrow, depending on the gaze parallax angle, which is the angle between the gaze direction and the virtual object direction.
  • the number of layers (number of samples) is set to be small and the spacing between layers is set to be wide.
  • the line-of-sight parallax angle is 0 for virtual object 11-3, whose line-of-sight direction Vc1 is the virtual object direction.
  • depth distribution 41-3 corresponding to virtual object 11-3 is composed of the maximum number of layers, 5 layers.
  • depth distributions 41-2 and 41-4 corresponding to virtual objects 11-2 and 11-4 have a line-of-sight parallax angle of ⁇ d1 (>0), so they are composed of three layers, which is fewer than depth distribution 41-3.
  • depth distributions 41-1 and 41-5 corresponding to virtual objects 11-1 and 11-5 have a line-of-sight parallax angle of ⁇ d2 (> ⁇ d1), so they are composed of two layers, which is fewer than depth distributions 41-2 and 41-4.
  • the texture information of layer LN5 is propagated to the texture information of layer LN4, as indicated by the arrows.
  • the texture information of layer LN4 is also propagated to the texture information of layer LN3, as indicated by the arrows.
  • the texture information of layer LN3 is further propagated to the texture information of layer LN2, as indicated by the arrows.
  • the texture information of layer LN2 is propagated to the texture information of layer LN1, as indicated by the arrows.
  • the texture information of all layers corresponding to virtual object 11-3 is propagated to the texture information of layer LN1.
  • the number of propagations is four, the same as in FIG. 11.
  • the texture information of layer LN5 is propagated to the texture information of layer LN3.
  • the texture information of layer LN3 is propagated to the texture information of layer LN1
  • the texture information of all layers corresponding to the virtual objects 11-2 and 11-4 is propagated to the texture information of layer LN1.
  • the number of propagations for the depth distributions 41-2 and 41-4 is two, which is less than the number of propagations for the depth distribution 41-3 (four).
  • the texture information of layer LN5 is propagated to the texture information of layer LN1, as indicated by the arrows.
  • the texture information of all layers corresponding to the virtual objects 11-1 and 11-5 is propagated to the texture information of layer LN1.
  • the number of propagations in the depth distributions 41-1 and 41-5 is one, which is less than the four and two propagations in the depth distributions 41-2 to 41-4.
  • the total number of propagations indicated by the arrows in the occlusion processing in FIG. 12 is less than the total number of propagations in the occlusion processing in FIG. 11, resulting in a reduction in the overall number of propagations.
  • the amount of calculation is reduced, making it possible to display a hologram image that does not look unnatural, while also reducing delays caused by increased processing time related to the calculation processing and power consumption related to the calculation.
  • step S31 the three-dimensional image rendering unit 131 performs rendering based on the three-dimensional data input from outside to generate an RGB map consisting of texture information of the object and a depth map representing the depth of the object.
  • the three-dimensional image rendering unit 131 then outputs the combined RGB map and depth map to the resampling processing unit 132 as RGB+D data.
  • the three-dimensional image rendering unit 131 assigns colored pixel values, which are the corresponding texture information, to pixels in the virtual object area, and sets black to other areas where there is no image onto which the virtual object is projected.
  • the three-dimensional image rendering unit 131 also assigns a depth value equivalent to the distance from the spatial light modulator 15 to the projection position onto which the virtual object is projected, to pixels in the virtual object area.
  • the three-dimensional image rendering unit 131 assigns a white depth value, which indicates that the distance from the spatial light modulator 15 is infinite, to pixels in areas other than the virtual object area. In this way, the three-dimensional image rendering unit 131 generates a depth map by assigning depth values to the entire area.
  • step S32 the gaze detection unit 117 detects the gaze direction of the user's eye E and outputs it to the resampling processing unit 132 as gaze information.
  • step S33 the resampling processing unit 132 sets one of the unprocessed virtual objects as the virtual object of interest based on the RGB+D data.
  • step S34 the resampling processing unit 132 determines the gaze direction based on the gaze information, and calculates the gaze parallax angle, which is the angle between the virtual object direction of the virtual object of interest and the gaze direction.
  • step S35 the resampling processing unit 132 discretizes and resamples the depth values in the depth map of the RGB+D data based on the line-of-sight parallax angle, and outputs the result to the wavefront propagation unit 133. More specifically, as described with reference to FIGS. 1 to 7, the resampling processing unit 132 discretizes the depth values and resamples the depth map with a smaller number of layers (number of samples) and wider spacing between layers as the line-of-sight parallax angle increases. At this time, the wavefront propagation unit 133 stores the RGB+D data that is the resampled result in association with the virtual object of interest.
  • step S36 the resampling processing unit 132 determines whether or not there is an unprocessed virtual object, and if there is an unprocessed virtual object, the process returns to step S33.
  • steps S33 to S36 are repeated until resampling of the depth maps in the RGB+D data based on the line of sight has been performed for all virtual objects.
  • resampling of the depth maps in the RGB+D data based on the line of sight has been performed for all virtual objects, and if it is determined in step S36 that there is no unprocessed virtual object, the process proceeds to step S37.
  • the wavefront propagation unit 133 generates a propagation signal by wavefront propagation processing based on the RGB+D data of all resampled virtual objects.
  • the propagation signal is a complex signal that represents the hologram pattern of the virtual object projected at the position where the spatial light modulator 115 is placed.
  • the wavefront propagation unit 133 outputs the generated propagation signal to the interference fringe conversion unit 134.
  • the computational process for generating the propagation signal of the hologram pattern depends on the type of spatial light modulator 115, the propagation distance, and the encoding method.
  • a phase-limited LCoS Phase-Only Liquid Crystal on Silicon
  • the spatial light modulator 115 is used as the spatial light modulator 115.
  • the wavefront propagation can be expressed by the Fresnel diffraction formula.
  • a dual-phase encoding algorithm can be used for phase-limited encoding. The propagation formula and encoding algorithm according to this embodiment are explained below.
  • the wavefront propagation unit 133 propagates each point represented in pixel units as a wavefront by using the Fresnel wavefront diffraction formula shown in the following formula (1).
  • x and y in (x, y, z) are pixel positions on the hologram image (hologram pattern) projected by the spatial light modulator 115.
  • z is the distance from the display position in real space where each point is displayed to the SLM position where the spatial light modulator 115 is placed.
  • (x', y', 0) is the pixel position on the display surface of the spatial light modulator 115.
  • k is the wave number (2 ⁇ / ⁇ ) of the wavelength ⁇ .
  • i is the imaginary unit.
  • r is defined by the following formula (2):
  • the values of all points are summed to generate the hologram pattern, as shown in equation (1).
  • a propagation algorithm is used that takes into account the occlusion processing of the individual points, as described with reference to Figures 10 to 12.
  • Other wave propagation functions may also be used to generate the hologram pattern at the SLM position.
  • the Rayleigh-Sommerfeld diffraction formula or the Fraunhofer diffraction formula may be used, which can be used under different assumptions.
  • step S38 the interference fringe conversion unit 134 executes a hologram pattern conversion process to convert the complex number field represented by the complex signal generated in the wavefront propagation unit 133 into a phase signal of a hologram pattern that can be displayed using the spatial light modulator 115.
  • This hologram pattern conversion process requires a conversion method that differs depending on the type of spatial light modulator 115.
  • the spatial light modulator 115 is a phase-only SLM, then in order to display a hologram on the spatial light modulator 115, the complex field needs to be converted into a phase-only field.
  • this is not limited to this, and various other encoding techniques may be used. For example, techniques such as the Amplitude Discard method, the Gerchberg-Saxton algorithm, and a dual-phase encoding algorithm may be used.
  • U(x,y) is the complex plane.
  • A(x,y) is the amplitude component.
  • p(x,y) is the phase component.
  • a(x,y) is the normalized amplitude.
  • Amax is the maximum value of the amplitude component.
  • Pa and Pb are phase-only signals (phase signals) for displaying the hologram pattern on the spatial light modulator 115.
  • Pa and Pb alternate like a checkerboard pattern to form a phase-only signal (phase signal) for displaying the hologram pattern on the spatial light modulator 115. Because this checkerboard pattern is fixed, the encoding process can be performed so that Pa and Pb in equations (3) to (6) are calculated for each pixel of the spatial light modulator 115. Note that because Pa and Pb are both phase values, even if the values calculated in equations (3) to (6) exceed the range that the spatial light modulator 115 can handle, they can be reduced to the range of 0 to 2 ⁇ .
  • step S39 the interference fringe conversion unit 134 inputs the phase signal of the generated hologram pattern to the spatial light modulator 115, which modulates the incident light Le.
  • the spatial light modulator 115 then modulates the incident light Le based on the input phase signal.
  • the spatial light modulator 115 also displays a hologram image consisting of the hologram pattern resulting from the modulation by reflecting it via the beam splitter 114.
  • step S40 it is determined whether or not an instruction to end the process has been given. If an instruction to end the process has not been given, the process returns to step S31, and the subsequent steps are repeated. Then, if an instruction to end the process has been given in step S40, the process ends.
  • the number of layers (sampling number) in the depth direction is set larger for virtual objects 11 with gaze parallax angles closer to the gaze direction, and the spacing between layers is set narrower. Also, the number of layers in the depth direction is reduced for virtual objects 11 with gaze parallax angles farther from the gaze direction, and the spacing between layers is set wider. Then, the hologram image generated with the number of layers set in this way is displayed.
  • the number of layers in the depth direction is greater for virtual objects 11 in a range closer to the central visual field, where the visual parallax angle closer to the line of sight is smaller, and the interval between layers is set narrower.
  • the number of layers in the depth direction is reduced for virtual objects 11 in a range of the peripheral visual field, away from the central visual field, where the visual parallax angle is greater away from the line of sight, and the interval between layers is set wider.
  • the user's eyes E can only vaguely recognize the shape and color of objects in the peripheral visual field, where the visual parallax angle is larger, so the impact is small.
  • the number of layers expressing the depth direction is reduced according to the magnitude of the line-of-sight parallax angle.
  • the number of layers is gradually reduced and the spacing between layers is increased as the distance from the central visual field increases.
  • the number of layers of virtual objects in the hologram image viewed by the user's eye E is gradually reduced and changes naturally according to the distance from the central visual field, and corresponds to the change in sensitivity of the eye E, so that a natural expression can be achieved when viewed.
  • the number of layers of all virtual objects in the peripheral visual field which is a wider area than the limited central visual field relative to the entire area of the hologram image, is reduced and the spacing between layers is increased.
  • the number of layers of depth values which are values in the depth direction
  • the spacing between layers is increased as the gaze parallax angle, which is the angle between the gaze direction and the virtual object direction
  • the human eye can adequately recognize the shape and color. Therefore, when the virtual object can be considered to be within the central visual field based on the gaze parallax angle, resampling may be performed with the narrowest spacing between layers using the maximum number of layers, regardless of the magnitude of the gaze parallax angle.
  • resampling may be performed such that the number of layers is reduced and the spacing between layers is increased as the gaze parallax angle increases.
  • the depth value may be resampled at the first interval between layers with the maximum first number of layers, regardless of the magnitude of the gaze parallax angle.
  • the depth value may be resampled at the second number of layers smaller than the first number of layers, regardless of the magnitude of the gaze parallax angle, with the second interval between layers wider than the first interval.
  • the virtual object in the central visual field and the virtual object in the peripheral visual field are simply displayed by switching between two types of number of layers and layer intervals.
  • the number of layers in the peripheral visual field is reduced compared to the number of layers in the central visual field, making it possible to simply but appropriately reduce the amount of calculation related to the CGH technology.
  • the depth distribution 21-1 corresponding to virtual object 11-1 may be resampled as depth distribution 51'-1.
  • the depth distribution 51'-1 is discretized only in layer LN1, which is one layer less than the number of layers set for virtual object 11-2 and is closest to eye E. This process makes it possible to omit the process of propagating texture information of layer LN3 to layer LN1, thereby reducing the number of calculations in the occlusion process.
  • the dotted line portion of layer LN3 shows an example of resampling when discretized to one layer LN3 in FIG. 7, and the solid line portion shows an example of resampling when discretized to layer LN1.
  • the number of layers may be set by taking into account the element of the distance from the user's eye E to the virtual object displayed on the display surface (SLM position) of the spatial light modulator 115 in addition to the line-of-sight parallax angle.
  • the depth map is resampled in a range of up to seven layers for seven virtual objects (not shown) that have the same shape as virtual object 11 in FIG. 1. That is, the depth distributions 151-1 to 151-7 in FIG. 16 are resampled in a range of layers LN1 to LN7, the maximum number of which is seven.
  • the depth distributions 151-1 and 151-7 have one layer and are resampled to layer LN4.
  • the depth distribution 151-2 has two layers and is resampled to two layers, layers LN1 and LN7.
  • the depth distributions 151-3 and 151-6 have three layers and are resampled to three layers, layers LN1, LN4, and LN7.
  • the depth distribution 151-4 has four layers and is resampled to four layers, layers LN1, LN3, LN5, and LN7.
  • the depth distribution 151-5 which is in the line of sight, is resampled to layers LN1 to LN7, which is the maximum number of layers, that is, seven layers.
  • the gaze parallax angle which is the angle between gaze direction V and virtual object directions Vn and Vf, is expressed as ⁇ n and ⁇ f, respectively.
  • these gaze parallax angles ⁇ n and ⁇ f can be considered to be approximate values ( ⁇ n ⁇ ⁇ f). Therefore, when setting the number of layers based only on the gaze parallax angle, both will be set as the same number of layers.
  • the virtual object represented by depth distribution 151-6 is farther away from the user's eye E than the virtual object represented by depth distribution 151-4.
  • the distance from eye E of the virtual object represented by depth distribution 151-6 and that of the virtual object represented by depth distribution 151-4 are not the same.
  • the degree to which the two appear blurry that is, the degree of depth blur, are not the same.
  • the number of layers in depth distribution 151-6 is set to three, which is fewer than the number of layers in depth distribution 151-4, which represents a virtual object located closer to eye E, and this represents a change in depth blur according to the difference in distance from eye E.
  • the number of layers and their spacing are set according to the distance from eye E.
  • the number of layers is reduced and the spacing between layers is set wider as the distance from eye E to the virtual object increases.
  • This makes it possible to express virtual objects with the same gaze parallax angle, but that are relatively close to eye E, by adding a reduced degree of depth blur to the virtual object in the gaze direction.
  • it makes it possible to express virtual objects with the same gaze parallax angle, but that are relatively far from eye E, by adding a strong depth blur to the virtual object in the gaze direction.
  • the number of layers can be set for each virtual object by adding the element of distance from eye E to the gaze parallax angle, so that the larger the gaze parallax angle and the farther the distance from the eye, the fewer the number of layers and the wider the layer spacing.
  • This makes it possible to express a gradual change in depth blur and deepen the depth of field. In other words, the farther the focus position of eye E is, the deeper the depth of field can be based on the focus position of eye E.
  • the above-mentioned series of processes can be executed by hardware, but can also be executed by software.
  • the programs constituting the software are installed from a recording medium into a computer built into dedicated hardware, or into, for example, a general-purpose computer capable of executing various functions by installing various programs.
  • FIG 17 shows an example of the configuration of a general-purpose computer.
  • This computer has a built-in CPU (Central Processing Unit) 1001.
  • An input/output interface 1005 is connected to the CPU 1001 via a bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • an input unit 1006 consisting of input devices such as a keyboard and mouse through which the user inputs operation commands
  • an output unit 1007 which outputs a processing operation screen and images of the processing results to a display device
  • a storage unit 1008 consisting of a hard disk drive for storing programs and various data
  • a communication unit 1009 consisting of a LAN (Local Area Network) adapter and the like, which executes communication processing via a network such as the Internet.
  • LAN Local Area Network
  • a drive 1010 which reads and writes data to removable storage media 1011 such as a magnetic disk (including a flexible disk), an optical disk (including a CD-ROM (Compact Disc-Read Only Memory) and a DVD (Digital Versatile Disc)), a magneto-optical disk (including an MD (Mini Disc)), or a semiconductor memory.
  • removable storage media 1011 such as a magnetic disk (including a flexible disk), an optical disk (including a CD-ROM (Compact Disc-Read Only Memory) and a DVD (Digital Versatile Disc)), a magneto-optical disk (including an MD (Mini Disc)), or a semiconductor memory.
  • the CPU 1001 executes various processes according to a program stored in the ROM 1002, or a program read from a removable storage medium 1011 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory and installed in the storage unit 1008, and loaded from the storage unit 1008 to the RAM 1003.
  • the RAM 1003 also stores data necessary for the CPU 1001 to execute various processes, as appropriate.
  • the CPU 1001 loads a program stored in the storage unit 1008, for example, into the RAM 1003 via the input/output interface 1005 and the bus 1004, and executes the program, thereby performing the above-mentioned series of processes.
  • the program executed by the computer (CPU 1001) can be provided, for example, by recording it on a removable storage medium 1011 such as a package medium.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • a program can be installed in the storage unit 1008 via the input/output interface 1005 by inserting the removable storage medium 1011 into the drive 1010.
  • the program can also be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008.
  • the program can be pre-installed in the ROM 1002 or storage unit 1008.
  • the program executed by the computer may be a program in which processing is performed chronologically in the order described in this specification, or a program in which processing is performed in parallel or at the required timing, such as when called.
  • a system refers to a collection of multiple components (devices, modules (parts), etc.), regardless of whether all the components are in the same housing. Therefore, multiple devices housed in separate housings and connected via a network, and a single device in which multiple modules are housed in a single housing, are both systems.
  • the present disclosure can be configured as a cloud computing system in which a single function is shared and processed collaboratively by multiple devices over a network.
  • each step described in the above flowchart can be executed by a single device, or can be shared and executed by multiple devices.
  • one step includes multiple processes
  • the processes included in that one step can be executed by one device, or can be shared and executed by multiple devices.
  • a gaze information acquisition unit that acquires user gaze information from a sensor; a resampling processing unit that resamples a sampling interval of depth data of three-dimensional data in a central visual field of the user, the sampling interval corresponding to a line of sight of the user based on the gaze information, to be narrower than a sampling interval of the depth data of the three-dimensional data in a peripheral visual field of the user; a wavefront propagation processing unit that performs wavefront propagation processing on color data of the three-dimensional data based on the depth data resampled by the resampling processing unit, and generates a propagation signal representing a hologram.
  • ⁇ 2> The display processing device described in ⁇ 1>, wherein the resampling processing unit resamples a sampling interval of the depth data for each virtual object represented by three-dimensional data in the user's central visual field, which corresponds to the user's line of sight based on the gaze information, to be narrower than a sampling interval of the depth data for each virtual object represented by the three-dimensional data in the user's peripheral visual field.
  • ⁇ 3> The display processing device described in ⁇ 2>, wherein the resampling processing unit resamples a sampling interval of the depth data for each virtual object represented by three-dimensional data in the user's central visual field to be narrower than a sampling interval of the depth data for each virtual object represented by the three-dimensional data in the user's peripheral visual field, based on a line of sight of the user and a virtual object direction, which is a direction from the user's viewpoint to the virtual object.
  • ⁇ 4> The display processing device described in ⁇ 3>, wherein the resampling processing unit resamples a sampling interval of the depth data for each virtual object represented by three-dimensional data in the user's central visual field to be narrower than a sampling interval of the depth data for each virtual object represented by the three-dimensional data in the user's peripheral visual field, based on a visual line parallax angle, which is an angle between the user's visual line direction and the virtual object direction.
  • the resampling processing unit For each virtual object, the smaller the line-of-sight parallax angle is, the narrower the sampling interval of the depth data of the virtual object is resampled, and the larger the line-of-sight parallax angle is, the wider the sampling interval of the depth data of the virtual object is resampled.
  • the display processing device described in ⁇ 4> wherein a sampling interval of the depth data for each virtual object represented by the three-dimensional data in the user's central visual field is resampled to be narrower than a sampling interval of the depth data for each virtual object represented by the three-dimensional data in the user's peripheral visual field.
  • the resampling processing unit for each of the virtual objects if the virtual object can be regarded as being within the central visual field based on the line-of-sight parallax angle, resampling the sampling interval of the depth data to a predetermined narrowest interval;
  • the display processing device described in ⁇ 4> wherein, for each virtual object, when the virtual object can be considered to be within the peripheral visual field based on the gaze parallax angle, the greater the gaze parallax angle, the wider the sampling interval of the depth data of the virtual object is resampled, so that the sampling interval of the depth data for each virtual object represented by three-dimensional data in the user's central visual field is resampled narrower than the sampling interval of the depth data for each virtual object represented by the three-dimensional data in the user's peripheral visual field.
  • the resampling processing unit resampling the depth data at a sampling interval of a first interval when the virtual object can be regarded as being within the central visual field based on the line-of-sight parallax angle for each of the virtual objects; For each of the virtual objects, when the virtual object can be considered to be within the peripheral visual field based on the line-of-sight parallax angle, by resampling a sampling interval of the depth data at a second interval wider than the first interval,
  • the display processing device described in ⁇ 4> wherein a sampling interval of the depth data for each virtual object represented by three-dimensional data in the user's central visual field is resampled to be narrower than a sampling interval of the depth data for each virtual object represented by the three-dimensional data in the user's peripheral visual field.
  • ⁇ 8> The display processing device according to ⁇ 3>, wherein when a layer to which the depth data for each of the virtual objects represented by the three-dimensional data is resampled is one, the resampling processing unit resamples the depth data to a layer closest to the user.
  • ⁇ 9> The display processing device described in ⁇ 3>, wherein the resampling processing unit resamples a sampling interval of the depth data for each virtual object represented by three-dimensional data in the user's central visual field to be narrower than a sampling interval of the depth data for each virtual object represented by the three-dimensional data in the user's peripheral visual field, based on a visual line parallax angle, which is an angle between the user's visual line direction and the virtual object direction, and a distance to the virtual object.
  • a visual line parallax angle which is an angle between the user's visual line direction and the virtual object direction
  • the resampling processing unit For each of the virtual objects, resampling the depth data of the virtual object at a narrower sampling interval as the line-of-sight parallax angle becomes smaller and as the distance to the virtual object becomes closer; As the line-of-sight parallax angle increases and as the distance to the virtual object increases, the sampling interval of the depth data of the virtual object is resampled to be wider.
  • the display processing device described in ⁇ 9> wherein a sampling interval of the depth data for each virtual object represented by the three-dimensional data in the user's central visual field is resampled to be narrower than a sampling interval of the depth data for each virtual object represented by the three-dimensional data in the user's peripheral visual field.
  • ⁇ 11> The display processing device according to any one of ⁇ 1> to ⁇ 10>, wherein the depth data and the color data of the three-dimensional data are generated by rendering the three-dimensional data.
  • ⁇ 12> The display processing device according to any one of ⁇ 1> to ⁇ 11>, further comprising a spatial light modulator that generates the hologram by modulating incident light from a light source based on the propagation signal.
  • the spatial light modulator is a phase-only spatial light modulator or an amplitude-only spatial light modulator.
  • the gaze information acquisition unit is configured to include a sensor that captures an image of the user's eyes or face, and acquires the image of the user's eyes or face captured by the sensor as gaze information for identifying the user's line of sight.
  • the gaze information acquisition unit is an inertial sensor provided in a device worn on the user's head, and acquires a signal acquired by the inertial sensor as gaze information for identifying the user's line of sight.
  • ⁇ 16> The display processing device according to ⁇ 15>, wherein the device worn on the user's head is an augmented reality head mounted display (ARHMD).
  • ARHMD augmented reality head mounted display
  • ⁇ 17> Acquire user gaze information from a sensor; resampling a sampling interval of depth data of the three-dimensional data in the central visual field of the user, which corresponds to the line of sight of the user based on the gaze information, to be narrower than a sampling interval of the depth data of the three-dimensional data in the peripheral visual field of the user;
  • a display processing method comprising the step of performing wavefront propagation processing of color data of the three-dimensional data based on the resampled depth data to generate a propagation signal representing a hologram.
  • a gaze information acquisition unit that acquires user gaze information from a sensor; a resampling processing unit that resamples a sampling interval of depth data of three-dimensional data in a central visual field of the user, the sampling interval corresponding to a line of sight of the user based on the gaze information, to be narrower than a sampling interval of the depth data of the three-dimensional data in a peripheral visual field of the user;
  • a storage medium that stores a program that causes a computer to function as a wavefront propagation processing unit that performs wavefront propagation processing of color data of the three-dimensional data based on the depth data resampled by the resampling processing unit, and generates a propagation signal representing a hologram.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)

Abstract

本開示は、低遅延、かつ、低消費電力でホログラム画像を表示できるようにする表示処理装置、および表示処理方法、並びに記憶媒体に関する。 ユーザの中心視野における３次元データのデプスデータのサンプリング間隔を、ユーザの周辺視野における３次元データのデプスデータのサンプリング間隔よりも狭くリサンプリングし、リサンプリングされたデプスデータに基づいて、３次元データのカラーデータの波面伝搬処理を行い、ホログラムを表す伝搬信号を生成する。拡張現実ヘッドマウントディスプレイ（ARHMD：Augmented Reality Head Mounted Displays）に適用することができる。

Description

表示処理装置、および表示処理方法、並びに記憶媒体
　本開示は、表示処理装置、および表示処理方法、並びに記憶媒体に関し、特に、低遅延、かつ、低消費電力でホログラム画像を表示できるようにした表示処理装置、および表示処理方法、並びに記憶媒体に関する。
　計算機生成ホログラフィ（CGH：Computer Generated Holography）技術が、拡張現実ヘッドマウントディスプレイ（ARHMD：Augmented Reality Head Mounted Displays）に使用されることが提案されている。
　CGH技術は、コンピュータを用いて、空間光変調器（SLM：Spatial Light Modulators）を電気的にアドレス制御することで、直接光波を制御して、これにより生じる光の集束効果によりホログラム画像を生成するものである。CGH技術は、複雑な計算により実現される技術であるため、計算に係る処理負荷が大きく、処理時間が必要とされる。
　しかしながら、ARHMDなどは、ユーザに装着される装置であることから、大きさに制限があるため、搭載可能なコンピュータも制限されることになり、CGHにより実現されるホログラム画像を違和感なく視聴できるようにするには、十分な処理速度が得られない可能性がある。
　そこで、中心視野領域に３Ｄ画像としてのCGHを含むホログラム画像を表示する表示パネルを配設し、周辺視野領域に２Ｄ画像を表示する表示パネルを配設するように組み合わせることが提案されている。これにより、計算処理量を全体として減少させつつ高解像の３Ｄ画像により立体視効果（Stereo Scopic Effect）を高めることが可能となる（特許文献１参照）。
米国特許出願公開第２０２２／１７９２１４号明細書
　しかしながら、特許文献１の技術においては、表示領域の全体に３Ｄ画像が表示されておらず、特に周辺視野領域においては２Ｄ画像を視聴することになるので、画像全体を見たときの立体視効果が低減し、違和感が生じる恐れがある。
　また、この違和感を低減させるために、３Ｄ画像が表示される領域を広くすることが考えられる。しかしながら、３Ｄ画像が表示される領域の増大によりCGH技術に係る計算量が増大することになるので、結果として、計算時間が増大し、ホログラム画像の表示に係る遅延の発生や、消費電力の増大が懸念される。
　本開示は、このような状況に鑑みてなされたものであり、特に、CGH技術に係る計算量を効果的に低減することで、低遅延、かつ、低消費電力で、違和感のないホログラム画像を表示するものである。
　本開示の一側面の表示処理装置、および記憶媒体は、ユーザの注視情報をセンサから取得する注視情報取得部と、前記注視情報に基づいた、前記ユーザの視線方向に対応する、前記ユーザの中心視野における３次元データのデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データの前記デプスデータのサンプリング間隔よりも狭くリサンプリングするリサンプリング処理部と、前記リサンプリング処理部によりリサンプリングされた前記デプスデータに基づいて、前記３次元データのカラーデータの波面伝搬処理を行い、ホログラムを表す伝搬信号を生成する波面伝搬処理部とを含む表示処理装置、および、そのような表示処理装置としてコンピュータを機能させるプログラムが記憶された記憶媒体である。
　本開示の一側面の表示処理方法は、ユーザの注視情報をセンサから取得し、前記注視情報に基づいた、前記ユーザの視線方向に対応する、前記ユーザの中心視野における３次元データのデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データの前記デプスデータのサンプリング間隔よりも狭くリサンプリングし、リサンプリングされた前記デプスデータに基づいて、前記３次元データのカラーデータの波面伝搬処理を行い、ホログラムを表す伝搬信号を生成するステップを含む表示処理方法である。
　本開示の一側面においては、ユーザの注視情報がセンサから取得され、前記注視情報に基づいた、前記ユーザの視線方向に対応する、前記ユーザの中心視野における３次元データのデプスデータのサンプリング間隔が、前記ユーザの周辺視野における前記３次元データの前記デプスデータのサンプリング間隔よりも狭くリサンプリングされ、リサンプリングされた前記デプスデータに基づいて、前記３次元データのカラーデータの波面伝搬処理が行われて、ホログラムを表す伝搬信号が生成される。
ホログラム画像を表示する原理を説明する３次元データの例を示す図である。 図１の３次元データに基づいて生成されるRGBマップとデプスマップを説明する図である。 図２のデプスマップを図１における座標系で表現した例を説明する図である。 図３のデプスマップを離散化してリサンプリングしたときの例を説明する図である。 人間の目の視線方向、中心視野、有効視野、および周辺視野を説明する図である。 本開示の手法で図３のデプスマップを離散化してリサンプリングしたときの例を説明する図である。 本開示の手法で図３のデプスマップを離散化してリサンプリングしたときのその他の例を説明する図である。 本開示の表示システムの構成例を説明する図である。 図８の変調制御部の構成例を説明する図である。 ユーザの目から見たときのホログラム画像と空間光変調器との位置関係を説明する図である。 全ての仮想オブジェクトのデプスマップを均等のレイヤ数で離散化してリサンプリングしたときのオクルージョン処理を説明する図である。 本開示の手法で離散化してリサンプリングしたときのオクルージョン処理を説明する図である。 図９の変調制御部による変調制御処理を説明するフローチャートである。 式（５），式（６）におけるＰａ及びＰｂの配置例を示す図である。 本開示の手法で図３のデプスマップを離散化してリサンプリングしたときの第１の変形例を説明する図である。 本開示の手法で図３のデプスマップを離散化してリサンプリングしたときの第２の変形例を説明する図である。 汎用のコンピュータの構成例を示している。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．本開示の概要
　２．好適な実施の形態
　３．第１の変形例
　４．第２の変形例
　５．ソフトウェアにより実行させる例
　＜＜１．本開示の概要＞＞
　＜計算機生成ホログラフィ（CGH）技術によるホログラム画像を表示する原理＞
　本開示は、特に、計算機生成ホログラフィ（CGH）技術に係る計算量を効果的に低減することで、低遅延、かつ、低消費電力で、違和感のないホログラム画像を表示できるようにするものである。
　本開示の技術を説明するにあたって、まず、計算機生成ホログラフィ（CGH：Computer Generated Holography）技術による、３次元データで定義される３次元の仮想オブジェクトをホログラム画像で表示する原理について説明する。
　例えば、３次元データにより、５個の三角柱状の仮想オブジェクト１１－１乃至１１－５が定義され、図１で示されるように並べられた場合に、視聴者の目Ｅにより視線方向Ｖ１で視聴されるときのホログラム画像について考える。
　尚、図１は、５個の仮想オブジェクト１１－１乃至１１－５を、図中の横方向である水平方向（Ｘ方向）に、三角形からなる下底面を床面に当接させて、立てて並べられた状態を上底面側から見たときの上面図である。また、図示しないが、図１の紙面に対して手前方向がＹ方向であり、図中のＺ方向が、視聴者から見た奥行方向である。したがって、図１で示されるように、５個の仮想オブジェクト１１－１乃至１１－５は、視聴者には、垂直方向に延びる三角柱の頂点部分が手前側に飛び出した状態で、かつ、水平方向に並べられた状態で視聴される。
　図１で示されるような３次元の仮想オブジェクト１１－１乃至１１－５として定義される３次元データは、視線方向Ｖ１に対応するレンダリングにより、図２の左部で示されるテクスチャ情報としてのRGBデータ（カラーデータ）からなるカラーマップ（RGB Map）と、図２の右部で示されるデプスマップ（Depth Map）とに変換される。
　図２の左部におけるRGBデータからなるカラーマップにおいては、図中の左から仮想オブジェクト１１－１乃至１１－５のそれぞれに対応する配色分布１１ｃ－１乃至１１ｃ－５が配置される。尚、図２の左部のカラーマップにおいては、配色分布１１ｃ－１乃至１１ｃ－５が、同一色で表現されているが、一例に過ぎず、仮想オブジェクト１１－１乃至１１－５の表面に設定される配色に応じた分布とされてよい。
　また、図２の右部におけるデプスマップにおいては、図中の左から仮想オブジェクト１１－１乃至１１－５のそれぞれに対応する深度分布１１ｄ－１乃至１１ｄ－５が配置される。深度分布１１ｄ－１乃至１１ｄ－５は、視聴者に近い位置の深度値ほど黒く、遠い位置の深度値ほど白く表現されている。図２の右部におけるデプスマップは、図１の上面図に対応する方向からの表現に変換すると、例えば、図３で示されるように表現される。
　図３のデプスマップにおいては、仮想オブジェクト１１－１乃至１１－５のそれぞれに対応する図２の深度分布１１ｄ－１乃至１１ｄ－５が、それぞれ深度分布２１－１乃至２１－５として表現されている。以降においては、３次元データに基づいたレンダリングにより生成されたカラーマップとデプスマップとを総称して、RGB＋Dデータとも称するものとする。
　次に、このように３次元データに基づいたレンダリングにより生成されたRGB＋Dデータのうち、デプスマップの深度分布で表現される各深度値が粗い粒度となるように離散化されてリサンプリングされる。より詳細には、深度値の粒度をより粗いものとするため、深度値の粒度が、粗い粒度の複数のレイヤで表現されるようにリサンプリングされる。すなわち、深度値については、図４で示されるように離散化して、例えば、５層のレイヤで表現されるようにリサンプリングされるようにする。
　図４においては、図中の左から、仮想オブジェクト１１－１乃至１１－５のそれぞれに対応する、図３の深度分布２１－１乃至２１－５が、５層のレイヤＬＮ１乃至ＬＮ５に離散化されてリサンプリングされることで、深度分布３１－１乃至３１－５として表現されている。このように５層のレイヤＬＮ１乃至ＬＮ５からなる深度分布３１－１乃至３１－５で表現されるデプスマップと、図２の左部で示されるカラーマップとからなるRGB＋Dデータに基づいた波面伝搬処理により複素数波面情報が生成される。そして、生成された複素数波面情報に基づいて空間光変調器が制御されることによりホログラム画像が投影されて視聴者に視聴される。
　以上が、CGH技術によるホログラム画像の表示原理となるが、ここで、深度値を離散化する際にレイヤ数を低減させることで、換言すれば、サンプリング数を低減して、レイヤ間の間隔を広くさせることで、CGH技術に係る計算量は、低減させることが可能となる。
　しかしながら、深度方向のレイヤ数が低減し、レイヤ間の間隔が広くなると深度を詳細に表現できないことになるので、立体視効果が低減してしまう恐れがある。すなわち、深度方向のレイヤ数を増やし、レイヤ間の間隔を狭くするほど立体視効果の向上が期待できるが、計算量が増えてしまい、計算量の増大に起因する処理の遅延や消費電力の増大が懸念される。
　一方で、深度方向のレイヤ数を減らし、レイヤ間の間隔を広くするほど計算量を低減させることができるので、処理の遅延を抑制し、省電力化を実現することは可能となるが、立体視効果の低下を招き、ホログラム画像を視聴する視聴者に違和感を与える恐れがある。このように、単純に、深度方向のレイヤ数を低減し、レイヤ間の間隔を広くさせるようにすることで低遅延化や省電力化を図ろうとすれば、立体視効果が低減し、違和感を与える恐れがある。
　ところで、人間の目は、視線方向を中心とした所定の範囲となる中心視野内においては、感度が高く形状や色を正確に認識できるが、中心視野以外となる周辺視野においては、感度が低く、形状や色については、ぼんやりとしか認識できないことが知られている。
　より詳細には、図５で示されるように、視聴者の目Ｅが矢印で示される視線方向ＥＤを注視して視聴している場合、視線方向ＥＤを中心として、中心視野ＣＶ、有効視野ＥＶ、および周辺視野ＰＶの３種類の視野が知られている。
　中心視野ＣＶは、視線方向を中心とする所定の視野角θｃ（θｃは、例えば、２度程度）をなす範囲の視野であり、高い感度ではっきりと物体の形状や色を認識することが可能な視野である。
　有効視野ＥＶは、中心視野ＣＶの外側であって、視線方向ＥＤを中心とする所定の視野角θｅ（θｅは、例えば、２０度程度）をなす範囲の視野であり、中心視野ＣＶよりも認識の程度は低いものの、ある程度物体の形状や色を認識することが可能な視野である。
　周辺視野ＰＶは、有効視野ＥＶの外側の範囲であり、感度が低く形状や色については、ぼんやりとしか認識することができない視野である。
　尚、図５においては、周辺視野ＰＶが点線で示された範囲として表現されているが、有効視野ＥＶの外側の範囲の視野全体が、周辺視野であり、したがって、図５においては、有効視野ＥＶの点線で囲まれた範囲の外側の全てを含む範囲の視野が、周辺視野である。
　また、以降においては、人間の目で、ある程度以上形状と色を認識可能な視野となる、中心視野ＣＶと有効視野ＥＶとを合わせた視野を、総称して中心視野ＣＶと称するものとする。すなわち、以降においては、特に断りがない限り、中心視野といった場合、図５における中心視野ＣＶと有効視野ＥＶとを合わせた範囲の視野であるものとする。
　そこで、本開示においては、視線方向に近い範囲に存在する仮想オブジェクト１１ほど、深度方向については、レイヤ数（サンプリング数）を増大し、レイヤ間隔が狭く設定されるようにする。また、一方で、視線方向から離れた範囲に存在する、すなわち、周辺視野の仮想オブジェクト１１ほど、深度方向のレイヤ数を低減し、レイヤ間の間隔が広くされるように設定する。
　これまで、図４で示されるように、仮想オブジェクト１１－１乃至１１－５のそれぞれに対応する、図３の深度分布２１－１乃至２１－５の全てが、５層のレイヤＬＮ１乃至ＬＮ５により、均等のレイヤ数で、かつ、均等のレイヤ間の間隔で離散化されるようにリサンプリングされることで、深度分布３１－１乃至３１－５が求められていた。
　これに対して、本開示においては、仮想オブジェクト１１毎の目Ｅから見た方向（以降オブジェクト方向とも称する）と視線方向とのなす角（以降視線視差角とも称する）が大きくなるほど、離散化されるレイヤ数が低減され、レイヤ間の間隔が広くなるようにリサンプリングする。これにより、画像全体としてのレイヤ数が目Ｅの感度に応じて適切に低減されることになるので、計算量を効果的に低減させることが可能となる。結果として、違和感のないホログラム画像を表示しつつ、遅延の発生を抑制すると共に、省電力化を実現することが可能となる。
　尚、仮想オブジェクト１１毎の目Ｅ（ユーザの視点位置）から見た方向である仮想オブジェクト方向は、目Ｅ（ユーザの視点位置）から仮想オブジェクト１１のそれぞれの特定の位置、例えば、重心位置、最も近い位置、または最も遠い位置等を結ぶ直線上の方向などとしてもよい。
　例えば、図６で示されるように、視線方向がＶｃ１である場合、視線方向Ｖｃ１が、仮想オブジェクト方向そのものとなる。このため、視線方向Ｖｃ１であって、仮想オブジェクト方向に位置する仮想オブジェクト１１－３（図１）については、視線視差角が最小値の０となる。このため、仮想オブジェクト１１－３に対応する深度分布２１－３は、深度分布４１－３のように、最大数である５層のレイヤＬＮ１乃至ＬＮ５に離散化されてリサンプリングされる。
　また、視線方向Ｖｃ１に対して、仮想オブジェクト方向が、それぞれ方向Ｖｃ１－１，Ｖｃ１＋１となる場合、仮想オブジェクト方向Ｖｃ１－１，Ｖｃ１＋１に位置する仮想オブジェクト１１－２，１１－４については、視線視差角がθｄ１（＞０）となる。このため、仮想オブジェクト１１－２，１１－４に対応する深度分布２１－２，２１－４は、深度分布４１－２，４１－４のように、仮想オブジェクト１１－３のレイヤ数よりも少なく、間隔が広い３層のレイヤＬＮ１，ＬＮ３，ＬＮ５に離散化されて、リサンプリングされる。
　そして、視線方向Ｖｃ１に対して、仮想オブジェクト方向が、それぞれ方向Ｖｃ１－２，Ｖｃ１＋２となる場合、仮想オブジェクト方向Ｖｃ１－２，Ｖｃ１＋２に位置する仮想オブジェクト１１－１，１１－５については、視線視差角がθｄ２（＞θｄ１）となる。このため、仮想オブジェクト１１－１，１１－５に対応する深度分布２１－１，２１－５は、深度分布４１－１，４１－５のように仮想オブジェクト１１－２，１１－４のレイヤ数よりもさらに少なく、間隔を広くした２層のレイヤＬＮ１，ＬＮ５に離散化されてリサンプリングされる。
　また、図７で示されるように、視線方向がＶｃ２である場合、視線方向Ｖｃ２が仮想オブジェクト方向そのものとなる。このため、視線方向Ｖｃ２であって、仮想オブジェクト方向に位置する仮想オブジェクト１１－４については、視線視差角が最小値の０となる。このため、仮想オブジェクト１１－４に対応する深度分布２１－４は、深度分布５１－４のように、最大数である５層のレイヤＬＮ１乃至ＬＮ５に離散化されて、リサンプリングされる。
　また、視線方向Ｖｃ２に対して、仮想オブジェクト方向がそれぞれ方向Ｖｃ２＋１，Ｖｃ２－１となる場合、仮想オブジェクト方向Ｖｃ２＋１，Ｖｃ２－１に位置する仮想オブジェクト１１－３，１１－５については、視線視差角がθｄ１１，θｄ１２（θｄ１１≒θｄ１２）（＞０）となる。このため、仮想オブジェクト１１－３，１１－５に対応する深度分布２１－３，２１－５は、深度分布５１－３，５１－５のように、仮想オブジェクト１１－４の５層よりも少なく、間隔を広くした３層のレイヤＬＮ１，ＬＮ３，ＬＮ５に離散化されてリサンプリングされる。
　さらに、視線方向Ｖｃ２に対して、仮想オブジェクト方向が方向Ｖｃ－２となる場合、仮想オブジェクト方向Ｖｃ－２に位置する仮想オブジェクト１１－２については、視線視差角がθｄ１３（＞θｄ１１，θｄ１２）となる。このため、仮想オブジェクト１１－２に対応する深度分布２１－２は、深度分布５１－２のように、仮想オブジェクト１１－３，１１－５の３層よりもさらに少なく、間隔を広くした２層のレイヤＬＮ１，ＬＮ５に離散化されてリサンプリングされている。
　そして、視線方向Ｖｃ２に対して、仮想オブジェクト方向が方向Ｖｃ２－３の場合、仮想オブジェクト方向Ｖｃ２－３に位置する仮想オブジェクト１１－１については、視線視差角がθｄ１４（＞θｄ１３）となる。このため、仮想オブジェクト１１－１に対応する深度分布２１－１は、深度分布５１－１のように、仮想オブジェクト１１－２の２層よりもさらに少ない１層のレイヤＬＮ３のみに離散化されてリサンプリングされている。
　図６，図７のいずれの例においても、視線方向に近い視線視差角の仮想オブジェクト１１ほど深度方向のレイヤ数（サンプリング数）が多く、かつ、レイヤ間の間隔が狭く設定される。そして、視線方向から離れた視線視差角となる仮想オブジェクト１１ほど深度方向のレイヤ数が低減されて、かつ、レイヤ間の間隔が広く設定される。
　以上をまとめると、視線方向に近い視線視差角が小さな、中心視野に近い範囲の仮想オブジェクト１１ほど深度方向のレイヤ数が多く、レイヤ間の間隔が狭く設定される。このため、ユーザの目Ｅで高感度に物体の形状や色を認識できる範囲では、奥行方向が詳細に表現された仮想オブジェクトが表示される。これに対して、視線方向から離れた視線視差角が大きな、周辺視野となる仮想オブジェクト１１ほど深度方向のレイヤ数が低減されて、レイヤ間の間隔が広く設定される。このため、奥行方向の表現が簡素化された状態で仮想オブジェクトが表現されることになるが、ユーザの目Ｅでは、周辺視野においては、ぼんやりとしか物体の形状や色を認識できないので影響は小さい。また、中心視野における仮想オブジェクトは、ホログラム画像全体の領域に対して限定的である。しかしながら、周辺視野における仮想オブジェクトは、中心視野以外の全ての仮想オブジェクトとなる。このため、周辺視野における仮想オブジェクトのレイヤ数が低減されることにより、ホログラム画像全体の計算量を効果的に低減させることが可能となる。結果として、CGH技術に係る全体としての計算量を低減させて、低遅延や省電力化を実現させつつ、立体視効果の高い、違和感のないホログラム画像を表示することが可能となる。
　＜＜２．好適な実施の形態＞＞
　次に、図８を参照して、ホログラム画像を表示する表示システムの好適な実施の形態の構成例について説明する。
　本開示のホログラム画像の表示システムは、ユーザに装着して使用されるARHMD（Augmented Reality Head Mounted Display）を想定した構成であるが、ホログラム画像を表示できる構成であれば、その他の構成でもよい。
　より詳細には、図８の表示システム１０１は、光源１１１、レンズ１１２，１１３、ビームスプリッタ１１４、空間光変調器（SLM）１１５、変調制御部１１６、および視線検出部１１７を備えている。
　光源１１１は、コヒーレント光からなるレーザ光を発生して、レンズ１１２，１１３、およびビームスプリッタ１１４を介して空間光変調器１１５に入射させる。
　レンズ１１２，１１３は、図８で示されるように、光源１１１からのコヒーレント光であるレーザ光ＬＳを、コヒーレント光からなるレーザ光ＬＥのように、空間光変調器１１５の表示面の大きさに合わせて、ビーム径を拡大（調整）する。レンズ１１２，１１３によりビーム径が拡大されたレーザ光ＬＥは、ビームスプリッタ１１４を介して空間光変調器１１５に入射する。尚、図８においては、レンズ１１２，１１３は、２枚のレンズから構成される例について示されている。しかしながら、光源１１１からのコヒーレント光であるレーザ光ＬＳを、コヒーレント光からなるレーザ光ＬＥのようにビーム径を拡大させることができれば、２枚以上の複数枚数のレンズやその他の光学系が含まれる構成とされてもよい。
　ビームスプリッタ１１４は、図８で示されるように、レンズ１１２，１１３によりビーム径が拡大された入射光ＬＥを、矢印Ｒ１方向に透過させることで、SLMからなる空間光変調器１１５に入射させる。また、ビームスプリッタ１１４は、空間光変調器１１５により入射光ＬＥに変調が掛けられて反射された矢印Ｒ２方向からの変調光を、視聴者であるユーザの目Ｅに向けて、矢印Ｒ３方向へと反射させて、ユーザの目Ｅに入射させる。さらに、ビームスプリッタ１１４は、現実空間からの入射光を矢印Ｒ４方向に透過させてユーザの目Ｅに入射させる。
　空間光変調器（SLM：Spatial Light Modulator）１１５は、変調制御部１１６により制御される。また、空間光変調器１１５は、光源１１１で発せられ、レンズ１１２，１１３によりビーム径が拡張されたレーザ光ＬＥからなる入射光の空間的な分布（振幅、位相、偏光など）を、電気的に制御することにより、変調させて（光を変化させて）、反射させる。空間光変調器１１５は、例えば、液晶などの素子から構成されている。空間光変調器１１５は、変調制御部１１６により、液晶などの素子が制御されることにより、入射光としてのレーザ光ＬＥに変調を掛けることで、その波面形状を変化させてホログラム画像を生成する。以降においては、レーザ光ＬＥからなる入射光については、単に入射光ＬＥとも称する。また、本実施の形態における空間光変調器１１５は、反射型のSLMから構成される例について説明するが、透過型のSLMから構成されてもよい。さらに、本実施の形態においては、空間光変調器１１５は、位相限定型（Phase-Only）のSLMを例にして説明を進めるものとするが、これに限定されず、例えば、振幅限定型（Amplitude-Only）のSLMであってもよい。
　つまり、図８の空間光変調器１１５は、反射型で、かつ、移相限定型であるので、矢印Ｒ１方向に入射するコヒーレント光からなる入射光ＬＥを変調して変調光からなるホログラム画像としての反射光を矢印Ｒ２，Ｒ３方向に反射させてユーザの目Ｅに入射させる。これにより、ホログラム画像としての反射光が、空間光変調器１１５の鏡像ＩＳＬＭ上に投影されるので、ユーザの目Ｅには、ホログラム画像ＲＩとして視聴される。この際、矢印Ｒ４方向より現実空間からの入射光もユーザの目Ｅに、入射されることになるので、ユーザの目Ｅにおいては、現実空間上に重畳された状態のホログラム画像ＲＩが視聴されることになる。結果として、ユーザは、ビームスプリッタ１１４越しに、現実空間上にＡＲ表示されたホログラム画像ＲＩを視聴することになる。
　変調制御部１１６は、仮想オブジェクトを定義した３次元データからレンダリングにより得られる、カラーマップとデプスマップとからなるRGB＋Dデータおよび視線検出部１１７により検出されるユーザの視線方向の情報に基づいて、複素数波面情報を生成する。より詳細には、変調制御部１１６は、図１乃至図７を参照して説明したような原理を用いた波面伝搬処理により複素数波面情報を生成し、生成した複素数波面情報に基づいて、空間光変調器１１５を制御する。尚、変調制御部１１６の詳細な構成例については、図９を参照して詳細を後述する。
　視線検出部１１７は、例えば、ユーザの頭部に装着されるARHMDからなる表示システム１０１に設けられたIMU（Inertial Measurement Unit）や、ユーザの目や顔の画像を取得するカメラなどのセンサを備えている。視線検出部１１７は、このようなセンサにより取得される情報を、ユーザの視線方向を特定するための注視情報として、変調制御部１１６に出力する。なお、本実施の形態において、視線方向は、ユーザの目の位置を基準とした視線方向のみならず、現実空間内でのユーザの顔面の中心付近の法線方向であってもよい。また、視線方向は、ユーザの両目の中心位置における法線方向、または、ユーザの両目又は片目若しくは頭部における額の法線方向でもよい。そこで、以降においては、これらの視線方向を特定するための視線検出部１１７に設けられた各種のセンサにより取得されるセンサ情報を総称して、注視情報と称するものとする。そして、視線方向は、注視情報に基づいて特定されるものとする。
　＜変調制御部の構成例＞
　次に、図９を参照して、変調制御部１１６の構成例について説明する。図９の変調制御部１１６は、３次元画像レンダリング部１３１、リサンプリング処理部１３２、波面伝搬部１３３、および干渉縞変換部１３４を備えている。
　３次元画像レンダリング部１３１は、表示する仮想オブジェクトの３次元データＭに基づいたレンダリングにより、仮想オブジェクトのRGBデータ（テクスチャ情報）からなるRGBマップと、仮想オブジェクトの奥行情報からなるデプスマップとを生成する。そして、３次元画像レンダリング部１３１は、生成したRGBマップとデプスマップとを合わせて、RGB＋Dデータとしてリサンプリング処理部１３２に出力する。
　リサンプリング処理部１３２は、図１乃至図７を参照して説明したように、視線検出部１１７より供給される注視情報に基づいて、ユーザの視線方向を特定し、仮想オブジェクト毎のデプスマップのレイヤ数を調整しながら、離散化することでリサンプリングする。そして、リサンプリング処理部１３２は、リサンプリングしたレイヤ数のデプスマップとRGBマップとからなるRGB＋Dデータを波面伝搬部１３３に出力する。
　波面伝搬部１３３は、リサンプリング処理部１３２によりリサンプリングされたRGB+Dデータを、波面伝搬処理することで、空間光変調器１１５で表示するホログラム画像のイメージに対応するホログラムパターンの複素数波面情報からなる伝搬信号を生成する。そして、波面伝搬部１３３は、生成した伝搬信号を干渉縞変換部１３４に出力する。
　より詳細には、波面伝搬部１３３は、RGB＋Dデータのうちのデプスマップの情報に基づいて、オクルージョン処理を行って、奥行方向における最も奥側のレイヤのRGBデータから順次１つ手前のレイヤに存在するRGBデータで重畳する処理を繰り返す。そして、波面伝搬部１３３は、最終的に全てのレイヤのRGBデータを最も手前側のレイヤに伝搬することで、波面伝搬処理を実現し、一枚のホログラムパターンに相当する複素数波面情報からなる伝搬信号を生成する。尚、オクルージョン処理については、図１０乃至図１２を参照して、詳細を後述する。
　干渉縞変換部１３４は、波面伝搬部１３３により生成された複素数波面情報からなる伝搬信号を振幅情報または位相情報にエンコーディングして、空間光変調器１１５に出力する。
　以上の構成により、空間光変調器１１５は、変調制御部１１６の干渉縞変換部１３４より供給される振幅情報または位相情報に基づいて、入射光ＬＥに対して変調を掛けることで、３次元データＭで定義される仮想オブジェクトからなるホログラム画像を表示する。
　＜オクルージョン処理＞
　ここで、オクルージョン処理について説明する。尚、説明に当たり、ユーザの目Ｅから視聴されるホログラム画像は、ビームスプリッタ１１４で実現される機能により、図１０で示されるように、空間光変調器１１５の鏡像ＩＳＬＭ上に、ホログラム画像ＲＩとして視聴されるものとする。また、図１０のホログラム画像ＲＩには、図６の深度分布４１－１乃至４１－５のデプスマップを含むRGB＋Dデータに基づいた、空間光変調器１１５による入射光ＬＥへの変調により仮想オブジェクト１１－１乃至１１－５が含まれるものとする。
　この場合、ユーザの目Ｅからホログラム画像ＲＩを視聴すると、三角柱状の仮想オブジェクト１１－１乃至１１－５は、上面から見て三角形の頂点部が、中心から手前方向に突出し、水平方向の端部が奥手方向に引っ込んで存在する形状として視聴される。しかしながら、空間光変調器１１５の表示面（入射光ＬＥが変調されて、変調結果となるホログラム画像が反射される面：SLM位置）においては、１枚の２Ｄ画像として表示されることになる。この２Ｄ画像は、図１０における空間光変調器１１５の鏡像ＩＳＬＭ上に最も近い、すなわち、ユーザの目Ｅに対して最も近い面に構成される画像であると考えることができる。この１枚の２Ｄ画像は、一般に波面記録平面（WRP：Wavefront Recording Plane）と呼ばれる。
　波面記録平面（WRP）は、RGB＋DデータにおけるデプスマップとRGBマップとに基づいて、奥手方向における最もユーザの目Ｅから奥手側のレイヤのテクスチャ情報（RGBデータ）から、１レイヤ分ずつ順番に手前のテクスチャ情報が重ねられて生成される。このため、波面記録平面には、全てのレイヤのテクスチャ情報が、最も手前のレイヤに伝搬される。したがって、波面記録平面は、全てのレイヤのテクスチャ情報が手前のレイヤのテクスチャ情報に重ねられた、最も手前のレイヤの１枚のホログラムパターンに相当する。オクルージョン処理は、RGB+Dデータに基づいて、この波面記録平面を生成する処理である。すなわち、オクルージョン処理は、デプスデータに基づいて、最も奥手側のレイヤのテクスチャ情報に対して、重なっている手前側のテクスチャ情報を、奥手側のレイヤから順番に重ねて、全レイヤのテクスチャ情報を最も手前のレイヤに伝搬させる処理となる。
　このオクルージョン処理は、例えば、全ての仮想オブジェクトに係るデプスデータが全て均等に同一のレイヤ数で、同一のレイヤ間の間隔で構成される場合、すなわち、例えば、図１１で示されるような場合、以下の処理となる。尚、図１１においては、全ての仮想オブジェクト１１－１乃至１１－５に対して５層のレイヤからなる深度分布３１－１乃至３１－５が設定されている。
　まず、レイヤＬＮ５とレイヤＬＮ４の間のオクルージョン処理について説明する。このオクルージョン処理において、レイヤＬＮ５のテクスチャ情報は、矢印で示されるようにレイヤＬＮ４のテクスチャ情報に伝搬される。レイヤＬＮ４に伝搬されたレイヤＬＮ５のテクスチャ情報がレイヤＬＮ４にあるテクスチャ情報と重なっている場合、レイヤＬＮ５のテクスチャ情報がレイヤＬＮ４のテクスチャ情報で置換される。このオクルージョン処理により、レイヤＬＮ５のデプスデータに対応するテクスチャ情報に対してレイヤＬＮ４のテクスチャ情報が重畳される。
　次に、レイヤＬＮ４とレイヤＬＮ３の間のオクルージョン処理により、レイヤＬＮ４のテクスチャ情報が、矢印で示されるように、レイヤＬＮ３のテクスチャ情報に伝搬される。レイヤＬＮ３に伝搬されたレイヤＬＮ４のテクスチャ情報がレイヤＬＮ３にあるテクスチャ情報と重なっている場合、レイヤＬＮ４のテクスチャ情報がレイヤＬＮ３のテクスチャ情報で置換される。このオクルージョン処理により、レイヤＬＮ４のデプスデータに対応するテクスチャ情報に対してレイヤＬＮ３のテクスチャ情報が重畳される。
　さらに、同様に、レイヤＬＮ３とレイヤＬＮ２の間のオクルージョン処理により、レイヤＬＮ３のテクスチャ情報が、矢印で示されるように、レイヤＬＮ２のテクスチャ情報に伝搬される。レイヤＬＮ２に伝搬されたレイヤＬＮ３のテクスチャ情報がレイヤＬＮ２にあるテクスチャ情報と重なっている場合、レイヤＬＮ３のテクスチャ情報がレイヤＬＮ２のテクスチャ情報で置換される。このオクルージョン処理により、レイヤＬＮ３のデプスデータに対応するテクスチャ情報に対してレイヤＬＮ２のテクスチャ情報が重畳される。
　また、同様に、レイヤＬＮ２とレイヤＬＮ１の間のオクルージョン処理により、レイヤＬＮ２のテクスチャ情報が、矢印で示されるように、レイヤＬＮ１のテクスチャ情報が伝搬される。レイヤＬＮ１に伝搬されたレイヤＬＮ２のテクスチャ情報がレイヤＬＮ１にあるテクスチャ情報と重なっている場合、レイヤＬＮ２のテクスチャ情報がレイヤＬＮ１のテクスチャ情報で置換される。このオクルージョン処理により、レイヤＬＮ２のデプスデータに対応するテクスチャ情報に対してレイヤＬＮ１のテクスチャ情報が重畳される。そして、これら一連の処理により、全てのテクスチャ情報がレイヤＬＮ１のテクスチャ情報に伝搬される。
　このようにオクルージョン処理は、仮想オブジェクト毎に、奥手側のレイヤのテクスチャ情報から、順番に一つ手前側のレイヤのテクスチャ情報が重ねられる処理が繰り返されることで実現される処理である。このため、オクルージョン処理においては、並列処理ができず、計算量が非常に膨大なものとなる。
　これに対して、本開示においては、上述したように、視線方向と仮想オブジェクト方向とのなす角である視線視差角に応じて、中心視野に近い領域に存在する仮想オブジェクトについては、レイヤ数（サンプリング数）が多く、レイヤ間の間隔が狭く設定される。また、中心視野から離れた周辺視野に存在する仮想オブジェクトについては、レイヤ数（サンプリング数）が少なく、レイヤ間の間隔が広く設定される。
　このため、例えば、同一の仮想オブジェクト１１－１乃至１１－５のうち、視線方向Ｖｃ１が仮想オブジェクト方向となる仮想オブジェクト１１－３については、視線視差角が０である。このため、図１２で示されるように、例えば、仮想オブジェクト１１－３に対応する深度分布４１－３が、最大数である５層のレイヤから構成される。また、仮想オブジェクト１１－２，１１－４に対応する、深度分布４１－２，４１－４は、視線視差角がθｄ１（＞０）であるので、深度分布４１－３よりも少ない３層のレイヤから構成される。さらに、仮想オブジェクト１１－１，１１－５に対応する、深度分布４１－１，４１－５は、視線視差角がθｄ２（＞θｄ１）であるので、深度分布４１－２，４１－４よりも少ない２層のレイヤから構成されることになる。このような構成により、本開示における、オクルージョン処理は、以下のような処理になる。
　まず、図１２において、深度分布４１－３においては、矢印で示されるように、レイヤＬＮ５のテクスチャ情報がレイヤＬＮ４のテクスチャ情報に伝搬される。また、レイヤＬＮ４のテクスチャ情報が矢印で示されるようにレイヤＬＮ３のテクスチャ情報に伝搬される。さらに、レイヤＬＮ３のテクスチャ情報が矢印で示されるようにレイヤＬＮ２のテクスチャ情報に伝搬される。そして、レイヤＬＮ２のテクスチャ情報が、矢印で示されるようにレイヤＬＮ１のテクスチャ情報に伝搬される。この一連の処理により、仮想オブジェクト１１－３に対応する全てのレイヤのテクスチャ情報が、レイヤＬＮ１のテクスチャ情報に伝搬される。つまり、深度分布４１－３については、図１１の場合と同様に伝搬回数が４回となる。
　一方で、仮想オブジェクト１１－２，１１－４に対応する、深度分布４１－２，４１－４においては、まず、矢印で示されるように、レイヤＬＮ５のテクスチャ情報がレイヤＬＮ３のテクスチャ情報に伝搬される。次に、矢印で示されるように、レイヤＬＮ３のテクスチャ情報が、レイヤＬＮ１のテクスチャ情報に伝搬されることで、仮想オブジェクト１１－２，１１－４に対応する全てのレイヤのテクスチャ情報が、レイヤＬＮ１のテクスチャ情報に伝搬される。つまり、深度分布４１－２，４１－４の伝搬回数は、２回となり、深度分布４１－３の伝搬回数４回よりも低減される。
　そして、仮想オブジェクト１１－１，１１－５に対応する、深度分布４１－１，４１－５においては、矢印で示されるように、レイヤＬＮ５のテクスチャ情報が、レイヤＬＮ１のテクスチャ情報に伝搬される。これにより、仮想オブジェクト１１－１，１１－５に対応する全てのレイヤのテクスチャ情報が、レイヤＬＮ１のテクスチャ情報に伝搬される。つまり、深度分布４１－１，４１－５の伝搬回数は、１回となり、深度分布４１－２乃至４１－４の４回および２回といったいずれの伝搬回数よりも低減される。
　これにより、図１２におけるオクルージョン処理における矢印で示される全伝搬回数は、図１１におけるオクルージョン処理の全伝搬回数よりも少なくなり、全体として伝搬回数が低減されることになる。結果として、計算量が低減されるので、違和感のないホログラム画像を表示すると共に、計算処理に係る処理時間が増大することで生じる遅延や、計算に係る消費電力を低減させることが可能となる。
　＜変調制御処理＞
　次に、図１３のフローチャートを参照して、図９の変調制御部１１６による変調制御処理について説明する。
　ステップＳ３１において、３次元画像レンダリング部１３１は、外部から入力された３次元データに基づいて、レンダリングすることで、オブジェクトのテクスチャ情報からなるRGBマップと、オブジェクトの奥行（デプス）を表すデプスマップとを生成する。そして、３次元画像レンダリング部１３１は、RGBマップと、デプスマップとを合わせてRGB＋Dデータとしてリサンプリング処理部１３２に出力する。
　より詳細には、３次元画像レンダリング部１３１は、例えば、仮想オブジェクトの領域の画素には対応するテクスチャ情報である有色の画素値を付与し、それ以外の仮想オブジェクトが投影される画像が存在しない領域に黒を設定する。また、３次元画像レンダリング部１３１は、例えば、仮想オブジェクトの領域の画素には空間光変調器１５から仮想オブジェクトが投影される投影位置までの距離に相当するデプス値を付与する。さらに、３次元画像レンダリング部１３１は、仮想オブジェクトの領域以外の領域の画素には空間光変調器１５からの距離が無限遠であることを示す白のデプス値を付与する。このように、３次元画像レンダリング部１３１は、全領域にデプス値を付与することでデプスマップを生成する。
　ステップＳ３２において、視線検出部１１７は、ユーザの目Ｅの視線方向を検出し、注視情報としてリサンプリング処理部１３２に出力する。
　ステップＳ３３において、リサンプリング処理部１３２は、RGB＋Dデータに基づいて、未処理の仮想オブジェクトのいずれかを注目仮想オブジェクトに設定する。
　ステップＳ３４において、リサンプリング処理部１３２は、注視情報に基づいて、視線方向を特定すると共に、注目仮想オブジェクトの仮想オブジェクト方向と視線方向とのなす角である視線視差角を算出する。
　ステップＳ３５において、リサンプリング処理部１３２は、視線視差角に基づいて、RGB＋Dデータのデプスマップにおけるデプス値を離散化してリサンプリングして、波面伝搬部１３３に出力する。より詳細には、リサンプリング処理部１３２は、図１乃至図７を参照して説明したように、視線視差角が大きくなるほど、少ないレイヤ数（サンプリング数）で、レイヤ間の間隔を広くして、デプス値を離散化し、デプスマップをリサンプリングする。この際、波面伝搬部１３３は、注目仮想オブジェクトと対応付けてリサンプリング結果となるRGB＋Dデータを記憶する。
　ステップＳ３６において、リサンプリング処理部１３２は、未処理の仮想オブジェクトがあるか否かを判定し、未処理の仮想オブジェクトが存在する場合、処理は、ステップＳ３３に戻る。これにより、全ての仮想オブジェクトについて、視線方向に基づいた、RGB＋Dデータにおけるデプスマップのリサンプリングがなされるまで、ステップＳ３３乃至Ｓ３６の処理が繰り返される。そして、全ての仮想オブジェクトについて、視線方向に基づいた、RGB＋Dデータにおけるデプスマップのリサンプリングがなされ、ステップＳ３６において、未処理の仮想オブジェクトが存在しないと判定された場合、処理は、ステップＳ３７に進む。
　ステップＳ３７において、波面伝搬部１３３は、リサンプリングされた全ての仮想オブジェクトのRGB＋Dデータに基づいた波面伝搬処理により、伝搬信号を生成する。伝搬信号は、空間光変調器１１５が配置された位置で投影される仮想オブジェクトのホログラムパターンを表現する複素信号である。波面伝搬部１３３は、生成した伝搬信号を干渉縞変換部１３４に出力する。
　ホログラムパターンの伝搬信号を生成するための演算処理は、空間光変調器１１５のタイプと、伝搬距離と、符号化手法とに依存する。本実施の形態においては、位相限定型のLCoS（Phase-Only Liquid Crystal on Silicon）を空間光変調器１１５として用いた場合を例示する。
　伝搬距離が数百mmの範囲である場合、波面伝搬は、フレネル回折の公式により表すことができる。また、位相限定符号化には、二重相符号化アルゴリズムを用いることができる。以下に、本実施の形態に係る伝搬式及び符号化アルゴリズムについて説明する。
　波面伝搬部１３３は、画素単位で表される各点を、以下の式（１）に示すフレネルの波面回折式を用いることで波面伝搬させる。
Figure JPOXMLDOC01-appb-M000001
 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　ここで、式（１）において、（ｘ，ｙ，ｚ）のうちのｘ，ｙは、空間光変調器１１５により投影されるホログラム画像（ホログラムパターン）上の画素位置である。また、ｚは各点が表示される実空間上の表示位置から空間光変調器１１５が配置されたSLM位置までの距離である。（ｘ’，ｙ’，０）は、空間光変調器１１５の表示面上の画素位置である。ｋは、波長λの波数（２π／λ）である。ｉは、虚数単位である。さらに、ｒは、以下の式（２）で定義される
Figure JPOXMLDOC01-appb-M000002
 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　本例では、式（１）で示されるように、ホログラムパターンを生成するために、全ての点の値が合計される。さらに、図１０乃至図１２を参照して説明したように、個々の点のオクルージョン処理を考慮した伝搬アルゴリズムが用いられる。また、SLM位置におけるホログラムパターンの生成には、他の波動伝搬関数が用いられてもよい。例えば、異なる前提で使用することが可能なレイリー・ゾンマーフェルトの回折式やフラウンホーファーの回折式が用いられてもよい。
　ステップＳ３８において、干渉縞変換部１３４は、ホログラムパターン変換処理を実行し、波面伝搬部１３３において生成された複素信号により表される複素数体を、空間光変調器１１５を用いて表示できるホログラムパターンの位相信号に変換する。このホログラムパターン変換処理には、空間光変調器１１５のタイプごとに異なる変換手法が要求される。
　空間光変調器１１５が位相限定型のSLMである場合、ホログラムを空間光変調器１１５で表示するためには、複素数体が位相のみのフィールドに変換される必要がある。ただし、これに限定されず、その他の種々の符号化手法が用いられてもよい。例えば、振幅廃棄法（Amplitude Discard method）やGerchberg-Saxtonアルゴリズムや二重相符号化アルゴリズムなどの手法が用いられてもよい。
　本例では、上述したように、二重相符号化アルゴリズムを用いた場合を例示する。その場合の計算式は、以下の式（３）乃至式（６）が用いられる。
Figure JPOXMLDOC01-appb-M000003
 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
Figure JPOXMLDOC01-appb-M000004
 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）
Figure JPOXMLDOC01-appb-M000005
 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）
Figure JPOXMLDOC01-appb-M000006
 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６）
　ここで、Ｕ（ｘ，ｙ）は、複素平面である。Ａ（ｘ，ｙ）は、振幅成分である。ｐ（ｘ，ｙ）は、位相成分である。ａ（ｘ，ｙ）は、正規化振幅である。Ａｍａｘは、振幅成分の最大値である。Ｐａ，Ｐｂは、ホログラムパターンを空間光変調器１１５で表示するための位相のみの信号（位相信号）である。
　より詳細には、図１４で示されるように、Ｐａ，Ｐｂは、ホログラムパターンを空間光変調器１１５で表示するための位相のみの信号（位相信号）を形成するために、市松模様のように交互に入れ替わっている。この市松模様のパターンは固定されているため、空間光変調器１１５の画素ごとに式（３）乃至式（６）におけるＰａ及びＰｂが計算されるように、符号化処理を実行することができる。なお、Ｐａ及びＰｂは、共に位相値であるため、式（３）乃至式（６）で計算された値が、空間光変調器１１５で対応可能な範囲を超えた場合でも、０乃至２πの範囲に落とし込むことが可能である。
　ステップＳ３９において、干渉縞変換部１３４は、生成したホログラムパターンの位相信号を、入射光Ｌｅを変調する空間光変調器１１５に入力する。そして、空間光変調器１１５が入力された位相信号に基づいて入射光Ｌｅを変調する。また、空間光変調器１１５は、変調結果となるホログラムパターンからなるホログラム画像を、ビームスプリッタ１１４を介して反射することで表示する。
　ステップＳ４０において、処理の終了が指示されたか否かが判定され、処理の終了が指示されない場合、処理は、ステップＳ３１に戻り、それ以降の処理が繰り返される。そして、ステップＳ４０において、処理の終了が指示された場合、処理は、終了する。
　以上の処理により、視線方向に近い視線視差角となる仮想オブジェクト１１ほど深度方向のレイヤ数（サンプリング数）が多く、レイヤ間の間隔が狭く設定される。また、視線方向から離れた視線視覚差となる仮想オブジェクト１１ほど深度方向のレイヤ数が低減され、レイヤ間の間隔が広く設定される。そして、このようにレイヤ数が設定されて生成された、ホログラム画像が表示される。
　より詳細には、視線方向に近い視線視差角が小さな、中心視野に近い範囲の仮想オブジェクト１１ほど深度方向のレイヤ数が多く、レイヤ間の間隔が狭く設定される。これにより、ユーザの目Ｅで高感度に物体の形状や色を認識できる中心視野の範囲では、奥行方向が詳細に表現された仮想オブジェクトを表示することが可能となる。これに対して、視線方向から離れた視線視差角が大きい、中心視野から離れた周辺視野の範囲の仮想オブジェクト１１ほど深度方向のレイヤ数が低減され、レイヤ間の間隔が広く設定される。これにより、視線視差角の大きな周辺視野の範囲においては、奥行方向の表現が簡素化された状態で仮想オブジェクトが表現されることになる。しかしながら、ユーザの目Ｅでは、視線視差角が大きな周辺視野においては、ぼんやりとしか物体の形状や色を認識できないので影響は小さい。
　これらをまとめると、視線視差角の大きさに応じて奥行方向を表現するレイヤ数が低減されていく。換言すれば、中心視野から離れるにつれて、徐々にレイヤ数が低減されて、レイヤ間の間隔が広くなる。これにより、ユーザの目Ｅで視聴されるホログラム画像内の仮想オブジェクトは、中心視野からの距離に応じて、レイヤ数が徐々に低減して自然に変化し、目Ｅの感度変化に対応したものとなるので、視聴に際して違和感のない表現を実現することができる。また、ホログラム画像全体の領域に対して限定的な中心視野よりも広い領域となる周辺視野における全ての仮想オブジェクトのレイヤ数が低減されて、レイヤ間の間隔が広くなる。これにより、ホログラム画像全体の計算量を効果的に低減させることが可能となる。結果として、CGH技術に係る全体としての計算量を低減させて、低遅延化や省電力化を実現させつつ、立体視効果の高い、違和感のないホログラム画像を表示することが可能となる。
　尚、以上においては、視線方向と仮想オブジェクト方向とのなす角である視線視差角が大きくなるほど、奥行方向の値となるデプス値のレイヤ数を低減させ、レイヤ間の間隔が広くなるようにしてリサンプリングする例について説明してきた。しかしながら、上述の通り、仮想オブジェクト方向が、中心視野内である場合には、人間の目は、十分に形状と色彩を視認することができる。そこで、視線視差角に基づいて、仮想オブジェクトが、中心視野内のものであるとみなせる場合は、視線視差角の大きさによらず、最大数のレイヤ数により、最も狭いレイヤ間の間隔でリサンプリングされるようにしてもよい。一方、仮想オブジェクトが、周辺視野内のものであるとみなせる場合は、視線視差角が大きくなるほどレイヤ数が低減されるようにして、レイヤ間の間隔が広くなるようにリサンプリングされるようにしてもよい。
　さらに、視線視差角に基づいて、仮想オブジェクトが、中心視野内のものであるとみなせる場合は、視線視差角の大きさによらず、最大数となる第１のレイヤ数で、第１のレイヤ間の間隔でデプス値がリサンプリングされるようにしてもよい。一方、仮想オブジェクトが、周辺視野内に存在するものであるとみなせる場合は、視線視差角の大きさによらず、第１のレイヤ数よりも小さな第２のレイヤ数で、第１のレイヤ間の間隔より広い第２のレイヤ間の間隔でリサンプリングされるようにしてもよい。この場合、中心視野内における仮想オブジェクトと、周辺視野内における仮想オブジェクトとで、２種類のレイヤ数とレイヤ間隔が切り替えられて表示されるだけの処理となる。このようにレイヤ数や間隔の切り替えの種類が少なくても、中心視野内におけるレイヤ数に比べて、周辺視野におけるレイヤ数が低減されることで、簡易的ながら、適切にCGH技術に係る計算量を低減させることが可能となる。
　＜＜３．第１の変形例＞＞
　以上においては、視線視差角が大きなオブジェクト方向の仮想オブジェクトのレイヤ数を１層とする場合、例えば、図７における深度分布５１－１で示されるように、レイヤＬＮ３に構成する例について説明してきた。しかしながら、最終的には、全てのテクスチャ情報が、オクルージョン処理により目Ｅに最も近いレイヤＬＮ１に伝搬されることになる。そこで、リサンプリングにおいて、レイヤ数が１である場合には、目Ｅに最も近いレイヤＬＮ１に離散化されるようにして、オクルージョン処理における計算回数を低減するようにしてもよい。
　例えば、図１５で示されるように、視線方向Ｖｃ２に対して、オブジェクト方向が方向Ｖｃ２－３となる仮想オブジェクト１１－１については、視線視差角がθｄ１４（＞θｄ１３）となる。そこで、仮想オブジェクト１１－１に対応する深度分布２１－１は、深度分布５１’－１のようにリサンプリングしてもよい。深度分布５１’－１は、仮想オブジェクト１１－２に設定されるレイヤ数よりも少ない１層の、目Ｅに最も近いレイヤＬＮ１のみに離散化されている。このような処理により、レイヤＬＮ３のテクスチャ情報をレイヤＬＮ１に伝搬させる処理を省くことができるので、オクルージョン処理における計算回数を低減させることが可能となる。尚、図１５の深度分布５１’－１において、レイヤＬＮ３の点線部は、図７において１層のレイヤＬＮ３に離散化される場合のリサンプリングの例を示しており、実線部が、レイヤＬＮ１に離散化される場合のリサンプリングの例を示している。
　＜＜４．第２の変形例＞＞
　以上においては、視線方向とオブジェクト方向とのなす角である視線視差角に応じて、視線視差角が大きくなるほどレイヤ数が小さくなるように奥行方向がリサンプリングされる例について説明してきた。しかしながら、視線視差角に加えて、ユーザの目Ｅから空間光変調器１１５の表示面（SLM位置）上で表示される仮想オブジェクトまでの距離の要素も含めてレイヤ数が設定されるようにしてもよい。
　例えば、図１６で示されるように、図１における仮想オブジェクト１１と同様の形状の７個の図示せぬ仮想オブジェクトに対して、デプスマップが、最大値が７層までの範囲でリサンプリングされる場合について考える。すなわち、図１６の深度分布１５１－１乃至１５１－７は、最大数が７層のレイヤＬＮ１乃至ＬＮ７までの範囲でリサンプリングされている。
　このとき、深度分布１５１－１，１５１－７は、レイヤ数が１で、レイヤＬＮ４にリサンプリングされている。また、深度分布１５１－２は、レイヤ数が２で、レイヤＬＮ１，ＬＮ７の２層にリサンプリングされている。さらに、深度分布１５１－３，１５１－６は、レイヤ数が３で、レイヤＬＮ１，ＬＮ４，ＬＮ７の３層にリサンプリングされている。また、深度分布１５１－４は、レイヤ数が４で、レイヤＬＮ１，ＬＮ３，ＬＮ５，ＬＮ７の４層にリサンプリングされている。そして、視線方向となる深度分布１５１－５においては、レイヤ数が最大数である７層のレイヤＬＮ１乃至ＬＮ７にリサンプリングされている。
　ここで、深度分布１５１－４，１５１－６については、いずれも視線方向Ｖと仮想オブジェクト方向Ｖｎ，Ｖｆとのなす角である視線視差角はそれぞれθｎ，θｆと表現される。この視線視差角θｎ，θｆは、図１６で示されるように、近似した値（θｎ≒θｆ）と考えることができる。したがって、視線視差角のみでレイヤ数を設定する場合において、両者は、同数のレイヤ数として設定されることになる。
　しかしながら、深度分布１５１－６で表現される仮想オブジェクトは、深度分布１５１－４で表現される仮想オブジェクトに対してユーザの目Ｅからの距離が遠い。すなわち、深度分布１５１－６と、深度分布１５１－４とで表現される仮想オブジェクトの目Ｅからの距離は同一ではない。このため、両者のぼんやりと見える程度、すなわち、奥行きボケの加減は同一ではないと考えることができる。
　そこで、図１６の例においては、深度分布１５１－６のレイヤ数を、目Ｅから近い位置の仮想オブジェクトを表現する深度分布１５１－４のレイヤ数４よりも少ないレイヤ数３とすることで、目Ｅからの距離の差分に応じた奥行きボケの変化を表現している。つまり、同一の視線視差角の仮想オブジェクトの場合、目Ｅからの距離に応じてレイヤ数やその間隔が設定されるようにする。
　より詳細には、同一の視線視差角で、目Ｅからの距離が異なる仮想オブジェクトが存在するような場合、目Ｅから仮想オブジェクトまでの距離が遠くなるほど、レイヤ数が低減されて、レイヤ間の間隔が広く設定されるようにする。これにより、同一の視線視差角の仮想オブジェクトであっても、目Ｅからの距離が比較的近い仮想オブジェクトには、視線方向における仮想オブジェクトに対して、程度が抑制された奥行きボケを加えて表現することが可能となる。一方、同一の視線視差角の仮想オブジェクトであっても、目Ｅからの距離が比較的遠い仮想オブジェクトには、視線方向における仮想オブジェクトに対して、強い奥行きボケを加えて表現することが可能となる。
　このように、仮想オブジェクト毎に、視線視差角に、目Ｅからの距離の要素を加えて、レイヤ数を設定するようにして、視線視差角が大きい程、かつ、目からの距離が遠い程、レイヤ数が低減されて、レイヤ間隔が広がるようにしてもよい。これにより、奥行きボケの変化を緩やかに表現することができ、被写界深度を深くすることが可能となる。すなわち、目Ｅのフォーカス位置が遠いほど、目Ｅのフォーカス位置を基準とした被写界深度を深くすることが可能になる。
　＜＜５．ソフトウェアにより実行させる例＞＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
　図１７は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　尚、図１７におけるCPU１００１が、本明細書中における変調制御部１１６の機能を実現させる。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　ユーザの注視情報をセンサから取得する注視情報取得部と、
　前記注視情報に基づいた、前記ユーザの視線方向に対応する、前記ユーザの中心視野における３次元データのデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データの前記デプスデータのサンプリング間隔よりも狭くリサンプリングするリサンプリング処理部と、
　前記リサンプリング処理部によりリサンプリングされた前記デプスデータに基づいて、前記３次元データのカラーデータの波面伝搬処理を行い、ホログラムを表す伝搬信号を生成する波面伝搬処理部と
　を含む表示処理装置。
＜２＞　前記リサンプリング処理部は、前記注視情報に基づいた、前記ユーザの視線方向に対応する、前記ユーザの中心視野における３次元データで表現される仮想オブジェクト毎のデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データで表現される前記仮想オブジェクト毎の前記デプスデータのサンプリング間隔よりも狭くリサンプリングする
　＜１＞に記載の表示処理装置。
＜３＞　前記リサンプリング処理部は、前記ユーザの視線方向と、前記ユーザの視点からの前記仮想オブジェクトへの方向である仮想オブジェクト方向とに基づいて、前記ユーザの中心視野における３次元データで表現される前記仮想オブジェクト毎のデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データで表現される前記仮想オブジェクト毎の前記デプスデータのサンプリング間隔よりも狭くリサンプリングする
　＜２＞に記載の表示処理装置。
＜４＞　前記リサンプリング処理部は、前記ユーザの視線方向と、前記仮想オブジェクト方向とのなす角である視線視差角に基づいて、前記ユーザの中心視野における３次元データで表現される前記仮想オブジェクト毎のデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データで表現される前記仮想オブジェクトの前記デプスデータ毎のサンプリング間隔よりも狭くリサンプリングする
　＜３＞に記載の表示処理装置。
＜５＞　前記リサンプリング処理部は、
　　前記仮想オブジェクト毎に、前記視線視差角が小さくなるほど、前記仮想オブジェクトの前記デプスデータのサンプリング間隔を狭くリサンプリングし、前記視線視差角が大きくなるほど、前記仮想オブジェクトの前記デプスデータのサンプリング間隔を広くリサンプリングすることで、
　前記ユーザの中心視野における３次元データで表現される前記仮想オブジェクト毎のデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データで表現される前記仮想オブジェクト毎の前記デプスデータのサンプリング間隔よりも狭くリサンプリングする
　＜４＞に記載の表示処理装置。
＜６＞　前記リサンプリング処理部は、
　　前記仮想オブジェクト毎に、前記視線視差角に基づいて、前記仮想オブジェクトが前記中心視野内のものであるとみなせる場合、前記デプスデータのサンプリング間隔を所定の最も狭い間隔でリサンプリングし、
　　前記仮想オブジェクト毎に、前記視線視差角に基づいて、前記仮想オブジェクトが前記周辺視野内のものであるとみなせる場合、前記視線視差角が大きくなるほど、前記仮想オブジェクトの前記デプスデータのサンプリング間隔を広くリサンプリングすることで、　前記ユーザの中心視野における３次元データで表現される前記仮想オブジェクト毎のデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データで表現される前記仮想オブジェクト毎の前記デプスデータのサンプリング間隔よりも狭くリサンプリングする
　＜４＞に記載の表示処理装置。
＜７＞　前記リサンプリング処理部は、
　　前記仮想オブジェクト毎に、前記視線視差角に基づいて、前記仮想オブジェクトが前記中心視野内のものであるとみなせる場合、前記デプスデータのサンプリング間隔を第１の間隔でリサンプリングし、
　　前記仮想オブジェクト毎に、前記視線視差角に基づいて、前記仮想オブジェクトが前記周辺視野内のものであるとみなせる場合、前記デプスデータのサンプリング間隔を前記第１の間隔よりも広い第２の間隔でリサンプリングすることで、
　前記ユーザの中心視野における３次元データで表現される仮想オブジェクト毎のデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データで表現される前記仮想オブジェクト毎の前記デプスデータのサンプリング間隔よりも狭くリサンプリングする
　＜４＞に記載の表示処理装置。
＜８＞　前記リサンプリング処理部は、前記３次元データで表現される前記仮想オブジェクト毎のデプスデータをリサンプリングするレイヤが１つである場合、前記ユーザに最も近いレイヤにリサンプリングする
　＜３＞に記載の表示処理装置。
＜９＞　前記リサンプリング処理部は、前記ユーザの視線方向と、前記仮想オブジェクト方向とのなす角である視線視差角、および、前記仮想オブジェクトまでの距離に基づいて、前記ユーザの中心視野における３次元データで表現される前記仮想オブジェクト毎のデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データで表現される前記仮想オブジェクトの前記デプスデータ毎のサンプリング間隔よりも狭くリサンプリングする
　＜３＞に記載の表示処理装置。
＜１０＞　前記リサンプリング処理部は、
　　前記仮想オブジェクト毎に、
　　　前記視線視差角が小さくなるほど、および、前記仮想オブジェクトまでの距離が近くなるほど、前記仮想オブジェクトの前記デプスデータのサンプリング間隔を狭くリサンプリングし、
　　　前記視線視差角が大きくなるほど、および、前記仮想オブジェクトまでの距離が遠くなるほど、前記仮想オブジェクトの前記デプスデータのサンプリング間隔を広くリサンプリングすることで、
　前記ユーザの中心視野における３次元データで表現される前記仮想オブジェクト毎のデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データで表現される前記仮想オブジェクト毎の前記デプスデータのサンプリング間隔よりも狭くリサンプリングする
　＜９＞に記載の表示処理装置。
＜１１＞　前記３次元データの前記デプスデータおよび前記カラーデータは、前記３次元データがレンダリングされることで生成される
　＜１＞乃至＜１０＞のいずれかに記載の表示処理装置。
＜１２＞　前記伝搬信号に基づいて、光源からの入射光に変調を掛けて、前記ホログラムを生成する空間光変調器をさらに備える
　＜１＞乃至＜１１＞のいずれかに記載の表示処理装置。
＜１３＞　前記空間光変調器は、位相限定型空間光変調器、または、振幅限定型空間光変調器である
　＜１２＞に記載の表示処理装置。
＜１４＞　前記注視情報取得部は、前記ユーザの目または顔の画像を撮像するセンサからなり、前記センサにより撮像される、前記ユーザの目または顔の画像を、前記ユーザの視線方向を特定するための注視情報として取得する
　＜１＞乃至＜１３＞のいずれかに記載の表示処理装置。
＜１５＞　前記注視情報取得部は、前記ユーザの頭部に装着される機器に設けられた慣性センサからなり、前記慣性センサにより取得される信号を、前記ユーザの視線方向を特定するための注視情報として取得する
　＜１＞乃至＜１３＞のいずれかに記載の表示処理装置。
＜１６＞　前記ユーザの頭部に装着される機器は、拡張現実ヘッドマウントディスプレイ（ARHMD：Augmented Reality Head Mounted Displays）である
　＜１５＞に記載の表示処理装置。
＜１７＞　ユーザの注視情報をセンサから取得し、
　前記注視情報に基づいた、前記ユーザの視線方向に対応する、前記ユーザの中心視野における３次元データのデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データの前記デプスデータのサンプリング間隔よりも狭くリサンプリングし、
　リサンプリングされた前記デプスデータに基づいて、前記３次元データのカラーデータの波面伝搬処理を行い、ホログラムを表す伝搬信号を生成する
　ステップを含む表示処理方法。
＜１８＞　ユーザの注視情報をセンサから取得する注視情報取得部と、
　前記注視情報に基づいた、前記ユーザの視線方向に対応する、前記ユーザの中心視野における３次元データのデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データの前記デプスデータのサンプリング間隔よりも狭くリサンプリングするリサンプリング処理部と、
　前記リサンプリング処理部によりリサンプリングされた前記デプスデータに基づいて、前記３次元データのカラーデータの波面伝搬処理を行い、ホログラムを表す伝搬信号を生成する波面伝搬処理部
　としてコンピュータを機能させるプログラムを記憶する記憶媒体。
　１０１　表示システム，　１１１　光源，　１１２，１１３　レンズ，　１１４　ビームスプリッタ，　１１５　空間光変調器，　１１６　変調制御部，　１１７　視線検出部，　１３１　３次元画像レンダリング部，　１３２　リサンプリング処理部，　１３３　波面伝搬部，　１３４　干渉縞変換部

Claims (18)

  1. 　ユーザの注視情報をセンサから取得する注視情報取得部と、
    　前記注視情報に基づいた、前記ユーザの視線方向に対応する、前記ユーザの中心視野における３次元データのデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データの前記デプスデータのサンプリング間隔よりも狭くリサンプリングするリサンプリング処理部と、
    　前記リサンプリング処理部によりリサンプリングされた前記デプスデータに基づいて、前記３次元データのカラーデータの波面伝搬処理を行い、ホログラムを表す伝搬信号を生成する波面伝搬処理部と
    　を含む表示処理装置。
  2. 　前記リサンプリング処理部は、前記注視情報に基づいた、前記ユーザの視線方向に対応する、前記ユーザの中心視野における３次元データで表現される仮想オブジェクト毎のデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データで表現される前記仮想オブジェクト毎の前記デプスデータのサンプリング間隔よりも狭くリサンプリングする
    　請求項１に記載の表示処理装置。
  3. 　前記リサンプリング処理部は、前記ユーザの視線方向と、前記ユーザの視点からの前記仮想オブジェクトへの方向である仮想オブジェクト方向とに基づいて、前記ユーザの中心視野における３次元データで表現される前記仮想オブジェクト毎のデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データで表現される前記仮想オブジェクト毎の前記デプスデータのサンプリング間隔よりも狭くリサンプリングする
    　請求項２に記載の表示処理装置。
  4. 　前記リサンプリング処理部は、前記ユーザの視線方向と、前記仮想オブジェクト方向とのなす角である視線視差角に基づいて、前記ユーザの中心視野における３次元データで表現される前記仮想オブジェクト毎のデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データで表現される前記仮想オブジェクトの前記デプスデータ毎のサンプリング間隔よりも狭くリサンプリングする
    　請求項３に記載の表示処理装置。
  5. 　前記リサンプリング処理部は、
    　　前記仮想オブジェクト毎に、前記視線視差角が小さくなるほど、前記仮想オブジェクトの前記デプスデータのサンプリング間隔を狭くリサンプリングし、前記視線視差角が大きくなるほど、前記仮想オブジェクトの前記デプスデータのサンプリング間隔を広くリサンプリングすることで、
    　前記ユーザの中心視野における３次元データで表現される前記仮想オブジェクト毎のデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データで表現される前記仮想オブジェクト毎の前記デプスデータのサンプリング間隔よりも狭くリサンプリングする
    　請求項４に記載の表示処理装置。
  6. 　前記リサンプリング処理部は、
    　　前記仮想オブジェクト毎に、前記視線視差角に基づいて、前記仮想オブジェクトが前記中心視野内のものであるとみなせる場合、前記デプスデータのサンプリング間隔を所定の最も狭い間隔でリサンプリングし、
    　　前記仮想オブジェクト毎に、前記視線視差角に基づいて、前記仮想オブジェクトが前記周辺視野内のものであるとみなせる場合、前記視線視差角が大きくなるほど、前記仮想オブジェクトの前記デプスデータのサンプリング間隔を広くリサンプリングすることで、　前記ユーザの中心視野における３次元データで表現される前記仮想オブジェクト毎のデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データで表現される前記仮想オブジェクト毎の前記デプスデータのサンプリング間隔よりも狭くリサンプリングする
    　請求項４に記載の表示処理装置。
  7. 　前記リサンプリング処理部は、
    　　前記仮想オブジェクト毎に、前記視線視差角に基づいて、前記仮想オブジェクトが前記中心視野内のものであるとみなせる場合、前記デプスデータのサンプリング間隔を第１の間隔でリサンプリングし、
    　　前記仮想オブジェクト毎に、前記視線視差角に基づいて、前記仮想オブジェクトが前記周辺視野内のものであるとみなせる場合、前記デプスデータのサンプリング間隔を前記第１の間隔よりも広い第２の間隔でリサンプリングすることで、
    　前記ユーザの中心視野における３次元データで表現される仮想オブジェクト毎のデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データで表現される前記仮想オブジェクト毎の前記デプスデータのサンプリング間隔よりも狭くリサンプリングする
    　請求項４に記載の表示処理装置。
  8. 　前記リサンプリング処理部は、前記３次元データで表現される前記仮想オブジェクト毎のデプスデータをリサンプリングするレイヤが１つである場合、前記ユーザに最も近いレイヤにリサンプリングする
    　請求項３に記載の表示処理装置。
  9. 　前記リサンプリング処理部は、前記ユーザの視線方向と、前記仮想オブジェクト方向とのなす角である視線視差角、および、前記仮想オブジェクトまでの距離に基づいて、前記ユーザの中心視野における３次元データで表現される前記仮想オブジェクト毎のデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データで表現される前記仮想オブジェクトの前記デプスデータ毎のサンプリング間隔よりも狭くリサンプリングする
    　請求項３に記載の表示処理装置。
  10. 　前記リサンプリング処理部は、
    　　前記仮想オブジェクト毎に、
    　　　前記視線視差角が小さくなるほど、および、前記仮想オブジェクトまでの距離が近くなるほど、前記仮想オブジェクトの前記デプスデータのサンプリング間隔を狭くリサンプリングし、
    　　　前記視線視差角が大きくなるほど、および、前記仮想オブジェクトまでの距離が遠くなるほど、前記仮想オブジェクトの前記デプスデータのサンプリング間隔を広くリサンプリングすることで、
    　前記ユーザの中心視野における３次元データで表現される前記仮想オブジェクト毎のデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データで表現される前記仮想オブジェクト毎の前記デプスデータのサンプリング間隔よりも狭くリサンプリングする
    　請求項９に記載の表示処理装置。
  11. 　前記３次元データの前記デプスデータおよび前記カラーデータは、前記３次元データがレンダリングされることで生成される
    　請求項１に記載の表示処理装置。
  12. 　前記伝搬信号に基づいて、光源からの入射光に変調を掛けて、前記ホログラムを生成する空間光変調器をさらに備える
    　請求項１に記載の表示処理装置。
  13. 　前記空間光変調器は、位相限定型空間光変調器、または、振幅限定型空間光変調器である
    　請求項１２に記載の表示処理装置。
  14. 　前記注視情報取得部は、前記ユーザの目または顔の画像を撮像するセンサからなり、前記センサにより撮像される、前記ユーザの目または顔の画像を、前記ユーザの視線方向を特定するための注視情報として取得する
    　請求項１に記載の表示処理装置。
  15. 　前記注視情報取得部は、前記ユーザの頭部に装着される機器に設けられた慣性センサからなり、前記慣性センサにより取得される信号を、前記ユーザの視線方向を特定するための注視情報として取得する
    　請求項１に記載の表示処理装置。
  16. 　前記ユーザの頭部に装着される機器は、拡張現実ヘッドマウントディスプレイ（ARHMD：Augmented Reality Head Mounted Displays）である
    　請求項１５に記載の表示処理装置。
  17. 　ユーザの注視情報をセンサから取得し、
    　前記注視情報に基づいた、前記ユーザの視線方向に対応する、前記ユーザの中心視野における３次元データのデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データの前記デプスデータのサンプリング間隔よりも狭くリサンプリングし、
    　リサンプリングされた前記デプスデータに基づいて、前記３次元データのカラーデータの波面伝搬処理を行い、ホログラムを表す伝搬信号を生成する
    　ステップを含む表示処理方法。
  18. 　ユーザの注視情報をセンサから取得する注視情報取得部と、
    　前記注視情報に基づいた、前記ユーザの視線方向に対応する、前記ユーザの中心視野における３次元データのデプスデータのサンプリング間隔を、前記ユーザの周辺視野における前記３次元データの前記デプスデータのサンプリング間隔よりも狭くリサンプリングするリサンプリング処理部と、
    　前記リサンプリング処理部によりリサンプリングされた前記デプスデータに基づいて、前記３次元データのカラーデータの波面伝搬処理を行い、ホログラムを表す伝搬信号を生成する波面伝搬処理部
    　としてコンピュータを機能させるプログラムを記憶する記憶媒体。
PCT/JP2023/037470 2022-11-02 2023-10-17 表示処理装置、および表示処理方法、並びに記憶媒体 WO2024095753A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022176005 2022-11-02
JP2022-176005 2022-11-02

Publications (1)

Publication Number Publication Date
WO2024095753A1 true WO2024095753A1 (ja) 2024-05-10

Family

ID=90930302

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/037470 WO2024095753A1 (ja) 2022-11-02 2023-10-17 表示処理装置、および表示処理方法、並びに記憶媒体

Country Status (1)

Country Link
WO (1) WO2024095753A1 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06110371A (ja) * 1992-09-30 1994-04-22 Fujitsu Ltd 立体表示方法及び装置
JPH06130881A (ja) * 1992-10-14 1994-05-13 Fujitsu Ltd ホログラム情報作成方法
JPH10288939A (ja) * 1997-04-16 1998-10-27 Nippon Telegr & Teleph Corp <Ntt> デプスバッファ利用による計算機ホログラム生成方法並びに装置
JPH10326071A (ja) * 1997-03-27 1998-12-08 Nippon Telegr & Teleph Corp <Ntt> 注視点高解像度化による計算機ホログラム表示方法並びに装置並びにこの方法を記録した記録媒体
US20170060089A1 (en) * 2015-08-31 2017-03-02 City University Of Hong Kong Fast generation of digital holograms
JP2021012338A (ja) * 2019-07-09 2021-02-04 Kddi株式会社 ホログラム生成装置およびホログラム生成方法
WO2021182361A1 (ja) * 2020-03-13 2021-09-16 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP2022039234A (ja) * 2020-08-28 2022-03-10 日本放送協会 ホログラムデータ生成装置およびそのプログラム
US20220269218A1 (en) * 2019-12-12 2022-08-25 Intel Corporation Real time holography using learned error feedback
US11461962B1 (en) * 2021-06-28 2022-10-04 Meta Platforms Technologies, Llc Holographic calling for artificial reality

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06110371A (ja) * 1992-09-30 1994-04-22 Fujitsu Ltd 立体表示方法及び装置
JPH06130881A (ja) * 1992-10-14 1994-05-13 Fujitsu Ltd ホログラム情報作成方法
JPH10326071A (ja) * 1997-03-27 1998-12-08 Nippon Telegr & Teleph Corp <Ntt> 注視点高解像度化による計算機ホログラム表示方法並びに装置並びにこの方法を記録した記録媒体
JPH10288939A (ja) * 1997-04-16 1998-10-27 Nippon Telegr & Teleph Corp <Ntt> デプスバッファ利用による計算機ホログラム生成方法並びに装置
US20170060089A1 (en) * 2015-08-31 2017-03-02 City University Of Hong Kong Fast generation of digital holograms
JP2021012338A (ja) * 2019-07-09 2021-02-04 Kddi株式会社 ホログラム生成装置およびホログラム生成方法
US20220269218A1 (en) * 2019-12-12 2022-08-25 Intel Corporation Real time holography using learned error feedback
WO2021182361A1 (ja) * 2020-03-13 2021-09-16 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP2022039234A (ja) * 2020-08-28 2022-03-10 日本放送協会 ホログラムデータ生成装置およびそのプログラム
US11461962B1 (en) * 2021-06-28 2022-10-04 Meta Platforms Technologies, Llc Holographic calling for artificial reality

Similar Documents

Publication Publication Date Title
JP6704018B2 (ja) ニアアイ装置
US9964925B2 (en) Holographic display architecture
JP6154321B2 (ja) ２次元／３次元ホログラフィ表示システム
CN113508321B (zh) 具有光扩展耦合器的光学系统
JP2022544895A (ja) 体積ブラッグ格子ベースの導波路ディスプレイにおける分散補償
US11281003B2 (en) Near eye dynamic holography
JP5468537B2 (ja) ３ｄレンダリング・グラフィック・パイプラインを向上するためにビデオホログラムをリアルタイムに生成する方法
US10845761B2 (en) Reduced bandwidth holographic near-eye display
EP4152076A1 (en) Compact head-up display
US20220252879A1 (en) Image projection
EP4152075A2 (en) Compact head-up display
CN115808798A (zh) 全息虚拟现实显示器
JP2023548029A (ja) 導波管ディスプレイの位相構造
WO2024095753A1 (ja) 表示処理装置、および表示処理方法、並びに記憶媒体
US11853006B2 (en) Light engine
JP7445701B2 (ja) 導波路瞳拡張器
JP2009540353A (ja) エレクトロホログラフィックディスプレイにおける実効画素ピッチを低減する方法及び低減された実効画素ピッチを含むエレクトロホログラフィックディスプレイ
WO2022254833A1 (ja) 情報処理装置、情報処理方法及びプログラムを記録した記録媒体
CN107976887B (zh) 一种能减少再现浪费信息的计算全息三维显示方法及系统
US20230359027A1 (en) Head-Up Display
JP2021060469A (ja) 立体像投影装置及びプロジェクタ
CN116107083A (zh) 一种显示方法以及显示装置
KR20230126182A (ko) 헤드-업 디스플레이
GB2616450A (en) Processing means and display system
GB2622406A (en) Optimised hologram updating