WO2021182361A1 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
WO2021182361A1
WO2021182361A1 PCT/JP2021/008839 JP2021008839W WO2021182361A1 WO 2021182361 A1 WO2021182361 A1 WO 2021182361A1 JP 2021008839 W JP2021008839 W JP 2021008839W WO 2021182361 A1 WO2021182361 A1 WO 2021182361A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
amplitude
occlusion
boundary
object light
Prior art date
Application number
PCT/JP2021/008839
Other languages
English (en)
French (fr)
Inventor
雅人 赤尾
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022507157A priority Critical patent/JPWO2021182361A1/ja
Priority to US17/795,424 priority patent/US20230089872A1/en
Publication of WO2021182361A1 publication Critical patent/WO2021182361A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects

Definitions

  • This disclosure relates to an information processing device, an information processing method, and an information processing program.
  • the hologram display device performs a hidden surface erasing process on a three-dimensional object to be reproduced and displayed, calculates a hologram, and irradiates the hologram with a reference wave to reproduce the three-dimensional object.
  • the hidden surface erasing process is a process of erasing the wave surface generated from the back surface of the object, that is, the surface not visible from the viewpoint, and making only the wave surface generated from the surface of the object visible from the viewpoint.
  • a screen coordinate system in which a hidden surface is erased by a hidden surface erasing means based on a distance between each point on an object image represented by a screen coordinate system and a viewpoint is erased.
  • a technique for obtaining hologram data of an object image represented by a coordinate system in real space by reverse-transparent conversion of the above object image is disclosed.
  • the present disclosure proposes an information processing device, an information processing method, and an information processing program capable of suppressing the occurrence of ringing in a hologram having an anteroposterior relationship with an object.
  • the information processing apparatus has a foreground of the layer data of another layer from a plurality of layer data capable of expressing the object light of a three-dimensional object stepwise. At least one of the amplitude and phase in the layer data of the boundary between the specified portion that identifies the occlusion region that is lost by the image and the specified occlusion region is suppressed from leaking the object light to the outside of the occlusion region. It is provided with a change part that is changed so as to be.
  • a computer lacks from a plurality of layer data capable of stepwisely expressing the object light of a three-dimensional object by a foreground image of the layer data of another layer. Identifying the occlusion region, changing at least one of the amplitude and phase in the layer data of the boundary with the identified occlusion region so as to suppress leakage of the object light to the outside of the occlusion region. including.
  • one form of the information processing program according to the present disclosure is deleted from a plurality of layer data capable of stepwisely expressing the object light of a three-dimensional object by a foreground image of the layer data of another layer in a computer. Identifying the occlusion region, changing at least one of the amplitude and phase in the layer data of the boundary with the identified occlusion region so as to suppress leakage of the object light to the outside of the occlusion region. To execute.
  • a hologram is a display medium that records interference fringes formed by interfering object light reflected from an object with reference light having high coherency such as a laser.
  • reference light having high coherency
  • the hologram reproduces the object light by diffracting the light.
  • the detailed principle of the hologram is described in, for example, Japanese Patent Application Laid-Open No. 2013-54068.
  • FIG. 1 is a diagram for explaining an outline of hologram generation according to an embodiment.
  • the hologram H (hologram data) makes it possible to reproduce the image T of the object by using the light ray L1 having the same amplitude and phase as the reference light, as is known.
  • the light ray L is incident on the hologram H via the optical system 100.
  • the optical system 100 includes, for example, a laser light source 101, a collimator 102, a mirror 103, and a spatial filter 104.
  • the hologram H reproduces the object light L2 of the object by being irradiated with the light ray L1 of the optical system 100.
  • the user U recognizes the image T obtained by reproducing the three-dimensional object by visually recognizing the object light L2 emitted by the hologram H.
  • FIG. 2 is a diagram for explaining an example of the hidden surface processing of the hologram.
  • the hologram H shows a three-dimensional object 200-1 and an object 200-2.
  • the object 200-1 is located in front of the object 200-2 in the depth direction indicated by the Z axis.
  • the hologram H is referred to from the XY plane, a part of the object 200-1 is visually recognized so as to overlap the object 200-2.
  • the object 200-1 and the object 200-2 are referred to as "object 200".
  • the right figure of FIG. 2 shows the depth direction (Z-axis direction) of the left figure of FIG. 2 from above.
  • the hologram H propagates on the wave surface in the order of the rear layer to the front layer in the depth direction.
  • the object light of the back layer blocked by the front layer replaces the object light of the previous layer.
  • the ray L21 of the object 200-2 is blocked by the object 200-1 and replaced by the ray L22 which is the object light of the object 200-1.
  • the light ray L22 of the object 200-1 reaches the hologram surface H1.
  • the hologram H is subjected to a hidden surface treatment that erases a portion of the object 200 that cannot be seen from the viewpoint.
  • a hidden surface treatment an equation (1) for processing the wave surface of the previous stage and an equation (2) for processing the wave surface of the hologram surface H1 can be used.
  • the first stage means a layer closer to the hologram surface H1 between the layers.
  • the latter layer means a layer in the back direction from the previous layer between layers.
  • the frontmost stage means the layer closest to the hologram surface H1.
  • h n + 1 (x, y ) P n (m n (x, y) ⁇ h n (x, y) + o n (x, y)) ⁇ formula (1)
  • h hologram (x, y) PN (m N (x, y) x h N (x, y) + o N (x, y)) ... Equation (2)
  • n and N are integers, and the values increase as they approach the hologram surface H1.
  • h n + 1 (x, y) indicates the wave surface of the n + 1th layer (previous stage).
  • mn (x, y) indicates the mask function of the nth layer (second stage).
  • mn (x, y) indicates the inside of the object when the value is “0”.
  • mn (x, y) indicates the outside of the object when the value is “1”.
  • h n (x, y) is the wave front of the nth layer.
  • P n is a wave plane propagation operator.
  • n is an integer.
  • o n (x, y) represents the object light of the n-th layer.
  • m N (x, y) indicates the mask function of the first layer.
  • h N (x, y) is the wave surface of the frontmost layer.
  • PN is a wave plane propagation operator.
  • o N (x, y) indicates the object light of the frontmost layer.
  • ringing may occur in which the contours of the object 200-1 and the object 200-2 are visually recognized as if they are blurred by the background image. Ringing can occur when a wave surface leaks from the boundary between the foreground and the background of an object 200-1, an object 200-2, or the like. Therefore, the present disclosure provides an information processing device and the like capable of suppressing the occurrence of ringing in the hologram H having a front-back relationship of an object.
  • FIG. 3 is a diagram showing a schematic configuration of an information processing system according to an embodiment.
  • the information processing system 1 shown in FIG. 3 is a system that reproduces the hologram H.
  • the hologram H is, for example, hologram data generated based on image data.
  • the image data includes, for example, image information and distance information.
  • the image information includes, for example, information indicating a two-dimensional image obtained by a distance measuring camera capturing an object.
  • the image information includes a plurality of pixel information. Pixel information includes, for example, position information, intensity information, and the like.
  • the hologram H is generated by performing diffraction processing based on each pixel information of a plurality of pixels in the image data.
  • the information processing system 1 includes a hologram display unit 10 and an information processing device 20.
  • the information processing device 20 is electrically connected to the hologram display unit 10.
  • the hologram display unit 10 displays the hologram H based on the hologram data from the information processing device 20.
  • the hologram display unit 10 includes a display medium 11 and a light source 12.
  • the hologram display unit 10 may further include, for example, an optical system 100 or the like.
  • the display medium 11 is a medium on which hologram data can be recorded.
  • the display medium 11 includes, for example, a hologram, a spatial light modulator, and the like.
  • the display medium 11 may include a function of outputting a complex amplitude distribution or the like of the hologram surface H1 indicated by the hologram data as a video signal to a liquid crystal display or the like.
  • the light source 12 emits a light ray L1 corresponding to the reference light under the control of the information processing device 20.
  • the light source 12 includes, for example, a laser light source 101 and the like.
  • the light beam L1 emitted by the light source 12 irradiates the display medium 11 (hologram H) via the optical system 100.
  • the information processing device 20 is, for example, a dedicated or general-purpose computer.
  • the information processing device 20 controls the display of the hologram display unit 10.
  • the information processing device 20 has a function of generating hologram data.
  • the information processing device 20 may include an interface, a communication device, and the like for enabling data transmission / reception with an external electronic device.
  • the information processing device 20 includes a storage unit 21 and a control unit 22.
  • the control unit 22 is electrically connected to the hologram display unit 10 and the storage unit 21.
  • the storage unit 21 stores various data and programs.
  • the storage unit 21 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 21 stores various data such as image data 21A, object light data 21B, wave surface data 21C, and hologram data 21D.
  • the image data 21A is data indicating an image that is the basis of the hologram H.
  • the image data 21A includes, for example, data indicating RGB, distance, and the like.
  • the image data 21A is data acquired from an external electronic device, server, or the like.
  • the image data 21A may be, for example, data created from a three-dimensional computer graphic, but in the present embodiment, it is assumed that the image data 21A does not have hidden information due to the context of the object in the image.
  • the object light data 21B is, for example, data indicating the object light of a three-dimensional object obtained from the image data 21A.
  • the object light data 21B is, for example, data showing light rays at different angles of an object for each of a plurality of layers.
  • the object light data 21B is an example of layer data.
  • the wave surface data 21C is, for example, data obtained by calculating the wave surface propagation to the hologram surface H1 for each layer.
  • the hologram data 21D is, for example, data obtained by calculating the interference fringes of the object light and the reference light on the hologram surface H1.
  • the hologram data 21D has a plurality of position data corresponding to a plurality of pixels constituting the hologram creation surface, and at least one of phase data and amplitude data corresponding to the position data.
  • the control unit 22 controls the information processing device 20.
  • the control unit 22 has each processing unit such as an object light generation unit 23, a wave surface propagation calculation unit 24, and an interference fringe generation unit 25.
  • the object light generation unit 23 has each functional unit such as a specific unit 23A and a change unit 23B.
  • each processing unit of the object light generation unit 23, the wave surface propagation calculation unit 24, and the control unit 22 of the interference fringe generation unit 25 is, for example, by a CPU (Central Processing Unit), an MCU (Micro Control Unit), or the like.
  • the program stored in the information processing unit 20 is realized by executing the RAM (Random Access Memory) or the like as a work area. Further, each processing unit may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the object light generation unit 23 generates object light data 21B indicating object light based on the image data 21A.
  • the object light generation unit 23 acquires, for example, ray information of different angles obtained from an object from a plurality of image data 21A, and generates object light data 21B for each layer.
  • the specific unit 23A of the object light generation unit 23 is an occlusion region that is lost due to the foreground image of another object light data 21B from a plurality of object light data 21B that can show a stepwise image of the object and express the object light of the object. Identify (foreground area).
  • the change unit 23B of the object light generation unit 23 changes at least one of the amplitude and the phase in the object light data 21B at the boundary with the specified occlusion region so as to suppress the object light.
  • the object light generation unit 23 stores the generated object light data 21B in the storage unit 21.
  • the wavefront propagation calculation unit 24 calculates the wavefront propagation based on the amplitude, phase, etc. of the object light data 21B.
  • the wavefront propagation calculation unit 24 calculates the wavefront propagation using, for example, a Rayleight-Somerfeld diffraction formula, an angular spectral method, a Fresnel diffraction, a Fraunhofer diffraction, or the like.
  • the wave surface propagation calculation unit 24 stores the wave surface data 21C indicating the calculation result in the storage unit 21.
  • the interference fringe generation unit 25 calculates the interference fringes between the object light represented by the complex amplitude of the hologram surface H1 and the reference light based on the wave surface data 21C, and generates the hologram data 21D.
  • the interference fringe generation unit 25 generates hologram data 21D for display on the display medium 11 based on the calculated interference fringes, for example.
  • the interference fringe generation unit 25 stores the generated hologram data 21D in the storage unit 21.
  • the configuration example of the information processing device 20 according to the embodiment has been described above.
  • the above configuration described with reference to FIG. 3 is merely an example, and the configuration of the information processing apparatus 20 according to the present embodiment is not limited to such an example.
  • the functional configuration of the information processing apparatus 20 according to the present embodiment can be flexibly modified according to specifications and operations.
  • the information processing device 20 describes the case where the object light generation unit 23 has the specific unit 23A and the change unit 23B, but the present invention is not limited to this.
  • the specific unit 23A and the change unit 23B may be realized by the wave surface propagation calculation unit 24 or may be realized as an independent processing unit.
  • FIG. 4 is a diagram showing an example of the relationship between the image data and the object light data.
  • the image data 21A shown in FIG. 4 is data showing a two-dimensional image obtained by capturing an image of an object.
  • the image data 21A includes distance information.
  • the image data 21A is an image obtained by capturing the foreground 211 and the background 212 of the user U or the like.
  • Occlusion is a state in which the object in the foreground hides the object behind it and cannot be seen.
  • the image data 21A is in a state in which the foreground 211 hides a part of the background 212 and cannot be seen.
  • a phenomenon called ringing may occur in which the wave surface at the boundary of the occlusion region leaks out. That is, ringing involves that the boundary portion of the occlusion region appears to be blurred. Therefore, the present disclosure provides an information processing device 20 and the like that can suppress a decrease in visibility of a hologram even if an occlusion state occurs.
  • the object light data 21B1 and the object light data 21B2 are data obtained by modeling the object light for each layer different from the image data 21A.
  • the object light data 21B1 and the object light data 21B2 are data of a layer for sampling light rays.
  • the object light data 21B1 is, for example, data corresponding to the layer of the background 212 of the image data 21A.
  • the object light data 21B2 is data corresponding to the layer of the foreground 211 of the image data 21A.
  • the portion of the foreground 211 is the occlusion region 213.
  • the occlusion area 213 includes, for example, an area in which data does not exist due to objects, images, etc. of different layers.
  • the occlusion area 213 is an area where the pixel value is 0.
  • object light data 21B1 and the object light data 21B2 are referred to as "object light data 21B".
  • the information processing apparatus 20 describes a case where two layers of the background 212 and the foreground 211 of the image data 21A are assumed, but the present invention is not limited to this.
  • the information processing apparatus 20 may assume a multilayer structure of three or more layers of image data 21A.
  • the information processing apparatus 20 can use a method of generating hologram data of a computer-generated hologram (CGH).
  • CGH computer-generated hologram
  • a point filling method can be used in which the subject space is regarded as a collection of points, that is, an object is regarded as a collection of point objects, and the wave planes of the point light sources are added to generate hologram data 21D.
  • a method for example, a method of expressing an object with polygons and adding the wavefronts of a point light source to generate hologram data 21D can be used.
  • FIG. 5 is a flowchart showing an example of the object light generation process executed by the information processing apparatus 20 according to the embodiment.
  • FIG. 6 is a flowchart showing an example of the wave surface propagation calculation process executed by the information processing apparatus 20 according to the embodiment.
  • FIG. 7 is a flowchart showing an example of the interference fringe generation process executed by the information processing apparatus 20 according to the embodiment.
  • the processing procedure of FIGS. 5 to 7 is realized by executing a program by the control unit 22 of the information processing apparatus 20.
  • step S11 the control unit 22 of the information processing device 20 acquires the amplitude and coordinates of the object light.
  • the control unit 22 acquires the amplitude and coordinates of the object light based on the RGB, distance, and the like of the image data 21A.
  • step S12 the control unit 22 advances the process to step S12.
  • the control unit 22 models the object light based on the acquired amplitude / coordinate information (step S12). For example, the control unit 22 executes a process of converting light ray information so as to meet the specifications of the hologram to be generated, generates an image corresponding to the layer, and generates the object light data 21B based on the image. For example, the control unit 22 can use a known method for the process of converting the ray information. Known methods include, for example, integral photography and the like. When the control unit 22 stores the object light data 21B in the storage unit 21, the control unit 22 proceeds to the process in step S13.
  • the control unit 22 sets the initial phase (step S13). For example, the control unit 22 acquires the complex amplitude of the amplitude and phase of the object light for each pixel by uniformly changing the phase of the pixel value of the object light data 21B according to the XY coordinates. .. The control unit 22 sets the acquired phase as the initial phase in the object light data 21B.
  • the control unit 22 ends the process procedure shown in FIG.
  • the control unit 22 realizes the object light generation unit 23 by executing the processing procedure shown in FIG.
  • step S21 The processing procedure shown in FIG. 6 is executed by the control unit 22 of the information processing apparatus 20 when the object light generation processing shown in FIG. 5 is completed.
  • the control unit 22 acquires the amplitude / phase obtained by modeling (step S21). For example, the control unit 22 acquires the amplitude / phase of each image of the layer based on the object light data 21B.
  • step S21 the control unit 22 advances the process to step S22.
  • the control unit 22 calculates the wavefront propagation using the diffraction formula (step S22). For example, the control unit 22 converts the ray information into a complex amplitude distribution for each of the object light data 21B of the plurality of layers based on the above-mentioned diffraction formula.
  • the control unit 22 calculates wave surface propagation between adjacent layers, between the layers and the hologram surface H1 and the like. For example, when the angular spectrum method is used, the control unit 22 executes a Fourier transform process using the intensity information of the image for each object light data 21B, converts the ray information into complex amplitude, and calculates the wave surface information.
  • step S22 the control unit 22 advances the process to step S23.
  • the control unit 22 outputs the calculated complex amplitude (step S23). For example, the control unit 22 outputs the wavefront data 21C indicating the calculated complex amplitude to the interference fringe generation unit 25.
  • step S23 the control unit 22 ends the process procedure shown in FIG.
  • the control unit 22 realizes the wave surface propagation calculation unit 24 by executing the processing procedure shown in FIG.
  • the processing procedure shown in FIG. 7 is executed by the control unit 22 of the information processing apparatus 20 when the wave surface propagation calculation process shown in FIG. 6 is completed.
  • the control unit 22 acquires the complex amplitude based on the wavefront data 21C (step S31). For example, the control unit 22 acquires the complex amplitude for each layer based on the wavefront data 21C.
  • step S31 the control unit 22 advances the process to step S32.
  • the control unit 22 modulates the amplitude or phase (step S32).
  • the control unit 22 modulates the amplitude or phase of an image using a phase modulation method so that the complex amplitude is expressed only by the amplitude or phase for display on the display medium 11.
  • the phase modulation method includes, for example, the double phase method and the like.
  • the control unit 22 calculates the hologram map by calculating the interference fringes between the object light and the reference light indicated by the amplitude or phase of the hologram surface H1 calculated for each image of the layer.
  • the control unit 22 advances the process to step S33.
  • the control unit 22 outputs an amplitude or phase map (step S33).
  • the control unit 22 stores the hologram data 21D showing the calculated hologram map in the storage unit 21 by outputting the hologram data 21D to the storage unit 21.
  • the control unit 22 may output the hologram data 21D to the hologram display unit 10.
  • the control unit 22 ends the process procedure shown in FIG. 7.
  • the control unit 22 realizes the interference fringe generation unit 25 by executing the processing procedure shown in FIG. 7.
  • the information processing apparatus 20 generates hologram data 21D from image data 21A by executing object light generation processing, wave surface propagation calculation processing, and interference fringe generation processing.
  • object light generation processing wave surface propagation calculation processing
  • interference fringe generation processing a case where the information processing apparatus 20 executes a countermeasure example of the occlusion region 213 in the object light generation process (object light generation unit 23) will be described.
  • FIG. 8 is a diagram for explaining an outline of the countermeasure (1) of the information processing apparatus 20 according to the embodiment.
  • ringing may occur in the occlusion region 213 of the object light data 21B from the amplitude edge 214 of the boundary with the background 212.
  • the occlusion region 213, as shown in the right figure of FIG. 8 it was found that the ringing does not leak to the region of the foreground 211 by appropriately retracting the amplitude edge 214 inward of the occlusion region 213. ..
  • the amplitude edge 214 means, for example, the amplitude of the edge portion of the image.
  • the information processing device 20 is configured to be able to provide a countermeasure (1) for the amplitude edge 214.
  • Countermeasure (1-1) is to expand the amplitude of the background image. Specifically, the countermeasure (1-1) is a countermeasure for expanding the amplitude edge 214 of the image of the background 212 toward the inside of the occlusion region 213.
  • FIG. 9 is a flowchart in which the countermeasure (1-1) is added to the object light generation process shown in FIG. The processing procedure shown in FIG. 9 is realized by the control unit 22 of the information processing apparatus 20 executing a program.
  • control unit 22 of the information processing device 20 acquires the amplitude and coordinates of the object light (step S11).
  • the control unit 22 models the object light based on the acquired amplitude / coordinate information (step S12).
  • the control unit 22 proceeds to the process in step S111.
  • the control unit 22 extends the amplitude edge 214 of the boundary with the occlusion region 213 to the inside of the occlusion region 213 with respect to the object light data 21B having the occlusion region 213 (step S111). For example, the control unit 22 identifies the occlusion region 213 from the plurality of object light data 21Bs based on the context of the object and the like. Then, the control unit 22 applies dilation filter or the like to the amplitude of the background 212 indicated by the object light data 21B, and expands the background 212 toward the inside of the occlusion region 213.
  • control unit 22 fills the pixel value near the boundary of the occlusion area 213 with 0, and when there is one or more pixels having a pixel value of 1 or more in a predetermined area (kernel) near the boundary, the image of the background 212.
  • the pixel value of the pixel of interest is set to the average value.
  • the control unit 22 changes the amplitude in the object light data 21B near the boundary with the occlusion region 213 by expanding the image of the background 212 toward the inside of the occlusion region 213.
  • the control unit 22 takes measures against the object light data 21B for each of the plurality of layers.
  • the process of step S111 skips the process for the object light data 21B that does not have the occlusion region 213.
  • the control unit 22 advances the process to step S13.
  • the control unit 22 functions as the specific unit 23A and the change unit 23B by executing step S111.
  • the control unit 22 sets the initial phase (step S13). When the process of step S13 is completed, the control unit 22 ends the process procedure shown in FIG. The control unit 22 realizes the object light generation unit 23 by executing the processing procedure shown in FIG.
  • the information processing device 20 sequentially executes the wave surface propagation calculation process and the interference fringe generation process.
  • the information processing apparatus 20 expands the amplitude of the boundary of the occlusion region 213 by the countermeasure (1-1), so that the hologram data 21D in which the leakage of the wavefront at the boundary of the occlusion region 213 is suppressed is generated. be able to.
  • the information processing apparatus 20 can suppress the leakage of the wave surface from the boundary of the occlusion region 213 even if the hologram data 21D is reproduced.
  • Countermeasure (1-2) is to expand the amplitude of the background image. Specifically, the countermeasure (1-2) is a countermeasure for expanding the amplitude edge 214 of the image of the background 212 by filling the inside of the occlusion region 213.
  • FIG. 10 is a flowchart in which the countermeasure (1-2) is added to the object light generation process shown in FIG. The processing procedure shown in FIG. 10 is realized by the control unit 22 of the information processing apparatus 20 executing a program.
  • the control unit 22 of the information processing device 20 acquires the amplitude and coordinates of the object light (step S11).
  • the control unit 22 models the object light based on the acquired amplitude / coordinate information (step S12).
  • the control unit 22 proceeds to the process in step S112.
  • the control unit 22 fills the edge region inward from the boundary of the occlusion region 213 with respect to the object light data 21B having the occlusion region 213 (step S112). For example, the control unit 22 identifies the occlusion region 213 from the plurality of object light data 21Bs based on the context of the object and the like. Then, the control unit 22 executes an impedance process or the like on the amplitude of the background 212 indicated by the object light data 21B to fill the area inside from the boundary of the occlusion area 213.
  • the region inside the boundary of the occlusion region 213 can be set in consideration of the results of machine learning, simulation, and the like of the occurrence of ringing.
  • control unit 22 replaces the value of one pixel on the neighboring region to be modified with a weighted sum of the pixel values of the pixels whose pixel values are already known among the surrounding pixels.
  • the control unit 22 changes the amplitude in the object light data 21B near the boundary with the occlusion region 213 by expanding the image of the background 212 toward the inside of the occlusion region 213.
  • the control unit 22 takes measures against the object light data 21B for each of the plurality of layers.
  • the process of step S112 skips the process for the object light data 21B that does not have the occlusion region 213.
  • the control unit 22 advances the process to step S13.
  • the control unit 22 functions as the specific unit 23A and the change unit 23B by executing step S112.
  • the control unit 22 sets the initial phase (step S13). When the process of step S13 is completed, the control unit 22 ends the process procedure shown in FIG. The control unit 22 realizes the object light generation unit 23 by executing the processing procedure shown in FIG.
  • the information processing device 20 sequentially executes the wave surface propagation calculation process and the interference fringe generation process.
  • the information processing apparatus 20 expands the amplitude of the boundary of the occlusion region 213 by the countermeasure (1-2), so that the hologram data 21D in which the leakage of the wavefront at the boundary of the occlusion region 213 is suppressed is generated. be able to.
  • the information processing apparatus 20 can suppress the leakage of the wave surface from the boundary of the occlusion region 213 even if the hologram data 21D is reproduced.
  • Countermeasure (1-3) is to expand the amplitude of the background image. The process of expanding the amplitude requires a large amount of calculation. Therefore, the countermeasure (1-3) is a countermeasure for suppressing the calculation amount of the processing for expanding the amplitude and expanding the amplitude of the background image.
  • FIG. 11 is a flowchart in which the countermeasure (1-3) is added to the object light generation process shown in FIG. The processing procedure shown in FIG. 11 is realized by the control unit 22 of the information processing apparatus 20 executing a program.
  • the control unit 22 of the information processing device 20 acquires the amplitude and coordinates of the object light (step S11).
  • the control unit 22 models the object light based on the acquired amplitude / coordinate information (step S12).
  • the control unit 22 proceeds to the process in step S113.
  • the control unit 22 reduces the object light data 21B with respect to the object light data 21B having the occlusion area 213, extends the edge of the boundary with the occlusion area 213 toward the inside of the occlusion area 213, and the object light data.
  • the size of 21B is restored (step S113). For example, when the control unit 22 specifies the occlusion region 213 from the plurality of object light data 21B based on the context of the object and the like, the control unit 22 executes the processing procedure shown in FIG.
  • FIG. 12 is a diagram for explaining an example of countermeasures (1-3) in the object light generation process.
  • the control unit 22 executes a process of reducing the object light data 21B at the first reduction rate (step ST1).
  • the control unit 22 executes a process of reducing the reduced object light data 21B-1 at the second reduction rate (step ST2).
  • the control unit 22 executes a process of expanding the amplitude of the background image with respect to the reduced object light data 21B-2 (step ST3).
  • the process of expanding the amplitude may execute the process of the correspondence (1-1) or the correspondence (1-2).
  • the control unit 22 executes a process of enlarging the object light data 21B-3 that has been subjected to the process of expanding the amplitude at the second enlargement ratio (step ST4).
  • the second enlargement ratio is a magnification for restoring the second reduction ratio.
  • the control unit 22 executes a process of expanding the amplitude of the enlarged object light data 21B-4 and expanding the data at the first enlargement ratio (step ST5).
  • the first enlargement ratio is a magnification for restoring the first reduction ratio.
  • the control unit 22 suppresses an increase in the amount of calculation, and can obtain object light data 21B'in which the image of the background 212 is expanded toward the inside of the occlusion region 213. As a result, the control unit 22 changes the amplitude in the object light data 21B near the boundary with the occlusion region 213 by expanding the image of the background 212 toward the inside of the occlusion region 213.
  • control unit 22 takes measures against the object light data 21B for each of the plurality of layers.
  • the process of step S113 skips the process for the object light data 21B that does not have the occlusion region 213.
  • the control unit 22 advances the process to step S13.
  • the control unit 22 functions as the specific unit 23A and the change unit 23B by executing step S113.
  • the control unit 22 sets the initial phase (step S13). When the process of step S13 is completed, the control unit 22 ends the process procedure shown in FIG. The control unit 22 realizes the object light generation unit 23 by executing the processing procedure shown in FIG.
  • the information processing device 20 sequentially executes the wave surface propagation calculation process and the interference fringe generation process.
  • the information processing apparatus 20 expands the amplitude of the boundary of the occlusion region 213 by the countermeasure (1-3), so that the hologram data 21D in which the leakage of the wavefront at the boundary of the occlusion region 213 is suppressed is generated. be able to.
  • the information processing apparatus 20 can also suppress an increase in the amount of calculation related to the countermeasure (1-3). As a result, the information processing apparatus 20 can suppress the leakage of the wave surface from the boundary of the occlusion region 213 even if the hologram data 21D is reproduced.
  • Countermeasures for the information processing device according to the embodiment (2) As described in the above countermeasure (1), ringing may occur in the occlusion region 213 of the object light data 21B from the amplitude edge 214 of the boundary with the background 212. On the other hand, it was found that the occlusion region 213 suppresses the occurrence of ringing by smoothing the change in amplitude at the boundary of the occlusion region 213.
  • the information processing device 20 is configured to be able to provide a measure (2) for smoothing the amplitude of the background.
  • FIG. 13 is a flowchart in which the countermeasure (2) is added to the object light generation process shown in FIG.
  • the processing procedure shown in FIG. 13 is realized by the control unit 22 of the information processing apparatus 20 executing a program.
  • the control unit 22 of the information processing device 20 acquires the amplitude and coordinates of the object light (step S11).
  • the control unit 22 models the object light based on the acquired amplitude / coordinate information (step S12).
  • the control unit 22 proceeds to the process in step S121.
  • the control unit 22 averages the amplitude of the boundary with the occlusion region 213 with respect to the object light data 21B having the occlusion region 213 (step S121). For example, the control unit 22 identifies the occlusion region 213 from the plurality of object light data 21Bs based on the context of the object and the like. Then, the control unit 22 expands the background image near the boundary of the occlusion area 213, applies a low pass filter or the like to the vicinity of the boundary, and smoothes the amplitude of the background image near the boundary of the occlusion area 213.
  • control unit 22 changes the amplitude in the object light data 21B near the boundary with the occlusion region 213 by smoothing the change in the amplitude of the background image near the boundary with the occlusion region 213.
  • the control unit 22 takes measures against the object light data 21B for each of the plurality of layers.
  • the process of step S121 skips the process for the object light data 21B that does not have the occlusion region 213.
  • the control unit 22 advances the process to step S13.
  • the control unit 22 functions as the specific unit 23A and the change unit 23B by executing step S121.
  • the control unit 22 sets the initial phase (step S13). When the process of step S13 is completed, the control unit 22 ends the process procedure shown in FIG. The control unit 22 realizes the object light generation unit 23 by executing the processing procedure shown in FIG.
  • the information processing device 20 sequentially executes the wave surface propagation calculation process and the interference fringe generation process.
  • the information processing apparatus 20 smoothes the boundary of the occlusion region 213 by the countermeasure (2), so that the hologram data 21D in which the occurrence of ringing at the boundary of the occlusion region 213 is suppressed can be generated.
  • the information processing apparatus 20 can suppress the occurrence of ringing at the boundary of the occlusion region 213 even when the hologram data 21D is reproduced.
  • control unit 22 of the information processing device 20 performs the smoothing process after expanding the object light data 21B
  • the present invention is not limited to this.
  • the control unit 22 may be configured to perform smoothing processing without expanding the object light data 21B.
  • Countermeasure (3-1) switches the amplitude processing for the background image.
  • the countermeasure (3-1) is a countermeasure for switching the amplitude processing based on the amplitude distribution near the boundary of the occlusion region 213.
  • FIG. 14 is a flowchart in which the countermeasure (3-1) is added to the object light generation process shown in FIG. The processing procedure shown in FIG. 14 is realized by the control unit 22 of the information processing apparatus 20 executing a program.
  • the control unit 22 of the information processing device 20 acquires the amplitude and coordinates of the object light (step S11).
  • the control unit 22 models the object light based on the acquired amplitude / coordinate information (step S12).
  • the control unit 22 proceeds to the process in step S131.
  • the control unit 22 selects the amplitude processing method of the occlusion region 213 for each of the plurality of object light data 21B (step S131). For example, the control unit 22 specifies the occlusion region 213 for each of the plurality of object light data 21Bs based on the context of the object and the like. Then, when the occlusion region 213 is specified, the control unit 22 selects the amplitude processing method based on the selection conditions.
  • the selection condition is, for example, a condition for selecting one of smoothing when the amplitude distribution in the vicinity of the occlusion region 213 is flat, and amplitude expansion, amplitude expansion, and smoothing when the amplitude distribution is not flat. including.
  • the selection condition may further include a condition for selecting amplitude expansion, amplitude expansion, and smoothing when the amplitude distribution is not flat.
  • the control unit 22 executes the amplitude processing of the selected method for each of the plurality of object light data 21B (step S132). For example, the control unit 22 executes the amplitude processing by smoothing on the object light data 21B for which smoothing is selected. For example, the control unit 22 executes amplitude processing by amplitude expansion or amplitude expansion and smoothing on the object light data 21B in which either amplitude expansion, amplitude expansion, or smoothing is selected. As a result, the control unit 22 takes measures against the object light data 21B for each of the plurality of layers by executing the amplitude processing suitable for the state of the amplitude distribution near the boundary of the occlusion area 213, and is connected to the occlusion area 213.
  • step S132 The amplitude in the object light data 21B near the boundary is changed.
  • step S132 the control unit 22 advances the process to step S13.
  • the control unit 22 functions as the specific unit 23A and the change unit 23B by executing the steps S131 and S132.
  • the control unit 22 sets the initial phase (step S13). When the process of step S13 is completed, the control unit 22 ends the process procedure shown in FIG. The control unit 22 realizes the object light generation unit 23 by executing the processing procedure shown in FIG.
  • the information processing device 20 sequentially executes the wave surface propagation calculation process and the interference fringe generation process.
  • the information processing apparatus 20 expands the amplitude of the boundary of the occlusion region 213 according to the amplitude distribution by the countermeasure (3-1), so that the leakage of the wavefront at the boundary of the occlusion region 213 is suppressed.
  • Hologram data 21D can be generated.
  • the information processing apparatus 20 can optimize the effect of suppressing ringing in the vicinity of the boundary of the occlusion region 213 and suppress the amount of calculation.
  • Countermeasure (3-2) is to switch the amplitude processing for the background image. Specifically, the countermeasure (3-2) is a countermeasure for switching the amplitude processing according to the type of the occlusion region 213 of the object light data 21B.
  • FIG. 15 is a flowchart in which the countermeasure (3-2) is added to the object light generation process shown in FIG. The processing procedure shown in FIG. 15 is realized by the control unit 22 of the information processing apparatus 20 executing a program.
  • the control unit 22 of the information processing device 20 acquires the amplitude and coordinates of the object light (step S11).
  • the control unit 22 models the object light based on the acquired amplitude / coordinate information (step S12).
  • the control unit 22 proceeds to the process in step S141.
  • the control unit 22 specifies the type of the occlusion region 213 for each of the plurality of object light data 21B (step S141).
  • the occlusion area 213 includes types such as self-occlusion and mutual occlusion.
  • Self-occlusion includes occlusions that occur due to context within the same object. Within the same object includes, for example, a relationship between a human face and a hand.
  • Mutual occlusion includes occlusion that occurs due to the context between different objects.
  • the control unit 22 specifies the occlusion region 213 for each of the plurality of object light data 21Bs based on the context of the object and the like.
  • control unit 22 specifies the type for each occlusion area 213 based on the context of the occlusion area 213 of the object light data 21B for each of the plurality of layers.
  • the control unit 22 distinguishes between self-occlusion and mutual occlusion based on plane coordinates and depth range.
  • the control unit 22 identifies a region in which both the plane coordinates and the depth are close to each other as self-occlusion.
  • the control unit 22 executes amplitude processing according to the specified type for each of the plurality of object light data 21B (step S142). For example, it is assumed that the information processing apparatus 20 performs amplitude processing by expansion when the type is mutual occlusion, and amplitude processing by projection when the type is self-occlusion. In this case, when the specific result is mutual occlusion, the control unit 22 executes a process of expanding the amplitude of the vicinity of the boundary of the occlusion region 213 for each of the plurality of object light data 21B. When the specific result is self-occlusion, the control unit 22 executes a process of projecting the foreground image in parallel to the occlusion region 213.
  • FIG. 16 is a diagram for explaining an example of countermeasures (3-2) according to the type of occlusion area.
  • the left figure of FIG. 16 shows an example of image processing for each layer of mutual occlusion.
  • the left figure of FIG. 16 shows an example in which images showing the context of different objects are divided into layers.
  • the right figure of FIG. 16 shows an example of image processing for each layer of self-occlusion.
  • the right figure of FIG. 16 shows an example in which an image showing the context of the same object is divided into layers.
  • the image 221 and the image 222 and the image 223 for each layer are separated from the hologram surface H1 in this order.
  • the portion of the image 221 which is the foreground is the occlusion region 213.
  • the foreground image 221 and the image 222 are the occlusion area 213.
  • control unit 22 When the control unit 22 specifies the type of the occlusion region 213 as mutual occlusion, the control unit 22 performs a process of expanding the amplitude edge 214 near the boundary of the occlusion region 213 to the inside of the occlusion region 213 as shown in the left figure of FIG. Run. Further, when the type of the occlusion area 213 is specified as self-occlusion, the control unit 22 executes a process of parallel-projecting the foreground image onto the occlusion area 213 as shown in the right figure of FIG. For example, the control unit 22 expands the image 221', which is a parallel projection of the image 221, so as to fill the occlusion region 213 of the image 222.
  • the control unit 22 expands the image 221'and the image 222 so as to fill the occlusion region 213 of the image 223 with the image 222'projected in parallel to the background image 223.
  • the control unit 22 executes an amplitude process suitable for the type of the occlusion region 213 to take measures suitable for the object light data 21B for each of the plurality of layers.
  • the control unit 22 performs amplitude processing on the object light data 21B for each of the plurality of layers.
  • the control unit 22 expands the image of the background 212 toward the inside of the amplitude region 213, or fills the inside of the occlusion region 213 with the foreground image, so that the object light data near the boundary with the occlusion region 213 is obtained.
  • step S142 the control unit 22 advances the process to step S13.
  • the control unit 22 functions as the specific unit 23A and the change unit 23B by executing steps S141 and S142.
  • the control unit 22 sets the initial phase (step S13). When the process of step S13 is completed, the control unit 22 ends the process procedure shown in FIG. The control unit 22 realizes the object light generation unit 23 by executing the processing procedure shown in FIG.
  • the information processing device 20 sequentially executes the wave surface propagation calculation process and the interference fringe generation process.
  • the information processing apparatus 20 expands the amplitude of the boundary of the occlusion region 213 by the countermeasure (3-2), so that the hologram data 21D in which the leakage of the wavefront at the boundary of the occlusion region 213 is suppressed is generated. be able to.
  • the information processing apparatus 20 can optimize the effect of suppressing ringing in the vicinity of the boundary of the occlusion region 213 and suppress the amount of calculation.
  • the information processing device 20 is configured to be able to provide a measure (4) for setting an initial phase near the boundary so that the wavefront generated from the boundary of the occlusion region 213 of the object light data 21B does not spread to the foreground region. ..
  • FIG. 17 is a flowchart in which the countermeasure (4) is added to the object light generation process shown in FIG.
  • the processing procedure shown in FIG. 17 is realized by the control unit 22 of the information processing apparatus 20 executing a program.
  • the control unit 22 of the information processing device 20 acquires the amplitude and coordinates of the object light (step S11).
  • the control unit 22 models the object light based on the acquired amplitude / coordinate information (step S12).
  • the control unit 22 proceeds to the process in step S151.
  • the control unit 22 sets an initial phase that suppresses the spread of the wavefront generated from the boundary of the occlusion region 213 (step S151). For example, the control unit 22 acquires the complex amplitude of the amplitude and phase of the object light for each pixel by uniformly changing the phase of the pixel value of the object light data 21B according to the XY coordinates. .. The control unit 22 sets the acquired phase as the initial phase in the object light data 21B. Then, the control unit 22 identifies the occlusion region 213 from the plurality of object light data 21Bs based on the context of the object and the like.
  • the control unit 22 fills the amplitude of the background occlusion region 213 with a value larger than 0, and moves toward the center of the occlusion region 213 near the boundary of the background occlusion region 213.
  • the control unit 22 changes the phase in the object light data 21B near the boundary of the occlusion region 213.
  • the control unit 22 ends the process procedure shown in FIG.
  • the control unit 22 realizes the object light generation unit 23 by executing the processing procedure shown in FIG. 17, and functions as the identification unit 23A and the change unit 23B.
  • the information processing device 20 sequentially executes the wave surface propagation calculation process and the interference fringe generation process.
  • the information processing apparatus 20 sets the initial phase near the boundary of the occlusion region 213 by the countermeasure (4), so that the hologram data 21D in which the leakage of the wavefront near the boundary is suppressed can be generated. can.
  • the information processing apparatus 20 can suppress the leakage of the wave surface from the boundary of the occlusion region 213 even if the hologram data 21D is reproduced.
  • the initial phase of the hologram H uses a known random phase in order to increase the spatial frequency and diffuse the light.
  • the hologram H generates speckle noise when a random phase is used.
  • the information processing device 20 is configured to be able to provide a measure (5) for imparting a random phase only in the vicinity of the boundary of the occlusion region 213 of the object light data 21B.
  • FIG. 18 is a flowchart in which the countermeasure (5) is added to the object light generation process shown in FIG.
  • the processing procedure shown in FIG. 18 is realized by executing a program by the control unit 22 of the information processing apparatus 20.
  • the control unit 22 of the information processing device 20 acquires the amplitude and coordinates of the object light (step S11).
  • the control unit 22 models the object light based on the acquired amplitude / coordinate information (step S12).
  • the control unit 22 proceeds to the process in step S152.
  • the control unit 22 sets the initial phase for diffusing the wavefront generated from the boundary of the occlusion region 213 (step S152). For example, the control unit 22 acquires the complex amplitude of the amplitude and phase of the object light for each pixel by uniformly changing the phase of the pixel value of the object light data 21B according to the XY coordinates. .. The control unit 22 sets the acquired phase as the initial phase in the object light data 21B. Then, the control unit 22 identifies the occlusion region 213 from the plurality of object light data 21Bs based on the context of the object and the like.
  • control unit 22 applies a random phase only near the boundary of the occlusion area 213, so that a speckle noise is generated only near the boundary of the background occlusion area 213. Set the initial phase to limit.
  • control unit 22 ends the process procedure shown in FIG.
  • the control unit 22 realizes the object light generation unit 23 by executing the processing procedure shown in FIG. 18, and functions as the identification unit 23A and the change unit 23B.
  • the information processing device 20 sequentially executes the wave surface propagation calculation process and the interference fringe generation process.
  • the information processing apparatus 20 sets the initial phase that limits the region where speckle noise is generated only in the vicinity of the boundary of the occlusion region 213 by the countermeasure (5), so that the speckle noise other than the vicinity of the boundary is set. It is possible to generate hologram data 21D in which the occurrence of noise is suppressed. As a result, even if the information processing apparatus 20 reproduces the hologram data 21D, it is possible to suppress ringing at the boundary of the occlusion region 213 and generation of speckle noise other than near the boundary.
  • the countermeasure (1) to the countermeasure (5) may be changed, applied to other countermeasures, or combined.
  • the information processing apparatus 20 may change the object light data 21B by combining the amplitude expansion and the setting of the initial phase.
  • FIG. 19 is a hardware configuration diagram showing an example of a computer 1000 that realizes the functions of the information processing device 20.
  • the computer 1000 includes a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600. Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200 and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program depending on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by the program.
  • the HDD 1400 is a recording medium for recording an information processing program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600.
  • the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as a DVD (Digital Versaille Disc), a magneto-optical recording medium such as an MO (Magnet-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • the CPU 1100 of the computer 1000 realizes the functions of the specific unit 23A, the change unit 23B, and the like by executing the program loaded on the RAM 1200. ..
  • the HDD 1400 stores the program related to the present disclosure and the data in the storage unit 21.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • each step related to the processing of the information processing apparatus 20 of the present specification does not necessarily have to be processed in chronological order in the order described in the flowchart.
  • each step related to the processing of the information processing apparatus 20 may be processed in an order different from the order described in the flowchart, or may be processed in parallel.
  • the layer data is the object light data 21B
  • the layer data is not limited to this.
  • the layer data is different depending on the original data for generating the hologram data 21D.
  • the layer data is data in which a set of point objects is layered.
  • the layer data is data in which data representing an object represented by polygons is layered.
  • the information processing device 20 identifies a specific unit 23A that specifies an occlusion region 213 that is lost due to a foreground image of layer data of another layer from a plurality of layer data that can represent the object light of a three-dimensional object stepwise. It is provided with a change unit 23B that changes at least one of the amplitude and the phase in the layer data of the boundary with the occlusion region 213 so as to suppress the leakage of the object light to the outside of the occlusion region 213.
  • the layer data can be changed so as to suppress the leakage of the object light to the outside of the occlusion area 213.
  • the information processing apparatus 20 can suppress the occurrence of ringing in the hologram H having the front-back relationship of the object by creating the hologram data 21D based on the changed layer data.
  • the changing unit 23B changes the boundary of the amplitude of the surrounding area with the occlusion area 213 in the layer data so as to extend toward the inside of the occlusion area 213.
  • the information processing apparatus 20 can suppress the leakage of the wave front from the boundary of the occlusion region 213 by expanding the amplitude of the boundary of the occlusion region 213 in the layer data. As a result, the information processing apparatus 20 can suppress the leakage of the wave front from the boundary of the occlusion region 213 even if the hologram data 21D created based on the changed layer data is reproduced.
  • the change unit 23B changes the amplitude of the layer data so as to fill the boundary area of the occlusion area 213 in the layer data.
  • the information processing apparatus 20 fills the vicinity of the boundary of the occlusion region 213 in the layer data and expands the amplitude of the boundary of the occlusion region 213, so that leakage of the wave surface from the boundary of the occlusion region 213 is suppressed. be able to.
  • the information processing apparatus 20 can suppress the leakage of the wave front from the boundary of the occlusion region 213 even if the hologram data 21D created based on the changed layer data is reproduced.
  • the change unit 23B reduces the layer data having the occlusion area 213, changes the boundary of the amplitude of the reduced layer data so as to expand toward the inside of the occlusion area 213, and changes the layer. Restore the size of the data.
  • the information processing apparatus 20 expands the boundary of the amplitude of the reduced layer data and restores the changed size of the layer data, so that the amount of calculation is suppressed and the wave surface leaks from the boundary of the occlusion region 213. Can be suppressed. As a result, the information processing apparatus 20 can suppress the leakage of the wave front from the boundary of the occlusion region 213 even if the hologram data 21D created based on the changed layer data is reproduced.
  • the changing unit 23B changes the boundary of the amplitude of the surrounding area with the occlusion area 213 in the layer data so as to be smoothed.
  • the information processing apparatus 20 smoothes the boundary of the occlusion region 213, so that leakage of the wave front from the boundary of the occlusion region 213 can be suppressed. As a result, the information processing apparatus 20 can suppress the leakage of the wave front from the boundary of the occlusion region 213 even if the hologram data 21D created based on the changed layer data is reproduced.
  • the change unit 23B when the amplitude distribution of the peripheral region near the boundary with the occlusion region 213 in the layer data is flat, the change unit 23B is changed so as to smooth the amplitude boundary, and when it is not flat, the change unit 23B is changed. , Change the amplitude boundary to extend inward of the occlusion area.
  • the information processing apparatus 20 changes the processing according to the amplitude distribution near the boundary of the occlusion region 213 and expands the amplitude of the boundary of the occlusion region 213. , Leakage of the wavefront from the boundary of the amplitude region 213 can be suppressed. As a result, the information processing apparatus 20 can suppress the leakage of the wave front from the boundary of the occlusion region 213 even if the hologram data 21D created based on the changed layer data is reproduced.
  • the changing unit 23B specifies the type of the occlusion region 213 and changes the boundary of the amplitude by an expansion method according to the type.
  • the information processing apparatus 20 expands the amplitude of the boundary of the occlusion region 213 by an expansion method according to the type of the occlusion region 213, so that the wave surface leaks from the boundary of the occlusion region 213 with an appropriate amount of calculation. Can be suppressed. As a result, the information processing apparatus 20 can suppress the leakage of the wave front from the boundary of the occlusion region 213 even if the hologram data 21D created based on the changed layer data is reproduced.
  • the occlusion area 213 has a type of self-occlusion and mutual occlusion.
  • the changing unit 23B projects the foreground image corresponding to the occlusion area 213 onto the occlusion area to change the amplitude boundary.
  • the change unit 23B changes the boundary of the amplitude so as to extend toward the inside of the occlusion region 213.
  • the information processing apparatus 20 expands the amplitude of the boundary of the occlusion region 213 by an expansion method in which the type of the occlusion region 213 corresponds to the self-occlusion and the mutual occlusion. Leakage of the wave surface from the boundary can be suppressed. As a result, the information processing apparatus 20 can suppress the leakage of the wave front from the boundary of the occlusion region 213 even if the hologram data 21D created based on the changed layer data is reproduced.
  • the change unit 23B has the phase of the boundary portion of the layer data with the occlusion region 213 so that the wave plane generated from the boundary between the occlusion region 213 and the surrounding region of the layer data does not spread to the occlusion region 213. To change.
  • the information processing apparatus 20 can suppress leakage of the wavefront from the boundary of the occlusion region 213 by changing the phase from the boundary of the occlusion region 213 in the layer data to a phase in which the wavefront does not spread to the occlusion region 213. .. As a result, the information processing apparatus 20 can suppress the leakage of the wave front from the boundary of the occlusion region 213 even if the hologram data 21D created based on the changed layer data is reproduced.
  • the changing unit 23B changes the phase of the boundary portion of the layer data with the occlusion region so as to diffuse the wave surface generated from the boundary between the occlusion region 213 and the surrounding region in the layer data.
  • the information processing apparatus 20 changes the phase of the boundary with the occlusion region 213 in the layer data to a phase that diffuses the wavefront, so that leakage of the wavefront from the boundary of the occlusion region 213 can be suppressed. .. That is, the information processing device 20 can suppress the generation of speckle noise other than near the boundary of the occlusion region 213. As a result, even if the information processing apparatus 20 reproduces the hologram data 21D created based on the changed layer data, the ringing of the boundary of the occlusion region 213 and the generation of speckle noise other than the vicinity of the boundary can be suppressed. can.
  • the object light generation unit 23 that generates layer data indicating the object light
  • the wave surface propagation calculation unit 24 that calculates the wave surface propagation based on the amplitude and phase of the layer data, and the wave surface propagation calculation result are used.
  • the interference fringe generation unit 25 for generating interference fringes is provided, and the object light generation unit 23 includes a specific unit 23A and a change unit 23B.
  • the information processing apparatus 20 expands the amplitude of the boundary of the occlusion region 213, so that it is possible to generate the interference fringes of the hologram H that suppresses the leakage of the wavefront at the boundary of the occlusion region 213.
  • the information processing apparatus 20 can suppress the leakage of the wavefront from the boundary of the occlusion region 213 even if the hologram data 21D having the generated interference fringes is reproduced.
  • the information processing method of the information processing apparatus 20 is to identify an occlusion region 213 that is lost due to a foreground image of layer data of another layer from a plurality of layer data capable of expressing the object light of a three-dimensional object stepwise. At least one of the amplitude and the phase in the layer data of the boundary with the identified occlusion region 213 is changed so as to suppress the leakage of the object light to the outside of the occlusion region 213.
  • the information processing method when the information processing method specifies the occlusion area 213 in the layer data, the layer data can be changed so as to suppress the leakage of the object light to the outside of the occlusion area 213. As a result, the information processing method can suppress the occurrence of ringing in the hologram H having a front-back relationship of the object by creating the hologram data 21D based on the changed layer data.
  • the information processing program of the information processing apparatus 20 identifies an occlusion region 213 that is lost due to a foreground image of layer data of another layer from a plurality of layer data capable of expressing the object light of a three-dimensional object stepwise in a computer. At least one of the amplitude and the phase in the layer data of the boundary with the specified occlusion region 213 is changed so as to suppress the leakage of the object light to the outside of the occlusion region 213.
  • the information processing program when the information processing program specifies the occlusion area 213 in the layer data, the information processing program can cause the computer to change the layer data so as to suppress the leakage of the object light to the outside of the occlusion area 213. As a result, the information processing program can suppress the occurrence of ringing in the hologram H having the front-back relationship of the object by creating the hologram data 21D based on the changed layer data.
  • Information processing device equipped with (2) The information processing apparatus according to (1), wherein the changing unit changes the boundary of the amplitude of the peripheral region with the occlusion region in the layer data so as to extend toward the inside of the occlusion region.
  • the information processing apparatus changes the amplitude of the layer data so as to fill the boundary region of the occlusion region in the layer data.
  • the change unit reduces the layer data having the occlusion area, changes the boundary of the amplitude of the reduced layer data so as to expand toward the inside of the occlusion area, and changes the size of the changed layer data.
  • the information processing apparatus according to any one of (1) to (3) above.
  • (5) The information processing apparatus according to any one of (1) to (4) above, wherein the changing unit changes the boundary of the amplitude of the peripheral region with the occlusion region in the layer data so as to be smoothed.
  • the change portion changes the amplitude distribution of the peripheral region near the boundary with the occlusion region in the layer data so as to smooth the boundary of the amplitude when it is flat, and when it is not flat, the amplitude of the change portion.
  • the information processing apparatus according to any one of (1) to (5) above, wherein the boundary is changed so as to extend toward the inside of the amplitude region.
  • the changing unit specifies the type of the occlusion region and changes the boundary of the amplitude by an expansion method according to the type.
  • the occlusion region has a type of self-occlusion and mutual occlusion.
  • the changed part is When the type of the occlusion region is specified as the self-occlusion, the foreground image corresponding to the occlusion region is projected onto the occlusion region to change the boundary of the amplitude.
  • the information processing apparatus according to (7) above, wherein when the type of the occlusion region is specified as the mutual occlusion, the boundary of the amplitude is changed so as to extend toward the inside of the occlusion region.
  • the changing unit changes the phase of the boundary portion of the layer data with the occlusion region so that the wave surface generated from the boundary with the surrounding region of the layer data does not spread to the occlusion region.
  • the information processing apparatus according to any one of (1) to (8).
  • the changing portion changes the phase of the boundary portion of the layer data with the occlusion region so as to diffuse the wavefront generated from the boundary between the layer data and the surrounding region.
  • the information processing apparatus according to any one of (9).
  • (11) An object light generation unit that generates the layer data indicating the object light, and A wavefront propagation calculation unit that calculates wavefront propagation based on the amplitude and phase of the layer data, An interference fringe generation unit that generates interference fringes based on the calculation result of the wavefront propagation is provided.
  • the information processing device according to any one of (1) to (10) above, wherein the object light generation unit includes the specific unit and the modified unit.
  • the computer Identifying an occlusion area that is lost due to the foreground image of the layer data of another layer from a plurality of layer data that can represent the object light of a three-dimensional object step by step. Changing at least one of the amplitude and phase in the layer data of the boundary with the specified occlusion region so as to suppress leakage of the object light to the outside of the occlusion region. Information processing methods including. (13) On the computer Identifying an occlusion area that is lost due to the foreground image of the layer data in another layer from a plurality of layer data that can represent the object light of a three-dimensional object step by step.
  • Information processing system 10 Hologram display unit 11 Display medium 12 Light source 20 Information processing device 21 Storage unit 21A Image data 21B Object light data 21C Wave surface data 21D Hologram data 22 Control unit 23 Object light generation unit 23A Specific unit 23B Change unit 24 Wave surface propagation Calculation unit 25 Interference fringe generation unit 211 Foreground 212 Background 213 Occlusion area H hologram H1 hologram surface

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Holo Graphy (AREA)

Abstract

情報処理装置（２０）は、３次元の物体の物体光を段階的に表現可能な複数のレイヤーデータから、他の階層のレイヤーデータの前景画像によって欠損するオクルージョン領域を特定する特定部（２３Ａ）と、特定したオクルージョン領域との境界のレイヤーデータにおける振幅および位相の少なくとも一方を、物体光のオクルージョン領域の外部への漏れ出しを抑制するように変更する変更部（２３Ｂ）と、を備える。

Description

情報処理装置、情報処理方法及び情報処理プログラム
　本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
　ホログラム表示装置は、再生、表示すべき３次元物体について、隠面消去処理を施してホログラムを計算し、当該ホログラムに参照波を照射して３次元物体を再生する。隠面消去処理は、物体の背面、すなわち、視点から視認されない面から発生する波面を消去し、物体の表面から発生する波面のみを視点から視認させる処理である。例えば、特許文献１には、隠面消去手段により、スクリーン座標系で表された物体像上の各点と視点との間の距離に基づいて隠面消去され、隠面消去されたスクリーン座標系上の物体像が逆透視変換され、実空間上の座標系で表現された物体像のホログラムデータを求める技術が開示されている。
特開平１１－３１２８号公報
　上記の従来技術では、前景と背景とを有するホログラムを再生する場合、前景と背景との間から波面が漏れ出すことで、リンギングが発生するため、リンギングの発生を抑制したいとのニーズがある。
　そこで、本開示では、物体の前後関係を有するホログラムにおけるリンギングの発生を抑制することができる情報処理装置、情報処理方法及び情報処理プログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、３次元の物体の物体光を段階的に表現可能な複数のレイヤーデータから、他の階層の前記レイヤーデータの前景画像によって欠損するオクルージョン領域を特定する特定部と、特定した前記オクルージョン領域との境界の前記レイヤーデータにおける振幅および位相の少なくとも一方を、前記物体光の前記オクルージョン領域の外部への漏れ出しを抑制するように変更する変更部と、を備える。
　また、本開示に係る一形態の情報処理方法は、コンピュータが、３次元の物体の物体光を段階的に表現可能な複数のレイヤーデータから、他の階層の前記レイヤーデータの前景画像によって欠損するオクルージョン領域を特定すること、特定した前記オクルージョン領域との境界の前記レイヤーデータにおける振幅および位相の少なくとも一方を、前記物体光の前記オクルージョン領域の外部への漏れ出しを抑制するように変更すること、を含む。
　また、本開示に係る一形態の情報処理プログラムは、コンピュータに、３次元の物体の物体光を段階的に表現可能な複数のレイヤーデータから、他の階層の前記レイヤーデータの前景画像によって欠損するオクルージョン領域を特定すること、特定した前記オクルージョン領域との境界の前記レイヤーデータにおける振幅および位相の少なくとも一方を、前記物体光の前記オクルージョン領域の外部への漏れ出しを抑制するように変更すること、を実行させる。
実施形態に係るホログラムの生成の概要を説明するための図である。 ホログラムの隠面処理の一例を説明するための図である。 実施形態に係る情報処理システムの概略構成を示す図である。 画像データと物体光データとの関係の一例を示す図である。 実施形態に係る情報処理装置が実行する物体光生成処理の一例を示すフローチャートである。 実施形態に係る情報処理装置が実行する波面伝搬計算処理の一例を示すフローチャートである。 実施形態に係る情報処理装置が実行する干渉縞生成処理の一例を示すフローチャートである。 実施形態に係る情報処理装置の対策（１）の概要を説明するための図である。 図５に示す物体光生成処理に対策（１－１）を加えたフローチャートである。 図５に示す物体光生成処理に対策（１－２）を加えたフローチャートである。 図５に示す物体光生成処理に対策（１－３）を加えたフローチャートである。 物体光生成処理における対策（１－３）の一例を説明するための図である。 図５に示す物体光生成処理に対策（２）を加えたフローチャートである。 図５に示す物体光生成処理に対策（３－１）を加えたフローチャートである。 図５に示す物体光生成処理に対策（３－２）を加えたフローチャートである。 オクルージョン領域の種類に応じた対策（３－２）の一例を説明するための図である。 図５に示す物体光生成処理に対策（４）を加えたフローチャートである。 図５に示す物体光生成処理に対策（５）を加えたフローチャートである。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
［ホログラムの概要］
　ホログラムは、物体から反射する物体光と、レーザーのようなコヒーレンシーの高い参照光とを干渉させてできる干渉縞を記録した表示媒体である。ホログラムは、参照光と同一の振幅、位相を持つ光線を当てると、光の回析によって物体光を再生する。ホログラムの詳細な原理については、例えば、特開２０１３－５４０６８号公報等に記載されている。
　図１は、実施形態に係るホログラムの生成の概要を説明するための図である。図１に示す一例では、ホログラムＨ（ホログラムデータ）は、公知であるように、参照光と同一の振幅および位相を有する光線Ｌ１を用いて、物体の像Ｔを再生することを可能とする。光線Ｌは、光学系１００を介してホログラムＨに入射する。光学系１００は、例えば、レーザー光源１０１、コリメータ１０２、鏡１０３、および、空間フィルタ１０４を含む。ホログラムＨは、光学系１００の光線Ｌ１が照射されることで、物体の物体光Ｌ２を再生する。ユーザＵは、ホログラムＨが出射する物体光Ｌ２を視認することで、立体的な物体を再生した像Ｔを認識する。
　例えば、ホログラムＨは、遠景から近景に向かって順に波面伝搬計算が行われている。図２は、ホログラムの隠面処理の一例を説明するための図である。図２の左図に示すように、ホログラムＨは、３次元の物体２００－１および物体２００－２を示している。物体２００－１は、Ｚ軸で示す奥行き方向において、物体２００－２の前方に位置している。ホログラムＨは、ＸＹ平面から参照すると、物体２００－１の一部が物体２００－２に重なって視認される。以下、物体２００－１および物体２００－２を区別しない場合、物体２００－１および物体２００－２を「物体２００」と記載する。
　図２の右図は、図２の左図の奥行き方向（Ｚ軸方向）を上方から示している。図２の右図に示すように、ホログラムＨは、奥行き方向における後ろのレイヤーから前方のレイヤーの順に波面伝搬している。前方のレイヤーにブロックされた後ろのレイヤーの物体光は、前のレイヤーの物体光と置き換えている。例えば、物体２００－２の光線Ｌ２１は、物体２００－１にブロックされ、物体２００－１の物体光である光線Ｌ２２に置き換えられる。物体２００－１の光線Ｌ２２は、ホログラム面Ｈ１に到達する。
　ホログラムＨは、視点から見えない物体２００の部分を消去する隠面処理が施される。隠面処理は、前段の波面を処理する式（１）、ホログラム面Ｈ１の波面を処理する式（２）を用いうる。前段とは、レイヤー同士のホログラム面Ｈ１寄りのレイヤーを意味する。後段とは、レイヤー同士の前段よりも奥手方向のレイヤーを意味する。最前段とは、ホログラム面Ｈ１に最も近いレイヤーを意味する。
　ｈｎ＋１（ｘ，ｙ）＝Ｐｎ（ｍｎ（ｘ，ｙ）×ｈｎ（ｘ，ｙ）＋ｏｎ（ｘ，ｙ））・・・式（１）
　ｈｈｏｌｏｇｒａｍ（ｘ，ｙ）＝ＰＮ（ｍＮ（ｘ，ｙ）×ｈＮ（ｘ，ｙ）＋ｏＮ（ｘ，ｙ））・・・式（２）
　式（１）および式（２）において、ｎ，Ｎは、整数であり、ホログラム面Ｈ１に近づくにしたがって値が大きくなる。ｈｎ＋１（ｘ，ｙ）は、ｎ＋１番目のレイヤー（前段）の波面を示す。ｍｎ（ｘ，ｙ）は、ｎ番目のレイヤー（後段）のマスク関数を示す。ｍｎ（ｘ，ｙ）は、値が「０」の場合、物体内部を示す。ｍｎ（ｘ，ｙ）は、値が「１」の場合、物体外部を示す。ｈｎ（ｘ，ｙ）は、ｎ番目のレイヤーの波面である。Ｐｎは、波面伝搬演算子である。ｎは、整数である。ｏｎ（ｘ，ｙ）は、ｎ番目のレイヤーの物体光を示す。ｍＮ（ｘ，ｙ）は、最前段のレイヤーのマスク関数を示す。ｈＮ（ｘ，ｙ）は、最前段のレイヤーの波面である。ＰＮは、波面伝搬演算子である。ｏＮ（ｘ，ｙ）は、最前段のレイヤーの物体光を示す。
　例えば、図２の左図に示すホログラムＨは、背景画像によって物体２００－１、物体２００－２等の輪郭がにじんだように視認されるリンギングが発生する場合がある。リンギングは、物体２００－１、物体２００－２等の前景と背景との境界部分から波面が漏れ出すことで生じうる。このため、本開示では、物体の前後関係を有するホログラムＨにおけるリンギングの発生を抑制することが可能な情報処理装置等を提供する。
（実施形態）
［情報処理システムの概略構成］
　図３は、実施形態に係る情報処理システムの概略構成を示す図である。図３に示す情報処理システム１は、ホログラムＨを再生するシステムである。ホログラムＨは、例えば、画像データに基づいて生成されたホログラムデータである。画像データは、例えば、画像情報と、距離情報と、を含む。画像情報は、例えば、測距カメラが物体を撮像した２次元画像を示す情報を含む。画像情報は、複数の画素情報を含む。画素情報は、例えば、位置情報、強度情報等を含む。本開示では、ホログラムＨは、画像データにおける複数の画素の各画素情報に基づき回折処理を行って生成する。
　図３に示す一例では、情報処理システム１は、ホログラム表示部１０と、情報処理装置２０と、を備える。情報処理装置２０は、ホログラム表示部１０と電気的に接続されている。
　ホログラム表示部１０は、情報処理装置２０からのホログラムデータに基づいて、ホログラムＨを表示する。ホログラム表示部１０は、表示媒体１１と、光源１２と、を備える。ホログラム表示部１０は、例えば、光学系１００等をさらに備えてもよい。
　表示媒体１１は、ホログラムデータを記録可能な媒体である。表示媒体１１は、例えば、ホログラム、空間光変調器（Spatial　Light　Modulator）等を含む。表示媒体１１は、ホログラムデータが示すホログラム面Ｈ１の複素振幅分布等を映像信号として液晶ディスプレイ等に出力する機能を含み得る。光源１２は、情報処理装置２０の制御によって参照光に相当する光線Ｌ１を出射する。光源１２は、例えば、レーザー光源１０１等を含む。光源１２が出射した光線Ｌ１は、光学系１００を介して表示媒体１１（ホログラムＨ）に照射される。
［情報処理装置の構成例］
　情報処理装置２０は、例えば、専用または汎用コンピュータである。情報処理装置２０は、ホログラム表示部１０の表示を制御する。情報処理装置２０は、ホログラムデータを生成する機能を有する。情報処理装置２０は、外部の電子機器とデータの送受信を可能とするためのインターフェイス、通信装置等を構成に備え得る。
　情報処理装置２０は、記憶部２１と、制御部２２と、を備える。制御部２２は、ホログラム表示部１０および記憶部２１と電気的に接続されている。
　記憶部２１は、各種データ及びプログラムを記憶する。記憶部２１は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部２１は、例えば、画像データ２１Ａ、物体光データ２１Ｂ、波面データ２１Ｃ、ホログラムデータ２１Ｄ等の各種データを記憶する。
　画像データ２１Ａは、ホログラムＨの基礎となる画像を示すデータである。画像データ２１Ａは、例えば、ＲＧＢ、距離等を示すデータを含む。画像データ２１Ａは、外部の電子機器、サーバ等から取得したデータである。画像データ２１Ａは、例えば、３次元のコンピュータグラフィックから作成したデータであってもよいが、本実施形態では、画像中の物体の前後関係で隠れた情報を有していないことを前提する。
　物体光データ２１Ｂは、例えば、画像データ２１Ａから得られる３次元の物体の物体光を示すデータである。物体光データ２１Ｂは、例えば、複数のレイヤーごとに、物体の異なる角度の光線を示すデータである。本実施形態では、物体光データ２１Ｂは、レイヤーデータの一例である。波面データ２１Ｃは、例えば、レイヤーごとにホログラム面Ｈ１までの波面伝搬を計算したデータである。ホログラムデータ２１Ｄは、例えば、物体光と参照光とのホログラム面Ｈ１上での干渉縞を計算したデータである。ホログラムデータ２１Ｄは、ホログラム作成面を構成する複数の画素に対応する複数の位置データと、その位置データに対応する位相データおよび振幅データの少なくとも一方を有する。
　制御部２２は、情報処理装置２０の制御を司る。制御部２２は、物体光生成部２３と、波面伝搬計算部２４と、干渉縞生成部２５といった各処理部を有する。物体光生成部２３は、特定部２３Ａと、変更部２３Ｂといった各機能部を有する。本実施形態では、物体光生成部２３、波面伝搬計算部２４及び干渉縞生成部２５の制御部２２の各処理部は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＣＵ（Micro　Control　Unit）等によって、情報処理装置２０内部に記憶されたプログラムがＲＡＭ（Random　Access　Memory）等を作業領域として実行されることにより実現される。また、各処理部は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field-Programmable　Gate　Array）等の集積回路により実現されてもよい。
　物体光生成部２３は、画像データ２１Ａに基づいて物体光を示す物体光データ２１Ｂを生成する。物体光生成部２３は、例えば、複数の画像データ２１Ａから物体から得られる異なる角度の光線情報を取得し、レイヤーごとの物体光データ２１Ｂを生成する。物体光生成部２３の特定部２３Ａは、物体の段階的な画像を示し且つ物体の物体光を表現可能な複数の物体光データ２１Ｂから、他の物体光データ２１Ｂの前景画像によって欠損するオクルージョン領域（前景領域）を特定する。物体光生成部２３の変更部２３Ｂは、特定するオクルージョン領域との境界の物体光データ２１Ｂにおける振幅および位相の少なくとも一方を、物体光を抑制するように変更する。物体光生成部２３は、生成した物体光データ２１Ｂを記憶部２１に記憶する。
　波面伝搬計算部２４は、物体光データ２１Ｂの振幅、位相等に基づいて、波面伝搬を計算する。波面伝搬計算部２４は、例えば、Ｒａｙｌｅｉｇｈ－Ｓｏｍｍｅｒｆｅｌｄの回折公式、角スペクトル法、Ｆｒｅｓｎｅｌ回折、Ｆｒａｕｎｈｏｆｅｒ回折等の計算法を用いて、波面伝搬を計算する。波面伝搬計算部２４は、計算結果を示す波面データ２１Ｃを記憶部２１に記憶する。
　干渉縞生成部２５は、波面データ２１Ｃに基づいてホログラム面Ｈ１の複素振幅で表される物体光と参照光との干渉縞を算出し、ホログラムデータ２１Ｄを生成する。干渉縞生成部２５は、例えば、算出した干渉縞に基づいて、表示媒体１１で表示するためのホログラムデータ２１Ｄを生成する。干渉縞生成部２５は、生成したホログラムデータ２１Ｄを記憶部２１に記憶する。
　以上、実施形態に係る情報処理装置２０の構成例について説明した。なお、図３を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理装置２０の構成は係る例に限定されない。本実施形態に係る情報処理装置２０の機能構成は、仕様や運用に応じて柔軟に変形可能である。
　本実施形態では、情報処理装置２０は、物体光生成部２３が特定部２３Ａおよび変更部２３Ｂを有する場合について説明するが、これに限定されない。例えば、特定部２３Ａおよび変更部２３Ｂは、波面伝搬計算部２４で実現したり、独立した処理部として実現したりする構成としてもよい。
［実施形態に係る物体光データの一例］
　図４は、画像データと物体光データとの関係の一例を示す図である。図４に示す画像データ２１Ａは、物体を撮像した２次元の画像を示すデータである。画像データ２１Ａは、距離の情報を含む。図４に示す一例では、画像データ２１Ａは、ユーザＵ等の前景２１１と背景２１２とを撮像した画像となっている。
　例えば、３次元空間では、複数の物体の間に前後関係がある場合、オクルージョンという状態が発生する。オクルージョンは、手前にある物体が背後にある物体を隠して見えない状態である。画像データ２１Ａは、前景２１１が背景２１２の一部を隠して見えない状態となっている。例えば、ホログラムデータ２１Ｄは、オクルージョンの状態を有する場合、オクルージョン領域の境界の波面が漏れ出すリンギングという現象が発生することがある。すなわち、リンギングは、オクルージョン領域の境界部分がにじんだように表示されることを含む。このため、本開示では、オクルージョンの状態が発生しても、ホログラムの視認性の低下を抑制することができる情報処理装置２０等を提供する。
　物体光データ２１Ｂ１および物体光データ２１Ｂ２は、画像データ２１Ａから相異なるレイヤーごとに物体光をモデル化したデータである。物体光データ２１Ｂ１および物体光データ２１Ｂ２は、光線をサンプリングするレイヤーのデータである。物体光データ２１Ｂ１は、例えば、画像データ２１Ａの背景２１２のレイヤーに対応したデータである。物体光データ２１Ｂ２は、画像データ２１Ａの前景２１１のレイヤーに対応したデータである。物体光データ２１Ｂ１は、前景２１１の部分がオクルージョン領域２１３となっている。オクルージョン領域２１３は、例えば、異なるレイヤーのオブジェクト、画像等によってデータが存在しない領域を含む。すなわち、オクルージョン領域２１３は、画素値が０の領域である。以下、物体光データ２１Ｂ１および物体光データ２１Ｂ２を区別しない場合、物体光データ２１Ｂ１および物体光データ２１Ｂ２は、「物体光データ２１Ｂ」と記載する。
　図４に示す一例では、説明を簡単化するために、情報処理装置２０は、画像データ２１Ａの背景２１２と前景２１１との２つのレイヤーを想定する場合について説明するが、これに限定されない。例えば、情報処理装置２０は、画像データ２１Ａの３層以上の多層構造を想定してもよい。また、情報処理装置２０は、計算機合成ホログラム（ＣＧＨ：Computer　Generated　Hologram）のホログラムデータを生成する手法を用いることができる。手法は、例えば、被写体空間を点の集まり、すなわち、物体を点物体の集合であるとみなし、点光源の波面を加算することでホログラムデータ２１Ｄを生成する点充填法を用いることができる。手法は、例えば、物体をポリゴンで表現し、点光源の波面を加算することでホログラムデータ２１Ｄを生成する手法を用いることができる。
［実施形態に係る情報処理装置の処理手順］
　図５は、実施形態に係る情報処理装置２０が実行する物体光生成処理の一例を示すフローチャートである。図６は、実施形態に係る情報処理装置２０が実行する波面伝搬計算処理の一例を示すフローチャートである。図７は、実施形態に係る情報処理装置２０が実行する干渉縞生成処理の一例を示すフローチャートである。図５から図７の処理手順は、情報処理装置２０の制御部２２がプログラムを実行することによって実現される。
［物体光生成処理］
　図５に示すように、情報処理装置２０の制御部２２は、物体光の振幅・座標を取得する（ステップＳ１１）。例えば、制御部２２は、画像データ２１ＡのＲＧＢ、距離等に基づいて、物体光の振幅、座標を取得する。制御部２２は、ステップＳ１１の処理が終了すると、処理をステップＳ１２に進める。
　制御部２２は、取得した振幅・座標の情報に基づいて、物体光をモデル化する（ステップＳ１２）。例えば、制御部２２は、生成するホログラムの仕様等に合うように、光線情報を変換する処理を実行してレイヤーに応じた画像を生成し、当該画像に基づいて物体光データ２１Ｂを生成する。制御部２２は、例えば、光線情報を変換する処理は、公知の手法を用いることができる。公知の手法としては、例えば、インテグラルフォトグラフィ等が挙げられる。制御部２２は、物体光データ２１Ｂを記憶部２１に記憶すると、処理をステップＳ１３に進める。
　制御部２２は、初期位相を設定する（ステップＳ１３）。例えば、制御部２２は、物体光データ２１Ｂの画素値に対して、ＸＹ座標に応じて位相を一様に変化させることで、画素ごとに、物体光の振幅と位相との複素振幅を取得する。制御部２２は、取得した位相を初期位相として物体光データ２１Ｂに設定する。制御部２２は、ステップＳ１３の処理が終了すると、図５に示す処理手順を終了させる。制御部２２は、図５に示す処理手順を実行することで、物体光生成部２３を実現する。
［波面伝搬計算処理］
　図６に示す処理手順は、図５に示す物体光生成処理が終了すると、情報処理装置２０の制御部２２によって実行される。制御部２２は、モデル化して得られた振幅・位相を取得する（ステップＳ２１）。例えば、制御部２２は、物体光データ２１Ｂに基づいて、レイヤーの画像ごとの振幅・位相を取得する。制御部２２は、ステップＳ２１の処理が終了すると、処理をステップＳ２２に進める。
　制御部２２は、回折公式を用いて波面伝搬を計算する（ステップＳ２２）。例えば、制御部２２は、上述した回折公式に基づいて、複数のレイヤーの物体光データ２１Ｂごとに、光線情報を複素振幅の分布に変換する。制御部２２は、例えば、Ｒａｙｌｅｉｇｈ－Ｓｏｍｍｅｒｆｅｌｄの回折公式を用いる場合、隣り合うレイヤー同士の間、レイヤーとホログラム面Ｈ１との間等の波面伝搬を計算する。制御部２２は、例えば、角スペクトル法を用いる場合、物体光データ２１Ｂごとに、画像の強度情報を用いてフーリエ変換処理を実行し、光線情報を複素振幅に変換して波面情報を計算する。制御部２２は、ステップＳ２２の処理が終了すると、処理をステップＳ２３に進める。
　制御部２２は、計算した複素振幅を出力する（ステップＳ２３）。例えば、制御部２２は、計算した複素振幅を示す波面データ２１Ｃを干渉縞生成部２５に出力する。制御部２２は、ステップＳ２３の処理が終了すると、図６に示す処理手順を終了させる。制御部２２は、図６に示す処理手順を実行することで、波面伝搬計算部２４を実現する。
［干渉縞生成処理］
　図７に示す処理手順は、図６に示す波面伝搬計算処理が終了すると、情報処理装置２０の制御部２２によって実行される。制御部２２は、波面データ２１Ｃに基づいて複素振幅を取得する（ステップＳ３１）。例えば、制御部２２は、波面データ２１Ｃに基づいて、レイヤーごとの複素振幅を取得する。制御部２２は、ステップＳ３１の処理が終了すると、処理をステップＳ３２に進める。
　制御部２２は、振幅または位相を変調する（ステップＳ３２）。例えば、制御部２２は、表示媒体１１で表示するために、複素振幅を振幅または位相のみで表現するように、位相変調方式を用いて画像の振幅または位相を変調する。位相変調方式は、例えば、ｄｏｕｂｌｅ　ｐｈａｓｅ法等を含む。例えば、制御部２２は、レイヤーの画像ごとに計算したホログラム面Ｈ１の振幅または位相で示される物体光と参照光との干渉縞を計算することで、ホログラムのマップを算出する。制御部２２は、ステップＳ３２の処理が終了すると、処理をステップＳ３３に進める。
　制御部２２は、振幅または位相のマップを出力する（ステップＳ３３）。例えば、制御部２２は、算出したホログラムのマップを示すホログラムデータ２１Ｄを記憶部２１に出力することで、記憶部２１に記憶する。例えば、制御部２２は、ホログラムデータ２１Ｄをホログラム表示部１０に出力してもよい。制御部２２は、ステップＳ３３の処理が終了すると、図７に示す処理手順を終了させる。制御部２２は、図７に示す処理手順を実行することで、干渉縞生成部２５を実現する。
［実施形態に係る情報処理装置のオクルージョン領域の対策例］
　実施形態に係る情報処理装置２０は、物体光生成処理、波面伝搬計算処理および干渉縞生成処理を実行することで、画像データ２１Ａからホログラムデータ２１Ｄを生成する。以下、情報処理装置２０は、物体光生成処理（物体光生成部２３）でオクルージョン領域２１３の対策例を実行する場合について説明する。
［実施形態に係る情報処理装置の対策（１）］
　図８は、実施形態に係る情報処理装置２０の対策（１）の概要を説明するための図である。図８の左図に示すように、物体光データ２１Ｂのオクルージョン領域２１３は、背景２１２との境界の振幅エッジ２１４からリンギングが発生する可能性がある。これに対し、オクルージョン領域２１３は、図８の右図に示すように、振幅エッジ２１４をオクルージョン領域２１３の内側へ適度に後退させることで、前景２１１の領域までリンギングが漏れ出さなくなることが判明した。振幅エッジ２１４は、例えば、画像のエッジ部分の振幅を意味する。情報処理装置２０は、振幅エッジ２１４に対する対策（１）を提供可能に構成されている。
［対策（１－１）］
　対策（１－１）は、背景画像の振幅を拡張するものである。具体的には、対策（１－１）は、背景２１２の画像の振幅エッジ２１４をオクルージョン領域２１３の内側に向かって拡張する対策である。図９は、図５に示す物体光生成処理に対策（１－１）を加えたフローチャートである。図９に示す処理手順は、情報処理装置２０の制御部２２がプログラムを実行することによって実現される。
　図９に示すように、情報処理装置２０の制御部２２は、物体光の振幅・座標を取得する（ステップＳ１１）。制御部２２は、取得した振幅・座標の情報に基づいて、物体光をモデル化する（ステップＳ１２）。制御部２２は、物体光データ２１Ｂを生成すると、処理をステップＳ１１１に進める。
　制御部２２は、オクルージョン領域２１３を有する物体光データ２１Ｂに対し、オクルージョン領域２１３との境界の振幅エッジ２１４を、オクルージョン領域２１３の内側に拡張する（ステップＳ１１１）。例えば、制御部２２は、複数の物体光データ２１Ｂの中から、物体の前後関係等に基づいてオクルージョン領域２１３を特定する。そして、制御部２２は、物体光データ２１Ｂが示す背景２１２の振幅にｄｉｌａｔｉｏｎ　ｆｉｌｔｅｒ等を適用し、オクルージョン領域２１３の内側に向かって背景２１２を拡張する。例えば、制御部２２は、オクルージョン領域２１３の境界付近の画素値を０で埋め、境界付近の所定の領域（カーネル）内に画素値が１以上の画素が１つ以上ある場合、背景２１２の画像の注目画素の画素値をその平均値にする。これにより、制御部２２は、背景２１２の画像をオクルージョン領域２１３の内部に向かって拡張することで、オクルージョン領域２１３との境界付近の物体光データ２１Ｂにおける振幅を変更する。制御部２２は、複数のレイヤーごとに、物体光データ２１Ｂに対する対策を行う。なお、ステップＳ１１１の処理は、オクルージョン領域２１３を有していない物体光データ２１Ｂについては、処理をスキップする。制御部２２は、ステップＳ１１１の処理が終了すると、処理をステップＳ１３に進める。なお、制御部２２は、ステップＳ１１１を実行することで、特定部２３Ａおよび変更部２３Ｂとして機能する。
　制御部２２は、初期位相を設定する（ステップＳ１３）。制御部２２は、ステップＳ１３の処理が終了すると、図９に示す処理手順を終了させる。制御部２２は、図９に示す処理手順を実行することで、物体光生成部２３を実現する。
　情報処理装置２０は、物体光生成処理の実行が終了すると、上記の波面伝搬計算処理および干渉縞生成処理を順次実行する。これにより、情報処理装置２０は、対策（１－１）により、オクルージョン領域２１３の境界の振幅を拡張しているので、オクルージョン領域２１３の境界における波面の漏れ出しを抑制したホログラムデータ２１Ｄを生成することができる。その結果、情報処理装置２０は、ホログラムデータ２１Ｄを再生しても、オクルージョン領域２１３の境界からの波面の漏れ出しを抑制することができる。
［対策（１－２）］
　対策（１－２）は、背景画像の振幅を拡張するものである。具体的には、対策（１－２）は、背景２１２の画像の振幅エッジ２１４をオクルージョン領域２１３の内側を埋めることで拡張する対策である。図１０は、図５に示す物体光生成処理に対策（１－２）を加えたフローチャートである。図１０に示す処理手順は、情報処理装置２０の制御部２２がプログラムを実行することによって実現される。
　図１０に示すように、情報処理装置２０の制御部２２は、物体光の振幅・座標を取得する（ステップＳ１１）。制御部２２は、取得した振幅・座標の情報に基づいて、物体光をモデル化する（ステップＳ１２）。制御部２２は、物体光データ２１Ｂを生成すると、処理をステップＳ１１２に進める。
　制御部２２は、オクルージョン領域２１３を有する物体光データ２１Ｂに対し、オクルージョン領域２１３の境界から内側に向かうエッジ領域を埋める（ステップＳ１１２）。例えば、制御部２２は、複数の物体光データ２１Ｂの中から、物体の前後関係等に基づいてオクルージョン領域２１３を特定する。そして、制御部２２は、物体光データ２１Ｂが示す背景２１２の振幅にｉｎｐａｉｎｔｉｎｇ処理等を実行し、オクルージョン領域２１３の境界から内側の領域を埋める。なお、オクルージョン領域２１３の境界から内側の領域は、リンギングの発生の機械学習、シミュレーション等の結果を考慮して設定されうる。例えば、制御部２２は、修正する近傍領域上のある１つの画素の値を、その周囲の画素の中で画素値がすでに分かっている画素の画素値の重み付き和で置換する。これにより、制御部２２は、背景２１２の画像をオクルージョン領域２１３の内部に向かって拡張することで、オクルージョン領域２１３との境界付近の物体光データ２１Ｂにおける振幅を変更する。制御部２２は、複数のレイヤーごとに、物体光データ２１Ｂに対する対策を行う。なお、ステップＳ１１２の処理は、オクルージョン領域２１３を有していない物体光データ２１Ｂについては、処理をスキップする。制御部２２は、ステップＳ１１２の処理が終了すると、処理をステップＳ１３に進める。なお、制御部２２は、ステップＳ１１２を実行することで、特定部２３Ａおよび変更部２３Ｂとして機能する。
　制御部２２は、初期位相を設定する（ステップＳ１３）。制御部２２は、ステップＳ１３の処理が終了すると、図１０に示す処理手順を終了させる。制御部２２は、図１０に示す処理手順を実行することで、物体光生成部２３を実現する。
　情報処理装置２０は、物体光生成処理の実行が終了すると、上記の波面伝搬計算処理および干渉縞生成処理を順次実行する。これにより、情報処理装置２０は、対策（１－２）により、オクルージョン領域２１３の境界の振幅を拡張しているので、オクルージョン領域２１３の境界における波面の漏れ出しを抑制したホログラムデータ２１Ｄを生成することができる。その結果、情報処理装置２０は、ホログラムデータ２１Ｄを再生しても、オクルージョン領域２１３の境界からの波面の漏れ出しを抑制することができる。
［対策（１－３）］
　対策（１－３）は、背景画像の振幅を拡張するものである。振幅を拡張する処理は、計算量が大きい。このため、対策（１－３）は、振幅を拡張する処理の計算量を抑制し、背景画像の振幅を拡張する対策である。図１１は、図５に示す物体光生成処理に対策（１－３）を加えたフローチャートである。図１１に示す処理手順は、情報処理装置２０の制御部２２がプログラムを実行することによって実現される。
　図１１に示すように、情報処理装置２０の制御部２２は、物体光の振幅・座標を取得する（ステップＳ１１）。制御部２２は、取得した振幅・座標の情報に基づいて、物体光をモデル化する（ステップＳ１２）。制御部２２は、物体光データ２１Ｂを生成すると、処理をステップＳ１１３に進める。
　制御部２２は、オクルージョン領域２１３を有する物体光データ２１Ｂに対し、物体光データ２１Ｂを縮小し、オクルージョン領域２１３との境界のエッジを、オクルージョン領域２１３の内部に向かって拡張し、当該物体光データ２１Ｂのサイズを復元する（ステップＳ１１３）。例えば、制御部２２は、複数の物体光データ２１Ｂの中から、物体の前後関係等に基づいてオクルージョン領域２１３を特定すると、図１２に示す処理手順を実行する。
　図１２は、物体光生成処理における対策（１－３）の一例を説明するための図である。図１２に示すように、制御部２２は、物体光データ２１Ｂを第１の縮小率で縮小する処理を実行する（ステップＳＴ１）。制御部２２は、縮小した物体光データ２１Ｂ－１を第２の縮小率で縮小する処理を実行する（ステップＳＴ２）。制御部２２は、縮小した物体光データ２１Ｂ－２に対して背景画像の振幅を拡張する処理を実行する（ステップＳＴ３）。振幅を拡張する処理は、対応（１－１）または対応案（１－２）の処理を実行し得る。制御部２２は、振幅を拡張する処理を行った物体光データ２１Ｂ－３を、第２の拡大率で拡大する処理を実行する（ステップＳＴ４）。第２の拡大率は、第２の縮小率を復元するための倍率となっている。制御部２２は、拡大した物体光データ２１Ｂ－４を振幅拡張し、そのデータを第１の拡大率で拡大する処理を実行する（ステップＳＴ５）。第１の拡大率は、第１の縮小率を復元するための倍率となっている。制御部２２は、計算量の増加を抑制し、背景２１２の画像をオクルージョン領域２１３の内部に向かって拡張した物体光データ２１Ｂ’を得られる。これにより、制御部２２は、背景２１２の画像をオクルージョン領域２１３の内部に向かって拡張することで、オクルージョン領域２１３との境界付近の物体光データ２１Ｂにおける振幅を変更する。
　図１１に戻り、制御部２２は、複数のレイヤーごとに、物体光データ２１Ｂに対する対策を行う。なお、ステップＳ１１３の処理は、オクルージョン領域２１３を有していない物体光データ２１Ｂについては、処理をスキップする。制御部２２は、ステップＳ１１３の処理が終了すると、処理をステップＳ１３に進める。なお、制御部２２は、ステップＳ１１３を実行することで、特定部２３Ａおよび変更部２３Ｂとして機能する。
　制御部２２は、初期位相を設定する（ステップＳ１３）。制御部２２は、ステップＳ１３の処理が終了すると、図１１に示す処理手順を終了させる。制御部２２は、図１１に示す処理手順を実行することで、物体光生成部２３を実現する。
　情報処理装置２０は、物体光生成処理の実行が終了すると、上記の波面伝搬計算処理および干渉縞生成処理を順次実行する。これにより、情報処理装置２０は、対策（１－３）により、オクルージョン領域２１３の境界の振幅を拡張しているので、オクルージョン領域２１３の境界における波面の漏れ出しを抑制したホログラムデータ２１Ｄを生成することができる。しかも、情報処理装置２０は、対策（１－３）に係る計算量の増加も抑制することができる。その結果、情報処理装置２０は、ホログラムデータ２１Ｄを再生しても、オクルージョン領域２１３の境界からの波面の漏れ出しを抑制することができる。
［実施形態に係る情報処理装置の対策（２）］
　上記の対策（１）で説明したように、物体光データ２１Ｂのオクルージョン領域２１３は、背景２１２との境界の振幅エッジ２１４からリンギングが発生する可能性がある。これに対し、オクルージョン領域２１３は、オクルージョン領域２１３の境界における振幅の変化を滑らかにすることで、リンギングの発生を抑制されることが判明した。情報処理装置２０は、背景の振幅を平滑化する対策（２）を提供可能に構成されている。
　図１３は、図５に示す物体光生成処理に対策（２）を加えたフローチャートである。図１３に示す処理手順は、情報処理装置２０の制御部２２がプログラムを実行することによって実現される。
　図１３に示すように、情報処理装置２０の制御部２２は、物体光の振幅・座標を取得する（ステップＳ１１）。制御部２２は、取得した振幅・座標の情報に基づいて、物体光をモデル化する（ステップＳ１２）。制御部２２は、物体光データ２１Ｂを生成すると、処理をステップＳ１２１に進める。
　制御部２２は、オクルージョン領域２１３を有する物体光データ２１Ｂに対し、オクルージョン領域２１３との境界の振幅を平均化する（ステップＳ１２１）。例えば、制御部２２は、複数の物体光データ２１Ｂの中から、物体の前後関係等に基づいてオクルージョン領域２１３を特定する。そして、制御部２２は、オクルージョン領域２１３の境界付近の背景画像を拡張し、境界付近にｌｏｗ　ｐａｓｓ　ｆｉｌｔｅｒ等を適用し、オクルージョン領域２１３の境界付近の背景画像の振幅を平滑化する。これにより、制御部２２は、オクルージョン領域２１３の境界付近の背景画像の振幅の変化を滑らかにすることで、オクルージョン領域２１３との境界付近の物体光データ２１Ｂにおける振幅を変更する。制御部２２は、複数のレイヤーごとに、物体光データ２１Ｂに対する対策を行う。なお、ステップＳ１２１の処理は、オクルージョン領域２１３を有していない物体光データ２１Ｂについては、処理をスキップする。制御部２２は、ステップＳ１２１の処理が終了すると、処理をステップＳ１３に進める。なお、制御部２２は、ステップＳ１２１を実行することで、特定部２３Ａおよび変更部２３Ｂとして機能する。
　制御部２２は、初期位相を設定する（ステップＳ１３）。制御部２２は、ステップＳ１３の処理が終了すると、図１３に示す処理手順を終了させる。制御部２２は、図１３に示す処理手順を実行することで、物体光生成部２３を実現する。
　情報処理装置２０は、物体光生成処理の実行が終了すると、上記の波面伝搬計算処理および干渉縞生成処理を順次実行する。これにより、情報処理装置２０は、対策（２）により、オクルージョン領域２１３の境界の平滑化しているので、オクルージョン領域２１３の境界におけるリンギングの発生を抑制したホログラムデータ２１Ｄを生成することができる。その結果、情報処理装置２０は、ホログラムデータ２１Ｄを再生しても、オクルージョン領域２１３の境界のリンギングの発生を抑制することができる。
　なお、本実施形態の対策（２）では、情報処理装置２０の制御部２２は、物体光データ２１Ｂを拡張したのちに、平滑化の処理を行う場合について説明するが、これに限定されない。例えば、制御部２２は、物体光データ２１Ｂを拡張せずに、平滑化の処理を行うように構成されてもよい。
［実施形態に係る情報処理装置の対策（３）］
　上記の対策（１）の振幅拡張と、対策（２）の振幅拡張及び平滑化の処理は計算量が大きい。対策（２）の平滑化は、オクルージョン領域２１３の境界付近が平坦である場合、振幅拡張を行わなくても、平滑化の影響が目立ちにくい。このため、情報処理装置２０は、オクルージョン領域２１３の境界付近の振幅分布に基づいて対策を切り替える対策（３）を提供可能に構成されている。
［対策（３－１）］
　対策（３－１）は、背景画像に対する振幅処理を切り替えるものである。具体的には、対策（３－１）は、オクルージョン領域２１３の境界付近の振幅分布に基づいて、振幅処理を切り替える対策である。図１４は、図５に示す物体光生成処理に対策（３－１）を加えたフローチャートである。図１４に示す処理手順は、情報処理装置２０の制御部２２がプログラムを実行することによって実現される。
　図１４に示すように、情報処理装置２０の制御部２２は、物体光の振幅・座標を取得する（ステップＳ１１）。制御部２２は、取得した振幅・座標の情報に基づいて、物体光をモデル化する（ステップＳ１２）。制御部２２は、物体光データ２１Ｂを生成すると、処理をステップＳ１３１に進める。
　制御部２２は、複数の物体光データ２１Ｂごとに、オクルージョン領域２１３の振幅処理方式を選択する（ステップＳ１３１）。例えば、制御部２２は、複数の物体光データ２１Ｂごとに、物体の前後関係等に基づいてオクルージョン領域２１３を特定する。そして、制御部２２は、オクルージョン領域２１３を特定した場合、選択条件に基づいて、振幅処理方式を選択する。選択条件は、例えば、オクルージョン領域２１３の付近における振幅の分布が平坦である場合は平滑化、振幅の分布が平坦でない場合は振幅拡張と振幅拡張及び平滑化とのいずれかを選択するための条件を含む。なお、選択条件は、振幅の分布が平坦でない場合において、振幅拡張と振幅拡張及び平滑化とを選択するための条件をさらに含んでもよい。制御部２２は、ステップＳ１３１の選択結果を記憶部２１に記憶すると、処理をステップＳ１３２に進める。
　制御部２２は、複数の物体光データ２１Ｂごとに、選択した方式の振幅処理を実行する（ステップＳ１３２）。例えば、制御部２２は、平滑化が選択されている物体光データ２１Ｂには、平滑化による振幅処理を実行する。例えば、制御部２２は、振幅拡張と振幅拡張及び平滑化とのいずれかが選択されている物体光データ２１Ｂには、振幅拡張または振幅拡張及び平滑化による振幅処理を実行する。これにより、制御部２２は、オクルージョン領域２１３の境界付近の振幅分布の状態に適した振幅処理を実行することで、複数のレイヤーごとに、物体光データ２１Ｂに対する対策を行い、オクルージョン領域２１３との境界付近の物体光データ２１Ｂにおける振幅を変更する。制御部２２は、ステップＳ１３２の処理が終了すると、処理をステップＳ１３に進める。なお、制御部２２は、ステップＳ１３１およびステップＳ１３２を実行することで、特定部２３Ａおよび変更部２３Ｂとして機能する。
　制御部２２は、初期位相を設定する（ステップＳ１３）。制御部２２は、ステップＳ１３の処理が終了すると、図１４に示す処理手順を終了させる。制御部２２は、図１４に示す処理手順を実行することで、物体光生成部２３を実現する。
　情報処理装置２０は、物体光生成処理の実行が終了すると、上記の波面伝搬計算処理および干渉縞生成処理を順次実行する。これにより、情報処理装置２０は、対策（３－１）により、振幅の分布に応じてオクルージョン領域２１３の境界の振幅を拡張しているので、オクルージョン領域２１３の境界における波面の漏れ出しを抑制したホログラムデータ２１Ｄを生成することができる。その結果、情報処理装置２０は、オクルージョン領域２１３の境界付近におけるリンギングの抑制効果の最適化を図り、かつ計算量を抑制することができる。
［対策（３－２）］
　対策（３－２）は、背景画像に対する振幅処理を切り替えるものである。具体的には、対策（３－２）は、物体光データ２１Ｂのオクルージョン領域２１３の種類に応じて、振幅処理を切り替える対策である。図１５は、図５に示す物体光生成処理に対策（３－２）を加えたフローチャートである。図１５に示す処理手順は、情報処理装置２０の制御部２２がプログラムを実行することによって実現される。
　図１５に示すように、情報処理装置２０の制御部２２は、物体光の振幅・座標を取得する（ステップＳ１１）。制御部２２は、取得した振幅・座標の情報に基づいて、物体光をモデル化する（ステップＳ１２）。制御部２２は、物体光データ２１Ｂを生成すると、処理をステップＳ１４１に進める。
　制御部２２は、複数の物体光データ２１Ｂごとに、オクルージョン領域２１３の種類を特定する（ステップＳ１４１）。例えば、オクルージョン領域２１３は、自己オクルージョン、相互オクルージョン等の種類を含む。自己オクルージョンは、同一の物体内での前後関係により発生するオクルージョンを含む。同一の物体内とは、例えば、人間の顔と手といった関係を含む。相互オクルージョンは、異なる物体間での前後関係により発生するオクルージョンを含む。例えば、制御部２２は、複数の物体光データ２１Ｂごとに、物体の前後関係等に基づいてオクルージョン領域２１３を特定する。そして、制御部２２は、複数のレイヤーごとの物体光データ２１Ｂのオクルージョン領域２１３の前後関係に基づいて、オクルージョン領域２１３ごとの種類を特定する。制御部２２は、自己オクルージョンと相互オクルージョンとを、平面座標とデプス範囲に基づいて区別する。制御部２２は、平面座標及びデプスがともに近い領域を自己オクルージョンであると特定する。制御部２２は、ステップＳ１４１の特定結果を記憶部２１に記憶すると、処理をステップＳ１４２に進める。
　制御部２２は、複数の物体光データ２１Ｂごとに、特定した種類に応じた振幅処理を実行する（ステップＳ１４２）。例えば、情報処理装置２０は、種類が相互オクルージョンの場合は拡張による振幅処理であり、自己オクルージョンの場合は投影による振幅処理であるとする。この場合、制御部２２は、特定結果が相互オクルージョンである場合、複数の物体光データ２１Ｂごとに、オクルージョン領域２１３の境界付近を振幅拡張する処理を実行する。制御部２２は、特定結果が自己オクルージョンである場合、前景の画像をオクルージョン領域２１３に平行投影する処理を実行する。
　図１６は、オクルージョン領域の種類に応じた対策（３－２）の一例を説明するための図である。図１６の左図は、相互オクルージョンのレイヤーごとの画像の処理の一例を示している。図１６の左図は、異なる物体の前後関係を示す画像をレイヤーごとに分けた一例を示している。図１６の右図は、自己オクルージョンのレイヤーごとの画像の処理の一例を示している。図１６の右図は、同一の物体の前後関係を示す画像をレイヤーごとに分けた一例を示している。図１６は、レイヤーごとの画像２２１、画像２２２、画像２２３の順にホログラム面Ｈ１から離れている。画像２２２は、前景である画像２２１の部分がオクルージョン領域２１３となっている。画像２２３は、前景である画像２２１及び画像２２２の部分がオクルージョン領域２１３となっている。
　制御部２２は、オクルージョン領域２１３の種類を相互オクルージョンと特定した場合、図１６の左図に示すように、オクルージョン領域２１３の境界付近の振幅エッジ２１４を、オクルージョン領域２１３の内側に拡張する処理を実行する。また、制御部２２は、オクルージョン領域２１３の種類を自己オクルージョンと特定した場合、図１６の右図に示すように、前景の画像をオクルージョン領域２１３の部分に平行投影する処理を実行する。例えば、制御部２２は、画像２２１を平行投影した画像２２１’で、画像２２２のオクルージョン領域２１３を埋めるように拡張する。制御部２２は、画像２２１’および画像２２２を、背景の画像２２３に平行投影した画像２２２’で、画像２２３のオクルージョン領域２１３を埋めるように拡張する。制御部２２は、オクルージョン領域２１３の種類に適した振幅処理を実行することで、複数のレイヤーごとに、物体光データ２１Ｂに適した対策を行う。制御部２２は、複数のレイヤーごとに、物体光データ２１Ｂに対する振幅処理を行う。これにより、制御部２２は、背景２１２の画像をオクルージョン領域２１３の内部に向かって拡張する、または、オクルージョン領域２１３の内部を前景画像で埋めることで、オクルージョン領域２１３との境界付近の物体光データ２１Ｂにおける振幅を変更する。図１５に戻り、制御部２２は、ステップＳ１４２の処理が終了すると、処理をステップＳ１３に進める。なお、制御部２２は、ステップＳ１４１およびステップＳ１４２を実行することで、特定部２３Ａおよび変更部２３Ｂとして機能する。
　制御部２２は、初期位相を設定する（ステップＳ１３）。制御部２２は、ステップＳ１３の処理が終了すると、図１５に示す処理手順を終了させる。制御部２２は、図１５に示す処理手順を実行することで、物体光生成部２３を実現する。
　情報処理装置２０は、物体光生成処理の実行が終了すると、上記の波面伝搬計算処理および干渉縞生成処理を順次実行する。これにより、情報処理装置２０は、対策（３－２）により、オクルージョン領域２１３の境界の振幅を拡張しているので、オクルージョン領域２１３の境界における波面の漏れ出しを抑制したホログラムデータ２１Ｄを生成することができる。その結果、情報処理装置２０は、オクルージョン領域２１３の境界付近におけるリンギングの抑制効果の最適化を図り、かつ計算量を抑制することができる。
［実施形態に係る情報処理装置の対策（４）］
　情報処理装置２０は、物体光データ２１Ｂのオクルージョン領域２１３の境界から発生した波面が前景の領域に広がらないように、境界付近の初期位相を設定する対策（４）を提供可能に構成されている。
　図１７は、図５に示す物体光生成処理に対策（４）を加えたフローチャートである。図１７に示す処理手順は、情報処理装置２０の制御部２２がプログラムを実行することによって実現される。
　図１７に示すように、情報処理装置２０の制御部２２は、物体光の振幅・座標を取得する（ステップＳ１１）。制御部２２は、取得した振幅・座標の情報に基づいて、物体光をモデル化する（ステップＳ１２）。制御部２２は、物体光データ２１Ｂを生成すると、処理をステップＳ１５１に進める。
　制御部２２は、オクルージョン領域２１３の境界から発生する波面の広がりを抑制する初期位相を設定する（ステップＳ１５１）。例えば、制御部２２は、物体光データ２１Ｂの画素値に対して、ＸＹ座標に応じて位相を一様に変化させることで、画素ごとに、物体光の振幅と位相との複素振幅を取得する。制御部２２は、取得した位相を初期位相として物体光データ２１Ｂに設定する。そして、制御部２２は、複数の物体光データ２１Ｂの中から、物体の前後関係等に基づいてオクルージョン領域２１３を特定する。物体光データ２１Ｂがオクルージョン領域２１３を有する場合、制御部２２は、背景のオクルージョン領域２１３の振幅を０よりも大きい値で埋め、背景のオクルージョン領域２１３の境界付近に、オクルージョン領域２１３の中心に向かって収束する集光作用を与える初期位相を設定する。集光作用を与える初期位相としては、例えば、Ｑｕａｄｒａｔｉｃ　Ｐｈａｓｅ等が挙げられる。これにより、制御部２２は、オクルージョン領域２１３の境界付近の物体光データ２１Ｂにおける位相を変更する。制御部２２は、ステップＳ１５１の処理が終了すると、図１７に示す処理手順を終了させる。なお、制御部２２は、図１７に示す処理手順を実行することで、物体光生成部２３を実現し、特定部２３Ａおよび変更部２３Ｂとして機能する。
　情報処理装置２０は、物体光生成処理の実行が終了すると、上記の波面伝搬計算処理および干渉縞生成処理を順次実行する。これにより、情報処理装置２０は、対策（４）により、オクルージョン領域２１３の境界付近の初期位相を設定しているので、当該境界付近の波面の漏れ出しを抑制したホログラムデータ２１Ｄを生成することができる。その結果、情報処理装置２０は、ホログラムデータ２１Ｄを再生しても、オクルージョン領域２１３の境界から波面の漏れ出しを抑制することができる。
［実施形態に係る情報処理装置の対策（５）］
　ホログラムＨの初期位相は、空間周波数を高くして光を拡散させるために、公知であるｒａｎｄｏｍ　ｐｈａｓｅを用いることが知られている。しかし、ホログラムＨは、ｒａｎｄｏｍ　ｐｈａｓｅを用いる場合、スペックルノイズが発生することが知られている。情報処理装置２０は、物体光データ２１Ｂのオクルージョン領域２１３の境界付近のみｒａｎｄｏｍ　ｐｈａｓｅを付与する対策（５）を提供可能に構成されている。
　図１８は、図５に示す物体光生成処理に対策（５）を加えたフローチャートである。図１８に示す処理手順は、情報処理装置２０の制御部２２がプログラムを実行することによって実現される。
　図１８に示すように、情報処理装置２０の制御部２２は、物体光の振幅・座標を取得する（ステップＳ１１）。制御部２２は、取得した振幅・座標の情報に基づいて、物体光をモデル化する（ステップＳ１２）。制御部２２は、物体光データ２１Ｂを生成すると、処理をステップＳ１５２に進める。
　制御部２２は、オクルージョン領域２１３の境界から発生する波面を拡散する初期位相を設定する（ステップＳ１５２）。例えば、制御部２２は、物体光データ２１Ｂの画素値に対して、ＸＹ座標に応じて位相を一様に変化させることで、画素ごとに、物体光の振幅と位相との複素振幅を取得する。制御部２２は、取得した位相を初期位相として物体光データ２１Ｂに設定する。そして、制御部２２は、複数の物体光データ２１Ｂの中から、物体の前後関係等に基づいてオクルージョン領域２１３を特定する。物体光データ２１Ｂがオクルージョン領域２１３を有する場合、制御部２２は、オクルージョン領域２１３の境界付近のみにｒａｎｄｏｍ　ｐｈａｓｅを付与することで、背景のオクルージョン領域２１３の境界付近だけにスペックルノイズが発生する領域を制限する初期位相を設定する。制御部２２は、ステップＳ１５２の処理が終了すると、図１８に示す処理手順を終了させる。なお、制御部２２は、図１８に示す処理手順を実行することで、物体光生成部２３を実現し、特定部２３Ａおよび変更部２３Ｂとして機能する。
　情報処理装置２０は、物体光生成処理の実行が終了すると、上記の波面伝搬計算処理および干渉縞生成処理を順次実行する。これにより、情報処理装置２０は、対策（５）により、オクルージョン領域２１３の境界付近だけにスペックルノイズが発生する領域を限定する初期位相を設定しているので、当該境界付近以外のスペックルノイズの発生を抑制したホログラムデータ２１Ｄを生成することができる。その結果、情報処理装置２０は、ホログラムデータ２１Ｄを再生しても、オクルージョン領域２１３の境界におけるリンギング及び境界付近以外のスペックルノイズの発生を抑制することができる。
　なお、上記の実施形態は、対策（１）から対策（５）を変更したり、他の対策に適用したり、組み合わせたりしてもよい。例えば、情報処理装置２０は、振幅拡張と初期位相の設定とを組み合わせて、物体光データ２１Ｂを変更してもよい。
［ハードウェア構成］
　上述してきた実施形態に係る情報処理装置２０は、例えば図１９に示すような構成のコンピュータ１０００によって実現してもよい。以下、実施形態に係る情報処理装置２０を例に挙げて説明する。図１９は、情報処理装置２０の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ　ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係る情報処理装置２０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、特定部２３Ａ、変更部２３Ｂ等の機能を実現する。また、ＨＤＤ１４００には、本開示に係るプログラムや、記憶部２１内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、情報処理装置２０が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
　また、本明細書の情報処理装置２０の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理装置２０の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
　本実施形態では、レイヤーデータは、物体光データ２１Ｂである場合について説明したが、これに限定されない。例えば、レイヤーデータは、ホログラムデータ２１Ｄを生成するための原データによって異なるデータとなる。例えば、レイヤーデータは、ホログラムデータ２１Ｄを生成する点充填法を用いる場合、点物体の集合を階層化したデータとなる。例えば、レイヤーデータは、物体をポリゴンで表現したデータを階層化したデータとなる。
（効果）
　情報処理装置２０は、３次元の物体の物体光を段階的に表現可能な複数のレイヤーデータから、他の階層のレイヤーデータの前景画像によって欠損するオクルージョン領域２１３を特定する特定部２３Ａと、特定したオクルージョン領域２１３との境界のレイヤーデータにおける振幅および位相の少なくとも一方を、物体光のオクルージョン領域２１３の外部への漏れ出しを抑制するように変更する変更部２３Ｂと、を備える。
　これにより、情報処理装置２０は、レイヤーデータにおけるオクルージョン領域２１３を特定すると、物体光のオクルージョン領域２１３の外部への漏れ出しを抑制するようにレイヤーデータを変更することができる。その結果、情報処理装置２０は、変更したレイヤーデータに基づいてホログラムデータ２１Ｄを作成することで、物体の前後関係を有するホログラムＨにおけるリンギングの発生を抑制させることができる。
　情報処理装置２０では、変更部２３Ｂは、レイヤーデータにおけるオクルージョン領域２１３との周囲領域の振幅の境界を、オクルージョン領域２１３の内側に向かって拡張するように変更する。
　これにより、情報処理装置２０は、レイヤーデータにおけるオクルージョン領域２１３の境界の振幅を拡張することで、オクルージョン領域２１３の境界からの波面の漏れ出しを抑制することができる。その結果、情報処理装置２０は、変更したレイヤーデータに基づいて作成されたホログラムデータ２１Ｄを再生しても、オクルージョン領域２１３の境界からの波面の漏れ出しを抑制させることができる。
　情報処理装置２０では、変更部２３Ｂは、レイヤーデータにおけるオクルージョン領域２１３の境界領域を埋めるように、レイヤーデータの振幅を変更する。
　これにより、情報処理装置２０は、レイヤーデータにおけるオクルージョン領域２１３の境界付近を埋めて、オクルージョン領域２１３の境界の振幅を拡張しているので、オクルージョン領域２１３の境界からの波面の漏れ出しを抑制することができる。その結果、情報処理装置２０は、変更したレイヤーデータに基づいて作成されたホログラムデータ２１Ｄを再生しても、オクルージョン領域２１３の境界からの波面の漏れ出しを抑制させることができる。
　情報処理装置２０では、変更部２３Ｂは、オクルージョン領域２１３を有するレイヤーデータを縮小し、縮小したレイヤーデータの振幅の境界を、オクルージョン領域２１３の内側に向かって拡張するように変更し、変更したレイヤーデータのサイズを復元する。
　これにより、情報処理装置２０は、縮小したレイヤーデータの振幅の境界を拡張し、変更したレイヤーデータのサイズを復元するので、計算量を抑制し、かつオクルージョン領域２１３の境界からの波面の漏れ出しを抑制することができる。その結果、情報処理装置２０は、変更したレイヤーデータに基づいて作成されたホログラムデータ２１Ｄを再生しても、オクルージョン領域２１３の境界からの波面の漏れ出しを抑制させることができる。
　情報処理装置２０では、変更部２３Ｂは、レイヤーデータにおけるオクルージョン領域２１３との周囲領域の振幅の境界を、平滑化するように変更する。
　これにより、情報処理装置２０は、オクルージョン領域２１３の境界の平滑化しているので、オクルージョン領域２１３の境界からの波面の漏れ出しを抑制することができる。その結果、情報処理装置２０は、変更したレイヤーデータに基づいて作成されたホログラムデータ２１Ｄを再生しても、オクルージョン領域２１３の境界からの波面の漏れ出しを抑制させることができる。
　情報処理装置２０では、変更部２３Ｂは、レイヤーデータにおけるオクルージョン領域２１３との境界付近の周囲領域の振幅分布が、平坦な場合は、振幅の境界を平滑化するように変更し、平坦でない場合は、振幅の境界をオクルージョン領域の内側に向かって拡張するように変更する。
　これにより、情報処理装置２０は、オクルージョン領域２１３の境界付近の振幅の分布に応じて処理を変更し、オクルージョン領域２１３の境界の振幅を拡張しているので、振幅の分布に適した計算量で、オクルージョン領域２１３の境界からの波面の漏れ出しを抑制することができる。その結果、情報処理装置２０は、変更したレイヤーデータに基づいて作成されたホログラムデータ２１Ｄを再生しても、オクルージョン領域２１３の境界からの波面の漏れ出しを抑制させることができる。
　情報処理装置２０では、変更部２３Ｂは、オクルージョン領域２１３の種類を特定し、種類に応じた拡張方法で前記振幅の境界を変更する。
　これにより、情報処理装置２０は、オクルージョン領域２１３の種類に応じた拡張方法で、オクルージョン領域２１３の境界の振幅を拡張するので、適した計算量で、オクルージョン領域２１３の境界からの波面の漏れ出しを抑制することができる。その結果、情報処理装置２０は、変更したレイヤーデータに基づいて作成されたホログラムデータ２１Ｄを再生しても、オクルージョン領域２１３の境界からの波面の漏れ出しを抑制させることができる。
　情報処理装置２０では、オクルージョン領域２１３は、自己オクルージョンと、相互オクルージョンとの種類を有する。変更部２３Ｂは、オクルージョン領域２１３の種類が自己オクルージョンと特定した場合、オクルージョン領域２１３に対応した前景画像をオクルージョン領域に投影して振幅の境界を変更する。変更部２３Ｂは、オクルージョン領域２１３の種類が相互オクルージョンと特定した場合、振幅の境界をオクルージョン領域２１３の内側に向かって拡張するように変更する。
　これにより、情報処理装置２０は、オクルージョン領域２１３の種類が自己オクルージョンと相互オクルージョンとに応じた拡張方法で、オクルージョン領域２１３の境界の振幅を拡張するので、適した計算量で、オクルージョン領域２１３の境界からの波面の漏れ出しを抑制することができる。その結果、情報処理装置２０は、変更したレイヤーデータに基づいて作成されたホログラムデータ２１Ｄを再生しても、オクルージョン領域２１３の境界からの波面の漏れ出しを抑制させることができる。
　情報処理装置２０では、変更部２３Ｂは、レイヤーデータにおけるオクルージョン領域２１３との周囲領域との境界から発生する波面がオクルージョン領域２１３に広がらないように、レイヤーデータのオクルージョン領域２１３との境界部分の位相を変更する。
　これにより、情報処理装置２０は、レイヤーデータにおけるオクルージョン領域２１３の境界から波面がオクルージョン領域２１３に広がらない位相に変更することで、オクルージョン領域２１３の境界からの波面の漏れ出しを抑制することができる。その結果、情報処理装置２０は、変更したレイヤーデータに基づいて作成されたホログラムデータ２１Ｄを再生しても、オクルージョン領域２１３の境界からの波面の漏れ出しを抑制させることができる。
　情報処理装置２０では、変更部２３Ｂは、レイヤーデータにおけるオクルージョン領域２１３との周囲領域との境界から発生する波面を拡散するように、レイヤーデータのオクルージョン領域との境界部分の位相を変更する。
　これにより、情報処理装置２０は、レイヤーデータにおけるオクルージョン領域２１３との境界の位相が波面を拡散する位相に変更しているので、オクルージョン領域２１３の境界からの波面の漏れ出しを抑制することができる。すなわち、情報処理装置２０は、オクルージョン領域２１３の境界付近以外のスペックルノイズの発生を抑制することができる。その結果、情報処理装置２０は、変更したレイヤーデータに基づいて作成されたホログラムデータ２１Ｄを再生しても、オクルージョン領域２１３の境界のリンギング及び境界付近以外のスペックルノイズの発生を抑制させることができる。
　情報処理装置２０では、物体光を示すレイヤーデータを生成する物体光生成部２３と、レイヤーデータの振幅および位相に基づいて波面伝搬を計算する波面伝搬計算部２４と、波面伝搬の計算結果に基づいて干渉縞を生成する干渉縞生成部２５と、を備え、物体光生成部２３は、特定部２３Ａと、変更部２３Ｂと、を備える。
　これにより、情報処理装置２０は、オクルージョン領域２１３の境界の振幅を拡張しているので、オクルージョン領域２１３の境界における波面の漏れ出しを抑制したホログラムＨの干渉縞を生成することができる。その結果、情報処理装置２０は、生成した干渉縞を有するホログラムデータ２１Ｄを再生しても、オクルージョン領域２１３の境界からの波面の漏れ出しを抑制させることができる。
　情報処理装置２０の情報処理方法は、３次元の物体の物体光を段階的に表現可能な複数のレイヤーデータから、他の階層のレイヤーデータの前景画像によって欠損するオクルージョン領域２１３を特定すること、特定したオクルージョン領域２１３との境界のレイヤーデータにおける振幅および位相の少なくとも一方を、物体光のオクルージョン領域２１３の外部への漏れ出しを抑制するように変更すること、を含む。
　これにより、情報処理方法は、レイヤーデータにおけるオクルージョン領域２１３を特定すると、物体光のオクルージョン領域２１３の外部への漏れ出しを抑制するようにレイヤーデータを変更することができる。その結果、情報処理方法は、変更したレイヤーデータに基づいてホログラムデータ２１Ｄを作成することで、物体の前後関係を有するホログラムＨにおけるリンギングの発生を抑制させることができる。
　情報処理装置２０の情報処理プログラムは、コンピュータに、３次元の物体の物体光を段階的に表現可能な複数のレイヤーデータから、他の階層のレイヤーデータの前景画像によって欠損するオクルージョン領域２１３を特定すること、特定したオクルージョン領域２１３との境界のレイヤーデータにおける振幅および位相の少なくとも一方を、物体光のオクルージョン領域２１３の外部への漏れ出しを抑制するように変更すること、を実行させる。
　これにより、情報処理プログラムは、レイヤーデータにおけるオクルージョン領域２１３を特定すると、物体光のオクルージョン領域２１３の外部への漏れ出しを抑制するように、レイヤーデータをコンピュータに変更させることができる。その結果、情報処理プログラムは、変更したレイヤーデータに基づいてホログラムデータ２１Ｄを作成させることで、物体の前後関係を有するホログラムＨにおけるリンギングの発生を抑制させることができる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　３次元の物体の物体光を段階的に表現可能な複数のレイヤーデータから、他の階層の前記レイヤーデータの前景画像によって欠損するオクルージョン領域を特定する特定部と、
　特定した前記オクルージョン領域との境界の前記レイヤーデータにおける振幅および位相の少なくとも一方を、前記物体光の前記オクルージョン領域の外部への漏れ出しを抑制するように変更する変更部と、
　を備える情報処理装置。
（２）
　前記変更部は、前記レイヤーデータにおける前記オクルージョン領域との周囲領域の前記振幅の境界を、前記オクルージョン領域の内側に向かって拡張するように変更する
　前記（１）に記載の情報処理装置。
（３）
　前記変更部は、前記レイヤーデータにおける前記オクルージョン領域の境界領域を埋めるように、前記レイヤーデータの前記振幅を変更する
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記変更部は、前記オクルージョン領域を有する前記レイヤーデータを縮小し、縮小したレイヤーデータの前記振幅の境界を、前記オクルージョン領域の内側に向かって拡張するように変更し、変更したレイヤーデータのサイズを復元する
　前記（１）から（３）のいずれかに記載の情報処理装置。
（５）
　前記変更部は、前記レイヤーデータにおける前記オクルージョン領域との周囲領域の前記振幅の境界を、平滑化するように変更する
　前記（１）から（４）のいずれかに記載の情報処理装置。
（６）
　前記変更部は、前記レイヤーデータにおける前記オクルージョン領域との境界付近の周囲領域の振幅分布が、平坦な場合は、前記振幅の境界を平滑化するように変更し、平坦でない場合は、前記振幅の境界を前記オクルージョン領域の内側に向かって拡張するように変更する
　前記（１）から（５）のいずれかに記載の情報処理装置。
（７）
　前記変更部は、前記オクルージョン領域の種類を特定し、前記種類に応じた拡張方法で前記振幅の境界を変更する
　前記（１）から（６）のいずれかに記載の情報処理装置。
（８）
　前記オクルージョン領域は、自己オクルージョンと、相互オクルージョンとの種類を有し、
　前記変更部は、
　前記オクルージョン領域の種類が前記自己オクルージョンと特定した場合、前記オクルージョン領域に対応した前記前景画像を前記オクルージョン領域に投影して前記振幅の境界を変更し、
　前記オクルージョン領域の種類が前記相互オクルージョンと特定した場合、前記振幅の境界を前記オクルージョン領域の内側に向かって拡張するように変更する
　前記（７）に記載の情報処理装置。
（９）
　前記変更部は、前記レイヤーデータにおける前記オクルージョン領域との周囲領域との境界から発生する波面が前記オクルージョン領域に広がらないように、前記レイヤーデータの前記オクルージョン領域との境界部分の位相を変更する
　前記（１）から（８）のいずれかに記載の情報処理装置。
（１０）
　前記変更部は、前記レイヤーデータにおける前記オクルージョン領域との周囲領域との境界から発生する波面を拡散するように、前記レイヤーデータの前記オクルージョン領域との境界部分の位相を変更する
　前記（１）から（９）のいずれかに記載の情報処理装置。
（１１）
　前記物体光を示す前記レイヤーデータを生成する物体光生成部と、
　前記レイヤーデータの振幅および位相に基づいて波面伝搬を計算する波面伝搬計算部と、
　前記波面伝搬の計算結果に基づいて干渉縞を生成する干渉縞生成部と、を備え、
　前記物体光生成部は、前記特定部と、前記変更部と、を備える
　前記（１）から（１０）のいずれかに記載の情報処理装置。
（１２）
　コンピュータが、
　３次元の物体の物体光を段階的に表現可能な複数のレイヤーデータから、他の階層の前記レイヤーデータの前景画像によって欠損するオクルージョン領域を特定すること、
　特定した前記オクルージョン領域との境界の前記レイヤーデータにおける振幅および位相の少なくとも一方を、前記物体光の前記オクルージョン領域の外部への漏れ出しを抑制するように変更すること、
　を含む情報処理方法。
（１３）
　コンピュータに、
　３次元の物体の物体光を段階的に表現可能な複数のレイヤーデータから、他の階層の前記レイヤーデータの前景画像によって欠損するオクルージョン領域を特定すること、
　特定した前記オクルージョン領域との境界の前記レイヤーデータにおける振幅および位相の少なくとも一方を、前記物体光の前記オクルージョン領域の外部への漏れ出しを抑制するように変更すること、
　を実行させる情報処理プログラム。
（１４）
　コンピュータに、
　３次元の物体の物体光を段階的に表現可能な複数のレイヤーデータから、他の階層の前記レイヤーデータの前景画像によって欠損するオクルージョン領域を特定すること、
　特定した前記オクルージョン領域との境界の前記レイヤーデータにおける振幅および位相の少なくとも一方を、前記物体光の前記オクルージョン領域の外部への漏れ出しを抑制するように変更すること、
　を実行させる情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
　１　情報処理システム
　１０　ホログラム表示部
　１１　表示媒体
　１２　光源
　２０　情報処理装置
　２１　記憶部
　２１Ａ　画像データ
　２１Ｂ　物体光データ
　２１Ｃ　波面データ
　２１Ｄ　ホログラムデータ
　２２　制御部
　２３　物体光生成部
　２３Ａ　特定部
　２３Ｂ　変更部
　２４　波面伝搬計算部
　２５　干渉縞生成部
　２１１　前景
　２１２　背景
　２１３　オクルージョン領域
　Ｈ　ホログラム
　Ｈ１　ホログラム面

Claims (13)

  1. 　３次元の物体の物体光を段階的に表現可能な複数のレイヤーデータから、他の階層の前記レイヤーデータの前景画像によって欠損するオクルージョン領域を特定する特定部と、
    　特定した前記オクルージョン領域との境界の前記レイヤーデータにおける振幅および位相の少なくとも一方を、前記物体光の前記オクルージョン領域の外部への漏れ出しを抑制するように変更する変更部と、
    　を備える情報処理装置。
  2. 　前記変更部は、前記レイヤーデータにおける前記オクルージョン領域との周囲領域の前記振幅の境界を、前記オクルージョン領域の内側に向かって拡張するように変更する
    　請求項１に記載の情報処理装置。
  3. 　前記変更部は、前記レイヤーデータにおける前記オクルージョン領域の境界領域を埋めるように、前記レイヤーデータの前記振幅を変更する
    　請求項２に記載の情報処理装置。
  4. 　前記変更部は、前記オクルージョン領域を有する前記レイヤーデータを縮小し、縮小したレイヤーデータの前記振幅の境界を、前記オクルージョン領域の内側に向かって拡張するように変更し、変更したレイヤーデータのサイズを復元する
    　請求項１に記載の情報処理装置。
  5. 　前記変更部は、前記レイヤーデータにおける前記オクルージョン領域との周囲領域の前記振幅の境界を、平滑化するように変更する
    　請求項１に記載の情報処理装置。
  6. 　前記変更部は、前記レイヤーデータにおける前記オクルージョン領域との境界付近の周囲領域の振幅分布が、平坦な場合は、前記振幅の境界を平滑化するように変更し、平坦でない場合は、前記振幅の境界を前記オクルージョン領域の内側に向かって拡張するように変更する
    　請求項１に記載の情報処理装置。
  7. 　前記変更部は、前記オクルージョン領域の種類を特定し、前記種類に応じた拡張方法で前記振幅の境界を変更する
    　請求項１に記載の情報処理装置。
  8. 　前記オクルージョン領域は、自己オクルージョンと、相互オクルージョンとの種類を有し、
    　前記変更部は、
    　前記オクルージョン領域の種類が前記自己オクルージョンと特定した場合、前記オクルージョン領域に対応した前記前景画像を前記オクルージョン領域に投影して前記振幅の境界を変更し、
    　前記オクルージョン領域の種類が前記相互オクルージョンと特定した場合、前記振幅の境界を前記オクルージョン領域の内側に向かって拡張するように変更する
    　請求項７に記載の情報処理装置。
  9. 　前記変更部は、前記レイヤーデータにおける前記オクルージョン領域との周囲領域との境界から発生する波面が前記オクルージョン領域に広がらないように、前記レイヤーデータの前記オクルージョン領域との境界部分の位相を変更する
    　請求項１に記載の情報処理装置。
  10. 　前記変更部は、前記レイヤーデータにおける前記オクルージョン領域との周囲領域との境界から発生する波面を拡散するように、前記レイヤーデータの前記オクルージョン領域との境界部分の位相を変更する
    　請求項１に記載の情報処理装置。
  11. 　前記物体光を示す前記レイヤーデータを生成する物体光生成部と、
    　前記レイヤーデータの振幅および位相に基づいて波面伝搬を計算する波面伝搬計算部と、
    　前記波面伝搬の計算結果に基づいて干渉縞を生成する干渉縞生成部と、を備え、
    　前記物体光生成部は、前記特定部と、前記変更部と、を備える
    　請求項１に記載の情報処理装置。
  12. 　コンピュータが、
    　３次元の物体の物体光を段階的に表現可能な複数のレイヤーデータから、他の階層の前記レイヤーデータの前景画像によって欠損するオクルージョン領域を特定すること、
    　特定した前記オクルージョン領域との境界の前記レイヤーデータにおける振幅および位相の少なくとも一方を、前記物体光の前記オクルージョン領域の外部への漏れ出しを抑制するように変更すること、
    　を含む情報処理方法。
  13. 　コンピュータに、
    　３次元の物体の物体光を段階的に表現可能な複数のレイヤーデータから、他の階層の前記レイヤーデータの前景画像によって欠損するオクルージョン領域を特定すること、
    　特定した前記オクルージョン領域との境界の前記レイヤーデータにおける振幅および位相の少なくとも一方を、前記物体光の前記オクルージョン領域の外部への漏れ出しを抑制するように変更すること、
    　を実行させる情報処理プログラム。
PCT/JP2021/008839 2020-03-13 2021-03-05 情報処理装置、情報処理方法及び情報処理プログラム WO2021182361A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022507157A JPWO2021182361A1 (ja) 2020-03-13 2021-03-05
US17/795,424 US20230089872A1 (en) 2020-03-13 2021-03-05 Information processing device, information processing method, and information processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020043718 2020-03-13
JP2020-043718 2020-03-13

Publications (1)

Publication Number Publication Date
WO2021182361A1 true WO2021182361A1 (ja) 2021-09-16

Family

ID=77671716

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008839 WO2021182361A1 (ja) 2020-03-13 2021-03-05 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (3)

Country Link
US (1) US20230089872A1 (ja)
JP (1) JPWO2021182361A1 (ja)
WO (1) WO2021182361A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024095753A1 (ja) * 2022-11-02 2024-05-10 ソニーグループ株式会社 表示処理装置、および表示処理方法、並びに記憶媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11803155B2 (en) * 2020-08-20 2023-10-31 Samsung Electronics Co., Ltd. Method and apparatus for generating computer-generated hologram

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009288575A (ja) * 2008-05-30 2009-12-10 National Institute Of Information & Communication Technology ホログラム生成装置およびそのプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009288575A (ja) * 2008-05-30 2009-12-10 National Institute Of Information & Communication Technology ホログラム生成装置およびそのプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MATSUSHIMA, KYOJI ET AL.: "Silhouette method for hidden surface removal in computer holography and its acceleration using the switch-back technique", OPTICS EXPRESS, vol. 22, no. 20, 6 October 2014 (2014-10-06), pages 24450 - 24465, XP055856704 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024095753A1 (ja) * 2022-11-02 2024-05-10 ソニーグループ株式会社 表示処理装置、および表示処理方法、並びに記憶媒体

Also Published As

Publication number Publication date
JPWO2021182361A1 (ja) 2021-09-16
US20230089872A1 (en) 2023-03-23

Similar Documents

Publication Publication Date Title
JP5566116B2 (ja) 矯正視界を有する三次元シーンを再構成する方法、及び装置
Blinder et al. The state-of-the-art in computer generated holography for 3D display
WO2021182361A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP5124563B2 (ja) コンピュータ生成ビデオホログラムのリアルタイムなレンダリング及び生成
US10895842B2 (en) Hologram generation apparatus and method thereof
KR101841624B1 (ko) 고속으로 3ｄ 홀로그램을 생성하는 방법 및 장치
Underkoffler Occlusion processing and smooth surface shading for fully computed synthetic holography
JP7227095B2 (ja) ホログラム生成装置およびホログラム生成方法
JP6884949B2 (ja) ホログラム生成装置、ホログラム生成プログラムおよびホログラフィックプロジェクションシステム
US9618902B2 (en) Apparatus and method for generating hologram pattern
KR101549178B1 (ko) 홀로그램 생성 장치 및 방법
US20140313555A1 (en) Digital hologram synthesis method and apparatus
JP2005062366A (ja) 生成装置、生成方法、プログラム、及び記録媒体
US10565780B2 (en) Image processing apparatus, image processing method, and storage medium
Brown et al. Visual attention-based polygon level of detail management
CN111722514A (zh) 用于处理三维全息图像的方法和装置
JP2012008220A (ja) ルックアップテーブルと画像の空間的重複性を用いた計算機合成ホログラムの算出方法及びその装置
KR102251744B1 (ko) 병렬 컴퓨팅 기반 이진 홀로그램 생성 장치 및 방법
JPH10301466A (ja) 計算機ホログラム合成方法および装置およびこの方法を記録した記録媒体
KR102144473B1 (ko) 3d 홀로그램 생성 장치 및 3d 홀로그램 생성 방법
US20200192286A1 (en) Hologram image representation method and hologram image representation device
JP2012008207A (ja) ルックアップテーブルと画像の時間的重複性を用いた３次元動画の計算機合成ホログラムの算出方法及びその装置
KR20150012697A (ko) 피드백 기반 디지털 홀로그래픽 콘텐츠 복원 검증 장치 및 방법
JP7016646B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2021246255A1 (ja) 情報処理装置、情報処理方法、プログラム及びホログラム表示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21768241

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022507157

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21768241

Country of ref document: EP

Kind code of ref document: A1