WO2024075912A1 - 비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법 및 시스템 - Google Patents

비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법 및 시스템 Download PDF

Info

Publication number
WO2024075912A1
WO2024075912A1 PCT/KR2023/003997 KR2023003997W WO2024075912A1 WO 2024075912 A1 WO2024075912 A1 WO 2024075912A1 KR 2023003997 W KR2023003997 W KR 2023003997W WO 2024075912 A1 WO2024075912 A1 WO 2024075912A1
Authority
WO
WIPO (PCT)
Prior art keywords
hologram
background
foreground
light field
occlusion
Prior art date
Application number
PCT/KR2023/003997
Other languages
English (en)
French (fr)
Inventor
박재형
민다빈
민교식
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220128154A external-priority patent/KR102691849B1/ko
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Publication of WO2024075912A1 publication Critical patent/WO2024075912A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/16—Processes or apparatus for producing holograms using Fourier transform

Definitions

  • the present invention relates to a method and system for processing occlusion between a foreground light field and a background hologram of a Byhogel-based computer-generated hologram.
  • Coherent light from an object is represented by a complex optical field with amplitude and phase distribution.
  • Computer Generated Hologram (CGH) technology digitally synthesizes complex optical fields for three-dimensional (3D) scenes that can be expressed in various forms.
  • a light field also called ray space, is the space-time angular distribution of rays.
  • CGH synthesis in the light field has been an active research topic.
  • Various techniques have been proposed, including traditional Hogel-based holographic stereograms and ray-wavefront conversion.
  • Hogel-based techniques that do not rely on traditional Hogel-based light field tiling, Hogel-free direct phase-only hologram synthesis techniques, non-Hogel-based complex field synthesis techniques, and time-multiplexed neural holography techniques. These recent techniques utilize spatially nested Hogel accumulation, iterative optimization, or deep learning to acquire high-quality 3D holograms in the light field, compared to traditional Hogel-based approaches, and achieve speckle suppression reconstruction with shallow depth of focus.
  • Occlusion between 3D objects is an important feature that makes the reconstructed scene realistic. Unlike typical two-dimensional (2D) image rendering, which only needs to consider a single viewpoint, CGH reproduces visual-dependent continuous changes in occlusion within the viewing angle.
  • light field-based CGH Unlike point cloud, layer, and mesh-based techniques, light field-based CGH generally does not require special techniques to implement occlusion. Occlusion is already included in the light field data, that is, the view array that constitutes the light field, and the CGH synthesized from the light field naturally represents the occlusion effect between objects in the scene. This is one of the advantages of light field-based CGH technology.
  • the technical problem to be achieved by the present invention is to provide a method and system for processing occlusion without requiring conversion between the hologram and light field domains by considering the background hologram as a carrier wave that illuminates the foreground object when applying occlusion to the background hologram. there is.
  • the method for processing occlusion between the foreground light field and the background hologram of the Bjorgel-based computer-generated hologram proposed in the present invention includes the steps of obtaining a binary light field mask using a threshold for occlusion through a binary light field generator; Obtaining the 2D Fourier transform of the binarized light field mask for the portion of the background optical field that should be obscured by the foreground light field through the Fourier transform unit, and obtaining the optical field of the foreground binary aperture illuminated by the background hologram through the optical field generator.
  • the step of obtaining a binary light field mask using the threshold for occlusion through the binary light field generator is to consider the background hologram as a carrier wave illuminating the foreground object when applying occlusion to the background hologram, and to convert the background hologram into a binary light field mask.
  • the carrier of the foreground light field to generate a composite field mask according to the background hologram, it ensures view-dependent occlusion between background and foreground objects within the viewing angle of the composite hologram.
  • the step of obtaining the 2D Fourier transform of the binarized light field mask for the portion of the background optical field that should be obscured by the foreground light field through the Fourier transform unit is to globally process all views using a Bjorgel-based technique to determine the It generates a continuous spherical wavefront for individual 3D objects without a depth map, and controls the carrier or phase distribution in the holographic plane instead of assigning phase directly to the 3D object surface.
  • the step of synthesizing a final synthesized hologram with occlusion by subtracting the 2D Fourier transform of the binarized light field mask from the background hologram through the hologram synthesis unit and adding the foreground hologram is a foreground hologram synthesized from the occluded background hologram from the light field.
  • synthesizing the final synthetic hologram with occlusion it does not require domain transformation of the background hologram, thereby reducing computational effort, and does not require transformation from the hologram to the light field, thereby maintaining the full resolution of the background hologram.
  • the occlusion processing system between the foreground light field and the background hologram of the Bhoegel-based computer-generated hologram proposed in the present invention includes a binary light field generator that obtains a binary light field mask using a threshold for occlusion;
  • the portion of the background optical field that should be obscured by the foreground light field passes through a Fourier transform unit that obtains the 2D Fourier transform of the binarized light field mask, the optical field of the foreground binary aperture illuminated by the background hologram, or the foreground light field 3D object.
  • It includes an optical field generation unit representing the optical field from the background 3D object, and a hologram synthesis unit for synthesizing a final synthesized hologram with occlusion by subtracting the 2D Fourier transform of the binarized light field mask from the background hologram and adding the foreground hologram. do.
  • the occlusion when applying occlusion to a background hologram, is processed without requiring conversion between the hologram and light field domains by considering the background hologram as a carrier wave illuminating the foreground object. Additionally, the background hologram is used as the carrier of the binarized foreground light field to generate a composite field mask suitable for the background hologram, and then the occluded background hologram is simply added to the foreground hologram synthesized from the field, completing the composite hologram. .
  • the proposed method is computationally efficient because it does not require domain transformation of the background hologram and can maintain the full resolution of the background hologram. Additionally, the carrier wave approach can ensure accurate and continuous view-dependent occlusion between background and foreground objects within the viewing angle of the synthetic hologram.
  • FIG. 1 is a diagram illustrating a process for generating a composite hologram of a background hologram and a foreground light field with occlusion processing according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an approach for synthesizing a synthetic hologram using occlusion processing between a foreground illumination field and a background hologram according to an embodiment of the present invention.
  • Figure 3 is a flowchart illustrating a method for processing occlusion between the foreground light field and the background hologram of a Bjorgel-based computer-generated hologram according to an embodiment of the present invention.
  • Figure 4 is a diagram showing the configuration of an occlusion processing system between a foreground light field and a background hologram of a Bjorgel-based computer-generated hologram according to an embodiment of the present invention.
  • Figure 5 is a diagram for explaining a complex hologram synthesis process according to an embodiment of the present invention.
  • Figure 6 is a diagram showing given data and a composite hologram in the case of a discrete depth object according to an embodiment of the present invention.
  • Figure 7 is a diagram comparing the results of using an object with discrete depth according to an embodiment of the present invention with the prior art.
  • Figure 8 is a diagram showing given data and synthetic hologram results in the case of a continuous depth object according to an embodiment of the present invention.
  • Figure 9 is a diagram showing a comparison between a continuous depth object and the proposed method and actual measured data according to an embodiment of the present invention.
  • Figure 10 is a diagram showing an extracted direction according to an embodiment of the present invention.
  • Figure 11 is a diagram showing the verification results of the proposed method using the hologram of the JPEG Pleno hologram data set according to an embodiment of the present invention.
  • Figure 12 is a diagram showing an extracted direction according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a process for generating a composite hologram of a background hologram and a foreground light field with occlusion processing according to an embodiment of the present invention.
  • the problem addressed by the present invention is the occlusion of the 3D scene outside of the light field data. Assuming that a hologram of the background 3D scene is given, we would like to synthesize a synthetic hologram including the foreground light field and the background 3D scene, as shown in Figure 1.
  • a hologram refers to a complex optical field expressed as amplitude and phase distribution in a plane.
  • a background hologram is a complex optical field in a 3D scene that will be used as the background for the final composite scene.
  • the background hologram may be a numerically synthesized CGH, or it may be a digital hologram of an optically captured real object.
  • a light field refers to the spatiotemporal angular ray distribution expressed as an array of angular views of a 3D scene.
  • a separate view of the light field is amplitude data without phase information.
  • Complex hologram refers to the complex optical field, i.e. amplitude and phase distribution, of a mixed 3D scene with objects given by a light field in the foreground and objects given by a hologram in the background.
  • the invention assumes that depth maps are not available.
  • FIG. 2 is a diagram illustrating an approach for synthesizing a synthetic hologram using occlusion processing between a foreground illumination field and a background hologram according to an embodiment of the present invention.
  • Figure 2(a) is a diagram for explaining a technology for converting a background hologram into a light field, processing occlusion in the light field domain, and synthesizing a hologram in the light field.
  • Figure 2(b) is a diagram to explain the proposed technology for directly processing occlusion without hologram-light field conversion.
  • the foreground 3D scene represented in lightfield format needs to occlude the background 3D scene given by its hologram.
  • the problem can be easily solved if both the foreground and background scenes are provided with depth maps.
  • background holograms without a foreground lightfield and depth map have problems. This situation can frequently arise in the editing and authoring of holographic content for various applications.
  • a possible approach is to transform the background hologram into a field using wavefront-to-ray transform or spatial frequency filtering and handle the occlusion between the foreground and background fields.
  • a desired composite hologram can be created as shown in FIG. 2(a).
  • this approach requires a lot of computation for bidirectional conversion between the holographic and light domains.
  • the loss of resolution accompanying domain conversion from a hologram is another problem.
  • the present invention proposes a new method for handling occlusion between background hologram and foreground light field data.
  • the proposed method handles occlusion without requiring conversion between the holographic and light field domains.
  • the key idea is to consider the background hologram as a carrier wave that illuminates the foreground object when applying occlusion to the background hologram.
  • the proposed method uses the background hologram as the carrier of the binarized foreground light field to generate a composite field mask suitable for the background hologram. Afterwards, the occluded background hologram is simply added to the foreground hologram composited from the field, completing the composite hologram as shown in Figure 2(b).
  • the proposed method is computationally efficient because it does not require domain transformation of the background hologram and maintains the full resolution of the background hologram.
  • the carrier wave approach also ensures accurate and continuous view-dependent occlusion between background and foreground objects within the viewing angle of the synthetic hologram.
  • the proposed method is verified through digital hologram synthesis and reconstruction for objects with continuous depth. Holograms from the JPEG Pleno database were also adopted as background holograms to prove the independence of the proposed method with respect to the type of background hologram.
  • the proposed occlusion treatment is based on the recently reported Bhogel-based CGH technique. Unlike existing Hogel-based techniques, non-Hogel-based techniques process all views globally to generate continuous spherical wavefronts for individual 3D object points without a depth map of the scene. Full control of the carrier wave or phase distribution on the surface of a 3D object is another feature of Bjorgel-based CGH technology. This feature is widely used in the accurate and efficient handling of occlusions proposed in the present invention.
  • a carrier wave that can be randomly assigned during hologram synthesis It is obtained by As shown in equation (2), each about, The corresponding slice of is multiplied by the carrier term W and accumulated on the hologram plane to complete the hologram.
  • Light field data is an array of amplitude views that do not contain phase information.
  • most previous techniques assign phase based on a depth map either directly to the object surface or equally to each view of the light field.
  • the Bhoegel-based technique [1] used in the present invention implicitly assigns object topology.
  • This technique uses a carrier wave in the holographic plane instead of assigning a phase directly to the object surface. Define. As described in the Bhogel-based technology, the carrier plays the role of light illuminating an object, determining the phase distribution of its surface without requiring a depth map. This carrier wave plays an important role in the occlusion treatment proposed in the present invention.
  • Figure 3 is a flowchart illustrating a method for processing occlusion between the foreground light field and the background hologram of a Bjorgel-based computer-generated hologram according to an embodiment of the present invention.
  • the proposed technique uses a Bjorgel-based CGH method to synthesize synthetic holograms of background holograms and foreground light fields.
  • the proposed technique uses the carrier control function of Bjorgel-based CGH to find the background optical field that needs to be masked by considering the original background hologram as the carrier of the foreground light field.
  • the proposed method of processing occlusion between the foreground light field and the background hologram of the Bjorgel-based computer-generated hologram includes the steps of obtaining a binary light field mask using a threshold for occlusion through a binary light field generator (310), and the foreground light field through a Fourier transform. Obtaining the 2D Fourier transform of the binarized light field mask for the portion of the background optical field that should be obscured by the light field (320), the optical field or foreground of the foreground binary aperture illuminated by the background hologram through the optical field generator.
  • Step 330 represents the optical field from the background 3D object passing through the light field 3D object and subtracts the 2D Fourier transform of the binarized light field mask from the background hologram through a hologram synthesis unit and adds the foreground hologram, thereby producing an occlusion with occlusion.
  • a step 340 of synthesizing the final synthesized hologram is included.
  • step 310 a binary light field mask is obtained using the threshold for occlusion through the binary light field generator.
  • the background hologram when applying occlusion to the background hologram, is regarded as a carrier wave illuminating the foreground object, and the background hologram is used as a carrier wave of the binarized foreground light field to create a composite field mask according to the background hologram.
  • a Fourier transform unit obtains the 2D Fourier transform of the binarized light field mask for the portion of the background optical field that should be obscured by the foreground light field.
  • a Bhoegel-based technique is used to globally process all views to generate continuous spherical wavefronts for individual 3D objects without a depth map of the scene, and to assign phases directly to the 3D object surfaces. Instead, it controls the carrier or phase distribution in the holographic plane.
  • step 330 the optical field of the foreground binary aperture illuminated by the background hologram or the optical field from the background 3D object passing through the foreground lightfield 3D object is represented through the optical field generator.
  • step 340 the final synthesized hologram with occlusion is synthesized by subtracting the 2D Fourier transform of the binarized light field mask from the background hologram and adding the foreground hologram through the hologram synthesis unit.
  • an occluded background hologram is added to the foreground hologram synthesized from a light field, thereby synthesizing a final synthesized hologram with occlusion, thereby reducing computational effort by not requiring domain transformation of the background hologram, and reducing computational effort in the hologram. It does not require conversion to a light field, thus maintaining the full resolution of the background hologram.
  • Figure 4 is a diagram showing the configuration of an occlusion processing system between a foreground light field and a background hologram of a Bjorgel-based computer-generated hologram according to an embodiment of the present invention.
  • the occlusion processing system 400 may include a processor 410, a bus 420, a network interface 430, a memory 440, and a database 450.
  • the memory 440 may include an operating system 441 and an occlusion processing routine 442 between the foreground light field and the background hologram.
  • the processor 410 may include a binary light field generator 411, a Fourier transform unit 412, an optical field generator 413, and a hologram synthesis unit 414.
  • occlusion processing system 400 may include more components than those of FIG. 4 . However, there is no need to clearly show most prior art components.
  • occlusion processing system 400 may include other components such as a display or transceiver.
  • the memory 440 is a computer-readable recording medium and may include a non-permanent mass storage device such as random access memory (RAM), read only memory (ROM), and a disk drive. Additionally, the memory 440 may store program codes for the operating system 441 and an occlusion processing routine 442 between the foreground light field and the background hologram. These software components may be loaded from a computer-readable recording medium separate from the memory 440 using a drive mechanism (not shown). Such separate computer-readable recording media may include computer-readable recording media (not shown) such as floppy drives, disks, tapes, DVD/CD-ROM drives, and memory cards. In another embodiment, software components may be loaded into the memory 440 through the network interface 430 rather than a computer-readable recording medium.
  • Bus 420 may enable communication and data transfer between components of occlusion processing system 400.
  • Bus 420 may be configured using a high-speed serial bus, parallel bus, storage area network (SAN), and/or other suitable communication technology.
  • SAN storage area network
  • Network interface 430 may be a computer hardware component for connecting occlusion processing system 400 to a computer network.
  • Network interface 430 may connect occlusion processing system 400 to a computer network through a wireless or wired connection.
  • the database 450 may serve to store and maintain all information necessary for occlusion between the foreground light field and the background hologram.
  • the database 450 is built and included inside the occlusion processing system 400, but it is not limited to this and may be omitted depending on the system implementation method or environment, etc., or all or part of the database may be installed separately. It is also possible to exist as an external database built on another system.
  • the processor 410 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations of the occlusion processing system 400 . Commands may be provided to processor 410 by memory 440 or network interface 430 and via bus 420.
  • the processor 410 may be configured to execute program codes for the binary light field generation unit 411, Fourier transform unit 412, optical field generation unit 413, and hologram synthesis unit 414. These program codes may be stored in a recording device such as memory 440.
  • the binary light field generator 411, Fourier transform unit 412, optical field generator 413, and hologram synthesis unit 414 may be configured to perform steps 310 to 340 of FIG. 3.
  • the occlusion processing system 400 may include a binary light field generator 411, a Fourier transform unit 412, an optical field generator 413, and a hologram synthesis unit 414.
  • the binary light field generator 411 obtains a binary light field mask using the threshold for occlusion.
  • the background hologram when applying occlusion to the background hologram, is regarded as a carrier wave illuminating the foreground object, and the background hologram is used as a carrier wave of the binarized foreground light field to create a composite field mask according to the background hologram.
  • the Fourier transform unit 412 obtains a 2D Fourier transform of the binarized light field mask for the portion of the background optical field that should be obscured by the foreground light field.
  • a Bhoegel-based technique is used to globally process all views to generate continuous spherical wavefronts for individual 3D objects without a depth map of the scene, and to assign phases directly to the 3D object surfaces. Instead, it controls the carrier or phase distribution in the holographic plane.
  • the optical field generator 413 represents the optical field of the foreground binary aperture illuminated by the background hologram or the optical field from the background 3D object passing through the foreground light field 3D object.
  • the hologram synthesis unit 414 synthesizes a final synthesized hologram with occlusion by subtracting the 2D Fourier transform of the binarized light field mask from the background hologram and adding the foreground hologram.
  • an occluded background hologram is added to the foreground hologram synthesized from a light field, thereby synthesizing a final synthesized hologram with occlusion, thereby reducing computational effort by not requiring domain transformation of the background hologram, and reducing computational effort in the hologram. It does not require conversion to a light field, thus maintaining the full resolution of the background hologram.
  • FIGS. 5 to 12 the proposed method and system for processing occlusion between the foreground light field and the background hologram of the Byhogel-based computer-generated hologram will be described in more detail.
  • Figure 5 is a diagram for explaining a complex hologram synthesis process according to an embodiment of the present invention.
  • Figure 5(a) shows the given data, that is, the background hologram and foreground illumination field
  • Figure 5(b) shows the composite hologram synthesis process.
  • Equation (3) is the already given background hologram.
  • Foreground light field using Bjorgel-based CGH method This is the foreground hologram calculated from .
  • Equation (4) is the carrier wave for foreground hologram synthesis and can be selected arbitrarily.
  • the randomness of the carrier phase increases, the randomness of the foreground object phase distribution also increases, resulting in a more diffuse surface characteristic.
  • the depth of focus is shallow, the viewing angle is wide, and speckle noise occurs for foreground objects.
  • a uniform phase carrier leads to speckle-free reconstruction with a small viewing angle and long depth of focus.
  • a random phase carrier is used to maximize the viewing angle of the foreground hologram.
  • the proposed method uses a binary light field mask given by where h is the threshold for occlusion.
  • h is the threshold for occlusion.
  • the occlusion threshold is set to 0. That is, a non-zero light field occludes the background optical field.
  • the proposed technique does not require depth information of 3D objects included in the background hologram or foreground lightfield.
  • the background hologram as the carrier of the binarized foreground light field, occlusion between foreground and background objects is handled naturally. Additionally, this carrier wave processing ensures accurate field-dependent occlusion within the viewing angle of the hologram.
  • the proposed technique does not require conversion from hologram to light field, making the entire process free from resolution loss. Finally, the only procedure added to handle occlusion is is the calculation of , and therefore the proposed technique is computationally effective.
  • Figure 6 is a diagram showing given data and a composite hologram in the case of a discrete depth object according to an embodiment of the present invention.
  • Figure 6(a) shows the background hologram and foreground lighting fields for the proposed method
  • Figure 6(b) shows the light field of the composite scene used for synthesis of the answer hologram
  • Figure 6(c) shows the light field for the proposed method.
  • the synthesized holograms that is, the intermediate hologram (left) and the final synthesized hologram (right), are shown
  • FIG. 6(d) is a diagram showing the actual hologram.
  • Figure 4(a) is a background hologram and foreground light field Shows an example.
  • the light fields of the three background dice and the foreground red dice were rendered separately using Blender software.
  • Background hologram whose amplitude and phase are shown in Figure 6(a) by further processing the background light field. was synthesized.
  • Composite background hologram has 2.4K ⁇ 2.4K resolution and 0.93 ⁇ m pixel pitch.
  • the foreground light field in Figure 6(a) ( ) consists of 64 ⁇ 64 orthogonal projection views, each with a resolution of 600 ⁇ 600 and a pixel pitch of 3.74 ⁇ m.
  • Figure 6(b) shows another light field rendered for a full 3D scene containing four dice used to synthesize the ground truth synthetic hologram.
  • the proposed method includes the background hologram in Figure 6(a) and foreground light field A composite hologram was synthesized by applying occlusion processing.
  • FIG. 6(d) is a synthetic hologram of measured data directly synthesized from the synthetic light field of FIG. 6(b).
  • the intermediate, final composite and ground truth holograms have the same 2.4K ⁇ 2.4K resolution and 0.93 ⁇ m pixel pitch.
  • Figure 7 is a diagram comparing the results of using an object with discrete depth according to an embodiment of the present invention with the prior art.
  • Figure 7(a) is the intermediate
  • Figure 7(b) is the final synthesized hologram
  • Figure 7(c) is the ground truth hologram
  • Figure 7(e) shows the difference between Figures 7(b), Figure 7(c), and Figure 7(d) along the cross section indicated by the white dotted line
  • Figure 7(b), Figure 7(c), Figure 7( The difference in d) was calculated after converting the color reconstructions shown in Figure 7(b), Figure 7(c), and Figure 7(d) to gray images.
  • Figure 7 shows the numerical reconstruction amplitude of the synthetic hologram for various depths of z, i.e.,
  • Figure 7(a) is the intermediate hologram calculated using the proposed method. , that is, represents the result of an occluded background hologram.
  • the yellow, green, and blue dice in the background are clearly in focus.
  • the area corresponding to the red dice in the foreground is masked and appears blurry.
  • Figure 7(b) shows the final synthesized hologram from the proposed method. shows the results. As expected, the entire composite scene with background and foreground objects is reconstructed to the corresponding depth, and the occlusion of the background 3 dice by the foreground red dice is successfully realized.
  • Figure 7(c) shows the actual measurement data results.
  • Figure 7(d) shows the result when simply combining the background hologram and the hologram synthesized with the foreground light field without the proposed method. As expected, this presents a problem where background objects are not obscured by foreground objects.
  • Figure 7(e) shows the pixel-wise difference of the proposed method, ground truth and simple addition along the cross-section indicated by the white dashed line in Figure 7(b)-(d).
  • Figure 7(e) shows that the proposed method produces accurate results identical to reality, while the simple addition results show large deviations in the overlap region.
  • Figure 8 is a diagram showing given data and synthetic hologram results in the case of a continuous depth object according to an embodiment of the present invention.
  • Figure 8(a) shows the background hologram and foreground lighting fields for the proposed method
  • Figure 8(b) shows the light field of the synthesized scene used for synthesis of the answer hologram
  • Figure 8(c) shows the light field for the proposed method.
  • the synthesized holograms that is, the intermediate hologram (left) and the final synthesized hologram (right), are shown
  • Figure 8(d) shows the ground truth hologram.
  • the proposed method was validated using a 3D scene with continuous depth distribution.
  • the background hologram and foreground light field of Figure 8(a) were used as input data.
  • the background objects are two balls within -0.438mm ⁇ z ⁇ -0.344mm, and the foreground object is a basket with a continuous curve shape within -0.263mm ⁇ z ⁇ -0.081mm.
  • the background hologram has 12K ⁇ 8K resolution and 0.47 ⁇ m pixel pitch.
  • the light field has a 1563 ⁇ 1042 resolution with a 64 ⁇ 64 orthogonal projection view array and 3.74 ⁇ m pixel pitch.
  • Figure 8(b) shows the light field of the composite scene used to synthesize the ground truth hologram.
  • the synthetic hologram and the measured data hologram by the proposed method are shown in Figures 8(c) and 8(d), respectively.
  • the light field was spatially interpolated to have a resolution of 12K ⁇ 8K, and the resolution matched the background hologram.
  • the background, intermediate, final composite, and ground truth holograms have the same 12K ⁇ 8K resolution and 0.47 ⁇ m pixel pitch.
  • Figure 9 is a diagram showing a comparison between a continuous depth object and the proposed method and actual measured data according to an embodiment of the present invention.
  • Figure 9(a) is an intermediate
  • Figure 9(b) is a composite hologram
  • Figure 9(d) shows PSNR and SSIM calculated by comparing Figures 9(b) and 9(c).
  • Figure 9 shows the numerical reconstruction of the hologram synthesized by the method proposed in Figure 9(c). From Figures 9(a) and 9(b), it can be seen that the background and foreground objects are clearly focused at their respective depths. Figure 9(a) also shows that the mask is well formed at the same depth as the foreground basket, as expected. By comparing Figures 9(b) and 9(c), it can be seen that the composite hologram synthesized by the proposed technique matches well with the measured data hologram. Figure 9(d) shows a quantitative comparison between the synthetic hologram (Figure 9(b)) and the actual measurement value (Figure 9(c)) with the proposed method.
  • PSNR peak signal-to-noise ratio
  • SSIM structural similarity index map
  • Figure 10 is a diagram showing an extracted direction according to an embodiment of the present invention.
  • Figure 10(a) shows the middle, and Figure 10(b) shows the direction extracted from the synthetic hologram.
  • Figure 10 shows the angular reconstruction of the hologram proposed in Figure 8(c).
  • various directions were extracted from the synthesized hologram by applying band-pass filtering to the hologram.
  • Figure 10(a) shows a clear horizontal and vertical disparity between the mask and background objects (highlighted by the red dotted box), which exactly matches the disparity between the foreground and background objects in Figure 10(b). Therefore, it can be confirmed that the proposed technique generates accurate occlusion not only at a specific viewpoint, but also within the entire viewing or diffraction angle of the hologram in this example.
  • Figure 11 is a diagram showing the verification results of the proposed method using the hologram of the JPEG Pleno hologram data set according to an embodiment of the present invention.
  • Figure 11(a) shows the background and foreground objects
  • Figure 11(b) shows the background hologram 'Dices8k4k' from the given data, namely the JPEG Pleno dataset (left) and the foreground illumination field (right)
  • Figure 11(c) shows the proposed data. Results showing the numerical reconstruction of the foreground hologram (top row), middle masked hologram (middle row), and final synthesized hologram (bottom row) by the method.
  • Figure 12 is a diagram showing an extracted direction according to an embodiment of the present invention.
  • Figure 12(a) shows the middle
  • Figure 12(b) shows the direction extracted from the synthetic hologram.
  • a background object was first created in a light field format like the foreground object and its hologram, that is, the Bjorgel-based CGH technique was applied to the background light field to generate the background hologram. was manufactured.
  • the proposed technique can be applied to any background hologram regardless of the numerical hologram synthesis algorithm or optical capture method.
  • a random hologram was selected from the JPEG Pleno hologram dataset and used as the background hologram.
  • Figure 11(c) is a foreground hologram synthesized using the proposed method.
  • middle hologram synthetic hologram shows the numerical reconstruction at various depths.
  • Figure 12 is a middle hologram and composite hologram Various directions extracted from is expressed within the diffraction angle.
  • the results shown in Figures 11(c) and 12 show that the foreground basket with continuous curved depth successfully occludes the background dice objects included in the 'Dice8k4k' hologram in the JPEG Pleno dataset, resulting in clear images without depth-dependent refocus and any artifacts. It shows that there is a time difference. Therefore, we verify that the proposed method is general and can be applied to a wide range of already existing holograms without imposing any special requirements for its application.
  • devices and components described in embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), etc. , may be implemented using one or more general-purpose or special-purpose computers, such as a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions.
  • a processing device may execute an operating system (OS) and one or more software applications that run on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include.
  • a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. It can be embodied in .
  • Software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination.
  • Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Holo Graphy (AREA)

Abstract

비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법 및 시스템이 제시된다. 본 발명에서 제안하는 비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법은 이진 라이트필드 생성부를 통해 폐색에 대한 임계값을 이용하여 이진 라이트필드 마스크를 구하는 단계, 푸리에 변환부를 통해 전경 라이트필드에 의해 가려져야 하는 배경 광학필드의 부분에 대해 이진화된 라이트필드 마스크의 2D 푸리에 변환을 구하는 단계, 광학 필드 생성부를 통해 배경 홀로그램에 의해 조명되는 전경 이진 애퍼처의 광학필드 또는 전경 라이트필드 3D 객체를 통과하는 배경 3D 객체로부터의 광학필드를 나타내는 단계 및 홀로그램 합성부를 통해 배경 홀로그램에서 이진화된 라이트필드 마스크의 의 2D 푸리에 변환을 빼고, 전경 홀로그램을 더함으로써, 폐색을 갖는 최종 합성 홀로그램을 합성하는 단계를 포함한다.

Description

비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법 및 시스템
본 발명은 비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법 및 시스템에 관한 것이다.
2021년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임 (2021-0-00091(초실감 홀로그램 생성을 위한 실시간 고속 렌더러 기술 개발))
객체의 간섭성 빛은 진폭과 위상 분포가 있는 복잡한 광학 필드로 표현된다. 컴퓨터 생성 홀로그램(Computer Generated Hologram; CGH) 기술은 다양한 형태로 표현되는 3차원(3D) 장면을 위한 복잡한 광학 필드를 디지털 방식으로 합성한다. 광선 공간이라고도 하는 라이트 필드는 광선의 시공간 각도 분포이다. 라이트 필드에서 CGH 합성은 활발한 연구 주제였다. 전통적인 호겔 기반의 홀로그래픽 스테레오그램, 광선-파면 변환 등 다양한 기법이 제안되었다. 보다 최근에는 전통적인 호겔 기반의 라이트필드 타일링에 의존하지 않는 중첩된 호겔 기반 기법, 호겔이 없는 직접 위상 전용 홀로그램 합성 기법, 비호겔 기반 복잡한 필드 합성 기법, 시간 다중화 뉴럴 홀로그래피 기법들이 있다. 이러한 최근 기술은 공간적으로 중첩된 호겔 축적, 반복 최적화 또는 딥 러닝을 활용하여 라이트 필드에서 고품질 3D 홀로그램을 획득하여 전통적인 호겔 기반 접근법, 그리고 얕은 초점 깊이로 반점 억제 재구성을 달성했다.
3D 객체 간의 폐색은 재구성된 장면을 사실적으로 만드는 중요한 기능이다. 단일 시점만 고려하면 되는 일반적인 2차원(2D) 이미지 렌더링과 달리 CGH는 시야각 내에서 폐색에 대한 시각 의존적 연속 변화를 재현한다.
포인트 클라우드 기반 CGH, 레이어 기반 CGH 및 삼각형 메시 기반 CGH에 대한 폐색을 구현하기 위한 몇 가지 기술이 제안되었다. 종래기술에서, 개별 객체 지점으로부터의 구형파는 객체 지점 주변의 폐색 마스크를 사용하여 다중 파면 기록 평면(Wavefront Recording Planes; WRP)에서 계산된다. 그런 다음 WRP의 파면은 홀로그램 평면을 향해 수치적으로 전파되고 홀로그램이 최종적으로 획득된다. 레이어 기반 방법의 경우, 폐색은 각 이미지 레이어에서 순차적으로 처리된다. 복잡한 형상을 처리하고 계산 시간을 단축하기 위해 메시 마스크 또는 메시 조리개를 포함한 보다 진보된 기술도 제안되었다. 최근, 후방 객체로부터의 파면을 전방 객체에 대한 반송파로 간주하여 정확한 폐색을 달성하는 각도 스펙트럼 컨볼루션 기법이 제안되었다.
포인트 클라우드, 레이어 및 메시 기반 기술과 달리 라이트 필드 기반 CGH는 일반적으로 폐색을 구현하기 위한 특별한 기술이 필요하지 않다. 폐색은 이미 라이트 필드 데이터, 즉 라이트 필드를 구성하는 뷰 배열에 포함되어 있으며, 라이트 필드로부터 합성된 CGH는 장면 내의 객체 간의 폐색 효과를 자연스럽게 나타낸다. 이는 라이트 필드 기반 CGH 기술의 장점 중 하나이다.
본 발명이 이루고자 하는 기술적 과제는 배경 홀로그램에 폐색을 적용할 때 배경 홀로그램을 전경 물체를 비추는 반송파로 간주함으로써 홀로그램과 라이트 필드 도메인 사이의 변환을 요구하지 않고 폐색을 처리하기 위한 방법 및 시스템을 제공하는데 있다.
일 측면에 있어서, 본 발명에서 제안하는 비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법은 이진 라이트필드 생성부를 통해 폐색에 대한 임계값을 이용하여 이진 라이트필드 마스크를 구하는 단계, 푸리에 변환부를 통해 전경 라이트필드에 의해 가려져야 하는 배경 광학필드의 부분에 대해 이진화된 라이트필드 마스크의 2D 푸리에 변환을 구하는 단계, 광학 필드 생성부를 통해 배경 홀로그램에 의해 조명되는 전경 이진 애퍼처의 광학필드 또는 전경 라이트필드 3D 객체를 통과하는 배경 3D 객체로부터의 광학필드를 나타내는 단계 및 홀로그램 합성부를 통해 배경 홀로그램에서 이진화된 라이트필드 마스크의 의 2D 푸리에 변환을 빼고, 전경 홀로그램을 더함으로써, 폐색을 갖는 최종 합성 홀로그램을 합성하는 단계를 포함한다.
상기 이진 라이트필드 생성부를 통해 폐색에 대한 임계값을 이용하여 이진 라이트필드 마스크를 구하는 단계는 상기 배경 홀로그램에 폐색을 적용할 때 배경 홀로그램을 전경 객체를 비추는 반송파로 간주하고, 상기 배경 홀로그램을 이진화된 전경 라이트필드의 반송파로 사용하여 배경 홀로그램에 따른 복합 필드 마스크를 생성함으로써 합성 홀로그램의 시야각 내에서 배경과 전경 객체 사이의 시야 의존적 폐색을 보장한다.
상기 푸리에 변환부를 통해 전경 라이트필드에 의해 가려져야 하는 배경 광학필드의 부분에 대해 이진화된 라이트필드 마스크의 2D 푸리에 변환을 구하는 단계는 비호겔 기반 기법을 이용하여 모든 뷰를 전역적으로 처리하여 장면의 깊이 맵 없이 개별 3D 객체에 대해 연속적인 구형 파면을 생성하고, 3D 객체 표면에 직접 위상을 할당하는 대신 홀로그램 평면에서 반송파 또는 위상 분포를 제어한다.
상기 홀로그램 합성부를 통해 배경 홀로그램에서 이진화된 라이트필드 마스크의 의 2D 푸리에 변환을 빼고, 전경 홀로그램을 더함으로써, 폐색을 갖는 최종 합성 홀로그램을 합성하는 단계는 폐색된 배경 홀로그램이 라이트필드로부터 합성된 전경 홀로그램에 추가되어, 폐색을 갖는 최종 합성 홀로그램을 합성함으로써 배경 홀로그램의 도메인 변환을 필요로 하지 않아 계산적을 감소시키고, 홀로그램에서 라이트 필드로의 변환을 필요로 하지 않아 배경 홀로그램의 전체 해상도를 유지한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 시스템은 폐색에 대한 임계값을 이용하여 이진 라이트필드 마스크를 구하는 이진 라이트필드 생성부, 전경 라이트필드에 의해 가려져야 하는 배경 광학필드의 부분은 이진화된 라이트필드 마스크의 2D 푸리에 변환을 구하는 푸리에 변환부, 배경 홀로그램에 의해 조명되는 전경 이진 애퍼처의 광학필드 또는 전경 라이트필드 3D 객체를 통과하는 배경 3D 객체로부터의 광학필드를 나타내는 광학 필드 생성부 및 배경 홀로그램에서 이진화된 라이트필드 마스크의 의 2D 푸리에 변환을 빼고, 전경 홀로그램을 더함으로써, 폐색을 갖는 최종 합성 홀로그램을 합성하는 홀로그램 합성부를 포함한다.
본 발명의 실시예들에 따르면 배경 홀로그램에 폐색을 적용할 때 배경 홀로그램을 전경 물체를 비추는 반송파로 간주함으로써 홀로그램과 라이트 필드 도메인 사이의 변환을 요구하지 않고 폐색을 처리한다. 또한, 배경 홀로그램을 이진화된 전경 라이트필드의 반송파로 사용하여 배경 홀로그램에 적합한 복합 필드 마스크를 생성하고, 그 후, 폐색된 배경 홀로그램은 단순히 필드로부터 합성된 전경 홀로그램에 추가되어, 복합 홀로그램이 완성된다. 제안된 방법은 배경 홀로그램의 도메인 변환이 필요하지 않기 때문에 계산적으로 효율적이며 배경 홀로그램의 전체 해상도를 유지할 수 있다. 또한, 반송파 접근법은 합성 홀로그램의 시야각 내에서 배경과 전경 물체 사이의 정확하고 지속적인 시야 의존적 폐색을 보장할 수 있다.
도 1은 본 발명의 일 실시예에 따른 폐색 처리가 있는 배경 홀로그램 및 전경 라이트 필드의 합성 홀로그램을 생성하는 과정을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 전경 조명 필드와 배경 홀로그램 간의 폐색 처리를 사용하여 합성 홀로그램을 합성하는 접근 방식을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 시스템의 구성을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 복합 홀로그램 합성 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 이산 깊이 개체의 경우 주어진 데이터 및 합성 홀로그램을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 이산 깊이를 가진 객체를 사용한 결과를 종래기술과 비교하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 연속 깊이 개체의 경우 주어진 데이터 및 합성 홀로그램 결과를 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 연속 깊이의 대상과 제안된 방법 및 실측 자료와의 비교를 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 추출된 방향도를 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따른 JPEG Pleno 홀로그램 데이터 세트의 홀로그램을 사용하여 제안한 방법의 검증 결과를 나타내는 도면이다.
도 12는 본 발명의 일 실시예에 따른 추출된 방향도를 나타내는 도면이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 폐색 처리가 있는 배경 홀로그램 및 전경 라이트 필드의 합성 홀로그램을 생성하는 과정을 설명하기 위한 도면이다.
본 발명에서 다루는 문제는 라이트필드 데이터 외부의 3D 장면의 폐색이다. 배경 3D 장면의 홀로그램이 주어졌다고 가정하고, 도 1과 같이 전경 라이트필드와 배경 3D 장면을 포함하는 합성 홀로그램을 합성하고자 한다.
본 발명에서 홀로그램은 평면에서의 진폭과 위상 분포로 표현되는 복잡한 광학필드를 의미한다는 점에 유의한다. 배경 홀로그램은 최종 합성 장면의 배경으로 사용될 3D 장면의 복잡한 광학 필드이다. 배경 홀로그램은 수치적으로 합성된 CGH일 수도 있고, 광학적으로 캡처된 실제 객체에 대한 디지털 홀로그램일 수도 있다. 라이트필드는 3D 장면의 각도 뷰 배열로 표현되는 시공간 각도 광선 분포를 의미한다. 라이트필드의 개별 보기는 위상 정보가 없는 진폭 데이터이다. 복합 홀로그램은 전경에 있는 라이트필드에 의해 주어진 객체와 배경에 있는 홀로그램에 의해 주어진 객체를 갖는 혼합 3D 장면의 복잡한 광학필드, 즉 진폭과 위상 분포를 의미한다. 배경과 전경 3D 장면의 경우, 본 발명에서는 깊이 맵을 사용할 수 없다고 가정한다.
도 2는 본 발명의 일 실시예에 따른 전경 조명 필드와 배경 홀로그램 간의 폐색 처리를 사용하여 합성 홀로그램을 합성하는 접근 방식을 설명하기 위한 도면이다.
도 2(a)는 배경 홀로그램을 라이트 필드로 변환하고 라이트 필드 도메인에서 폐색을 처리하고 라이트 필드에서 홀로그램을 합성하는 기술을 설명하기 위한 도면이다.
도 2(b)는 홀로그램-라이트 필드 변환 없이 폐색을 직접 처리하는 제안하는 기술을 설명하기위한 도면이다.
복합 홀로그램에서, 라이트필드 형식으로 표현되는 전경 3D 장면은 그것의 홀로그램에 의해 주어진 배경 3D 장면을 폐색할 필요가 있다. 전경과 배경 장면이 모두 깊이 맵과 함께 제공되면 문제를 쉽게 해결할 수 있다. 그러나 전경 라이트필드와 깊이 맵이 없는 배경 홀로그램은 문제점이 있다. 이러한 상황은 다양한 애플리케이션을 위한 홀로그램 콘텐츠의 편집 및 저작에서 자주 발생할 수 있다. 가능한 접근법은 파면-레이 변환 또는 공간 주파수 필터링을 사용하여 배경 홀로그램을 필드로 변환하고 전경과 배경 필드 사이의 폐색을 처리하는 것이다. 상기 폐색 처리된 필드와 새로운 홀로그램을 합성함으로써, 원하는 복합 홀로그램을 도 2(a)와 같이 생성할 수 있다. 그러나 이 접근 방식은 홀로그램과 라이트 도메인 사이의 양방향 변환을 위한 많은 계산이 필요하다. 홀로그램으로부터의 도메인 변환에 수반되는 해상도 손실은 또 다른 문제이다.
본 발명에서는 배경 홀로그램과 전경 라이트필드 데이터 사이의 폐색을 처리하는 새로운 방법을 제안한다. 제안된 방법은 홀로그램과 라이트 필드 도메인 사이의 변환을 요구하지 않고 폐색을 처리한다. 핵심 아이디어는 배경 홀로그램에 폐색을 적용할 때 배경 홀로그램을 전경 객체를 비추는 반송파로 간주하는 것이다. 제안된 방법은 배경 홀로그램을 이진화된 전경 라이트필드의 반송파로 사용하여 배경 홀로그램에 적합한 복합 필드 마스크를 생성한다. 그 후, 폐색된 배경 홀로그램은 단순히 필드로부터 합성된 전경 홀로그램에 추가되어, 도 2(b)에 도시된 바와 같이 복합 홀로그램이 완성된다. 제안된 방법은 배경 홀로그램의 도메인 변환이 필요하지 않기 때문에 계산적으로 효율적이며 배경 홀로그램의 전체 해상도를 유지한다. 반송파 접근법은 또한 합성 홀로그램의 시야각 내에서 배경과 전경 객체 사이의 정확하고 지속적인 시야 의존적 폐색을 보장한다. 제안된 방법은 연속적인 깊이를 가진 객체에 대한 수치 홀로그램 합성 및 재구성을 통해 검증된다. JPEG Pleno 데이터베이스의 홀로그램도 배경 홀로그램으로 채택하여 배경 홀로그램의 유형에 대해 제안된 방법의 독립성을 증명하였다.
제안된 폐색 처리는 최근 보고된 비호겔 기반 CGH 기법을 기반으로 한다. 기존의 호겔 기반 기법과 달리, 비호겔 기반 기법은 모든 뷰를 전역적으로 처리하여 장면의 깊이 맵 없이 개별 3D 객체 포인트에 대해 연속적인 구형 파면을 생성한다. 3D 객체 표면의 반송파 또는 위상 분포를 완전히 제어하는 것은 비호겔 기반 CGH 기술의 또 다른 특징이다. 이 기능은 본 발명에서 제안된 폐색의 정확하고 효율적인 처리에 광범위하게 사용된다.
비호겔 기반 CGH의 초기 제안에서는 엄청난 계산 부하가 문제가 되었다. 그러나 더 효율적인 계산 방법이 제안되어 계산 시간이 크게 단축되었다. 비호겔 기반 CGH 기술은 라이트 필드 데이터를 사용하여 3D 장면의 복잡한 필드를 합성한다. 라이트필드 데이터는
Figure PCTKR2023003997-appb-img-000001
로 표현될 수 있으며, 여기서
Figure PCTKR2023003997-appb-img-000002
는 광선의 공간 위치이고
Figure PCTKR2023003997-appb-img-000003
는 라디안에서의 각도 방향이다. 광선의 각도 방향
Figure PCTKR2023003997-appb-img-000004
은 대응하는 공간 주파수
Figure PCTKR2023003997-appb-img-000005
를 이용하여 나타낼 수 있으며, 여기서
Figure PCTKR2023003997-appb-img-000006
는 파장이다. 본 발명에서는
Figure PCTKR2023003997-appb-img-000007
을 사용하여 라이트필드를 나타낸다. 비호겔 기반 CGH에 의한 필드
Figure PCTKR2023003997-appb-img-000008
로부터의 홀로그램 합성에는 두 단계가 있다. 첫 번째 단계는
Figure PCTKR2023003997-appb-img-000009
축을 따라
Figure PCTKR2023003997-appb-img-000010
라이트필드의 2차원 푸리에 변환이며,
Figure PCTKR2023003997-appb-img-000011
(1)
Figure PCTKR2023003997-appb-img-000012
는
Figure PCTKR2023003997-appb-img-000013
축에 대한 2D 푸리에 변환 후 축을 나타낸다. 홀로그램
Figure PCTKR2023003997-appb-img-000014
는
Figure PCTKR2023003997-appb-img-000015
(2)
홀로그램 합성 중에 임의로 할당될 수 있는 반송파인
Figure PCTKR2023003997-appb-img-000016
에 의해 얻어진다. 식(2)에 나타난 바와 같이, 각각의
Figure PCTKR2023003997-appb-img-000017
에 대하여,
Figure PCTKR2023003997-appb-img-000018
의 해당 슬라이스에 반송파 항 W를 곱하여 홀로그램 평면에 축적하여 홀로그램을 완성한다.
라이트 필드 데이터는 위상 정보를 포함하지 않는 진폭 뷰의 배열이다. 홀로그램 합성의 경우, 대부분의 이전 기술들은 객체 표면에 직접 또는 라이트 필드의 각 뷰에 동등하게 깊이 맵을 기반으로 위상을 할당한다. 반대로, 본 발명에서 사용된 비호겔 기반 기술[1]은 객체 위상을 암묵적으로 할당한다. 이 기술은 객체 표면에 직접 위상을 할당하는 대신 홀로그램 평면에서 반송파
Figure PCTKR2023003997-appb-img-000019
를 정의한다. 비호겔 기반 기술에서 설명한 바와 같이, 반송파
Figure PCTKR2023003997-appb-img-000020
는 깊이 맵을 필요로 하지 않고 그 표면의 위상 분포를 결정하는 객체를 비추는 빛의 역할을 한다. 이 반송파
Figure PCTKR2023003997-appb-img-000021
는 본 발명에서 제안된 폐색 처리에 중요한 역할을 한다.
도 3은 본 발명의 일 실시예에 따른 비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법을 설명하기 위한 흐름도이다.
제안된 기술은 비호겔 기반 CGH 방법을 사용하여 배경 홀로그램과 전경 라이트필드의 합성 홀로그램을 합성한다. 제안된 기술은 비호겔 기반 CGH의 반송파 제어 기능을 사용하여 원래의 배경 홀로그램을 전경 라이트필드의 반송파로 간주하여 마스킹해야 할 배경 광학필드를 찾는다.
제안하는 비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법은 이진 라이트필드 생성부를 통해 폐색에 대한 임계값을 이용하여 이진 라이트필드 마스크를 구하는 단계(310), 푸리에 변환부를 통해 전경 라이트필드에 의해 가려져야 하는 배경 광학필드의 부분에 대해 이진화된 라이트필드 마스크의 2D 푸리에 변환을 구하는 단계(320), 광학 필드 생성부를 통해 배경 홀로그램에 의해 조명되는 전경 이진 애퍼처의 광학필드 또는 전경 라이트필드 3D 객체를 통과하는 배경 3D 객체로부터의 광학필드를 나타내는 단계(330) 및 홀로그램 합성부를 통해 배경 홀로그램에서 이진화된 라이트필드 마스크의 의 2D 푸리에 변환을 빼고, 전경 홀로그램을 더함으로써, 폐색을 갖는 최종 합성 홀로그램을 합성하는 단계(340)를 포함한다.
단계(310)에서, 이진 라이트필드 생성부를 통해 폐색에 대한 임계값을 이용하여 이진 라이트필드 마스크를 구한다.
본 발명의 실시예에 따르면, 배경 홀로그램에 폐색을 적용할 때 배경 홀로그램을 전경 객체를 비추는 반송파로 간주하고, 상기 배경 홀로그램을 이진화된 전경 라이트필드의 반송파로 사용하여 배경 홀로그램에 따른 복합 필드 마스크를 생성함으로써 합성 홀로그램의 시야각 내에서 배경과 전경 객체 사이의 시야 의존적 폐색을 보장한다.
단계(320)에서, 푸리에 변환부를 통해 전경 라이트필드에 의해 가려져야 하는 배경 광학필드의 부분에 대해 이진화된 라이트필드 마스크의 2D 푸리에 변환을 구한다.
본 발명의 실시예에 따르면, 비호겔 기반 기법을 이용하여 모든 뷰를 전역적으로 처리하여 장면의 깊이 맵 없이 개별 3D 객체에 대해 연속적인 구형 파면을 생성하고, 3D 객체 표면에 직접 위상을 할당하는 대신 홀로그램 평면에서 반송파 또는 위상 분포를 제어한다.
단계(330)에서, 광학 필드 생성부를 통해 배경 홀로그램에 의해 조명되는 전경 이진 애퍼처의 광학필드 또는 전경 라이트필드 3D 객체를 통과하는 배경 3D 객체로부터의 광학필드를 나타낸다.
단계(340)에서, 홀로그램 합성부를 통해 배경 홀로그램에서 이진화된 라이트필드 마스크의 의 2D 푸리에 변환을 빼고, 전경 홀로그램을 더함으로써, 폐색을 갖는 최종 합성 홀로그램을 합성한다.
본 발명의 실시예에 따르면, 폐색된 배경 홀로그램이 라이트필드로부터 합성된 전경 홀로그램에 추가되어, 폐색을 갖는 최종 합성 홀로그램을 합성함으로써 배경 홀로그램의 도메인 변환을 필요로 하지 않아 계산적을 감소시키고, 홀로그램에서 라이트 필드로의 변환을 필요로 하지 않아 배경 홀로그램의 전체 해상도를 유지한다.
도 4는 본 발명의 일 실시예에 따른 비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 시스템의 구성을 나타내는 도면이다.
본 실시예에 따른 폐색 처리 시스템(400)은 프로세서(410), 버스(420), 네트워크 인터페이스(430), 메모리(440) 및 데이터베이스(450)를 포함할 수 있다. 메모리(440)는 운영체제(441) 및 전경 라이트 필드와 배경 홀로그램 간 폐색처리 루틴(442)을 포함할 수 있다. 프로세서(410)는 이진 라이트필드 생성부(411), 푸리에 변환부(412), 광학필드 생성부(413) 및 홀로그램 합성부(414)를 포함할 수 있다. 다른 실시예들에서 폐색 처리 시스템(400)은 도 4의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 폐색 처리 시스템(400)은 디스플레이나 트랜시버(transceiver)와 같은 다른 구성요소들을 포함할 수도 있다.
메모리(440)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(440)에는 운영체제(441)와 전경 라이트 필드와 배경 홀로그램 간 폐색처리 루틴(442)을 위한 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리(440)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스(430)를 통해 메모리(440)에 로딩될 수도 있다.
버스(420)는 폐색 처리 시스템(400)의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스(420)는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.
네트워크 인터페이스(430)는 폐색 처리 시스템(400)을 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성요소일 수 있다. 네트워크 인터페이스(430)는 폐색 처리 시스템(400)을 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다.
데이터베이스(450)는 전경 라이트 필드와 배경 홀로그램 간 폐색처리를 위해 필요한 모든 정보를 저장 및 유지하는 역할을 할 수 있다. 도 4에서는 폐색 처리 시스템(400)의 내부에 데이터베이스(450)를 구축하여 포함하는 것으로 도시하고 있으나, 이에 한정되는 것은 아니며 시스템 구현 방식이나 환경 등에 따라 생략될 수 있고 혹은 전체 또는 일부의 데이터베이스가 별개의 다른 시스템 상에 구축된 외부 데이터베이스로서 존재하는 것 또한 가능하다.
프로세서(410)는 기본적인 산술, 로직 및 폐색 처리 시스템(400)의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(440) 또는 네트워크 인터페이스(430)에 의해, 그리고 버스(420)를 통해 프로세서(410)로 제공될 수 있다. 프로세서(410)는 이진 라이트필드 생성부(411), 푸리에 변환부(412), 광학필드 생성부(413) 및 홀로그램 합성부(414)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리(440)와 같은 기록 장치에 저장될 수 있다.
이진 라이트필드 생성부(411), 푸리에 변환부(412), 광학필드 생성부(413) 및 홀로그램 합성부(414)는 도 3의 단계들(310~340)을 수행하기 위해 구성될 수 있다.
폐색 처리 시스템(400)은 이진 라이트필드 생성부(411), 푸리에 변환부(412), 광학필드 생성부(413) 및 홀로그램 합성부(414)를 포함할 수 있다.
이진 라이트필드 생성부(411)는 폐색에 대한 임계값을 이용하여 이진 라이트필드 마스크를 구한다.
본 발명의 실시예에 따르면, 배경 홀로그램에 폐색을 적용할 때 배경 홀로그램을 전경 객체를 비추는 반송파로 간주하고, 상기 배경 홀로그램을 이진화된 전경 라이트필드의 반송파로 사용하여 배경 홀로그램에 따른 복합 필드 마스크를 생성함으로써 합성 홀로그램의 시야각 내에서 배경과 전경 객체 사이의 시야 의존적 폐색을 보장한다.
푸리에 변환부(412)는 전경 라이트필드에 의해 가려져야 하는 배경 광학필드의 부분은 이진화된 라이트필드 마스크의 2D 푸리에 변환을 구한다.
본 발명의 실시예에 따르면, 비호겔 기반 기법을 이용하여 모든 뷰를 전역적으로 처리하여 장면의 깊이 맵 없이 개별 3D 객체에 대해 연속적인 구형 파면을 생성하고, 3D 객체 표면에 직접 위상을 할당하는 대신 홀로그램 평면에서 반송파 또는 위상 분포를 제어한다.
광학필드 생성부(413)는 배경 홀로그램에 의해 조명되는 전경 이진 애퍼처의 광학필드 또는 전경 라이트필드 3D 객체를 통과하는 배경 3D 객체로부터의 광학필드를 나타낸다.
홀로그램 합성부(414)는 배경 홀로그램에서 이진화된 라이트필드 마스크의 의 2D 푸리에 변환을 빼고, 전경 홀로그램을 더함으로써, 폐색을 갖는 최종 합성 홀로그램을 합성한다.
본 발명의 실시예에 따르면, 폐색된 배경 홀로그램이 라이트필드로부터 합성된 전경 홀로그램에 추가되어, 폐색을 갖는 최종 합성 홀로그램을 합성함으로써 배경 홀로그램의 도메인 변환을 필요로 하지 않아 계산적을 감소시키고, 홀로그램에서 라이트 필드로의 변환을 필요로 하지 않아 배경 홀로그램의 전체 해상도를 유지한다. 이하, 도 5 내지 도 12를 참조하여 제안하는 비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법 및 시스템에 대하여 더욱 상세히 설명한다.
도 5는 본 발명의 일 실시예에 따른 복합 홀로그램 합성 과정을 설명하기 위한 도면이다.
도 5(a) 주어진 데이터, 즉 배경 홀로그램 및 전경 조명 필드를 나타내고, 도 5(b)는 복합 홀로그램 합성 과정을 나타내는 도면이다.
배경 3D 장면
Figure PCTKR2023003997-appb-img-000022
의 홀로그램과 전경 3D 장면
Figure PCTKR2023003997-appb-img-000023
의 라이트필드가 주어졌다고 가정하자. 둘 다 공통 평면에서 정의된다고 가정한다. 제안된 기술은 최종 합성 홀로그램
Figure PCTKR2023003997-appb-img-000024
를 다음과 같이 합성한다.
Figure PCTKR2023003997-appb-img-000025
(3)
식 (3)에서,
Figure PCTKR2023003997-appb-img-000026
는 이미 주어진 배경 홀로그램이다.
Figure PCTKR2023003997-appb-img-000027
는 비호겔 기반 CGH 방법을 사용하여 전경 라이트필드
Figure PCTKR2023003997-appb-img-000028
로부터 계산되는 전경 홀로그램이다.
Figure PCTKR2023003997-appb-img-000029
(4)
즉, 여기서
Figure PCTKR2023003997-appb-img-000030
는 전경라이트필드
Figure PCTKR2023003997-appb-img-000031
축에 대한 2D 푸리에 변환이다. 식 (4)의
Figure PCTKR2023003997-appb-img-000032
는 전경 홀로그램 합성을 위한 반송파이며 임의로 선택할 수 있다. 반송파 위상의 랜덤성이 증가함에 따라 전경 객체 위상 분포의 랜덤성도 증가하여 더욱 확산되는 표면 특성을 나타낸다. 재구성에서는 전경 객체에 대해 초점 깊이가 얕고 시야각이 넓으며 스펙클 노이즈가 발생한다. 반대로 균일한 위상 반송파는 시야각이 작고 초점 깊이가 긴 스펙클 없는 재구성으로 이어진다. 본 발명의 모든 수치 결과에서 무작위 위상 반송파는 전경 홀로그램의 시야각을 최대화하기 위해 사용된다.
본 발명의 주요 기여는 식(3)에서
Figure PCTKR2023003997-appb-img-000033
을 계산하는 방법, 즉 전경 라이트필드에 의해 가려져야 하는 배경 광학필드의 부분이다. 먼저, 제안된 방법은 h가 폐색에 대한 임계값인 곳에 의해 주어지는 이진 라이트필드 마스크
Figure PCTKR2023003997-appb-img-000034
을 준비한다. 본 발명의 모든 수치 시뮬레이션에서 폐색 임계값은 0으로 설정된다. 즉, 0이 아닌 라이트필드는 배경 광학필드를 폐색한다.
Figure PCTKR2023003997-appb-img-000035
(5)
Figure PCTKR2023003997-appb-img-000036
(6)
그런 다음,
Figure PCTKR2023003997-appb-img-000037
은
Figure PCTKR2023003997-appb-img-000038
이
Figure PCTKR2023003997-appb-img-000039
축에 걸쳐 이진화된 라이트필드 마스크
Figure PCTKR2023003997-appb-img-000040
의 2D 푸리에 변환인 것으로 계산된다. 식(6)에서 배경 홀로그램
Figure PCTKR2023003997-appb-img-000041
는
Figure PCTKR2023003997-appb-img-000042
의 합성을 위한 반송파
Figure PCTKR2023003997-appb-img-000043
으로 사용된다. 라이트필드
Figure PCTKR2023003997-appb-img-000044
이 이진화됨에 따라, 식(6)의
Figure PCTKR2023003997-appb-img-000045
은 배경 홀로그램에 의해 조명되는 전경 이진 조리개의 광학필드 또는 전경 라이트필드 3D 객체를 통과하는 배경 3D 객체로부터의 광학필드를 효과적으로 나타낸다. 따라서, 배경 홀로그램
Figure PCTKR2023003997-appb-img-000046
에서
Figure PCTKR2023003997-appb-img-000047
을 빼고, 식 (3)과 같이 전경 홀로그램
Figure PCTKR2023003997-appb-img-000048
를 더함으로써, 적절한 폐색을 갖는 최종 합성 홀로그램을 합성할 수 있다.
제안된 기법은 배경 홀로그램 또는 전경 라이트필드에 포함된 3D 객체의 깊이 정보를 필요로 하지 않는다. 단순히 배경 홀로그램을 이진화된 전경 라이트필드의 반송파로 사용함으로써 전경과 배경 객체 사이의 폐색이 자연스럽게 처리된다. 또한, 이 반송파 처리는 홀로그램의 시야각 내에서 정확한 시야 의존적 폐색을 보장한다. 제안된 기술은 홀로그램에서 라이트 필드로 변환할 필요가 없으므로 전체 프로세스를 해상도 손실에서 자유롭다. 마지막으로, 폐색 처리를 위해 추가된 유일한 절차는
Figure PCTKR2023003997-appb-img-000049
의 계산이며, 따라서 제안된 기술은 계산적으로 효과적이다.
도 6은 본 발명의 일 실시예에 따른 이산 깊이 개체의 경우 주어진 데이터 및 합성 홀로그램을 나타내는 도면이다.
도 6(a)는 제안된 방법에 대한 배경 홀로그램 및 전경 조명 필드를 나타내고, 도 6(b)는 정답 홀로그램 합성에 사용되는 합성 장면의 라이트 필드를 나타내고, 도 6(c)는 제안된 방법으로 합성된 홀로그램, 즉 중간 홀로그램(왼쪽)과 최종 합성 홀로그램(오른쪽)을 나타내고, 도 6(d)는 실측 홀로그램을 나타내는 도면이다.
제안된 방법은 합성한 홀로그램과 JPEG Pleno 데이터베이스에 있는 홀로그램을 포함하는 여러 개의 라이트필드와 홀로그램 데이터를 사용하여 검증되었다. 도 4(a)는 배경 홀로그램
Figure PCTKR2023003997-appb-img-000050
및 전경 라이트필드
Figure PCTKR2023003997-appb-img-000051
의 예시를 나타낸다. 이 예에서는 처음에 3D 렌더링 소프트웨어 블렌더(Blender)를 사용하여 4개의 주사위가 포함된 3D 장면을 준비했다. 파란색, 녹색, 노란색 세 개의 주사위가 동일한 깊이 평면 z=-0.675mm에 있어 배경 장면을 구성한다. 이 예에서는 z=-0.425mm의 빨간색 주사위가 전경 장면으로 간주된다. 본 발명의 실시예에서는 블렌더 소프트웨어를 사용하여 배경 3개의 주사위와 전경 적색 주사위의 라이트필드를 별도로 렌더링했다. 배경광필드를 추가로 처리하여 진폭과 위상이 도6(a)에 나타낸 배경 홀로그램
Figure PCTKR2023003997-appb-img-000052
를 합성하였다. 합성된 배경 홀로그램
Figure PCTKR2023003997-appb-img-000053
는 2.4K×2.4K 해상도와 0.93㎛ 픽셀 피치를 갖는다. 도 6(a)의 전경 라이트필드(
Figure PCTKR2023003997-appb-img-000054
)는 64×64 직교투영뷰로 구성되며, 각각 600×600 해상도와 3.74㎛ 픽셀 피치를 갖는다. 도 6(b)는 실측 자료(ground truth) 합성 홀로그램을 합성하는 데 사용되는 4개의 주사위를 포함하는 전체 3D 장면에 대해 렌더링된 또 다른 라이트 필드를 나타낸다. 제안된 방법에는 도 6(a)의 배경 홀로그램
Figure PCTKR2023003997-appb-img-000055
와 전경 라이트필드
Figure PCTKR2023003997-appb-img-000056
를 적용하여 폐색 처리로 복합 홀로그램을 합성하였다. 배경 홀로그램의 공간 해상도와 일치하도록 홀로그램 합성 시 라이트필드의 공간 해상도를 3.74㎛ 픽셀 피치로 600×600에서 0.93㎛ 픽셀 피치로 2.4K×2.4K 로 보간하였다. 도 6(c)는 전경 홀로그램이 추가되기 전의 중간 홀로그램
Figure PCTKR2023003997-appb-img-000057
과 제안된 방법의 최종 합성 홀로그램
Figure PCTKR2023003997-appb-img-000058
를 나타낸다. 도 6(d)는 도 6(b)의 합성라이트필드에서 직접 합성한 실측 자료 합성 홀로그램이다. 중간, 최종 합성 및 실측 자료 홀로그램은 동일한 2.4K×2.4K 해상도와 0.93㎛ 픽셀 피치를 갖는다.
도 7은 본 발명의 일 실시예에 따른 이산 깊이를 가진 객체를 사용한 결과를 종래기술과 비교하는 도면이다.
도 7(a)는 중간체, 도 7(b)는 최종 합성 홀로그램, 도 7(c)는 실측 홀로그램, 도 7(d)는 제안된 방법 없이 배경 및 전경 홀로그램에 대하여 z=-0.675mm에서 z=-0.425mm까지 수행된 결과를 나타내는 도면이다. 도 7(e)는 흰색 점선으로 표시된 단면을 따라 도 7(b), 도 7(c), 도 7(d)의 차이를 나타내고, 도 7(b), 도 7(c), 도 7(d)의 차이는 도 7(b), 도 7(c), 도 7(d)에 표시된 색상 재구성을 회색 이미지로 변환한 후 계산되었다.
도 7은 z의 다양한 깊이, 즉 |Propz(H)|에 대한 합성 홀로그램의 수치 재구성 진폭을 나타낸다. 도 7(a)는 제안된 방법으로 계산된 중간 홀로그램
Figure PCTKR2023003997-appb-img-000059
, 즉 폐색 배경 홀로그램의 결과를 나타낸다. 도 7(a)와 같이 배경 장면 거리 z=-0.675mm에서는 배경의 황색, 녹색, 청색 주사위가 선명하게 초점이 맞춰져 있다. 전경 적색 주사위에 해당하는 영역이 마스크되어 흐릿하게 나타난다. 대조적으로, 전경 객체 거리 z=-0.425mm에서는 마스크된 전경 적색 주사위 영역이 초점이 맞춰지고 배경 객체가 흐릿해진다. 이는 제안된 방법에 의해 계산된
Figure PCTKR2023003997-appb-img-000060
이 해당 깊이에서 전경 객체에 의해 가려진 배경 장면을 성공적으로 나타낸다는 것을 명확하게 보여준다. 도 7(b)는 제안된 방법으로부터 최종 합성 홀로그램
Figure PCTKR2023003997-appb-img-000061
의 결과를 나타낸다. 예상대로, 배경 및 전경 객체가 있는 전체 합성 장면이 해당 깊이로 재구성되고, 전경 적색 주사위에 의한 배경 3 주사위의 폐색이 성공적으로 실현된다. 도 7(c)는 실측 자료 결과이다. 도 7(d)는 제안된 방법 없이 배경 홀로그램과 전경 라이트필드로 합성된 홀로그램을 단순 결합했을 때의 결과를 보여준다. 예상대로, 배경 객체가 전경 객체에 의해 가려지지 않는 문제를 드러낸다. 도 7(e)는 도 7(b)-(d)에서 흰색 점선으로 표시된 단면을 따라 제안된 방법, 지면 진실 및 단순 덧셈의 픽셀 단위 차이를 나타낸다. 도 7(e)는 제안된 방법이 실제와 동일한 정확한 결과를 생성하는 반면 단순한 추가 결과는 중복 영역에서 크게 편차를 보인다는 것을 보여준다.
도 8은 본 발명의 일 실시예에 따른 연속 깊이 개체의 경우 주어진 데이터 및 합성 홀로그램 결과를 나타내는 도면이다.
도 8(a)는 제안된 방법에 대한 배경 홀로그램 및 전경 조명 필드를 나타내고, 도 8(b)는 정답 홀로그램 합성에 사용되는 합성 장면의 라이트 필드를 나타내고, 도 8(c)는 제안된 방법으로 합성된 홀로그램, 즉 중간 홀로그램(왼쪽)과 최종 합성 홀로그램(오른쪽)을 나타내고, 도 8(d)는 실측 홀로그램을 나타낸다.
제안된 방법은 연속적인 깊이 분포를 갖는 3D 장면을 사용하여 검증되었다. 입력 데이터로는 도 8(a)의 배경 홀로그램과 전경 라이트필드를 사용하였다. 배경 객체는 -0.438mm≤z≤-0.344mm 이내의 2개의 공이며, 전경 객체는 -0.263mm≤z≤-0.081mm 이내의 연속 곡선 형상을 갖는 바스켓이다. 배경 홀로그램은 12K×8K 해상도와 0.47㎛ 픽셀 피치를 가지고 있다. 라이트 필드는 64×64 직교 투영 뷰 배열과 3.74㎛ 픽셀 피치를 가진 1563×1042 해상도를 가지고 있다. 도 8(b)는 실측 자료 홀로그램 합성에 사용된 합성 장면의 라이트필드를 나타낸다. 제안된 방법에 의한 합성 홀로그램과 실측 자료 홀로그램은 각각 도 8(c) 및 도 8(d)에 나타내었다. 홀로그램 합성 시 라이트필드는 12K×8K 해상도를 가지도록 공간적으로 보간하였으며, 배경 홀로그램과 일치하는 해상도는 배경 홀로그램과 일치하였다. 배경, 중간, 최종 합성 및 실측 자료 홀로그램은 동일한 12K×8K 해상도와 0.47㎛ 픽셀 피치를 갖는다.
도 9는 본 발명의 일 실시예에 따른 연속 깊이의 대상과 제안된 방법 및 실측 자료와의 비교를 나타내는 도면이다.
도 9(a)는 중간체, 도9(b)는 복합 홀로그램, 도 9(c)는 실측 홀로그램에 대한 z=-0.250mm에서 z=-0.125mm까지 수치적 재구성 수행 결과를 나타내는 도면이다. 도 9(d)는 도 9(b)와 도 9(c)를 비교하여 계산한 PSNR과 SSIM를 나타낸다.
도 9는 도 9(c)에서 제안된 방법으로 합성된 홀로그램의 수치적 재구성을 나타낸다. 도 9(a) 및 도 9(b)로부터 배경객체와 전경객체가 각각의 깊이에 뚜렷하게 초점을 맞추고 있음을 알 수 있다. 도 9(a)는 또한 마스크가 예상대로 전경 바스켓과 동일한 깊이에서 잘 형성되어 있음을 나타낸다. 도 9(b)와 도 9(c)의 비교를 통해 제안된 기법에 의해 합성된 복합 홀로그램이 실측 자료 홀로그램과 잘 일치함을 알 수 있다. 도 9(d)는 제안된 방법과의 합성 홀로그램(도 9(b))과 실측값(도 9(c))의 정량적 비교를 나타낸다. 피크 신호 대 잡음비(PSNR)는 깊이 z=-0.250mm, z=-0.188mm, z=-0.125mm에 대해 각각 43, 43.8, 42.7dB이며, 구조 유사도 지수 맵(SSIM)은 0.997, 0.997, 0.995로 제안된 방법이 정확한 결과를 제공함을 입증한다.
도 10은 본 발명의 일 실시예에 따른 추출된 방향도를 나타내는 도면이다.
도 10(a)는 중간, 도 10(b)는 합성 홀로그램에서 추출한 방향도를 나타낸다. 도 10에는 도 8(c)에서 제안된 홀로그램의 각도 재구성이 도시되어 있다. 도 10에서는 홀로그램에 밴드 패스 필터링을 적용하여 합성된 홀로그램에서 다양한 방향도를 추출하였다. 도 10(a)는 마스크와 배경 객체(빨간색 점선박스로 강조 표시) 사이의 명확한 수평 및 수직 시차를 나타내며, 도 10(b)의 전경 객체와 배경 객체 사이의 시차와 정확히 일치한다. 따라서, 제안된 기법은 특정 시점뿐만 아니라, 이 예시에서 홀로그램의 전체 시야각 또는 회절각 내에서의 정확한 폐색을 발생시키는 것을 확인할 수 있다.
도 11은 본 발명의 일 실시예에 따른 JPEG Pleno 홀로그램 데이터 세트의 홀로그램을 사용하여 제안한 방법의 검증 결과를 나타내는 도면이다.
도 11(a)는 배경 및 전경 개체, 도 11(b)는 주어진 데이터, 즉 JPEG Pleno 데이터 세트(왼쪽) 및 전경 조명 필드(오른쪽)의 배경 홀로그램 'Dices8k4k', 도 11(c)는 제안된 방법에 의한 전경 홀로그램(상단 행), 중간 마스킹된 홀로그램(가운데 행) 및 최종 합성 홀로그램(하단 행)의 수치적 재구성을 나타내는 결과이다.
도 12는 본 발명의 일 실시예에 따른 추출된 방향도를 나타내는 도면이다.
도 12(a)는 중간, 도 12(b)는 합성 홀로그램에서 추출한 방향도를 나타낸다.
도 6-10에 도시된 검증에서는, 실측 데이터를 얻기 위해, 처음에는 전경 객체 및 그 홀로그램과 같이 라이트 필드 형식으로 배경 객체를 생성하였으며, 즉 배경 광필드에 비호겔 기반 CGH 기법을 적용하여 배경 홀로그램을 제조하였다. 그러나 제안된 기술은 수치 홀로그램 합성 알고리즘 또는 광학 캡처 방법에 관계없이 모든 배경 홀로그램에 적용될 수 있다. 제안된 방법의 배경 홀로그램 유형에 대한 독립성을 검증하기 위해 JPEG Pleno 홀로그램 데이터 세트에서 임의의 홀로그램을 선택하여 배경 홀로그램으로 사용했다.
검증 결과는 도 11(c) 및 도 12에 나타내었다. 도 11(c)는 제안된 방법으로 합성된 전경 홀로그램
Figure PCTKR2023003997-appb-img-000062
, 중간 홀로그램
Figure PCTKR2023003997-appb-img-000063
, 합성 홀로그램
Figure PCTKR2023003997-appb-img-000064
의 다양한 깊이에서의 수치 재구성을 보여준다. 도 12는 중간 홀로그램
Figure PCTKR2023003997-appb-img-000065
과 복합 홀로그램
Figure PCTKR2023003997-appb-img-000066
에서 추출한 다양한 방향도
Figure PCTKR2023003997-appb-img-000067
를 회절각 내에서 나타낸다. 도 11(c)와 도 12에 나타난 결과는 지속적으로 곡면 깊이가 있는 전경 바스켓이 JPEG Pleno 데이터 세트에서 'Dice8k4k' 홀로그램에 포함된 배경 주사위 객체를 성공적으로 폐색하여 깊이별 재초점 및 아무런 아티팩트 없이 명확한 시차를 보인다는 것을 보여준다. 따라서, 제안된 방법은 일반적이며, 그것의 적용을 위한 특별한 요구 사항을 부과하지 않고 이미 존재하는 광범위한 홀로그램에 적용될 수 있음을 검증한다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (8)

  1. 이진 라이트필드 생성부를 통해 폐색에 대한 임계값을 이용하여 이진 라이트필드 마스크를 구하는 단계;
    푸리에 변환부를 통해 전경 라이트필드에 의해 가려져야 하는 배경 광학필드의 부분에 대해 이진화된 라이트필드 마스크의 2D 푸리에 변환을 구하는 단계;
    광학 필드 생성부를 통해 배경 홀로그램에 의해 조명되는 전경 이진 애퍼처의 광학필드 또는 전경 라이트필드 3D 객체를 통과하는 배경 3D 객체로부터의 광학필드를 나타내는 단계; 및
    홀로그램 합성부를 통해 배경 홀로그램에서 이진화된 라이트필드 마스크의 의 2D 푸리에 변환을 빼고, 전경 홀로그램을 더함으로써, 폐색을 갖는 최종 합성 홀로그램을 합성하는 단계
    를 포함하는 전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법.
  2. 제1항에 있어서,
    상기 이진 라이트필드 생성부를 통해 폐색에 대한 임계값을 이용하여 이진 라이트필드 마스크를 구하는 단계는,
    상기 배경 홀로그램에 폐색을 적용할 때 배경 홀로그램을 전경 객체를 비추는 반송파로 간주하고, 상기 배경 홀로그램을 이진화된 전경 라이트필드의 반송파로 사용하여 배경 홀로그램에 따른 복합 필드 마스크를 생성함으로써 합성 홀로그램의 시야각 내에서 배경과 전경 객체 사이의 시야 의존적 폐색을 보장하는
    전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법.
  3. 제1항에 있어서,
    상기 푸리에 변환부를 통해 전경 라이트필드에 의해 가려져야 하는 배경 광학필드의 부분에 대해 이진화된 라이트필드 마스크의 2D 푸리에 변환을 구하는 단계는,
    비호겔 기반 기법을 이용하여 모든 뷰를 전역적으로 처리하여 장면의 깊이 맵 없이 개별 3D 객체에 대해 연속적인 구형 파면을 생성하고, 3D 객체 표면에 직접 위상을 할당하는 대신 홀로그램 평면에서 반송파 또는 위상 분포를 제어하는
    전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법.
  4. 제1항에 있어서,
    상기 홀로그램 합성부를 통해 배경 홀로그램에서 이진화된 라이트필드 마스크의 의 2D 푸리에 변환을 빼고, 전경 홀로그램을 더함으로써, 폐색을 갖는 최종 합성 홀로그램을 합성하는 단계는,
    폐색된 배경 홀로그램이 라이트필드로부터 합성된 전경 홀로그램에 추가되어, 폐색을 갖는 최종 합성 홀로그램을 합성함으로써 배경 홀로그램의 도메인 변환을 필요로 하지 않아 계산적을 감소시키고, 홀로그램에서 라이트 필드로의 변환을 필요로 하지 않아 배경 홀로그램의 전체 해상도를 유지하는
    전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법.
  5. 폐색에 대한 임계값을 이용하여 이진 라이트필드 마스크를 구하는 이진 라이트필드 생성부;
    전경 라이트필드에 의해 가려져야 하는 배경 광학필드의 부분은 이진화된 라이트필드 마스크의 2D 푸리에 변환을 구하는 푸리에 변환부;
    배경 홀로그램에 의해 조명되는 전경 이진 애퍼처의 광학필드 또는 전경 라이트필드 3D 객체를 통과하는 배경 3D 객체로부터의 광학필드를 나타내는 광학 필드 생성부; 및
    배경 홀로그램에서 이진화된 라이트필드 마스크의 의 2D 푸리에 변환을 빼고, 전경 홀로그램을 더함으로써, 폐색을 갖는 최종 합성 홀로그램을 합성하는 홀로그램 합성부
    를 포함하는 전경 라이트필드와 배경 홀로그램 간 폐색 처리 시스템.
  6. 제5항에 있어서,
    상기 이진 라이트필드 생성부는,
    상기 배경 홀로그램에 폐색을 적용할 때 배경 홀로그램을 전경 객체를 비추는 반송파로 간주하고, 상기 배경 홀로그램을 이진화된 전경 라이트필드의 반송파로 사용하여 배경 홀로그램에 따른 복합 필드 마스크를 생성함으로써 합성 홀로그램의 시야각 내에서 배경과 전경 객체 사이의 시야 의존적 폐색을 보장하는
    전경 라이트필드와 배경 홀로그램 간 폐색 처리 시스템.
  7. 제5항에 있어서,
    상기 푸리에 변환부는,
    비호겔 기반 기법을 이용하여 모든 뷰를 전역적으로 처리하여 장면의 깊이 맵 없이 개별 3D 객체에 대해 연속적인 구형 파면을 생성하고, 3D 객체 표면에 직접 위상을 할당하는 대신 홀로그램 평면에서 반송파 또는 위상 분포를 제어하는
    전경 라이트필드와 배경 홀로그램 간 폐색 처리 시스템.
  8. 제5항에 있어서,
    상기 홀로그램 합성부는,
    폐색된 배경 홀로그램이 라이트필드로부터 합성된 전경 홀로그램에 추가되어, 폐색을 갖는 최종 합성 홀로그램을 합성함으로써 배경 홀로그램의 도메인 변환을 필요로 하지 않아 계산적을 감소시키고, 홀로그램에서 라이트 필드로의 변환을 필요로 하지 않아 배경 홀로그램의 전체 해상도를 유지하는
    전경 라이트필드와 배경 홀로그램 간 폐색 처리 시스템.
PCT/KR2023/003997 2022-10-06 2023-03-27 비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법 및 시스템 WO2024075912A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220128154A KR102691849B1 (ko) 2022-10-06 비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법 및 시스템
KR10-2022-0128154 2022-10-06

Publications (1)

Publication Number Publication Date
WO2024075912A1 true WO2024075912A1 (ko) 2024-04-11

Family

ID=90608268

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/003997 WO2024075912A1 (ko) 2022-10-06 2023-03-27 비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법 및 시스템

Country Status (1)

Country Link
WO (1) WO2024075912A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130085142A (ko) * 2012-01-19 2013-07-29 삼성전자주식회사 라이트 필드 홀로그램 생성 장치 및 방법
US20140168213A1 (en) * 2012-12-19 2014-06-19 Honeywell International Inc. Single pass hogel rendering
KR20200064478A (ko) * 2018-11-29 2020-06-08 인하대학교 산학협력단 라이트필드의 비호겔방식 홀로그램 변환 방법 및 장치
KR20220085627A (ko) * 2020-12-15 2022-06-22 인하대학교 산학협력단 라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130085142A (ko) * 2012-01-19 2013-07-29 삼성전자주식회사 라이트 필드 홀로그램 생성 장치 및 방법
US20140168213A1 (en) * 2012-12-19 2014-06-19 Honeywell International Inc. Single pass hogel rendering
KR20200064478A (ko) * 2018-11-29 2020-06-08 인하대학교 산학협력단 라이트필드의 비호겔방식 홀로그램 변환 방법 및 장치
KR20220085627A (ko) * 2020-12-15 2022-06-22 인하대학교 산학협력단 라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DABIN MIN: "Occlusion between three-dimensional scenes in light field and hologram domains using non-hogel-based computer generated hologram technique", DIGITAL HOLOGRAPHY AND 3-D IMAGING 2022, OPTICA PUBLISHING GROUP, WASHINGTON, D.C., 4 August 2022 (2022-08-04), Washington, D.C., pages Th2A.14, XP093155322, ISBN: 978-1-957171-12-8, DOI: 10.1364/DH.2022.Th2A.14 *

Also Published As

Publication number Publication date
KR20240048406A (ko) 2024-04-15

Similar Documents

Publication Publication Date Title
Potmesil et al. Modeling motion blur in computer-generated images
US4969700A (en) Computer aided holography and holographic computer graphics
Lee et al. Shape from shading with perspective projection
TW201918745A (zh) 用於寬視野互動式三維電腦圖形的近眼光場渲染之系統及方法
JP2002532771A (ja) コンピュータ支援３次元像再生方法及び装置
KR102125795B1 (ko) 라이트필드의 비호겔방식 홀로그램 변환 방법 및 장치
JP7479729B2 (ja) 三次元表現方法及び表現装置
US7277209B1 (en) Computer-assisted holographic method and device
JPH10111953A (ja) 画像処理方法および装置および記憶媒体
WO2024075912A1 (ko) 비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법 및 시스템
KR20100111176A (ko) 룩업 테이블과 영상의 공간적 중복성을 이용한 컴퓨터 형성 홀로그램 산출 방법 및 그 장치
CN208077116U (zh) 一种全息投影交互系统
WO2018105786A1 (ko) 홀로그래픽 영상처리 장치 및 방법
Kondoh et al. Hidden surface removal in full‐parallax CGHs by silhouette approximation
KR102691849B1 (ko) 비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법 및 시스템
JP2745902B2 (ja) 回折格子パターンを有するディスプレイ
Matsushima Wave-field rendering in computational holography: the polygon-based method for full-parallax high-definition CGHs
Benton Elements of holographic video imaging
JP7486381B2 (ja) ホログラムデータ生成装置およびそのプログラム
CA3175169A1 (en) Training alignment of a plurality of images
Liu et al. Radiance-field holography for high-quality 3D reconstruction
Klug Display applications of large-scale digital holography
Kim et al. Ray tracing-based construction of 3D background model for real-time stereoscopic rendering of live immersive video
Al-Oraiqat et al. Specialized Computer systems for environment visualization
Yang et al. Disparity-guided light field video synthesis with temporal consistency

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23874985

Country of ref document: EP

Kind code of ref document: A1