WO2022131452A1 - 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치 - Google Patents

다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치 Download PDF

Info

Publication number
WO2022131452A1
WO2022131452A1 PCT/KR2021/004289 KR2021004289W WO2022131452A1 WO 2022131452 A1 WO2022131452 A1 WO 2022131452A1 KR 2021004289 W KR2021004289 W KR 2021004289W WO 2022131452 A1 WO2022131452 A1 WO 2022131452A1
Authority
WO
WIPO (PCT)
Prior art keywords
image set
hologram
depth
images
neural network
Prior art date
Application number
PCT/KR2021/004289
Other languages
English (en)
French (fr)
Inventor
이병호
이주현
정진수
유동헌
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Publication of WO2022131452A1 publication Critical patent/WO2022131452A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00—Hologram nature or properties
    • G03H2240/10—Physical parameter modulated by the hologram
    • G03H2240/13—Amplitude and phase complex modulation

Definitions

  • the present disclosure relates to a method and apparatus for generating a hologram capable of multi-depth representation.
  • a method of generating a digital hologram for example, CGH, generates a hologram by approximating optical signals and calculating an interference pattern generated through mathematical operations.
  • the digital hologram generating method expresses a completed hologram by calculating object data constituting the object based on the fact that the object is composed of a set of various data such as 3D points, polygons, or depth data.
  • the method of generating a point cloud-based digital hologram using a generative adversarial network is capable of generating a hologram for one point light source at a time. This requires iterative calculations.
  • the method of generating a random phase and random speckle-based digital hologram using a deep neural network (DNN) is a hologram expressing three-dimensional information because neural network learning is performed only for one depth layer. In order to generate , several training sessions are required.
  • Various embodiments are to provide a method and apparatus for generating a hologram capable of multi-depth expression.
  • the technical problems to be achieved by the present disclosure are not limited to the technical problems as described above, and other technical problems may be inferred from the following embodiments.
  • a method for generating a hologram capable of multi-depth expression includes: training a neural network using a plurality of virtual depth images and a target complex hologram; obtaining a plurality of depth images for a preset number of depth layers from depth data of the object; and outputting a complex hologram including a real part and an imaginary part from the plurality of acquired depth images, based on the learned neural network.
  • an apparatus for generating a hologram capable of multi-depth expression comprising: a memory in which at least one program is stored; and a processor for generating a hologram capable of multi-depth expression by executing the at least one program, wherein the processor trains a neural network using a plurality of virtual depth images and a target complex hologram, and from depth data of an object A plurality of depth images for a preset number of depth layers may be acquired, and a complex hologram including a real part and an imaginary part may be output from the acquired plurality of depth images based on the learned neural network.
  • it may include a computer-readable recording medium in which a program for executing the above-described method is recorded.
  • the accuracy of a complex hologram output from a plurality of depth images based on the learned neural network may be increased by using a plurality of training data sets.
  • the method and apparatus for generating a hologram capable of multi-depth expression do not train a neural network using only one image set, but use two or more image sets having different density and shape of figures.
  • a neural network is trained, the effect of image sets on a complex hologram output based on the neural network can be superimposed on the complex hologram, so the complex hologram output from a plurality of depth images based on the learned neural network Accuracy can be increased.
  • FIG. 1 is a block diagram illustrating an example of an apparatus for generating a hologram capable of expressing a multi-depth, according to some embodiments.
  • FIG. 2 is an exemplary diagram for explaining a process of generating a plurality of virtual depth images and a target complex hologram according to some embodiments.
  • FIG. 3 is an exemplary diagram of a convolutional neural network according to some embodiments.
  • FIG. 4 is an exemplary diagram for explaining a process of outputting a complex hologram from a plurality of depth images based on a learned neural network according to some embodiments.
  • FIG. 5 is an exemplary diagram of complex holograms output from a neural network, which are learned by differentiating a plurality of depth images.
  • FIG. 6 is a diagram illustrating a real part and an imaginary part of a complex hologram acquired by a learned neural network and a complex hologram acquired by ASM, respectively.
  • FIG. 7 is a simulation result of reproduction of a complex hologram obtained by a learned neural network and a complex hologram obtained by an ASM, according to some embodiments.
  • FIG. 8 is a simulation result of reproduction of a complex hologram obtained by a trained neural network and a complex hologram obtained by an ASM, according to some embodiments.
  • FIG. 9 is a flowchart of a method of generating a hologram capable of multi-depth expression from depth data of an object, according to some embodiments.
  • the plurality of virtual depth images may include a first image set and a second image set, and at least one of density and shape of figures constituting each image set may be different from each other.
  • the first image set is a plurality of images including a plurality of dots
  • the second image set includes a plurality of dots having different densities from the first image set or a plurality of circles having different shapes.
  • the plurality of virtual depth images may further include a third image set in which at least one of a density and a shape of a figure constituting the image set is different from the first image set and the second image set.
  • the first image set is a plurality of images composed of a plurality of dots
  • the second image set is a plurality of images composed of a plurality of dots having different densities from the first image set
  • the third image The set may be a plurality of images including a plurality of circles having different shapes from the first image set and the second image set.
  • the method may further include encoding the complex hologram into an amplitude hologram or a phase hologram.
  • the plurality of depth images may include a first image set and a second image set, and at least one of density and shape of figures constituting each image set may be different from each other.
  • the first image set is a plurality of images including a plurality of dots
  • the second image set includes a plurality of dots having different densities from the first image set or a plurality of circles having different shapes.
  • the first image set is a plurality of images composed of a plurality of dots
  • the second image set is a plurality of images composed of a plurality of dots having different densities from the first image set
  • the third image The set may be a plurality of images including a plurality of circles having different shapes from the first image set and the second image set.
  • the processor may encode the complex hologram as an amplitude hologram or a phase hologram.
  • the singular expression includes the plural expression unless the context clearly dictates otherwise.
  • a part is said to be connected to another part, it includes not only the case where it is directly connected, but also the case where it is electrically connected with another component in the middle. Also, when it is said that a part includes a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.
  • FIG. 1 is a block diagram illustrating an example of an apparatus for generating a hologram capable of expressing a multi-depth, according to some embodiments.
  • the apparatus 10 for generating a hologram capable of multi-depth expression may be any device that reproduces a holographic image capable of multi-depth expression without limitation.
  • the device 10 for generating a hologram capable of multi-depth expression is disposed on a display device such as a TV, monitor, tablet PC, mobile phone, etc. to correspond to a device that reproduces a holographic image capable of multi-depth expression.
  • a display device such as a TV, monitor, tablet PC, mobile phone, etc.
  • an apparatus 10 for generating a hologram capable of multi-depth expression may include a memory 110 and a processor 120 .
  • the apparatus 10 for generating a hologram capable of multi-depth expression may include other general-purpose components other than the components illustrated in FIG. 1 .
  • the memory 110 is hardware for storing various types of data processed in the processor 120 , and for example, the memory 110 may store data processed by the processor 120 and data to be processed. In addition, the memory 110 may store various applications to be driven by the processor 120 , for example, a hologram reproduction application, a web browsing application, a game application, a video application, and the like.
  • the memory 110 may include at least one of a volatile memory and a nonvolatile memory.
  • Non-volatile memory includes ROM (Read Only Memory), PROM (Programmable ROM), EPROM (Electrically Programmable ROM), EEPROM (Electrically Erasable and Programmable ROM), Flash memory, PRAM (Phase-change RAM), MRAM (Magnetic RAM), RRAM (Resistive RAM), FeRAM (Ferroelectric RAM), and the like.
  • Volatile memories include Dynamic RAM (DRAM), Static RAM (SRAM), Synchronous DRAM (SDRAM), Phase-change RAM (PRAM), Magnetic RAM (MRAM), Resistive RAM (RRAM), and the like.
  • DRAM Dynamic RAM
  • SRAM Static RAM
  • SDRAM Synchronous DRAM
  • PRAM Phase-change RAM
  • MRAM Magnetic RAM
  • RRAM Resistive RAM
  • the present invention is not limited thereto.
  • the memory 110 is a hard disk drive (HDD), a solid state drive (SSD), a compact flash (CF), a secure digital (SD), a micro-SD (micro secure digital), a Mini-SD ( mini secure digital), xD (extreme digital), or Memory Stick.
  • HDD hard disk drive
  • SSD solid state drive
  • CF compact flash
  • SD secure digital
  • micro-SD micro secure digital
  • Mini-SD mini secure digital
  • xD extreme digital
  • Memory Stick Memory Stick
  • the processor 120 is a personal computer (PC), server device, TV (television), mobile device (smartphone, tablet device, etc.), embedded device, autonomous vehicle, wearable device, AR (Augmented Reality) device, IoT (Internet) of Things) may correspond to a processor provided in various types of computing devices, such as a device.
  • the processor 120 may correspond to a processor such as a central processing unit (CPU), a graphics processing unit (GPU), an application processor (AP), or a neural processing unit (NPU), but is not limited thereto.
  • the processor 120 may be implemented as an array of a plurality of logic gates, or may be implemented as a combination of a general-purpose microprocessor and a memory in which a program executable in the microprocessor is stored.
  • a general-purpose microprocessor and a memory in which a program executable in the microprocessor is stored.
  • the present embodiment may be implemented in other types of hardware.
  • the processor 120 serves to perform overall functions for controlling the apparatus 10 for generating a hologram capable of multi-depth expression provided with the processor 120 .
  • the processor 120 may generally control the apparatus 10 for generating a hologram capable of multi-depth expression by executing programs stored in the memory 110 .
  • the processor 120 performs image processing by the device 10 for generating a hologram capable of multi-depth expression.
  • display of the holographic image by the display device 130 may be controlled.
  • the device 10 for generating a hologram capable of expressing multiple depths may be a separate independent device implemented outside the display device 130 .
  • the display device 130 may receive the hologram data generated by the device 10 for generating a hologram capable of external multi-depth expression, and display a holographic image based on the received hologram data. That is, implementation methods of the apparatus 10 and the display apparatus 130 for generating a hologram capable of multi-depth expression are not limited by any one embodiment.
  • the processor 120 may construct or train a neural network by processing the training data set according to a supervised learning technique.
  • the neural network may be a Deep Neural Network (DNN) or n-layers neural networks including one or more hidden layers.
  • DNN may include Convolutional Neural Networks (CNN), Recurrent Neural Networks (RNN), Deep Belief Networks (DBN), Restricted Boltzman Machines (RBM), etc. , but not limited thereto.
  • the processor 120 repeats the process of adjusting functions in the neural network so that an output value generated by inputting any one input data to the neural network by using the training data set approaches a predetermined value of the corresponding training data set.
  • Neural networks can be trained.
  • the training data set may include a plurality of virtual depth images and a target complex hologram.
  • the processor 120 functions in the neural network based on an error calculated from the plurality of virtual depth images and the target complex hologram.
  • the neural network can be trained by repeating the process of adjusting them.
  • the training data set consists of a plurality of virtual depth images and a target complex hologram
  • the more the plurality of virtual depth images and the target complex hologram are provided to the neural network for learning the more Accordingly, the accuracy of the complex hologram output from the plurality of depth images may be increased.
  • the training data set is composed of depth images of the real object
  • there are legal problems such as copyright for the real object and a practical problem that it is difficult to secure a plurality of depth images. Since these problems do not exist when learning using virtual depth images, the accuracy of a complex hologram output from a plurality of depth images based on the learned neural network can be increased by using a large number of training data sets. have.
  • the plurality of virtual depth images may be composed of figures such as points, lines, circles, ellipses, triangles, rectangles, polygons, and the like.
  • the present invention is not necessarily limited thereto.
  • the plurality of virtual depth images may include a first image set and a second image set, and each image set may have different at least one of a density and a shape of a configured figure.
  • the first image set may be a plurality of images composed of a plurality of dots
  • the second image set may be a plurality of images composed of a plurality of dots having different densities from the first image set or a plurality of circles having different shapes.
  • the present invention is not necessarily limited thereto.
  • the plurality of virtual depth images may further include a third image set in which at least one of density and shape of figures constituting the image set is different from the first image set and the second image set.
  • the first image set is a plurality of images composed of a plurality of dots
  • the second image set is a plurality of images composed of a plurality of dots having different densities from the first image set
  • the third image set is a first image set. It may be a plurality of images composed of a plurality of circles having different shapes from the image set and the second image set.
  • the present invention is not necessarily limited thereto.
  • the type of the training data set may affect an output value that is learned using the corresponding training data set and output based on the neural network. Accordingly, when the training data set includes a plurality of virtual depth images and the plurality of virtual depth images are composed of a plurality of figures, the density or shape of the figures is based on the neural network, learned using the corresponding learning data set. This may affect the output complex hologram. In addition, when the density or shape of the figure is different, the effect on the complex hologram output based on the neural network learned using the corresponding training data set may be different.
  • the plurality of virtual depth images may include only one image set having a similar density and shape of a figure, and may include a plurality of image sets having different density or shape of a figure.
  • the image sets affect the complex hologram output based on the neural network. The influence may be superimposed on the corresponding complex hologram.
  • the target complex hologram may be a CGH by an angular spectrum method (ASM) generated from a plurality of virtual depth images.
  • CGH can be generated in a depth map (or layer-based) method that generates CGH using a two-dimensional intensity image and depth data, and as a numerical propagation model, ASM, A Fresnel transform or a Fourier transform may be used.
  • ASM angular spectrum method
  • a Fresnel transform or a Fourier transform
  • the present invention is not limited thereto.
  • the processor 120 may obtain a plurality of depth images for a preset number of depth layers from the depth data of the object. Since the processor 120 acquires a plurality of depth images from a plurality of depth layers, multi-depth representation of an output complex hologram is possible. Although five depth images are used in some embodiments, the number of depth layers is not limited thereto, and the number of depth layers may vary depending on the purpose, intention, or emergence of a new technology of a person who uses the apparatus 10 for generating a hologram capable of multi-depth expression. may vary.
  • the processor 120 outputs a complex hologram composed of a real part and an imaginary part from a plurality of acquired depth images based on a neural network trained in advance using the training data set.
  • the output complex hologram may be converted into an amplitude hologram or a phase hologram by being encoded.
  • FIG. 2 is an exemplary diagram for explaining a process of generating a plurality of virtual depth images and a target complex hologram according to some embodiments.
  • a plurality of virtual depth images 210 may be generated for input data.
  • the generated depth images 210 may be located at a depth of d1 to d5 from the hologram plane 230 , respectively. These depth images 210 are back propagated to the hologram plane according to their respective depths, and are overlapped to generate a target complex hologram 240 .
  • the generated target complex hologram 240 is divided into a real part and an imaginary part and stored. For example, five different depth images composed of arbitrary points may be generated, and the depth images may be separated from the hologram plane by distances of 0.5 cm, 1.0 cm, 1.5 cm, 2.0 cm and 2.5 cm, respectively. .
  • the generated target complex hologram 240 may be divided into a real part and an imaginary part and stored in a memory.
  • FIG. 3 is an exemplary diagram of a convolutional neural network according to some embodiments.
  • a convolutional neural network includes one convolution layer, two down-sampling blocks, 15 residual blocks, and two up-sampling blocks. It may be composed of an up-sampling block.
  • the down-sampling block may include one convolutional layer, one batch normalization layer, and one rectified linear unit layer.
  • the residual block may be composed of two convolutional layers, two batch normalization layers, and one rectified linear unit layer.
  • the up-sampling block may include one interpolation layer, one convolutional layer, one batch normalization layer, and one rectified linear unit layer.
  • the present invention is not necessarily limited thereto.
  • FIG. 4 is an exemplary diagram for explaining a process of outputting a complex hologram from a plurality of depth images based on a learned neural network according to some embodiments.
  • a plurality of depth images 410 from a plurality of different depth layers may be input to the neural network.
  • five different depth images composed of alphabet shapes from A to E may be input to the neural network.
  • the neural network may generate a complex hologram so that each of the input depth images may be reproduced at a corresponding depth.
  • the generated complex hologram may be divided into a real part 430 and an imaginary part 440 and output.
  • a convolutional neural network is used as the neural network, but the present invention is not limited thereto.
  • FIG. 5 is an exemplary diagram of complex holograms output from a neural network, which are learned by differentiating a plurality of depth images.
  • the neural network is trained by a plurality of depth images 510 to 540 including one or more image sets composed of a plurality of figures, and complex holograms 550 to 580 output by the learned neural network are shown. have.
  • the plurality of depth images 510 includes only an image set composed of low-density dots, and the complex hologram 550 is output by a neural network trained by the plurality of depth images 510 .
  • the plurality of depth images 520 includes an image set consisting of low-density dots and an image set consisting of high-density dots
  • the complex hologram 560 is output by a neural network trained by the plurality of depth images 520 . do.
  • the complex hologram 560 has a clearer outer portion of the alphabet shapes and has a significantly higher image quality. This is because, when the plurality of depth images include an image set composed of low-density dots and an image set composed of high-density dots, the complex hologram can be reproduced well even in a high-frequency region.
  • the ratio of the image set composed of the low density dots to the image set composed of the high density dots is preferably 1:1.
  • the plurality of depth images 530 includes only an image set composed of a plurality of circles, and the complex hologram 570 is output by a neural network trained by the plurality of depth images 530 . Since the complex hologram 570 includes an image set in which a plurality of depth images are composed of circles, the complex hologram is reproduced well in a low-frequency region. However, when the plurality of depth images includes only an image set composed of circles, it is difficult for a trained neural network to represent a complex hologram in a high-frequency region.
  • the plurality of depth images 540 includes an image set consisting of a low density of dots, an image set of high density dots, and an image set consisting of a plurality of circles
  • the complex hologram 580 includes a plurality of depth images 540 .
  • ) is output by the neural network trained by Since the complex hologram 580 includes all of the plurality of depth images including an image set composed of low-density dots, an image set composed of high-density dots, and an image set composed of a plurality of circles, a complex hologram is performed in a low-frequency region as well as a high-frequency region. is well reproduced.
  • the ratio of the image set composed of the low density dots, the image set composed of the high density dots, and the image set composed of a plurality of circles is preferably 1:1:1.
  • FIG. 6 is a diagram illustrating a real part and an imaginary part of a complex hologram acquired by a learned neural network and a complex hologram acquired by ASM, respectively.
  • depth images composed of alphabet shapes from A to E are input to the learned neural network.
  • the learned neural network generates a complex hologram, and the generated complex hologram is divided into a real part 610 and an imaginary part 620 and is output.
  • a real part 630 and an imaginary part 640 of the complex hologram are obtained by ASM to compare with the complex hologram obtained by the learned neural network.
  • the real part 610 of the complex hologram obtained by the learned neural network and the real part 630 of the complex hologram obtained by the ASM show similar results, and the imaginary part 620 of the complex hologram obtained by the learned neural network. The same is the case with the imaginary part 640 of the complex hologram obtained by ASM.
  • FIG. 7 is a simulation result of reproduction of a complex hologram obtained by a learned neural network and a complex hologram obtained by an ASM, according to some embodiments.
  • the alphabet of the corresponding depth is enlarged (710, 720). Also, according to the depth, the degree of blurring 740 and 760 of the complex hologram obtained by the trained neural network is similar to the degree of blurring 730 and 750 of the complex hologram obtained by the ASM according to the depth.
  • FIG. 8 is a simulation result of reproduction of a complex hologram obtained by a trained neural network and a complex hologram obtained by an ASM, according to some embodiments.
  • One grayscale photographer image and black dummy images are input to the neural network, and the trained neural network generates a complex hologram.
  • the degree of blurring of the photographer's face and tripod legs on the complex hologram is compared.
  • the degree of blurring 820 and 840 of the complex hologram obtained by the learned neural network is similar to the degree of blurring 810 and 830 of the complex hologram obtained by the ASM according to the depth.
  • a trained neural network can generate a hologram similar to a complex hologram obtained by ASM, based on FIGS. 6 to 8 .
  • FIG. 9 is a flowchart of a method of generating a hologram capable of multi-depth expression from depth data of an object, according to some embodiments.
  • the method of generating a hologram capable of multi-depth expression includes steps that are time-series processed in the apparatus 10 for generating a hologram capable of multi-depth expression illustrated in FIG. 1 . Accordingly, it can be seen that the contents described above with respect to FIGS. 1 to 8 are also applied to the method of generating a hologram capable of multi-depth expression of FIG. 9, even if it is omitted below.
  • the apparatus for generating a hologram capable of expressing multiple depths may train a neural network using a plurality of virtual depth images and a target complex hologram.
  • a hologram generating device capable of multi-depth expression uses a training data set to input any one input data to a neural network and adjusts functions in the neural network so that the generated output value approaches a predetermined value of the corresponding training data set.
  • the neural network can be trained by repeatedly performing it.
  • the training data set is composed of depth images of the real object
  • there are legal problems such as copyright for the real object and a practical problem that it is difficult to secure a plurality of depth images. Since these problems do not exist when learning using virtual depth images, the accuracy of a complex hologram output from a plurality of depth images based on the learned neural network can be increased by using a large number of training data sets. have.
  • the plurality of virtual depth images may consist of figures such as points, lines, circles, ellipses, triangles, rectangles, polygons, and the like.
  • the present invention is not necessarily limited thereto.
  • a hologram generating apparatus capable of multi-depth expression includes a plurality of virtual depth images including a first image set and a second image set, each having different densities and shapes of figures constituting each image set, and a target complex
  • a hologram can be used to train a neural network.
  • the first image set is a plurality of images composed of a plurality of dots
  • the second image set is a plurality of dots having different densities or shapes different from those of the first image set.
  • a neural network may be trained using a plurality of virtual depth images, which are a plurality of images composed of circles, and a target complex hologram.
  • the present invention is not necessarily limited thereto.
  • the hologram generating apparatus capable of multi-depth expression includes a plurality of virtual sets including a first image set, a second image set, and a third image set, wherein at least one of the density and shape of figures constituting each image set is different from each other.
  • a neural network can be trained using depth images and target complex holograms.
  • the first image set is a plurality of images composed of a plurality of dots
  • the second image set is a plurality of images composed of a plurality of dots having different densities from the first image set
  • the third image set is a plurality of images composed of a plurality of circles having different shapes from the first and second image sets
  • the neural network may be trained using a plurality of virtual depth images and a target complex hologram.
  • the present invention is not necessarily limited thereto.
  • the type of the training data set may affect an output value that is learned using the corresponding training data set and output based on the neural network. Accordingly, when the training data set includes a plurality of virtual depth images and the plurality of virtual depth images are composed of a plurality of figures, the density or shape of the figures is based on the neural network, learned using the corresponding learning data set. This may affect the output complex hologram. In addition, when the density or shape of the figure is different, the effect on the complex hologram output based on the neural network learned using the corresponding training data set may be different.
  • the plurality of virtual depth images may include only one image set having a similar density and shape of a figure, and may include a plurality of image sets having different density or shape of a figure.
  • the image sets affect the complex hologram output based on the neural network. The influence may be superimposed on the corresponding complex hologram.
  • the apparatus for generating a hologram capable of expressing multiple depths may acquire a plurality of depth images for a preset number of depth layers from depth data of an object.
  • the number of depth layers may vary depending on the purpose or intention of a person who uses an apparatus for generating a hologram capable of multi-depth expression, or the advent of new technology.
  • the apparatus for generating a hologram capable of representing multiple depths may output a complex hologram including a real part and an imaginary part from the plurality of acquired depth images based on the learned neural network.
  • a hologram generating apparatus capable of expressing multiple depths may encode an output complex hologram and convert it into an amplitude hologram or a phase hologram.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer-readable media may include computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Holo Graphy (AREA)

Abstract

일부 실시예에 따르면, 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시키고, 객체의 깊이 데이터로부터 기 설정된 개수의 깊이 레이어들에 대한 복수의 깊이 이미지들을 획득하고, 학습된 신경망에 기초하여, 획득된 복수의 깊이 이미지들로부터 실수부와 허수부로 구성된 복소 홀로그램을 출력하는, 다중 심도 표현이 가능한 홀로그램을 생성하는 방법이 개시된다.

Description

다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치
본 개시는 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치에 관한 것이다.
홀로그램은, 빛의 진폭 및 위상을 조절하여 3D 공간 상에 객체를 재현함에 따라, 시야의 제한이 없고 입체 피로가 거의 없는 3D 공간 표현 기술의 일종이다. 따라서, 빛의 진폭 또는 위상을 제어할 수 있는 공간 광 변조기(Spatial Light Modulator(SLM))를 이용하여 실시간으로 고해상도 홀로그램을 구현하는 디바이스들이 많이 개발되고 있다. 홀로그램은, 물체파와 참조파의 간섭 패턴(interference pattern)을 이용하여 3D 공간 상에 표시될 수 있다. 최근에는 홀로그램을 재생하기 위한 간섭 패턴을 프로세싱함으로써 평면 디스플레이(flat panel display) 상에서 홀로그램을 제공할 수 있는 컴퓨터 생성 홀로그램(computer-generated hologram: CGH)이 활용되고 있다. 디지털 홀로그램을 생성하는 방법, 예를 들어 CGH는, 광학 신호들을 근사화하고 수학적 연산을 통해 생성된 간섭 패턴을 계산함으로써, 홀로그램을 생성한다. 디지털 홀로그램 생성 방법은, 객체가 3D 포인트들, 폴리곤들, 또는 깊이 데이터들 등의 다양한 데이터의 집합으로 구성된다는 점에 기초하여, 객체를 구성하는 객체 데이터들을 계산함으로써, 완성된 홀로그램을 표현한다.
최근 이러한 디지털 홀로그램 생성에도 신경망 학습을 도입하고자 하는 시도들이 늘어나고 있다. 그 중, 생산적 적대 신경망(Generative adversarial network: GAN)을 이용하여 포인트 클라우드 기반의 디지털 홀로그램을 생성하는 방법은, 한번에 하나의 점광원에 대한 홀로그램을 생성할 수 있으므로 하나의 이미지에 대한 홀로그램을 생성하기 위해서는 반복적인 계산이 요구된다. 또한, 심층 신경망(Deep neural network: DNN)을 이용하여 랜덤 위상과 랜덤 스페클 기반의 디지털 홀로그램을 생성하는 방법은, 신경망 학습이 하나의 깊이 레이어에 대해서만 진행되므로, 3차원 입체 정보를 표현하는 홀로그램을 생성하기 위해서는 수 차례의 학습이 요구된다.
다양한 실시예들은 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치를 제공하는데 있다. 본 개시가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
상술한 기술적 과제를 해결하기 위한 수단으로서, 일 측면에 따른 다중 심도 표현이 가능한 홀로그램을 생성하는 방법은, 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시키는 단계; 객체의 깊이 데이터로부터 기 설정된 개수의 깊이 레이어들에 대한 복수의 깊이 이미지들을 획득하는 단계; 및 상기 학습된 신경망에 기초하여, 상기 획득된 복수의 깊이 이미지들로부터 실수부와 허수부로 구성된 복소 홀로그램을 출력하는 단계를 포함할 수 있다.
다른 측면에 따르면, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치에 있어서, 적어도 하나의 프로그램이 저장된 메모리; 및 상기 적어도 하나의 프로그램을 실행함으로써 다중 심도 표현이 가능한 홀로그램을 생성하는 프로세서를 포함하고, 상기 프로세서는 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시키고, 객체의 깊이 데이터로부터 기 설정된 개수의 깊이 레이어들에 대한 복수의 깊이 이미지들을 획득하고, 상기 학습된 신경망에 기초하여, 상기 획득된 복수의 깊이 이미지들로부터 실수부와 허수부로 구성된 복소 홀로그램을 출력할 수 있다.
또 다른 측면에 따르면, 상술한 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함할 수 있다.
실시예에 따른 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치는 가상의 깊이 이미지들을 이용하여 학습을 하는 경우, 실물 객체에 대한 저작권 등의 법적인 문제와 다수의 깊이 이미지들을 확보하는 것이 어렵다는 현실적인 문제들이 존재하지 않으므로, 다수의 학습 데이터 세트를 이용함으로써, 학습된 신경망에 기초하여 복수의 깊이 이미지들로부터 출력되는 복소 홀로그램의 정확도가 증가될 수 있다.
또한, 실시예에 따른 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치는 하나의 이미지 세트만을 이용하여 신경망을 학습시키지 않고, 도형의 밀도 및 형상 중 적어도 하나가 다른, 둘 이상의 이미지 세트를 이용하여 신경망을 학습시키는 경우, 이미지 세트들이 신경망에 기초하여 출력되는 복소 홀로그램에 미치는 영향이 해당 복소 홀로그램에 중첩적으로 작용될 수 있으므로, 학습된 신경망에 기초하여 복수의 깊이 이미지들로부터 출력되는 복소 홀로그램의 정확도가 증가될 수 있다.
도 1은 일부 실시예에 따른 다중 심도 표현이 가능한 홀로그램을 생성하는 장치의 일 예를 나타내는 블록도이다.
도 2는 일부 실시예에 따른 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 생성하는 과정을 설명하기 위한 예시도이다.
도 3은 일부 실시예에 따른 합성곱 신경망의 예시도이다.
도 4는 일부 실시예에 따른 학습된 신경망에 기초하여, 복수의 깊이 이미지들로부터 복소 홀로그램을 출력하는 과정을 설명하기 위한 예시도이다.
도 5는 복수의 깊이 이미지들을 달리하여 학습된, 신경망으로부터 출력되는 복소 홀로그램들의 예시도이다.
도 6은 학습된 신경망에 의해 획득된 복소 홀로그램과 ASM에 의해 획득된 복소 홀로그램 각각의 실수부와 허수부를 나타내는 도면이다.
도 7은 일부 실시예에 따른, 학습된 신경망에 의해 획득된 복소 홀로그램과 ASM에 의해 획득된 복소 홀로그램의 재생 시뮬레이션 결과이다.
도 8은 일부 실시예에 따른, 학습된 신경망에 의해 획득된 복소 홀로그램과 ASM에 의해 획득된 복소 홀로그램의 재생 시뮬레이션 결과이다.
도 9는 일부 실시예에 따른 객체의 깊이 데이터로부터 다중 심도 표현이 가능한 홀로그램을 생성하는 방법의 흐름도이다.
일부 실시예에 따르면, 상기 복수의 가상의 깊이 이미지들은 제1 이미지 세트 및 제2 이미지 세트를 포함하고, 각각의 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 서로 다를 수 있다.
예를 들어, 상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며, 상기 제2 이미지 세트는 상기 제1 이미지 세트와 상기 밀도가 다른 복수의 점들 또는 상기 형상이 다른 복수의 원들로 구성된 복수의 이미지들 일 수 있다.
또한, 상기 복수의 가상의 깊이 이미지들은 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 상기 제1 이미지 세트 및 상기 제2 이미지 세트와 다른, 제3 이미지 세트를 더 포함할 수 있다.
예를 들어, 상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며, 상기 제2 이미지 세트는 상기 제1 이미지 세트와 상기 밀도가 다른 복수의 점들로 구성된 복수의 이미지들이며, 상기 제3 이미지 세트는 상기 제1 이미지 세트 및 상기 제2 이미지 세트와 상기 형상이 다른 복수의 원들로 구성된 복수의 이미지들일 수 있다.
또한, 상기 복소 홀로그램을 진폭 홀로그램 또는 위상 홀로그램으로 인코딩하는 단계를 더 포함할 수 있다.
일부 실시예에 따르면, 상기 복수의 깊이 이미지들은 제1 이미지 세트 및 제2 이미지 세트를 포함하고, 각각의 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 서로 다를 수 있다.
예를 들어, 상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며, 상기 제2 이미지 세트는 상기 제1 이미지 세트와 상기 밀도가 다른 복수의 점들 또는 상기 형상이 다른 복수의 원들로 구성된 복수의 이미지들일 수 있다.
또한, 상기 복수의 가상의 깊이 이미지들은 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 상기 제1 이미지 세트 및 상기 제2 이미지 세트와 다른, 제3 이미지 세트를 더 포함할 수 있다.
예를 들어, 상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며, 상기 제2 이미지 세트는 상기 제1 이미지 세트와 상기 밀도가 다른 복수의 점들로 구성된 복수의 이미지들이며, 상기 제3 이미지 세트는 상기 제1 이미지 세트 및 상기 제2 이미지 세트와 상기 형상이 다른 복수의 원들로 구성된 복수의 이미지들일 수 있다.
또한, 상기 프로세서는, 상기 복소 홀로그램을 진폭 홀로그램 또는 위상 홀로그램으로 인코딩할 수 있다.
본 실시예들에서 사용되는 용어는 본 실시예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 기술분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 임의로 선정된 용어도 있으며, 이 경우 해당 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들의 전반에 걸친 내용을 토대로 정의되어야 한다.
실시예들에 대한 설명들에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 구성요소를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 실시예들에서 사용되는 “구성된다” 또는 “포함한다” 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 '제1' 또는 '제2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
하기 실시예들에 대한 설명은 권리범위를 제한하는 것으로 해석되지 말아야 하며, 해당 기술분야의 당업자가 용이하게 유추할 수 있는 것은 실시예들의 권리범위에 속하는 것으로 해석되어야 할 것이다. 이하 첨부된 도면들을 참조하면서 오로지 예시를 위한 실시예들을 상세히 설명하기로 한다.
도 1은 일부 실시예에 따른 다중 심도 표현이 가능한 홀로그램을 생성하는 장치의 일 예를 나타내는 블록도이다.
다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)는 다중 심도 표현이 가능한 홀로그래픽 이미지를 재생하는 장치라면 제한 없이 해당될 수 있다. 예를 들어, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)는 TV, 모니터, 테블릿 PC, 모바일 폰 등과 같은 디스플레이 장치에 배치되어 다중 심도 표현이 가능한 홀로그래픽 이미지를 재생하는 장치에 해당될 수 있으나, 이에 반드시 제한되는 것은 아니다.
도 1을 참조하면, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)는 메모리(110) 및 프로세서(120)를 포함할 수 있다. 다만, 도 1에 도시된 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)에는 본 실시예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)에는 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음은 당업자에게 자명하다.
메모리(110)는 프로세서(120) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 예를 들어, 메모리(110)는 프로세서(120)에서 처리된 데이터들 및 처리될 데이터들을 저장할 수 있다. 또한, 메모리(110)는 프로세서(120)에 의해 구동될 다양한 애플리케이션들, 예를 들어 홀로그램 재생 애플리케이션, 웹 브라우징 애플리케이션, 게임 애플리케이션, 비디오 애플리케이션 등을 저장할 수 있다.
메모리(110)는 휘발성 메모리(volatile memory) 또는 불휘발성 메모리(nonvolatile memory) 중 적어도 하나를 포함할 수 있다. 불휘발성 메모리는 ROM (Read Only Memory), PROM (Programmable ROM), EPROM (Electrically Programmable ROM), EEPROM (Electrically Erasable and Programmable ROM), 플래시 메모리, PRAM (Phase-change RAM), MRAM (Magnetic RAM), RRAM (Resistive RAM), FeRAM (Ferroelectric RAM) 등을 포함한다. 휘발성 메모리는 DRAM (Dynamic RAM), SRAM (Static RAM), SDRAM (Synchronous DRAM), PRAM (Phase-change RAM), MRAM (Magnetic RAM), RRAM (Resistive RAM) 등을 포함한다. 다만, 이에 제한되지 않는다.
일부 실시예에 있어서, 메모리(110)는 HDD(Hard Disk Drive), SSD(Solid State Drive), CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 Memory Stick 중 적어도 하나로 구현될 수 있다.
프로세서(120)는 PC(personal computer), 서버 디바이스, TV(television), 모바일 디바이스(스마트폰, 태블릿 디바이스 등), 임베디드 디바이스, 자율주행 자동차, 웨어러블 디바이스, AR(Augmented Reality) 디바이스, IoT(Internet of Things) 디바이스 등의 다양한 종류의 컴퓨팅 디바이스들에 구비된 프로세서에 해당할 수 있다. 예를 들어, 프로세서(120)는 CPU(central processing unit), GPU(graphics processing unit), AP(application processor), NPU(neural processing unit) 등과 같은 프로세서에 해당할 수 있으나, 이에 제한되지 않는다.
프로세서(120)는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
프로세서(120)는 프로세서(120)가 구비된 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)를 제어하기 위한 전반적인 기능들을 수행하는 역할을 한다. 프로세서(120)는 메모리(110)에 저장된 프로그램들을 실행함으로써, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)를 전반적으로 제어할 수 있다. 예를 들어, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)가 디스플레이 장치(130) 내에 구비된 경우, 프로세서(120)는 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)에 의한 이미지 처리를 제어함으로써 디스플레이 장치(130)에 의한 홀로그래픽 이미지의 표시를 제어할 수 있다.
디스플레이 장치(130)는 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)에 의해 생성된 홀로그램에 기초하여 3D 공간 상에 홀로그래픽 이미지를 표시할 수 있는 장치에 해당할 수 있다. 또한, 디스플레이 장치(130)는 LCoS, LCD, OLED 등과 같은 다양한 종류의 디스플레이 패널을 포함할 수 있다. 즉, 디스플레이 장치(130)는 홀로그램을 생성하기 위한 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10) 외에도, 홀로그래픽 이미지를 표시하기 위한 다양한 하드웨어 모듈들, 하드웨어 구성들을 포함할 수 있다.
한편, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)는 디스플레이 장치(130)의 외부에 구현된 별도의 독립적인 장치일 수 있다. 이때, 디스플레이 장치(130)는 외부의 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)에 의해 생성된 홀로그램 데이터를 수신하고, 수신된 홀로그램 데이터에 기초하여 홀로그래픽 이미지를 표시할 수 있다. 즉, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)와 디스플레이 장치(130)의 구현 방식은 어느 하나의 실시예에 의해 제한되지 않는다.
프로세서(120)는 학습 데이터 세트를 지도학습(Supervised Learning) 기법에 따라 처리하여 신경망을 구축하거나 학습시킬 수 있다.
신경망은 1개 이상의 히든 레이어를 포함하는 심층 신경망(Deep Neural Network: DNN) 또는 n-계층 신경망(n-layers neural networks)일 수 있다. DNN은 합성곱 신경망(Convolutional Neural Networks: CNN), 순환 신경망(Recurrent Neural Networks: RNN), 심층 신뢰망(Deep Belief Networks; DBN), 제한적 볼츠만 머신(Restricted Boltzman Machines: RBM) 등을 포함할 수 있으나, 이에 제한되지 않는다.
프로세서(120)는 학습 데이터 세트를 이용하여, 어느 하나의 입력 데이터를 신경망에 입력하여 생성된 출력 값이 해당 학습 데이터 세트의 미리 정해진 값에 근접하도록 신경망 내 함수들을 조정하는 과정을 반복하여 수행함으로써 신경망을 학습시킬 수 있다. 학습 데이터 세트는 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램으로 구성될 수 있다. 예를 들어, 학습 데이터 세트가 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램으로 구성되는 경우, 프로세서(120)는 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램으로부터 산출한 오차에 기초하여 신경망 내 함수들을 조정하는 과정을 반복하여 수행함으로써 신경망을 학습시킬 수 있다.
신경망의 학습에 이용되는 학습 데이터 세트의 개수가 증가될수록, 보다 적절한 신경망 내 함수들을 획득할 수 있으므로, 학습된 신경망에 의해 출력된 출력 값의 정확도가 증가될 수 있다. 예를 들어, 학습 데이터 세트가 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램으로 구성되는 경우, 학습을 위해 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램이 신경망에 많이 제공될수록, 학습된 신경망에 기초하여 복수의 깊이 이미지들로부터 출력되는 복소 홀로그램의 정확도가 증가될 수 있다.
그러나, 학습 데이터 세트가 실물 객체의 깊이 이미지들로 구성되는 경우, 실물 객체에 대한 저작권 등의 법적인 문제와 다수의 깊이 이미지들을 확보하는 것이 어렵다는 현실적인 문제가 존재한다. 가상의 깊이 이미지들을 이용하여 학습을 하는 경우에는 이러한 문제들이 존재하지 않으므로, 다수의 학습 데이터 세트를 이용함으로써, 학습된 신경망에 기초하여 복수의 깊이 이미지들로부터 출력되는 복소 홀로그램의 정확도가 증가될 수 있다.
복수의 가상의 깊이 이미지들은 점, 선, 원, 타원, 삼각형, 사각형, 다각형 등의 도형으로 구성될 수 있다. 다만, 이에 반드시 제한되는 것은 아니다.
또한, 복수의 가상의 깊이 이미지들은 제1 이미지 세트 및 제2 이미지 세트를 포함하고, 각각의 이미지 세트는 구성되는 도형의 밀도 및 형상 중 적어도 하나가 서로 다를 수 있다. 예를 들어, 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며, 제2 이미지 세트는 제1 이미지 세트와 밀도가 다른 복수의 점들 또는 형상이 다른 복수의 원들로 구성된 복수의 이미지들일 수 있다. 다만, 이에 반드시 제한되는 것은 아니다.
또한, 복수의 가상의 깊이 이미지들은 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 제1 이미지 세트 및 제2 이미지 세트와 다른, 제3 이미지 세트를 더 포함할 수 있다. 예를 들어, 상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며, 제2 이미지 세트는 제1 이미지 세트와 밀도가 다른 복수의 점들로 구성된 복수의 이미지들이며, 제3 이미지 세트는 제1 이미지 세트 및 제2 이미지 세트와 형상이 다른 복수의 원들로 구성된 복수의 이미지들일 수 있다. 다만, 이에 반드시 제한되는 것은 아니다.
학습 데이터 세트의 종류는, 해당 학습 데이터 세트를 이용하여 학습된, 신경망에 기초하여 출력되는 출력 값에 영향을 줄 수 있다. 따라서, 학습 데이터 세트가 복수의 가상 깊이 이미지들을 포함하고, 복수의 가상의 깊이 이미지들이 복수의 도형으로 구성되는 경우, 도형의 밀도나 형상은, 해당 학습 데이터 세트를 이용하여 학습된, 신경망에 기초하여 출력되는 복소 홀로그램에 영향을 미칠 수 있다. 또한, 도형의 밀도나 형상이 다른 경우, 해당 학습 데이터 세트를 이용하여 학습된, 신경망에 기초하여 출력되는 복소 홀로그램에 미치는 영향이 상이할 수 있다.
복수의 가상의 깊이 이미지들은 도형의 밀도 및 형상이 유사한 하나의 이미지 세트만을 포함할 수 있으며, 도형의 밀도나 형상이 상이한 복수의 이미지 세트들을 포함할 수도 있다. 하나의 이미지 세트만을 이용하여 신경망을 학습시키지 않고, 도형의 밀도 및 형상 중 적어도 하나가 다른, 둘 이상의 이미지 세트를 이용하여 신경망을 학습시키는 경우, 이미지 세트들이 신경망에 기초하여 출력되는 복소 홀로그램에 미치는 영향이 해당 복소 홀로그램에 중첩적으로 작용될 수 있다.
타겟 복소 홀로그램은 복수의 가상의 깊이 이미지들로부터 생성되는 각 스펙트럼 방법(angular spectrum method: ASM)에 의한 CGH일 수 있다. CGH는 2차원 인텐시티(2D intensity) 이미지와 깊이 데이터를 이용하여 CGH를 생성하는 깊이 맵(depth map)(또는 레이어 기반(layer-based)) 방식으로 생성될 수 있으며, 수치적 전파 모델로써 ASM, 프레넬 변환(Fresnel transform), 푸리에 변환(Fourier transform)이 사용될 수 있다. 다만, 이에 제한되는 것은 아니다.
프로세서(120)는 객체의 깊이 데이터로부터 기 설정된 개수의 깊이 레이어들에 대한 복수의 깊이 이미지들을 획득할 수 있다. 프로세서(120)가 복수의 깊이 레이어들로부터 복수의 깊이 이미지들을 획득하므로, 출력되는 복소 홀로그램의 다중 심도 표현이 가능하게 된다. 일부 실시예에서는 5개의 깊이 이미지들을 사용하였으나, 이에 제한되는 것은 아니며, 깊이 레이어들의 개수는 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)를 사용하는 자의 목적, 의도 또는 새로운 기술의 출현 등에 따라 달라질 수 있다.
프로세서(120)는 학습 데이터 세트를 이용하여 미리 학습시킨 신경망에 기초하여, 획득된 복수의 깊이 이미지들로부터 실수부와 허수부로 구성된 복소 홀로그램을 출력한다. 출력된 복소 홀로그램은 인코딩됨으로써 진폭 홀로그램 또는 위상 홀로그램으로 변환될 수 있다.
이하 도 2 내지 4를 참조하여 신경망을 학습시키고, 학습된 신경망에 기초하여 복소 홀로그램을 출력하는 과정을 보다 상세히 설명한다.
도 2는 일부 실시예에 따른 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 생성하는 과정을 설명하기 위한 예시도이다.
도 2를 참조하면, 입력 데이터를 위해 복수의 가상의 깊이 이미지들(210)이 생성될 수 있다. 생성된 깊이 이미지들(210)은 홀로그램 평면(230)으로부터 각각 d1 내지 d5의 깊이에 위치할 수 있다. 이러한 깊이 이미지들(210)들은 각각의 깊이에 따라 홀로그램 평면에 역 전달(back propagation)되고, 중첩됨으로써 타겟 복소 홀로그램(240)을 생성한다. 생성된 타겟 복소 홀로그램(240)은 실수부와 허수부로 나뉘어 저장 된다. 예를 들어, 임의의 점들로 구성되는 5개의 상이한 깊이 이미지들이 생성될 수 있으며, 깊이 이미지들은 홀로그램 평면으로부터 각각 0.5cm, 1.0cm, 1.5cm, 2.0cm 및 2.5cm의 거리만큼 분리되어 있을 수 있다. 5개의 상이한 깊이 이미지들이 홀로그램 평면에 역 전달되고, 중첩됨으로써 타겟 복소 홀로그램(240)을 생성하며, 타겟 복소 홀로그램(240)을 생성하는 과정에서 ASM이 이용될 수 있다. 생성된 타겟 복소 홀로그램(240)은 실수부와 허수부로 나뉘어 메모리에 저장될 수 있다.
도 3은 일부 실시예에 따른 합성곱 신경망의 예시도이다.
도 3은 참조하면, 일부 실시예에 따른 합성곱 신경망은 1개의 합성곱 레이어(convolution layer), 2개의 다운 샘플링 블록(down-sampling block), 15개의 레지듀얼 블록(residual block) 및 2개의 업 샘플링 블록(up-sampling block)으로 구성될 수 있다. 다운 샘플링 블록은 1개의 합성곱 레이어, 1개의 배치 노멀리제이션 레이어(batch normalization layer), 및 1개의 정류 선형 유닛 레이어(rectified linear unit layer)로 구성될 수 있다. 레지듀얼 블록은 2개의 합성곱 레이어, 2개의 배치 노멀리제이션 레이어, 및 1개의 정류 선형 유닛 레이어로 구성될 수 있다. 업 샘플링 블록은 1개의 인터폴레이션 레이어(interpolation layer), 1개의 컨볼루션 레이어, 1개의 배치 노멀리제이션 레이어, 및 1개의 정류 선형 유닛 레이어로 구성될 수 있다. 다만, 이에 반드시 제한되는 것은 아니다.
도 4는 일부 실시예에 따른 학습된 신경망에 기초하여, 복수의 깊이 이미지들로부터 복소 홀로그램을 출력하는 과정을 설명하기 위한 예시도이다.
도 4을 참조하면, 상이한 복수의 깊이 레이어들로부터 복수의 깊이 이미지들(410)이 신경망에 입력될 수 있다. 예를 들어, 상이한 복수의 깊이 레이어들로부터, A부터 E까지의 알파벳 형상으로 구성되는 5개의 상이한 깊이 이미지들이 신경망에 입력될 수 있다. 입력된 깊이 이미지들 각각이 해당하는 깊이에서 재생될 수 있도록, 신경망이 복소 홀로그램을 생성할 수 있다. 생성된 복소 홀로그램은 실수부(430)와 허수부(440)로 나뉘어 출력될 수 있다. 일부 실시예에서는 신경망으로써 합성곱 신경망을 사용하였으나, 이에 제한되는 것은 아니다.
도 5는 복수의 깊이 이미지들을 달리하여 학습된, 신경망으로부터 출력되는 복소 홀로그램들의 예시도이다.
도 5에는 신경망이 복수의 도형으로 구성된 이미지 세트를 하나 이상 포함하는 복수의 깊이 이미지들(510 내지 540)에 의해 학습되고, 학습된 신경망에 의해 출력되는 복소 홀로그램들(550 내지 580)이 도시되어 있다.
복수의 깊이 이미지들(510)은 저밀도의 점들로 구성된 이미지 세트만을 포함하며, 복소 홀로그램(550)은 복수의 깊이 이미지들(510)에 의해 학습된 신경망에 의해 출력된다.
복수의 깊이 이미지들(520)은 저밀도의 점들로 구성된 이미지 세트 및 고밀도의 점들로 구성된 이미지 세트를 포함하며, 복소 홀로그램(560)은 복수의 깊이 이미지들(520)에 의해 학습된 신경망에 의해 출력된다. 복소 홀로그램(560)은 복소 홀로그램(550)과 비교하여, 알파벳 형상들의 외곽부가 보다 선명하며, 상당히 높은 화질을 갖는다. 이는, 복수의 깊이 이미지들이 저밀도의 점들로 구성된 이미지 세트 및 고밀도의 점들로 구성된 이미지 세트를 포함하는 경우, 고주파수(high-frequency) 영역에서도 복소 홀로그램의 재생이 잘 이루어지기 때문이다. 저밀도의 점들로 구성된 이미지 세트 및 고밀도의 점들로 구성된 이미지 세트의 비율은 1:1이 바람직하다.
복수의 깊이 이미지들(530)은 복수의 원들로 구성된 이미지 세트만을 포함하며, 복소 홀로그램(570)은 복수의 깊이 이미지들(530)에 의해 학습된 신경망에 의해 출력된다. 복소 홀로그램(570)은, 복수의 깊이 이미지들이 원들로 구성된 이미지 세트를 포함하므로, 저주파수(low-frequency) 영역에서 복소 홀로그램의 재생이 잘 이루어 진다. 그러나, 복수의 깊이 이미지들이 원들로 구성된 이미지 세트만을 포함하는 경우, 학습된 신경망이 고주파수 영역에서의 복소 홀로그램을 표현하기가 어렵다.
복수의 깊이 이미지들(540)은 저밀도의 점들로 구성된 이미지 세트, 고밀도의 점들로 구성된 이미지 세트, 및 복수의 원들로 구성된 이미지 세트를 포함하며, 복소 홀로그램(580)은 복수의 깊이 이미지들(540)에 의해 학습된 신경망에 의해 출력된다. 복소 홀로그램(580)은, 복수의 깊이 이미지들이 저밀도의 점들로 구성된 이미지 세트, 고밀도의 점들로 구성된 이미지 세트, 및 복수의 원들로 구성된 이미지 세트를 모두 포함하므로, 고주파수 영역뿐만 아니라 저주파수 영역에서도 복소 홀로그램의 재생이 잘 이루어 진다. 저밀도의 점들로 구성된 이미지 세트, 고밀도의 점들로 구성된 이미지 세트, 및 복수의 원들로 구성된 이미지 세트의 비율은 1:1:1이 바람직하다.
도 6은 학습된 신경망에 의해 획득된 복소 홀로그램과 ASM에 의해 획득된 복소 홀로그램 각각의 실수부와 허수부를 나타내는 도면이다.
도 6을 참조하면, A부터 E까지의 알파벳 형상으로 구성되는 깊이 이미지들이 학습된 신경망에 입력된다. 학습된 신경망은 복소 홀로그램을 생성하며, 생성된 복소 홀로그램은 실수부(610)와 허수부(620)로 나뉘어 출력된다. 또한, 학습된 신경망에 의해 획득되는 복소 홀로그램과 비교하기 위하여, ASM에 의해 복소 홀로그램의 실수부(630)와 허수부(640)가 획득된다.
학습된 신경망에 의해 획득되는 복소 홀로그램의 실수부(610)와 ASM에 의해 획득되는 복소 홀로그램의 실수부(630)는 유사한 결과를 나타내며, 학습된 신경망에 의해 획득되는 복소 홀로그램의 허수부(620)와 ASM에 의해 획득되는 복소 홀로그램의 허수부(640)의 경우도 마찬가지이다.
도 7은 일부 실시예에 따른, 학습된 신경망에 의해 획득된 복소 홀로그램과 ASM에 의해 획득된 복소 홀로그램의 재생 시뮬레이션 결과이다.
각각의 알파벳이 해당하는 깊이 평면 상에서 초점이 맞추어졌는지 평가하기 위하여, 해당하는 깊이의 알파벳이 확대(710, 720)된다. 또한, 깊이에 따라, 학습된 신경망에 의해 획득되는 복소 홀로그램의 흐려지는 정도(740, 760)는 깊이에 따라, ASM에 의해 획득되는 복소 홀로그램의 흐려지는 정도(730, 750)와 유사하다.
도 8은 일부 실시예에 따른, 학습된 신경망에 의해 획득된 복소 홀로그램과 ASM에 의해 획득된 복소 홀로그램의 재생 시뮬레이션 결과이다.
1개의 회색조의 사진사 이미지와 검은색의 더미(dummy) 이미지들이 신경망에 입력되고, 학습된 신경망은 복소 홀로그램을 생성한다. 깊이에 따라 복소 홀로그램 상의 사진사의 얼굴 및 삼각대 다리의 흐려지는 정도가 비교된다. 깊이에 따라, 학습된 신경망에 의해 획득되는 복소 홀로그램의 흐려지는 정도(820, 840)는 깊이에 따라, ASM에 의해 획득되는 복소 홀로그램의 흐려지는 정도(810, 830)와 유사하다.
따라서, 도 6 내지 도 8에 기초하여, 학습된 신경망은 ASM에 의해 획득된 복소 홀로그램과 유사한 홀로그램을 생성할 수 있음은 당업자에게 자명하다.
도 9는 일부 실시예에 따른 객체의 깊이 데이터로부터 다중 심도 표현이 가능한 홀로그램을 생성하는 방법의 흐름도이다.
도 9를 참조하면, 다중 심도 표현이 가능한 홀로그램을 생성하는 방법은 도 1에 도시된 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 내지 도 8에 관하여 이상에서 기술된 내용은 도 9의 다중 심도 표현이 가능한 홀로그램을 생성하는 방법에도 적용됨을 알 수 있다.
단계 910에서, 다중 심도 표현이 가능한 홀로그램 생성 장치는 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시킬 수 있다.
다중 심도 표현이 가능한 홀로그램 생성 장치는 학습 데이터 세트를 이용하여, 어느 하나의 입력 데이터를 신경망에 입력하여 생성된 출력 값이 해당 학습 데이터 세트의 미리 정해진 값에 근접하도록 신경망 내 함수들을 조정하는 과정을 반복하여 수행함으로써 신경망을 학습시킬 수 있다.
신경망의 학습에 이용되는 학습 데이터 세트의 개수가 증가될수록, 보다 적절한 신경망 내 함수들을 획득할 수 있으므로, 학습된 신경망에 의해 출력된 출력 값의 정확도가 증가될 수 있다.
그러나, 학습 데이터 세트가 실물 객체의 깊이 이미지들로 구성되는 경우, 실물 객체에 대한 저작권 등의 법적인 문제와 다수의 깊이 이미지들을 확보하는 것이 어렵다는 현실적인 문제가 존재한다. 가상의 깊이 이미지들을 이용하여 학습을 하는 경우에는 이러한 문제들이 존재하지 않으므로, 다수의 학습 데이터 세트를 이용함으로써, 학습된 신경망에 기초하여 복수의 깊이 이미지들로부터 출력되는 복소 홀로그램의 정확도가 증가될 수 있다.
복수의 가상의 깊이 이미지들은 점, 선, 원, 타원, 삼각형, 사각형, 다각형 등의 도형으로 구성될 수 있다. 다만, 이에 반드시 제한되는 것은 아니다.
다중 심도 표현이 가능한 홀로그램 생성 장치는 각각의 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 서로 다른, 제1 이미지 세트 및 제2 이미지 세트를 포함하는 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시킬 수 있다.
일 예에서, 다중 심도 표현이 가능한 홀로그램 생성 장치는 제1 이미지 세트가 복수의 점들로 구성된 복수의 이미지들이며, 제2 이미지 세트가 제1 이미지 세트와 밀도가 다른 복수의 점들 또는 형상이 다른 복수의 원들로 구성된 복수의 이미지들인 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시킬 수 있다. 다만, 이에 반드시 제한되는 것은 아니다.
또한, 다중 심도 표현이 가능한 홀로그램 생성 장치는 각각의 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 서로 다른, 제1 이미지 세트, 제2 이미지 세트 및 제3 이미지 세트를 포함하는 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시킬 수 있다.
일 예에서, 다중 심도 표현이 가능한 홀로그램 생성 장치는 제1 이미지 세트가 복수의 점들로 구성된 복수의 이미지들이며, 제2 이미지 세트가 제1 이미지 세트와 밀도가 다른 복수의 점들로 구성된 복수의 이미지들이며, 제3 이미지 세트가 제1 이미지 세트 및 제2 이미지 세트와 형상이 다른 복수의 원들로 구성된 복수의 이미지들인, 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시킬 수 있다. 다만, 이에 반드시 제한되는 것은 아니다.
학습 데이터 세트의 종류는, 해당 학습 데이터 세트를 이용하여 학습된, 신경망에 기초하여 출력되는 출력 값에 영향을 줄 수 있다. 따라서, 학습 데이터 세트가 복수의 가상 깊이 이미지들을 포함하고, 복수의 가상의 깊이 이미지들이 복수의 도형으로 구성되는 경우, 도형의 밀도나 형상은, 해당 학습 데이터 세트를 이용하여 학습된, 신경망에 기초하여 출력되는 복소 홀로그램에 영향을 미칠 수 있다. 또한, 도형의 밀도나 형상이 다른 경우, 해당 학습 데이터 세트를 이용하여 학습된, 신경망에 기초하여 출력되는 복소 홀로그램에 미치는 영향이 상이할 수 있다.
복수의 가상의 깊이 이미지들은 도형의 밀도 및 형상이 유사한 하나의 이미지 세트만을 포함할 수 있으며, 도형의 밀도나 형상이 상이한 복수의 이미지 세트들을 포함할 수도 있다. 하나의 이미지 세트만를 이용하여 신경망을 학습시키지 않고, 도형의 밀도 및 형상 중 적어도 하나가 다른, 둘 이상의 이미지 세트를 이용하여 신경망을 학습시키는 경우, 이미지 세트들이 신경망에 기초하여 출력되는 복소 홀로그램에 미치는 영향이 해당 복소 홀로그램에 중첩적으로 작용될 수 있다.
단계 920에서, 다중 심도 표현이 가능한 홀로그램 생성 장치는 객체의 깊이 데이터로부터 기 설정된 개수의 깊이 레이어들에 대한 복수의 깊이 이미지들을 획득할 수 있다. 깊이 레이어들의 개수는 다중 심도 표현이 가능한 홀로그램을 생성하는 장치를 사용하는 자의 목적, 의도 또는 새로운 기술의 출현 등에 따라 달라질 수 있다.
단계 930에서, 다중 심도 표현이 가능한 홀로그램 생성 장치는 학습된 신경망에 기초하여, 획득된 복수의 깊이 이미지들로부터 실수부와 허수부로 구성된 복소 홀로그램을 출력할 수 있다. 다중 심도 표현이 가능한 홀로그램 생성 장치는 출력된 복소 홀로그램을 인코딩함으로써 진폭 홀로그램 또는 위상 홀로그램으로 변환시킬 수 있다.
본 실시예들은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (13)

  1. 다중 심도 표현이 가능한 홀로그램을 생성하는 방법에 있어서,
    복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시키는 단계;
    객체의 깊이 데이터로부터 기 설정된 개수의 깊이 레이어들에 대한 복수의 깊이 이미지들을 획득하는 단계; 및
    상기 학습된 신경망에 기초하여, 상기 획득된 복수의 깊이 이미지들로부터 실수부와 허수부로 구성된 복소 홀로그램을 출력하는 단계를 포함하는, 다중 심도 표현이 가능한 홀로그램을 생성하는 방법.
  2. 제 1항에 있어서,
    상기 복수의 가상의 깊이 이미지들은 제1 이미지 세트 및 제2 이미지 세트를 포함하고,
    각각의 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 서로 다른, 다중 심도 표현이 가능한 홀로그램을 생성하는 방법.
  3. 제 2항에 있어서,
    상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며,
    상기 제2 이미지 세트는 상기 제1 이미지 세트와 상기 밀도가 다른 복수의 점들 또는 상기 형상이 다른 복수의 원들로 구성된 복수의 이미지들인, 다중 심도 표현이 가능한 홀로그램을 생성하는 방법.
  4. 제 2항에 있어서,
    상기 복수의 가상의 깊이 이미지들은 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 상기 제1 이미지 세트 및 상기 제2 이미지 세트와 다른, 제3 이미지 세트를 더 포함하는, 다중 심도 표현이 가능한 홀로그램을 생성하는 방법.
  5. 제 4항에 있어서,
    상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며,
    상기 제2 이미지 세트는 상기 제1 이미지 세트와 상기 밀도가 다른 복수의 점들로 구성된 복수의 이미지들이며,
    상기 제3 이미지 세트는 상기 제1 이미지 세트 및 상기 제2 이미지 세트와 상기 형상이 다른 복수의 원들로 구성된 복수의 이미지들인, 다중 심도 표현이 가능한 홀로그램을 생성하는 방법.
  6. 제 1 항에 있어서,
    상기 복소 홀로그램을 진폭 홀로그램 또는 위상 홀로그램으로 인코딩하는 단계를 더 포함하는, 다중 심도 표현이 가능한 홀로그램을 생성하는 방법.
  7. 다중 심도 표현이 가능한 홀로그램을 생성하는 장치에 있어서,
    적어도 하나의 프로그램이 저장된 메모리; 및
    상기 적어도 하나의 프로그램을 실행함으로써 다중 심도 표현이 가능한 홀로그램을 생성하는 프로세서를 포함하고,
    상기 프로세서는
    복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시키고, 객체의 깊이 데이터로부터 기 설정된 개수의 깊이 레이어들에 대한 복수의 깊이 이미지들을 획득하고, 상기 학습된 신경망에 기초하여, 상기 획득된 복수의 깊이 이미지들로부터 실수부와 허수부로 구성된 복소 홀로그램을 출력하는, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치.
  8. 제 7항에 있어서,
    상기 복수의 깊이 이미지들은 제1 이미지 세트 및 제2 이미지 세트를 포함하고,
    각각의 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 서로 다른, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치.
  9. 제 8항에 있어서,
    상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며,
    상기 제2 이미지 세트는 상기 제1 이미지 세트와 상기 밀도가 다른 복수의 점들 또는 상기 형상이 다른 복수의 원들로 구성된 복수의 이미지들인, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치.
  10. 제 8항에 있어서,
    상기 복수의 가상의 깊이 이미지들은 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 상기 제1 이미지 세트 및 상기 제2 이미지 세트와 다른, 제3 이미지 세트를 더 포함하는, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치.
  11. 제 10항에 있어서,
    상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며,
    상기 제2 이미지 세트는 상기 제1 이미지 세트와 상기 밀도가 다른 복수의 점들로 구성된 복수의 이미지들이며,
    상기 제3 이미지 세트는 상기 제1 이미지 세트 및 상기 제2 이미지 세트와 상기 형상이 다른 복수의 원들로 구성된 복수의 이미지들인, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치.
  12. 제 7항에 있어서,
    상기 프로세서는,
    상기 복소 홀로그램을 진폭 홀로그램 또는 위상 홀로그램으로 인코딩하는, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치.
  13. 제 1항 내지 제 6항 중 어느 한 항에 따른 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2021/004289 2020-12-16 2021-04-06 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치 WO2022131452A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0176605 2020-12-16
KR1020200176605A KR102501302B1 (ko) 2020-12-16 2020-12-16 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2022131452A1 true WO2022131452A1 (ko) 2022-06-23

Family

ID=82057710

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/004289 WO2022131452A1 (ko) 2020-12-16 2021-04-06 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102501302B1 (ko)
WO (1) WO2022131452A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240041713A (ko) * 2022-09-23 2024-04-01 서울대학교산학협력단 홀로그램 최적화 방법 및 그 장치
WO2024128386A1 (ko) * 2022-12-12 2024-06-20 서울대학교산학협력단 홀로그램 스케일링 방법 및 그 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100271678A1 (en) * 2006-12-01 2010-10-28 F. Poszat Hu, Llc Computer generated hologram
KR20160081527A (ko) * 2014-12-31 2016-07-08 한국전자통신연구원 홀로그램 데이터 포맷과 홀로그래픽 비디오 시스템 장치 및 방법
KR20190064961A (ko) * 2017-12-01 2019-06-11 삼성전자주식회사 영상 데이터 처리 방법 및 장치
KR20200072158A (ko) * 2018-12-12 2020-06-22 세종대학교산학협력단 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치 및 그 방법
KR102129069B1 (ko) * 2019-06-05 2020-07-01 세종대학교산학협력단 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200104068A (ko) * 2019-02-26 2020-09-03 한국전자통신연구원 딥러닝 기반 디지털 홀로그램을 생성하는 방법 및 장치
KR102187123B1 (ko) * 2020-02-12 2020-12-04 주식회사 카카오뱅크 홀로그램 검출 서비스 제공 서버 및 홀로그램 검출 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100271678A1 (en) * 2006-12-01 2010-10-28 F. Poszat Hu, Llc Computer generated hologram
KR20160081527A (ko) * 2014-12-31 2016-07-08 한국전자통신연구원 홀로그램 데이터 포맷과 홀로그래픽 비디오 시스템 장치 및 방법
KR20190064961A (ko) * 2017-12-01 2019-06-11 삼성전자주식회사 영상 데이터 처리 방법 및 장치
KR20200072158A (ko) * 2018-12-12 2020-06-22 세종대학교산학협력단 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치 및 그 방법
KR102129069B1 (ko) * 2019-06-05 2020-07-01 세종대학교산학협력단 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LEE JUHYUN, JEONG JINSOO, CHO JAEBUM, YOO DONGHEON, LEE BYOUNGHO: "Complex hologram generation of multi-depth images using deep neural network", IMAGING AND APPLIED OPTICS CONGRESS, vol. 12, 1 January 2020 (2020-01-01), Washington, D.C. , pages 1 - 2, XP055942535, ISBN: 978-1-943580-77-4, DOI: 10.1364/3D.2020.JTh2A.12 *
LEE JUHYUN, JEONG JINSOO, CHO JAEBUM, YOO DONGHEON, LEE BYOUNGHYO, LEE BYOUNGHO: "Deep neural network for multi-depth hologram generation and its training strategy", OPTICS EXPRESS, vol. 28, no. 18, 31 August 2020 (2020-08-31), pages 27137, XP055942545, DOI: 10.1364/OE.402317 *

Also Published As

Publication number Publication date
KR102501302B1 (ko) 2023-02-17
KR20220086289A (ko) 2022-06-23

Similar Documents

Publication Publication Date Title
Reyna The potential of 360-degree videos for teaching, learning and research
WO2022131452A1 (ko) 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치
KR102107709B1 (ko) 공간 트랜스포머 모듈들
EP3196773A2 (en) Directional backlight unit, three-dimensional (3d) image display apparatus, and 3d image displaying method
WO2022188282A1 (zh) 基于物理感知的三维流体逆向建模方法
US10026161B2 (en) Apparatus and method for performing fourier transform
US11727659B2 (en) Method and apparatus for processing three-dimensional (3D) image
CN106485958A (zh) 全息展示教学系统
CN107783933B (zh) 图像处理方法和设备
US10223763B2 (en) Apparatus and method for performing fourier transform
KR102581470B1 (ko) 영상 데이터를 처리하는 방법 및 장치
US20240027961A1 (en) Method and apparatus for generating computer-generated hologram
KR20220092086A (ko) 3d 캐릭터의 얼굴 표정 리타게팅 방법 및 이를 위해 신경망을 학습하는 방법
CN103116260B (zh) 一种增大计算全息再现视角的方法
Ding et al. Situational english teaching experience and analysis using distributed 5G and VR
US10748249B2 (en) Image data processing method and apparatus
KR20220023953A (ko) Cgh를 처리하는 방법 및 시스템
US10996627B2 (en) Image data processing method and apparatus
Kirar et al. Review paper on the generation of computer graphics
CN108154473A (zh) 用于处理图像的方法和装置
JPWO2019224947A1 (ja) 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
WO2024128386A1 (ko) 홀로그램 스케일링 방법 및 그 장치
Malowany Beyond Homographies: Exploration and Analysis of Image Warping for Projection in a Dome
Symeonidou Efficient algorithms for high-quality computer-generated holography
GB2624103A (en) Artificial intelligence techniques for extrapolating HDR panoramas from LDR low FOV images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21906757

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21906757

Country of ref document: EP

Kind code of ref document: A1