WO2023128088A1 - 홀로그래픽 디스플레이의 최적화 방법 및 그 장치 - Google Patents

홀로그래픽 디스플레이의 최적화 방법 및 그 장치 Download PDF

Info

Publication number
WO2023128088A1
WO2023128088A1 PCT/KR2022/009237 KR2022009237W WO2023128088A1 WO 2023128088 A1 WO2023128088 A1 WO 2023128088A1 KR 2022009237 W KR2022009237 W KR 2022009237W WO 2023128088 A1 WO2023128088 A1 WO 2023128088A1
Authority
WO
WIPO (PCT)
Prior art keywords
hologram
prediction
field data
binary
value
Prior art date
Application number
PCT/KR2022/009237
Other languages
English (en)
French (fr)
Inventor
이병호
이병효
김동연
이승재
첸춘
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Publication of WO2023128088A1 publication Critical patent/WO2023128088A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique

Definitions

  • An embodiment of the present invention relates to a holographic display, and more particularly, to a method and apparatus for optimizing a holographic display.
  • a general holographic display uses a coherent light source and a spatial light modulator to complex modulate a light wave and reconstruct a desired complex wavefront. It is considered one of the next-generation displays in terms of computationally reconstructing the light wave itself.
  • the propagation calculation of light waves is basically based on a diffraction integral equation of a rayleigh-sommerfield and a light wave propagation equation derived therefrom.
  • hologram encoding proceeds differently depending on the driving method of the Spatial Light Modulator (SLM).
  • SLM Spatial Light Modulator
  • the direct method propagates a desired light wave and encodes it according to the modulation method of the spatial light modulator. This is excellent in terms of hologram acquisition speed because the entire calculation process is performed once, but the quality of the reproduced hologram is poor.
  • the iterative method includes an iterative Fourier Transform Algorithm, a Gerchberg_saxton algorithm, and a stochastic gradient descent based optimization method. A hologram obtained through optimization through repetition of reproduction and reconstruction is excellent in terms of image quality of the reproduced holographic image. This is because errors due to light wave propagation calculation and hologram encoding can be considered through the iterative method.
  • a holographic display is an ultimate display in that a three-dimensional volume can be expressed through a single spatial light modulator.
  • various factors affect the 2D quality and 3D expressive power of holographic images, and there is a trade-off between them. Factors affecting the image quality of a hologram can be largely classified into three categories: the number of overlapping frames, the type of light source, and the phase distribution of the complex field being reproduced.
  • a binary spatial light modulator capable of high-speed driving or a digital micro-reflective indicator is used.
  • direct hologram encoding is performed instead of an iterative optimization process. Due to the incomplete holographic binary encoding, binary holographic images have low contrast values.
  • a technical problem to be achieved by embodiments of the present invention is to provide a method and apparatus for optimizing a holographic display by minimizing noise of a binary hologram capable of high-speed driving.
  • An example of a method for optimizing a holographic display according to an embodiment of the present invention to achieve the above technical problem is predicted by back-propagating target field data composed of a plurality of planes in the depth direction to the complex plane of the spatial light modulator.
  • generating a hologram converting the prediction hologram into a binary hologram; generating predicted field data obtained by propagating the binary hologram to a reproduction surface using an optical system simulation model; calculating a loss function of the predicted field data and the target field data; generating a new prediction hologram for the prediction field data using a stochastic gradient descent method; and repeating the steps from converting to the binary hologram to generating the new prediction hologram until the value of the loss function is less than a predefined threshold.
  • an example of a holographic display device is a prediction hologram by back-propagating target field data composed of a plurality of planes in a depth direction to a complex plane of a spatial light modulator.
  • a back propagation unit to generate; a binarization unit converting the prediction hologram into a binary hologram; a propagation unit generating predicted field data obtained by propagating the binary hologram to a reproduction surface using an optical system simulation model; and an error detection unit that calculates a loss function between the prediction field data and the target field data, wherein the back propagation unit uses a stochastic gradient descent method to make new predictions for the predicted field data so that the value of the loss function becomes smaller.
  • a hologram is generated, and the error detection unit repeats the process of generating the new prediction hologram until the value of the loss function is less than a predefined threshold value.
  • binary noise resulting from binarization of a hologram can be reduced.
  • a high-contrast holographic image with reduced speckle noise can be provided by overlapping hologram frames using a high-speed driving display.
  • FIG. 1 is a diagram showing an example of a method for generating a target image according to an embodiment of the present invention
  • FIG. 2 is a diagram illustrating the concept of propagation and backpropagation according to an embodiment of the present invention
  • FIG. 3 is a diagram showing an example of a method for optimizing a holographic display according to an embodiment of the present invention
  • FIG. 4 is a diagram showing a modified example of a binary operator according to an embodiment of the present invention.
  • FIG. 5 is a diagram showing the configuration of an example of a holographic display device according to an embodiment of the present invention.
  • FIGS. 6 and 7 are diagrams illustrating experimental examples to which a method for optimizing a holographic display according to an embodiment of the present invention is applied.
  • FIG. 1 is a diagram illustrating an example of a method of generating a target image according to an embodiment of the present invention.
  • target images 110 and 130 to be displayed in space through a holographic display are depth images 100 or multi-faceted images 120 (eg, MRI or CT images). ) can be generated from The depth image 100 may be a red, green, blue (RGB) color depth image (RGB-D) or a black and white depth image.
  • RGB red, green, blue
  • RGB-D color depth image
  • various methods of generating the target images 110 and 130 may be applied to this embodiment and are not limited to any one method.
  • this embodiment presents an example of generating the target images 110 and 130 based on the depth image 100 and the multi-faceted image 120 to aid understanding.
  • a target image 110 having a plurality of faces in a depth direction may be generated using a depth image 100 obtained by photographing an object from at least one viewpoint or direction.
  • a target image 110 having a plurality of sides by extracting only intensity information of each pixel according to depth from the depth image 100, the light intensity information of each side of the target image 110 and the real space Since the light intensity information in is different, a large error occurs in the light propagation process. Therefore, it is assumed that the real world observed by humans is composed of non-coherent light, and the intensity information of each surface obtained from the depth image 100 is extracted from each surface of the target image 110 through non-coherent light propagation.
  • the target image 130 may be generated through energy conservation processing. That is, the target image 130 may be generated by performing an energy conservation transform that adjusts the energy of each facet of the multifaceted image 120 for each color (R, G, and B).
  • this embodiment presents the 3D target images 110 and 130 composed of a plurality of planes
  • a target image composed of one plane may be used as another example.
  • the 3D target images 110 and 130 will be used as a reference.
  • the target images 110 and 130 are defined by the method of FIG. 1 or various conventional methods.
  • the present embodiment is not limited to a method of generating a specific target image, and may be implemented using target images generated by various conventional methods.
  • FIG. 2 is a diagram illustrating the concept of propagation and back propagation according to an embodiment of the present invention.
  • forward propagation refers to a process of obtaining a holographic image displayed on a reproduction surface 210 of a space through a spatial light modulator (SLM), and back propagation refers to a process of reproducing a hologram through a spatial light modulator (SLM).
  • SLM spatial light modulator
  • FIG. 3 is a diagram illustrating an example of a method for optimizing a holographic display according to an embodiment of the present invention.
  • a holographic display device (hereinafter referred to as 'device') reverse-propagates target field data 300 to generate a hologram (hereinafter referred to as 'prediction hologram') in a complex plane of the spatial light modulator.
  • the target field data 300 means data having a random phase distribution in the light intensity of each surface of the target images 110 and 130 examined in FIG. 1 . Since the method of calculating the hologram on the complex plane (200 in FIG. 2) of the spatial light modulator by back-propagating the target field data 300 on the reproduction plane (210 in FIG. omit
  • the device converts the predictive hologram (310) to a binary hologram (320).
  • Each pixel of the prediction hologram has a complex value of light intensity and phase.
  • each pixel of a general hologram has intensity and phase values as 8-bit data.
  • the apparatus generates a binary hologram by binarizing the intensity value of each pixel to 0 or 1 by comparing the size of each pixel of the prediction hologram (ie, the absolute value of the complex value of each pixel) with a predefined reference value.
  • the device generates a binary hologram 320 having a binary value by converting the size value of each pixel of the prediction hologram to '1' if the size value is greater than the reference value and to '0' if the size value is smaller than the reference value.
  • the device grasps field data (hereinafter, referred to as 'prediction field data 340') on the reproduction surface through the propagation operation of the binary hologram 320.
  • the device may calculate prediction field data 340 when the binary hologram 320 is propagated to the reproduction surface by using a model that simulates the optical system of the holographic display. It is assumed that the optical system simulation model is predefined in various ways.
  • the device determines the error of the loss function for the predicted field data 340 and the target field data 300 .
  • the device may determine an error using a loss function that cumulatively sums Mean Square Errors (MSE) of each side of the predicted field data 340 and the target field data 300 .
  • MSE Mean Square Errors
  • Various loss functions for determining errors may be applied to this embodiment.
  • the device uses a probability gradient descent (SGD) method in the direction in which the error of the loss function is reduced (340). ) to generate a new prediction hologram 310.
  • the device converts the new prediction hologram 310 into a binary hologram 320 and propagates it to generate new prediction field data 340 .
  • the device repeats the process of generating the prediction hologram 310 and the prediction field data 340 until the error of the loss function between the prediction field data 340 and the target field data 300 is less than a threshold value. If the error of the loss function between the predicted field data 330 and the target field data 300 is less than the threshold value, the device outputs the recently generated prediction hologram 310 as an optimized hologram for the target field data 300. do.
  • FIG. 4 is a diagram illustrating a modified example of a binary operator according to an embodiment of the present invention.
  • each pixel of a binary hologram has a binary value of 0 or 1
  • a binary operator 400 representing each pixel is a non-differentiable function.
  • the apparatus may calculate a differential value by replacing the binary operator 9400 with the hyperbolic tangent function (Htanh(x)) 410 so that the binary operator can be differentiated in the backpropagation process to which the stochastic gradient descent method is applied.
  • Htanh(x) hyperbolic tangent function
  • FIG. 5 is a diagram illustrating the configuration of an example of a holographic display device according to an embodiment of the present invention.
  • the holographic display device 500 includes a back propagation unit 510 , a binarization unit 520 , a propagation unit 530 and an error detection unit 540 .
  • the holographic display device 500 may be implemented as a computing device including an element constituting an optical system such as a spatial light modulator and the configuration of the present embodiment for hologram optimization.
  • the configuration of the present embodiment may be implemented as software and loaded into a memory and then executed by a processor.
  • the back propagation unit 510 generates a prediction hologram by back-propagating the target field data composed of a plurality of planes to the complex plane of the spatial light modulator.
  • the binarization unit 520 converts the prediction hologram into a binary hologram.
  • the binarization unit 520 converts the pixel value into a binary value of 0 or 1 by comparing the magnitude of the value of the complex plane corresponding to each pixel of the prediction hologram with a predefined reference value.
  • the propagation unit 530 generates prediction field data obtained by propagating a binary hologram to a reproduction surface using an optical system simulation model.
  • the error detection unit 540 calculates loss functions of the predicted field data and the target field data.
  • the error detection unit 540 repeatedly performs a process of generating a new prediction hologram using a stochastic gradient descent method until the value of the loss function is less than a predefined threshold value. That is, if the error is less than the critical value, the backpropagation unit 510 generates a new prediction hologram for the prediction field data so that the value of the loss function is minimized using the stochastic gradient descent method, and the binarization unit 520 generates a new prediction hologram. A new binary hologram is generated for , and the propagation unit 530 generates new prediction field data for the new binary hologram.
  • FIGS. 6 and 7 are diagrams illustrating experimental examples to which a method for optimizing a holographic display according to an embodiment of the present invention is applied.
  • FIG. 6 a holographic image reproduced with a depth range of 4.0D at 0.5 diopter (D, the reciprocal of the distance in meters from the eye) through the holographic display is shown.
  • 6A shows a holographic image reproduced by a direct binary hologram encoding method, which is a conventional method, and a method of the present embodiment when a single depth image is provided. It can be seen that the prior art reproduces an image with low contrast, but the method of the present embodiment reproduces an image with high contrast.
  • FIG. 6B shows a comparison between a method of providing a high-quality image by limiting a phase in a 2D holographic image (smooth phase) and the method of the present embodiment.
  • the target image generated through the incoherent propagation described in FIG. 1 exists, it can be seen that the image reproduced by the method of the present embodiment is similar to the target image.
  • FIG. 7 an example of independent hologram reconstruction according to depth is shown. If a 3D object such as MRI or CT exists with information of various cross-sections, it is possible to reconstruct a target image without considering occlusion as described in FIG. 1 .
  • 7A shows a three-dimensional sample of a nerve bundle elongated in the depth direction.
  • a hologram is generated by the method of the present embodiment based on the acquired images of various cross-sections, it can be reconstructed as shown in FIG. 7B. It can be seen that the method of the present embodiment can reproduce an arbitrary wavefront in the depth range in that it can be reconstructed into independent planes according to the depth.
  • Each embodiment of the present invention can also be implemented as computer readable codes on a computer readable recording medium.
  • a computer-readable recording medium includes all types of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, SSD, and optical data storage devices.
  • the computer-readable recording medium may be distributed to computer systems connected through a network to store and execute computer-readable codes in a distributed manner.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Holo Graphy (AREA)

Abstract

홀로그래픽 디스플레이의 최적화 방법 및 그 장치가 개시된다. 홀로그래픽 디스플레이 장치는 깊이 방향으로 복수 개의 면으로 구성된 목표 필드데이터를 공간광변조기의 복소 평면으로 역전파하여 예측 홀로그램을 생성하고, 예측 홀로그램을 이진 홀로그램으로 변환하고, 광학계 모사 모델을 이용하여 이진 홀로그램을 재생면으로 전파한 예측 필드데이터를 생성하고, 예측 필드데이터와 목표 필드데이터의 손실함수를 계산하고, 확률경사하강법을 이용하여 예측 필드데이터에 대한 새로운 예측 홀로그램을 생성하고, 손실함수의 값이 기 정의된 임계값 미만이 될 때까지 예측 홀로그램의 생성과 예측 필드데이터의 생성을 반복 수행한다.

Description

홀로그래픽 디스플레이의 최적화 방법 및 그 장치
본 발명의 실시 예는 홀로그래픽 디스플레이에 관한 것으로, 보다 상세하게는 홀로그래픽 디스플레이의 최적화 방법 및 그 장치에 관한 것이다.
일반적인 홀로그래픽 디스플레이는 가간섭성 광원과 공간광변조기를 이용하여 광파를 복소 변조하고 원하는 복소 파면을 재구성한다. 광파 자체를 연산적으로 재구성할 수 있는 측면에서 차세대 디스플레이의 하나로 손꼽히는 기술이다. 홀로그램의 연산은 광파의 전파 연산, 홀로그램 인코딩 크게 두 가지가 중요하다. 광파의 전파 연산은 기본적으로 레일리-소모필드(rayleigh-sommerfield)의 회절적분식과 그로부터 유도되는 광파 진행식에 기반한다. 그리고 홀로그램 인코딩은 공간광변조기(SLM, Spatial Light Modulator)의 구동 방식에 따라 다르게 진행되는데, 상용화된 공간광변조기의 경우에 진폭 변조 또는 위상 변조의 방식만을 택하기에 이에 맞는 복소 정보를 다르게 인코딩해주어야 한다. 이와 같이 광파의 전파 연산, 홀로그램 인코딩 등을 고려한 홀로그램 생성에는 직접(direct) 방식과 반복(iterative) 방식이 존재한다. 직접 방식은 원하는 광파를 전파하고, 공간광변조기의 변조 방식에 맞춰 인코딩하는 방식이다. 이는 전체적인 연산 과정이 한 번이기에 홀로그램 획득 속도 면에서는 우수하나, 재생된 홀로그램의 품질은 떨어진다. 반복 방식은 반복적 푸리에 변환 알고리즘(iterative Fourier Transform Algorithm), Gerchberg_saxton 알고리즘, 확률경사강사(Stochastic Gradient Descent) 기반 최적화 방식이 있다. 이러한 재생과 재구성의 반복을 통한 최적화로 획득된 홀로그램은 재생된 홀로그래픽 이미지 화질 측면에서 우수하다. 이는 반복적 방식을 통해서 광파의 전파 연산, 홀로그램 인코딩에 기인한 오차를 모두 고려할 수 있기 때문이다.
홀로그래픽 디스플레이는 하나의 공간광변조기를 통해 3차원 볼륨 표현이 가능하다는 점에서 궁극의 디스플레이임이 알려져 있다. 그러나 다양한 요인들이 홀로그래픽 이미지의 2차원 화질, 3차원 표현력에 영향을 주고 이에 따른 상충관계가 존재한다. 홀로그램의 화질에 영향을 주는 요소는 중첩되는 프레임의 개수, 광원의 종류, 재생되는 복소 필드의 위상 분포와 같이 크게 3가지로 분류할 수 있다.
하나의 홀로그램 프레임이 레이저 광원을 사용하여 재생되고 재생된 복소 필드의 위상이 (-π,π]의 영역에서 균일하게 분포한 경우는 스페클 노이즈가 심하여 2차원 이미지의 화질이 낮은 반면, 3차원 표현력이 준수하다. 동일한 홀로그램을 가간섭성이 낮은 광원으로 재생하면 스페클 노이즈가 저감되지만, 2차원 이미지의 대비가 낮아지며 3차원 표현력 또한 떨어지게 된다. 재생된 복소 필드의 위상 분포를 제한시킨 홀로그램을 재생하면 스페클 노이즈가 저장되는 효과가 있으며 대비가 높은 2차원 이미지가 재생되지만, 좁은 대역폭으로 인해 3차원 표현력이 떨어진다. 그러나 복소 필드의 위상분포를 (-π,π]의 영역에서 균일하게 가져가는 동시에, 레이저 광원을 사용하면서 여러 개의 홀로그램을 고속으로 중첩시켜 재생시키면, 스페클 노이즈가 저감되는 효과를 얻어서 2차원 이미지의 화질이 좋고, 위상분포의 제한을 주지 않았기에 3차원 표현력의 손실 또한 없다.
종래의 홀로그래픽 디스플레이에서는 3차원 표현력의 손실 없이 스페클 저감 효과를 얻기 위해 여러 장의 홀로그램 프레임을 중첩시킨다. 이때 고속 구동이 가능한 이진 공간광변조기 또는 디지털 미소 반사 표시기를 활용한다. 그러나 종래의 기술에서는 이진 홀로그램 획득에 있어서 반복적인 최적화 과정이 아닌 직접적인 홀로그램 인코딩을 진행한다. 불완전한 홀로그램 이진 인코딩으로 인해 이진 홀로그래픽 이미지는 낮은 대비값을 지닌다.
본 발명의 실시 예가 이루고자 하는 기술적 과제는, 고속 구동이 가능한 이진 홀로그램의 노이즈를 최소화하여 홀로그래픽 디스플레이를 최적화하는 방법 및 그 장치를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 홀로그래픽 디스플레이의 최적화 방법의 일 예는, 깊이 방향으로 복수 개의 면으로 구성된 목표 필드데이터를 공간광변조기의 복소 평면으로 역전파하여 예측 홀로그램을 생성하는 단계; 상기 예측 홀로그램을 이진 홀로그램으로 변환하는 단계; 광학계 모사 모델을 이용하여 상기 이진 홀로그램을 재생면으로 전파한 예측 필드데이터를 생성하는 단계; 상기 예측 필드데이터와 상기 목표 필드데이터의 손실함수를 계산하는 단계; 확률경사하강법을 이용하여 상기 예측 필드데이터에 대한 새로운 예측 홀로그램을 생성하는 단계; 및 상기 손실함수의 값이 기 정의된 임계값 미만이 될 때까지 상기 이진 홀로그램으로 변환하는 단계부터 상기 새로운 예측 홀로그램을 생성하는 단계까지를 반복 수행하는 단계;를 포함한다.
상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 홀로그래픽 디스플레이 장치의 일 예는, 깊이 방향으로 복수 개의 면으로 구성된 목표 필드데이터를 공간광변조기의 복소 평면으로 역전파하여 예측 홀로그램을 생성하는 역전파부; 상기 예측 홀로그램을 이진 홀로그램으로 변환하는 이진화부; 광학계 모사 모델을 이용하여 상기 이진 홀로그램을 재생면에 전파한 예측 필드데이터를 생성하는 전파부; 상기 예측 필드데이터와 상기 목표 필드데이터의 손실함수를 계산하는 오차파악부;를 포함하고, 상기 역전파부는, 손실함수의 값이 작아지도록 확률경사하강법을 이용하여 상기 예측 필드데이터에 대한 새로운 예측 홀로그램을 생성하고, 상기 오차파악부는, 상기 손실함수의 값이 기 정의된 임계값 미만이 될 때까지 상기 새로운 예측 홀로그램을 생성하는 과정을 반복 수행한다.
본 발명의 실시 예에 따르면, 홀로그램의 이진화로부터 기인하는 이진 노이즈를 저감시킬 수 있다. 고속 구동 디스플레이를 활용하여 홀로그램 프레임의 중첩이 가능하여 스페클 노이즈가 저감된 고대비 홀로그래픽 이미지의 제공이 가능하다.
도 1은 본 발명의 실시 예에 따른 목표 이미지의 생성 방법의 일 예를 도시한 도면,
도 2는 본 발명의 실시 예에 따른 전파 및 역전파의 개념을 도시한 도면,
도 3은 본 발명의 실시 예에 따른 홀로그래픽 디스플레이의 최적화 방법의 일 예를 도시한 도면,
도 4는 본 발명의 실시 예에 따른 이진 연산자의 변형 예를 도시한 도면,
도 5는 본 발명의 실시 예에 따른 홀로그래픽 디스플레이 장치의 일 예의 구성을 도시한 도면, 그리고,
도 6 및 도 7은 본 발명의 실시 예에 따른 홀로그래픽 디스플레이의 최적화 방법을 적용한 실험 예를 도시한 도면이다.
이하에서, 첨부된 도면들을 참조하여 본 발명의 실시 예에 따른 홀로그래픽 디스플레이의 최적화 방법 및 그 장치에 대해 상세히 살펴본다.
도 1은 본 발명의 실시 예에 따른 목표 이미지의 생성 방법의 일 예를 도시한 도면이다.
도 1을 참조하면, 홀로그래픽 디스플레이를 통해 공간상에 표시하고자 하는 목표 이미지(110,130)는 깊이 이미지(depth image)(100) 또는 다면으로 구성된 이미지(120)(예를 들어, MRI 또는 CT 이미지 등)로부터 생성될 수 있다. 깊이 이미지(100)는 RGB(red, green, blue)의 컬러 깊이 이미지(RGB-D)이거나 흑백 깊이 이미지일 수 있다. 이 외에도, 목표 이미지(110,130)를 생성하는 다양한 다양한 방법이 본 실시 예에 적용될 수 있으며 어느 하나의 방법으로 한정되는 것은 아니다. 다만, 본 실시 예는 이해를 돕기 위하여 깊이 이미지(100)와 다면 이미지(120)를 기초로 목표 이미지(110,130)를 생성하는 일 예를 제시한다.
일 예로, 객체를 적어도 하나 이상의 시점 또는 방향에서 촬영하여 획득한 깊이 이미지(100)를 이용하여 깊이 방향에 대한 복수의 면을 가진 목표 이미지(110)를 생성할 수 있다. 깊이 이미지(100)로부터 깊이에 따른 각 픽셀의 세기(intensity) 정보만을 추출하여 복수의 면을 가진 목표 이미지(110)를 생성하는 경우에 목표 이미지(110)의 각 면의 광 세기 정보와 실제 공간에서의 광 세기 정보가 다르므로, 광 전파 과정에서 오차가 크게 발생한다. 따라서 사람이 관측하는 실제 세계는 비간섭광으로 이루어져 있다 가정하고, 깊이 이미지(100)로부터 얻어진 각 면의 세기 정보를 비간섭광 전파를 통해 목표 이미지(110)의 각 면에서의 이미지를 추출할 수 있다.
다른 예로, 다면 이미지(120)의 경우 에너지 보존에 대한 처리를 통해 목표 이미지(130)를 생성할 수 있다. 즉, 다면 이미지(120)의 각 면의 에너지를 컬러(R,G,B)별로 맞춰주는 에너지 보존 트랜스폼을 수행하여 목표 이미지(130)를 생성할 수 있다.
본 실시 예는 복수의 면으로 구성된 3차원 목표 이미지(110,130)를 제시하고 있으나, 다른 예로 하나의 면으로 구성된 목표 이미지가 사용될 수 있다. 다만 이하에서는 설명의 편의를 위하여 3차원 목표 이미지(110,130)를 기준으로 설명한다.
이하에서, 본 실시 예는 도 1의 방법 또는 종래의 다양한 방법으로 목표 이미지(110,130)가 정의되어 있다고 가정한다. 다시 말해, 본 실시 예는 특정 목표 이미지의 생성 방법에 한정되는 것은 아니며 종래의 다양한 방법으로 생성된 목표 이미지를 이용하여 구현될 수 있다.
도 2는 본 발명의 실시 예에 따른 전파 및 역전파의 개념을 도시한 도면이다.
도 2를 참조하면, 전파(forward propagation)는 홀로그램을 공간광변조기(SLM)를 통해 공간의 재생면(210)에 표시되는 홀로그래픽 이미지를 구하는 과정을 의미하고, 역전파(back propagation)는 재생면(210)의 홀로그래픽 이미지에 대한 공간광변조기의 복소 평면(200)의 홀로그램을 구하는 과정을 의미한다.
도 3은 본 발명의 실시 예에 따른 홀로그래픽 디스플레이의 최적화 방법의 일 예를 도시한 도면이다.
도 3을 참조하면, 홀로그래픽 디스플레이 장치(이하, '장치'라 함)는 목표 필드데이터(300)를 역전파하여 공간광변조기의 복소 평면에서의 홀로그램(이하, '예측 홀로그램'이라 함)을 계산한다. 여기서 목표 필드데이터(300)는 도 1에서 살펴본 목표 이미지(110,130)의 각 면의 광 세기에 랜덤 위상 분포를 갖는 데이터를 의미한다. 재생면(도 2의 210)의 목표 필드데이터(300)를 역전파하여 공간광변조기의 복소 평면(도 2의 200)에서의 홀로그램을 계산하는 방법 그 자체는 이미 알려진 기술이므로 이에 대한 추가적인 설명은 생략한다.
장치는 예측 홀로그램(310)을 이진 홀로그램(320)으로 변환한다. 예측 홀로그램의 각 픽셀은 광 세기와 위상의 복소수 값을 가진다. 예를 들어, 일반적인 홀로그램의 각 픽셀은 8비트의 데이터로 세기와 위상의 값을 가진다. 장치는 예측 홀로그램의 각 픽셀의 크기(즉, 각 픽셀의 복소수값의 절대값)와 기 정의된 기준값을 비교하여 각 픽셀의 세기 값을 0 또는 1로 이진화하여 이진 홀로그램을 생성한다. 즉, 장치는 예측 홀로그램의 각 픽셀의 크기값이 기준값보다 크면 '1', 작으면 '0'으로 변환하여, 이진값을 가지는 이진 홀로그램(320)을 생성한다.
장치는 이진 홀로그램(320)의 전파 연산을 통해 재생면에서의 필드데이터(이하, '예측 필드데이터(340)'라 함)를 파악한다. 장치는 홀로그래픽 디스플레이의 광학계를 모사한 모델을 이용하여 이진 홀로그램(320)을 재생면으로 전파하였을 때의 예측 필드데이터(340)를 계산할 수 있다. 광학계 모사 모델은 다양한 방법으로 미리 정의되어 있다고 가정한다.
장치는 예측 필드데이터(340)와 목표 필드데이터(300)에 대한 손실함수의 오차를 파악한다. 예를 들어, 장치는 예측 필드데이터(340)와 목표 필드데이터(300)의 각 면의 평균제곱오차(MSE, Mean Square Error)를 누적 합산하는 손실함수를 이용하여 오차를 파악할 수 있다. 오차 파악을 위한 다양한 손실함수가 본 실시 예에 적용될 수 있다.
장치는 예측 필드데이터(340)와 목표 필드데이터(300) 사이의 오차가 기 정의된 임계값 이상이면, 확률경사하강(SGD) 방법을 이용하여 손실함수의 오차가 줄어드는 방향으로 예측 필드데이터(340)를 역전파하여 새로운 예측 홀로그램(310)을 생성한다. 장치는 새로운 예측 홀로그램(310)을 이진 홀로그램(320)으로 변환하고, 이를 전파하여 새로운 예측 필드데이터(340)를 생성한다. 장치는 예측 필드데이터(340)와 목표 필드데이터(300)의 손실함수의 오차가 임계값 미만이 될 때까지 예측 홀로그램(310)의 생성과 예측 필드데이터(340)의 생성 과정을 반복 수행한다. 장치는 예측 필드데이터(330)와 목표 필드데이터(300) 사이의 손실함수의 오차가 임계값 미만이면, 최근에 생성된 예측 홀로그램(310)을 목표 필드데이터(300)에 대한 최적화된 홀로그램으로 출력한다.
도 4는 본 발명의 실시 예에 따른 이진 연산자의 변형 예를 도시한 도면이다.
도 4를 참조하면, 이진 홀로그램의 각 픽셀은 0 또는 1의 이진값을 가지므로 각 픽셀을 나타내는 이진 연산자(400)는 미분 불가능한 함수이다. 장치는 확률경사하강 방법을 적용한 역전파 과정에서 이진 연산자의 미분이 가능하도록 이진 연산자9400)를 하이퍼볼릭탄젠트함수(Htanh(x))(410)로 치환하여 미분값을 계산할 수 있다.
도 5는 본 발명의 실시 예에 따른 홀로그래픽 디스플레이 장치의 일 예의 구성을 도시한 도면이다.
도 5를 참조하면, 홀로그래픽 디스플레이 장치(500)는 역전파부(510), 이진화부(520), 전파부(530) 및 오차파악부(540)를 포함한다. 홀로그래픽 디스플레이 장치(500)는 공간광변조기 등의 광학계를 구성하는 소자와 홀로그램 최적화를 위한 본 실시 예의 구성을 포함하는 컴퓨팅 장치로 구현될 수 있다. 예를 들어, 본 실시 예의 구성은 소프트웨어로 구현되어 메모리에 탑재된 후 프로세서에 의해 수행될 수 있다.
역전파부(510)는 복수 개의 면으로 구성된 목표 필드데이터를 공간광변조기의 복소 평면으로 역전파하여 예측 홀로그램을 생성한다.
이진화부(520)는 예측 홀로그램을 이진 홀로그램으로 변환한다. 이진화부(520)는 예측 홀로그램의 각 픽셀에 해당하는 복소 평면의 값의 크기와 기 정의된 기준값을 비교하여 픽셀의 값을 0 또는 1의 이진값으로 변환한다.
전파부(530)는 광학계 모사 모델을 이용하여 이진 홀로그램을 재생면에 전파한 예측 필드데이터를 생성한다.
오차파악부(540)는 예측 필드데이터와 상기 목표 필드데이터의 손실함수를 계산한다. 오차파악부(540)는 손실함수의 값이 기 정의된 임계값 미만이 될 때까지 새로운 예측 홀로그램을 생성하는 과정을 확률경사하강법을 이용하여 반복 수행한다. 즉, 오차가 임계값 미만이면, 역전파부(510)는 확률경사하강법을 이용하여 손실함수의 값이 최소가 되도록 예측 필드데이터에 대한 새로운 예측 홀로그램 생성하고, 이진화부(520)는 새로운 예측 홀로그램에 대한 새로운 이진 홀로그램을 생성하고, 전파부(530)는 새로운 이진 홀로그램에 대한 새로운 예측 필드데이터를 생성한다.
도 6 및 도 7은 본 발명의 실시 예에 따른 홀로그래픽 디스플레이의 최적화 방법을 적용한 실험 예를 도시한 도면이다.
도 6을 참조하면, 홀로그래픽 디스플레이를 통해 0.5 디옵터(D, 눈과의미터 단위 거리의 역수)에서 4.0D의 깊이 범위를 재생한 홀로그래픽 이미지가 도시되어 있다. 도 6a는 하나의 깊이 이미지가 제공될 때 종래의 방법인 직접적인 이진 홀로그램 인코딩 방법과 본 실시 예의 방법으로 재생된 홀로그래픽 이미지를 나타낸다. 종래 기술은 대비가 낮은 이미지를 재생하지만, 본 실시 예의 방법은 대비가 높은 이미지를 재생함을 알 수 있다. 도 6b는 2차원 홀로그램 이미지에서 위상을 제한하여 고화질의 이미지를 제공하는 방법(smooth phase)과 본 실시 예의 방법을 비교 도시하고 있다. 도 1에서 설명한 비간섭성 전파를 통해 생성한 목표 이미지가 존재할 때 본 실시 예의 방법으로 재생한 이미지가 목표 이미지와 유사함을 알 수 있다.
도 7을 참조하면, 깊이에 따라 독립적인 홀로그램 재구성의 예시가 도시되어 있다. MRI와 CT 등과 같이 3차원 물체가 여러 단면의 정보들로 존재한다면, 도 1에서 설명한 바와 같이 오클루전(occlustion)을 고려하지 않고 목표 이미지의 재구성이 가능하다. 도 7a는 깊이 방향으로 길쭉한 신경 다발의 3차원 샘플을 나타낸다. 이때 획득한 여러 단면들의 이미지를 기반으로 본 실시 예의 방식으로 홀로그램을 생성하면 도 7b와 같이 재구성 가능하다. 깊이에 따라 독립적인 면들로 재구성할 수 있다는 점에서 본 실시 예의 방법은 깊이 범위의 임의의 파면을 재현할 수 있음을 알 수 있다.
본 발명의 각 실시 예는 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, SSD, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (7)

  1. 깊이 방향으로 복수 개의 면으로 구성된 목표 필드데이터를 공간광변조기의 복소 평면으로 역전파하여 예측 홀로그램을 생성하는 단계;
    상기 예측 홀로그램을 이진 홀로그램으로 변환하는 단계;
    광학계 모사 모델을 이용하여 상기 이진 홀로그램을 재생면으로 전파한 예측 필드데이터를 생성하는 단계;
    상기 예측 필드데이터와 상기 목표 필드데이터의 손실함수를 계산하는 단계;
    확률경사하강법을 이용하여 상기 예측 필드데이터에 대한 새로운 예측 홀로그램을 생성하는 단계; 및
    상기 손실함수의 값이 기 정의된 임계값 미만이 될 때까지 상기 이진 홀로그램으로 변환하는 단계부터 상기 새로운 예측 홀로그램을 생성하는 단계까지를 반복 수행하는 단계;를 포함하는 것을 특징으로 하는 홀로그래픽 디스플레이의 최적화 방법.
  2. 제 1항에 있어서, 상기 이진 홀로그램으로 변환하는 단계는,
    상기 예측 홀로그램의 각 픽셀에 해당하는 복소 평면의 값의 크기와 기 정의된 기준값을 비교하여 상기 픽셀의 값을 0 또는 1의 이진값으로 변환하는 단계;를 포함하는 것을 특징으로 하는 홀로그래픽 디스플레이의 최적화 방법.
  3. 제 1항에 있어서, 상기 새로운 예측 홀로그램을 생성하는 단계는,
    이진값을 나타내는 이진 함수를 하이퍼볼릭탄젠트함수로 치환하여 상기 확률경사하강법을 적용하는 단계를 포함하는 것을 특징으로 하는 홀로그래픽 디스플레이의 최적화 방법.
  4. 깊이 방향으로 복수 개의 면으로 구성된 목표 필드데이터를 공간광변조기의 복소 평면으로 역전파하여 예측 홀로그램을 생성하는 역전파부;
    상기 예측 홀로그램을 이진 홀로그램으로 변환하는 이진화부;
    광학계 모사 모델을 이용하여 상기 이진 홀로그램을 재생면에 전파한 예측 필드데이터를 생성하는 전파부;
    상기 예측 필드데이터와 상기 목표 필드데이터의 손실함수를 계산하는 오차파악부;를 포함하고,
    상기 역전파부는, 손실함수의 값이 작아지도록 확률경사하강법을 이용하여 상기 예측 필드데이터에 대한 새로운 예측 홀로그램을 생성하고,
    상기 오차파악부는, 상기 손실함수의 값이 기 정의된 임계값 미만이 될 때까지 상기 새로운 예측 홀로그램을 생성하는 과정을 반복 수행하는 것을 특징으로 하는 홀로그래픽 디스플레이 장치.
  5. 제 4항에 있어서, 상기 이진화부는,
    상기 예측 홀로그램의 각 픽셀에 해당하는 복소 평면의 값의 크기와 기 정의된 기준값을 비교하여 상기 픽셀의 값을 0 또는 1의 이진값으로 변환하는 것을 특징으로 하는 홀로그래픽 디스플레이 장치.
  6. 제 4항에 있어서, 상기 역전파부는,
    이진값을 나타내는 이진 함수를 하이퍼볼릭탄젠트함수로 치환하여 상기 확률경사하강법을 적용하는 것을 특징으로 하는 홀로그래픽 디스플레이 장치.
  7. 제 4항에 기재된 방법을 수행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2022/009237 2021-12-29 2022-06-28 홀로그래픽 디스플레이의 최적화 방법 및 그 장치 WO2023128088A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0191826 2021-12-29
KR1020210191826A KR102683827B1 (ko) 2021-12-29 2021-12-29 홀로그래픽 디스플레이의 최적화 방법 및 그 장치

Publications (1)

Publication Number Publication Date
WO2023128088A1 true WO2023128088A1 (ko) 2023-07-06

Family

ID=86999435

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/009237 WO2023128088A1 (ko) 2021-12-29 2022-06-28 홀로그래픽 디스플레이의 최적화 방법 및 그 장치

Country Status (2)

Country Link
KR (1) KR102683827B1 (ko)
WO (1) WO2023128088A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110251982A1 (en) * 2010-03-06 2011-10-13 Eric John Dluhos Holographic computer system
KR20210126490A (ko) * 2020-04-10 2021-10-20 삼성전자주식회사 이미지 및 포즈 변화에 기반한 깊이맵 재투사 방법 및 xr 표시 장치
US20210326690A1 (en) * 2020-04-20 2021-10-21 The University Of North Carolina At Chapel Hill High-speed computer generated holography using convolutional neural networks
US20210389724A1 (en) * 2018-09-14 2021-12-16 Northwestern University Holographic display system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101990092B1 (ko) * 2017-03-24 2019-06-17 주식회사 엔씨소프트 영상 압축 장치 및 방법
KR102277100B1 (ko) * 2020-01-29 2021-07-15 광운대학교 산학협력단 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110251982A1 (en) * 2010-03-06 2011-10-13 Eric John Dluhos Holographic computer system
US20210389724A1 (en) * 2018-09-14 2021-12-16 Northwestern University Holographic display system
KR20210126490A (ko) * 2020-04-10 2021-10-20 삼성전자주식회사 이미지 및 포즈 변화에 기반한 깊이맵 재투사 방법 및 xr 표시 장치
US20210326690A1 (en) * 2020-04-20 2021-10-21 The University Of North Carolina At Chapel Hill High-speed computer generated holography using convolutional neural networks

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LEE MOON HWAN, HWANG JAE YOUN: "Development of deep learning-based holographic ultrasound generation algorithm", THE JOURNAL OF THE ACOUSTICAL SOCIETY OF KOREA., vol. 40, no. 2, 27 February 2021 (2021-02-27), pages 169 - 175, XP093075075, DOI: 10.7776/ASK.2021.40.2.169 *

Also Published As

Publication number Publication date
KR102683827B1 (ko) 2024-07-10
KR20230101592A (ko) 2023-07-06

Similar Documents

Publication Publication Date Title
CN101512445B (zh) 借助亚全息图实时生成视频全息图的方法
KR101442851B1 (ko) 컴퓨터 형성 홀로그램을 부호화하는 방법
CN107301458B (zh) 基于强度传输方程的相位优化方法
US10895842B2 (en) Hologram generation apparatus and method thereof
US20230205133A1 (en) Real-time Photorealistic 3D Holography With Deep Neural Networks
KR100973031B1 (ko) 룩업 테이블과 영상의 시간적 중복성을 이용한 3차원 동영상 컴퓨터 형성 홀로그램 생성 방법 및 그 장치
KR101021127B1 (ko) 룩업 테이블과 영상의 공간적 중복성을 이용한 컴퓨터 형성 홀로그램 산출 방법 및 그 장치
US7800035B2 (en) Optical wavefront control pattern generating apparatus and optical wavefront control pattern generating method
US10996628B2 (en) Apparatus and method for evaluating hologram encoding/holographic image quality for amplitude-modulation hologram
WO2023128088A1 (ko) 홀로그래픽 디스플레이의 최적화 방법 및 그 장치
Yang et al. Perceptually motivated loss functions for computer generated holographic displays
Shiomi et al. Fast hologram calculation method using wavelet transform: WASABI-2
KR20210095433A (ko) 고속으로 위상 홀로그램을 생성하는 딥러닝 모델과 그것의 학습 방법
Gilles et al. Open access dataset of holographic videos for codec analysis and machine learning applications
Sun et al. High-quality reconstruction of single-pixel imaging using discrete W transform
US10996627B2 (en) Image data processing method and apparatus
KR20220071093A (ko) 디지털 홀로그램 생성 방법
Eybposh et al. Perceptual quality assessment in holographic displays with a semi-supervised neural network
WO2024143609A1 (ko) 홀로그램 패턴의 재현 파장 변환방법 및 그 장치
KR102612045B1 (ko) 디지털 홀로그램 구현 장치의 동작 방법
JP7410013B2 (ja) 計算機合成ホログラム生成装置、方法及びプログラム
WO2024128386A1 (ko) 홀로그램 스케일링 방법 및 그 장치
KR102683828B1 (ko) 홀로그래픽 디스플레이의 최적화 방법 및 그 장치
Chen et al. An image decryption technology based on machine learning in an irreversible encryption system
Wilkinson et al. Perceptually motivated loss functions for computer generated holographic displays

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22916243

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE