KR102501302B1 - Method and apparatus for generating multi-depth hologram - Google Patents

Method and apparatus for generating multi-depth hologram Download PDF

Info

Publication number
KR102501302B1
KR102501302B1 KR1020200176605A KR20200176605A KR102501302B1 KR 102501302 B1 KR102501302 B1 KR 102501302B1 KR 1020200176605 A KR1020200176605 A KR 1020200176605A KR 20200176605 A KR20200176605 A KR 20200176605A KR 102501302 B1 KR102501302 B1 KR 102501302B1
Authority
KR
South Korea
Prior art keywords
hologram
image set
images
neural network
depth
Prior art date
Application number
KR1020200176605A
Other languages
Korean (ko)
Other versions
KR20220086289A (en
Inventor
이병호
이주현
정진수
유동헌
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020200176605A priority Critical patent/KR102501302B1/en
Priority to PCT/KR2021/004289 priority patent/WO2022131452A1/en
Publication of KR20220086289A publication Critical patent/KR20220086289A/en
Application granted granted Critical
Publication of KR102501302B1 publication Critical patent/KR102501302B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00—Hologram nature or properties
    • G03H2240/10—Physical parameter modulated by the hologram
    • G03H2240/13—Amplitude and phase complex modulation

Abstract

일부 실시예에 따르면, 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시키고, 객체의 깊이 데이터로부터 기 설정된 개수의 깊이 레이어들에 대한 복수의 깊이 이미지들을 획득하고, 학습된 신경망에 기초하여, 획득된 복수의 깊이 이미지들로부터 실수부와 허수부로 구성된 복소 홀로그램을 출력하는, 다중 심도 표현이 가능한 홀로그램을 생성하는 방법이 개시된다.According to some embodiments, a neural network is trained using a plurality of virtual depth images and a target complex hologram, a plurality of depth images of a preset number of depth layers are acquired from depth data of an object, and the learned neural network A method for generating a hologram capable of representing multiple depths is disclosed, which outputs a complex hologram composed of a real part and an imaginary part from a plurality of obtained depth images based on .

Description

다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치 {Method and apparatus for generating multi-depth hologram}Method and apparatus for generating multi-depth hologram capable of expressing multi-depth {Method and apparatus for generating multi-depth hologram}

본 개시는 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치에 관한 것이다.The present disclosure relates to a method and apparatus for generating a hologram capable of expressing multiple depths.

홀로그램은, 빛의 진폭 및 위상을 조절하여 3D 공간 상에 객체를 재현함에 따라, 시야의 제한이 없고 입체 피로가 거의 없는 3D 공간 표현 기술의 일종이다. 따라서, 빛의 진폭 또는 위상을 제어할 수 있는 공간 광 변조기(Spatial Light Modulator(SLM))를 이용하여 실시간으로 고해상도 홀로그램을 구현하는 디바이스들이 많이 개발되고 있다. 홀로그램은, 물체파와 참조파의 간섭 패턴(interference pattern)을 이용하여 3D 공간 상에 표시될 수 있다. 최근에는 홀로그램을 재생하기 위한 간섭 패턴을 프로세싱함으로써 평면 디스플레이(flat panel display) 상에서 홀로그램을 제공할 수 있는 컴퓨터 생성 홀로그램(computer-generated hologram: CGH)이 활용되고 있다. 디지털 홀로그램을 생성하는 방법, 예를 들어 CGH는, 광학 신호들을 근사화하고 수학적 연산을 통해 생성된 간섭 패턴을 계산함으로써, 홀로그램을 생성한다. 디지털 홀로그램 생성 방법은, 객체가 3D 포인트들, 폴리곤들, 또는 깊이 데이터들 등의 다양한 데이터의 집합으로 구성된다는 점에 기초하여, 객체를 구성하는 객체 데이터들을 계산함으로써, 완성된 홀로그램을 표현한다.A hologram is a kind of 3D space expression technology that has no restrictions on the field of view and almost no 3D fatigue by reproducing an object in a 3D space by adjusting the amplitude and phase of light. Accordingly, many devices that implement high-resolution holograms in real time using a Spatial Light Modulator (SLM) capable of controlling the amplitude or phase of light are being developed. A hologram may be displayed on a 3D space using an interference pattern of an object wave and a reference wave. Recently, computer-generated hologram (CGH), which can provide a hologram on a flat panel display by processing an interference pattern to reproduce the hologram, has been utilized. A method of generating a digital hologram, eg CGH, creates a hologram by approximating optical signals and calculating an interference pattern generated through mathematical operations. A digital hologram generation method expresses a completed hologram by calculating object data constituting an object based on the fact that an object is composed of a set of various data such as 3D points, polygons, or depth data.

최근 이러한 디지털 홀로그램 생성에도 신경망 학습을 도입하고자 하는 시도들이 늘어나고 있다. 그 중, 생산적 적대 신경망(Generative adversarial network: GAN)을 이용하여 포인트 클라우드 기반의 디지털 홀로그램을 생성하는 방법은, 한번에 하나의 점광원에 대한 홀로그램을 생성할 수 있으므로 하나의 이미지에 대한 홀로그램을 생성하기 위해서는 반복적인 계산이 요구된다. 또한, 심층 신경망(Deep neural network: DNN)을 이용하여 랜덤 위상과 랜덤 스페클 기반의 디지털 홀로그램을 생성하는 방법은, 신경망 학습이 하나의 깊이 레이어에 대해서만 진행되므로, 3차원 입체 정보를 표현하는 홀로그램을 생성하기 위해서는 수 차례의 학습이 요구된다.Recently, attempts to introduce neural network learning to such digital hologram generation are increasing. Among them, a method for generating a point cloud-based digital hologram using a generative adversarial network (GAN) can generate a hologram for one point light source at a time, so it is difficult to generate a hologram for one image. For this, iterative calculations are required. In addition, in the method of generating a digital hologram based on random phase and random speckle using a deep neural network (DNN), since neural network learning proceeds only for one depth layer, a hologram representing 3D stereoscopic information Several rounds of learning are required to generate .

다양한 실시예들은 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치를 제공하는데 있다. 본 개시가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.Various embodiments are to provide a method and apparatus for generating a hologram capable of representing multiple depths. The technical problem to be achieved by the present disclosure is not limited to the technical problems described above, and other technical problems may be inferred from the following embodiments.

상술한 기술적 과제를 해결하기 위한 수단으로서, 일 측면에 따른 다중 심도 표현이 가능한 홀로그램을 생성하는 방법은, 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시키는 단계; 객체의 깊이 데이터로부터 기 설정된 개수의 깊이 레이어들에 대한 복수의 깊이 이미지들을 획득하는 단계; 및 상기 학습된 신경망에 기초하여, 상기 획득된 복수의 깊이 이미지들로부터 실수부와 허수부로 구성된 복소 홀로그램을 출력하는 단계를 포함할 수 있다.As a means for solving the above-described technical problem, a method for generating a hologram capable of expressing multiple depths according to an aspect includes training a neural network using a plurality of virtual depth images and a target complex hologram; obtaining a plurality of depth images of a preset number of depth layers from depth data of an object; and outputting a complex hologram composed of a real part and an imaginary part from the obtained plurality of depth images based on the learned neural network.

일부 실시예에 따르면, 상기 복수의 가상의 깊이 이미지들은 제1 이미지 세트 및 제2 이미지 세트를 포함하고, 각각의 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 서로 다를 수 있다.According to some embodiments, the plurality of virtual depth images may include a first image set and a second image set, and at least one of densities and shapes of figures constituting each image set may be different from each other.

예를 들어, 상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며, 상기 제2 이미지 세트는 상기 제1 이미지 세트와 상기 밀도가 다른 복수의 점들 또는 상기 형상이 다른 복수의 원들로 구성된 복수의 이미지들 일 수 있다.For example, the first image set is a plurality of images composed of a plurality of dots, and the second image set is composed of a plurality of dots having a different density or a plurality of circles having a different shape from the first image set. may be images of

또한, 상기 복수의 가상의 깊이 이미지들은 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 상기 제1 이미지 세트 및 상기 제2 이미지 세트와 다른, 제3 이미지 세트를 더 포함할 수 있다.In addition, the plurality of virtual depth images may further include a third image set different from the first image set and the second image set in at least one of density and shape of figures constituting the image set.

예를 들어, 상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며, 상기 제2 이미지 세트는 상기 제1 이미지 세트와 상기 밀도가 다른 복수의 점들로 구성된 복수의 이미지들이며, 상기 제3 이미지 세트는 상기 제1 이미지 세트 및 상기 제2 이미지 세트와 상기 형상이 다른 복수의 원들로 구성된 복수의 이미지들일 수 있다.For example, the first image set is a plurality of images composed of a plurality of dots, the second image set is a plurality of images composed of a plurality of dots having a different density from the first image set, and the third image set is a plurality of images composed of a plurality of dots. The set may be a plurality of images composed of a plurality of circles having different shapes from the first image set and the second image set.

또한, 상기 복소 홀로그램을 진폭 홀로그램 또는 위상 홀로그램으로 인코딩하는 단계를 더 포함할 수 있다.The method may further include encoding the complex hologram into an amplitude hologram or a phase hologram.

다른 측면에 따르면, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치에 있어서, 적어도 하나의 프로그램이 저장된 메모리; 및 상기 적어도 하나의 프로그램을 실행함으로써 다중 심도 표현이 가능한 홀로그램을 생성하는 프로세서를 포함하고, 상기 프로세서는 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시키고, 객체의 깊이 데이터로부터 기 설정된 개수의 깊이 레이어들에 대한 복수의 깊이 이미지들을 획득하고, 상기 학습된 신경망에 기초하여, 상기 획득된 복수의 깊이 이미지들로부터 실수부와 허수부로 구성된 복소 홀로그램을 출력할 수 있다.According to another aspect, an apparatus for generating a hologram capable of representing multiple depths includes: a memory in which at least one program is stored; and a processor that generates a hologram capable of expressing multiple depths by executing the at least one program, wherein the processor learns a neural network using a plurality of virtual depth images and a target complex hologram, and uses depth data of an object to generate a hologram. A plurality of depth images of a preset number of depth layers may be acquired, and a complex hologram composed of a real part and an imaginary part may be output from the obtained plurality of depth images based on the learned neural network.

일부 실시예에 따르면, 상기 복수의 깊이 이미지들은 제1 이미지 세트 및 제2 이미지 세트를 포함하고, 각각의 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 서로 다를 수 있다.According to some embodiments, the plurality of depth images may include a first image set and a second image set, and at least one of densities and shapes of figures constituting each image set may be different from each other.

예를 들어, 상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며, 상기 제2 이미지 세트는 상기 제1 이미지 세트와 상기 밀도가 다른 복수의 점들 또는 상기 형상이 다른 복수의 원들로 구성된 복수의 이미지들일 수 있다.For example, the first image set is a plurality of images composed of a plurality of dots, and the second image set is composed of a plurality of dots having a different density or a plurality of circles having a different shape from the first image set. may be images of

또한, 상기 복수의 가상의 깊이 이미지들은 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 상기 제1 이미지 세트 및 상기 제2 이미지 세트와 다른, 제3 이미지 세트를 더 포함할 수 있다.In addition, the plurality of virtual depth images may further include a third image set different from the first image set and the second image set in at least one of density and shape of figures constituting the image set.

예를 들어, 상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며, 상기 제2 이미지 세트는 상기 제1 이미지 세트와 상기 밀도가 다른 복수의 점들로 구성된 복수의 이미지들이며, 상기 제3 이미지 세트는 상기 제1 이미지 세트 및 상기 제2 이미지 세트와 상기 형상이 다른 복수의 원들로 구성된 복수의 이미지들일 수 있다.For example, the first image set is a plurality of images composed of a plurality of dots, the second image set is a plurality of images composed of a plurality of dots having a different density from the first image set, and the third image set is a plurality of images composed of a plurality of dots. The set may be a plurality of images composed of a plurality of circles having different shapes from the first image set and the second image set.

또한, 상기 프로세서는, 상기 복소 홀로그램을 진폭 홀로그램 또는 위상 홀로그램으로 인코딩할 수 있다.Also, the processor may encode the complex hologram into an amplitude hologram or a phase hologram.

또 다른 측면에 따르면, 상술한 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함할 수 있다.According to another aspect, it may include a computer-readable recording medium on which a program for executing the above-described method is recorded.

실시예에 따른 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치는 가상의 깊이 이미지들을 이용하여 학습을 하는 경우, 실물 객체에 대한 저작권 등의 법적인 문제와 다수의 깊이 이미지들을 확보하는 것이 어렵다는 현실적인 문제들이 존재하지 않으므로, 다수의 학습 데이터 세트를 이용함으로써, 학습된 신경망에 기초하여 복수의 깊이 이미지들로부터 출력되는 복소 홀로그램의 정확도가 증가될 수 있다.In the method and apparatus for generating a hologram capable of expressing multiple depths according to the embodiment, when learning is performed using virtual depth images, legal issues such as copyright for real objects and practical problems in securing a plurality of depth images are difficult. do not exist, the accuracy of the complex hologram output from the plurality of depth images based on the learned neural network may be increased by using a plurality of training data sets.

또한, 실시예에 따른 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치는 하나의 이미지 세트만을 이용하여 신경망을 학습시키지 않고, 도형의 밀도 및 형상 중 적어도 하나가 다른, 둘 이상의 이미지 세트를 이용하여 신경망을 학습시키는 경우, 이미지 세트들이 신경망에 기초하여 출력되는 복소 홀로그램에 미치는 영향이 해당 복소 홀로그램에 중첩적으로 작용될 수 있으므로, 학습된 신경망에 기초하여 복수의 깊이 이미지들로부터 출력되는 복소 홀로그램의 정확도가 증가될 수 있다.In addition, the method and apparatus for generating a hologram capable of representing multiple depths according to the embodiment does not train a neural network using only one image set, but uses two or more image sets having different densities and shapes of figures. When the neural network is trained, the effect of the image sets on the complex hologram output based on the neural network can be overlapped on the complex hologram, so that the complex hologram output from the plurality of depth images based on the learned neural network Accuracy can be increased.

도 1은 일부 실시예에 따른 다중 심도 표현이 가능한 홀로그램을 생성하는 장치의 일 예를 나타내는 블록도이다.
도 2는 일부 실시예에 따른 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 생성하는 과정을 설명하기 위한 예시도이다.
도 3은 일부 실시예에 따른 합성곱 신경망의 예시도이다.
도 4는 일부 실시예에 따른 학습된 신경망에 기초하여, 복수의 깊이 이미지들로부터 복소 홀로그램을 출력하는 과정을 설명하기 위한 예시도이다.
도 5는 복수의 깊이 이미지들을 달리하여 학습된, 신경망으로부터 출력되는 복소 홀로그램들의 예시도이다.
도 6은 학습된 신경망에 의해 획득된 복소 홀로그램과 ASM에 의해 획득된 복소 홀로그램 각각의 실수부와 허수부를 나타내는 도면이다.
도 7은 일부 실시예에 따른, 학습된 신경망에 의해 획득된 복소 홀로그램과 ASM에 의해 획득된 복소 홀로그램의 재생 시뮬레이션 결과이다.
도 8은 일부 실시예에 따른, 학습된 신경망에 의해 획득된 복소 홀로그램과 ASM에 의해 획득된 복소 홀로그램의 재생 시뮬레이션 결과이다.
도 9는 일부 실시예에 따른 객체의 깊이 데이터로부터 다중 심도 표현이 가능한 홀로그램을 생성하는 방법의 흐름도이다.1 is a block diagram illustrating an example of an apparatus for generating a hologram capable of representing multiple depths according to some embodiments.
2 is an exemplary diagram for explaining a process of generating a plurality of virtual depth images and a target complex hologram according to some embodiments.
3 is an exemplary diagram of a convolutional neural network in accordance with some embodiments.
4 is an exemplary diagram for explaining a process of outputting a complex hologram from a plurality of depth images based on a learned neural network, according to some embodiments.
5 is an exemplary view of complex holograms output from a neural network that are learned by varying a plurality of depth images.
6 is a diagram showing a real part and an imaginary part of each of a complex hologram obtained by a trained neural network and a complex hologram obtained by ASM.
7 is a reproduction simulation result of a complex hologram obtained by a trained neural network and a complex hologram obtained by ASM, according to some embodiments.
8 is a reproduction simulation result of a complex hologram obtained by a trained neural network and a complex hologram obtained by ASM, according to some embodiments.
9 is a flowchart of a method of generating a hologram capable of representing multiple depths from depth data of an object according to some embodiments.

본 실시예들에서 사용되는 용어는 본 실시예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 기술분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 임의로 선정된 용어도 있으며, 이 경우 해당 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present embodiments have been selected from general terms that are currently widely used as much as possible while considering the functions in the present embodiments, but these may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technologies, and the like. can In addition, there are terms selected arbitrarily in certain cases, and in this case, their meanings will be described in detail in the description of the corresponding embodiment. Therefore, the term used in the present embodiments should be defined based on the meaning of the term and the overall content of the present embodiment, not a simple name of the term.

실시예들에 대한 설명들에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 구성요소를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In the descriptions of the embodiments, singular expressions include plural expressions unless the context clearly dictates otherwise. When a part is said to be connected to another part, this includes not only the case where it is directly connected, but also the case where it is electrically connected with another component interposed therebetween. In addition, when a part includes a certain component, this means that it may further include other components without excluding other components unless otherwise stated.

본 실시예들에서 사용되는 “구성된다” 또는 “포함한다” 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Terms such as “consists of” or “includes” used in the present embodiments should not be construed as necessarily including all of the various components or steps described in the specification, and some of the components or It should be construed that some steps may not be included, or may further include additional components or steps.

또한, 본 명세서에서 사용되는 '제1' 또는 '제2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.Also, terms including ordinal numbers such as 'first' or 'second' used in this specification may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another.

하기 실시예들에 대한 설명은 권리범위를 제한하는 것으로 해석되지 말아야 하며, 해당 기술분야의 당업자가 용이하게 유추할 수 있는 것은 실시예들의 권리범위에 속하는 것으로 해석되어야 할 것이다. 이하 첨부된 도면들을 참조하면서 오로지 예시를 위한 실시예들을 상세히 설명하기로 한다.The description of the following embodiments should not be construed as limiting the scope of rights, and what can be easily inferred by a person skilled in the art should be construed as belonging to the scope of the embodiments. Hereinafter, embodiments for illustrative purposes only will be described in detail with reference to the accompanying drawings.

도 1은 일부 실시예에 따른 다중 심도 표현이 가능한 홀로그램을 생성하는 장치의 일 예를 나타내는 블록도이다.1 is a block diagram illustrating an example of an apparatus for generating a hologram capable of representing multiple depths according to some embodiments.

다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)는 다중 심도 표현이 가능한 홀로그래픽 이미지를 재생하는 장치라면 제한 없이 해당될 수 있다. 예를 들어, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)는 TV, 모니터, 테블릿 PC, 모바일 폰 등과 같은 디스플레이 장치에 배치되어 다중 심도 표현이 가능한 홀로그래픽 이미지를 재생하는 장치에 해당될 수 있으나, 이에 반드시 제한되는 것은 아니다.The device 10 for generating a hologram capable of expressing multiple depths may be any device that reproduces a holographic image capable of expressing multiple depths without limitation. For example, the device 10 generating a hologram capable of expressing multiple depths corresponds to a device that reproduces a holographic image capable of expressing multiple depths by being disposed on a display device such as a TV, monitor, tablet PC, or mobile phone. However, it is not necessarily limited thereto.

도 1을 참조하면, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)는 메모리(110) 및 프로세서(120)를 포함할 수 있다. 다만, 도 1에 도시된 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)에는 본 실시예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)에는 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음은 당업자에게 자명하다.Referring to FIG. 1 , an apparatus 10 for generating a hologram capable of expressing multiple depths may include a memory 110 and a processor 120 . However, in the apparatus 10 for generating a hologram capable of expressing multiple depths shown in FIG. 1 , only components related to the present embodiments are shown. Accordingly, it is apparent to those skilled in the art that the apparatus 10 for generating a hologram capable of expressing multiple depths may further include other general-purpose components in addition to the components shown in FIG. 1 .

메모리(110)는 프로세서(120) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 예를 들어, 메모리(110)는 프로세서(120)에서 처리된 데이터들 및 처리될 데이터들을 저장할 수 있다. 또한, 메모리(110)는 프로세서(120)에 의해 구동될 다양한 애플리케이션들, 예를 들어 홀로그램 재생 애플리케이션, 웹 브라우징 애플리케이션, 게임 애플리케이션, 비디오 애플리케이션 등을 저장할 수 있다.The memory 110 is hardware that stores various types of data processed in the processor 120. For example, the memory 110 may store data processed by the processor 120 and data to be processed. In addition, the memory 110 may store various applications to be driven by the processor 120, for example, a hologram playback application, a web browsing application, a game application, a video application, and the like.

메모리(110)는 휘발성 메모리(volatile memory) 또는 불휘발성 메모리(nonvolatile memory) 중 적어도 하나를 포함할 수 있다. 불휘발성 메모리는 ROM (Read Only Memory), PROM (Programmable ROM), EPROM (Electrically Programmable ROM), EEPROM (Electrically Erasable and Programmable ROM), 플래시 메모리, PRAM (Phase-change RAM), MRAM (Magnetic RAM), RRAM (Resistive RAM), FeRAM (Ferroelectric RAM) 등을 포함한다. 휘발성 메모리는 DRAM (Dynamic RAM), SRAM (Static RAM), SDRAM (Synchronous DRAM), PRAM (Phase-change RAM), MRAM (Magnetic RAM), RRAM (Resistive RAM) 등을 포함한다. 다만, 이에 제한되지 않는다.The memory 110 may include at least one of volatile memory and nonvolatile memory. Non-volatile memory includes ROM (Read Only Memory), PROM (Programmable ROM), EPROM (Electrically Programmable ROM), EEPROM (Electrically Erasable and Programmable ROM), flash memory, PRAM (Phase-change RAM), MRAM (Magnetic RAM), Resistive RAM (RRAM), Ferroelectric RAM (FeRAM), and the like. Volatile memory includes dynamic RAM (DRAM), static RAM (SRAM), synchronous DRAM (SDRAM), phase-change RAM (PRAM), magnetic RAM (MRAM), resistive RAM (RRAM), and the like. However, it is not limited thereto.

일부 실시예에 있어서, 메모리(110)는 HDD(Hard Disk Drive), SSD(Solid State Drive), CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 Memory Stick 중 적어도 하나로 구현될 수 있다.In some embodiments, the memory 110 is a hard disk drive (HDD), solid state drive (SSD), compact flash (CF), secure digital (SD), micro secure digital (Micro-SD), mini-SD ( mini secure digital), xD (extreme digital), or Memory Stick.

프로세서(120)는 PC(personal computer), 서버 디바이스, TV(television), 모바일 디바이스(스마트폰, 태블릿 디바이스 등), 임베디드 디바이스, 자율주행 자동차, 웨어러블 디바이스, AR(Augmented Reality) 디바이스, IoT(Internet of Things) 디바이스 등의 다양한 종류의 컴퓨팅 디바이스들에 구비된 프로세서에 해당할 수 있다. 예를 들어, 프로세서(120)는 CPU(central processing unit), GPU(graphics processing unit), AP(application processor), NPU(neural processing unit) 등과 같은 프로세서에 해당할 수 있으나, 이에 제한되지 않는다.The processor 120 is a PC (personal computer), server device, TV (television), mobile device (smart phone, tablet device, etc.), embedded device, autonomous vehicle, wearable device, AR (Augmented Reality) device, IoT (Internet It may correspond to a processor provided in various types of computing devices, such as devices of things. For example, the processor 120 may correspond to a processor such as a central processing unit (CPU), graphics processing unit (GPU), application processor (AP), or neural processing unit (NPU), but is not limited thereto.

프로세서(120)는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.The processor 120 may be implemented as an array of a plurality of logic gates, or may be implemented as a combination of a general-purpose microprocessor and a memory in which programs executable by the microprocessor are stored. Also, those having ordinary knowledge in the art to which this embodiment belongs can understand that it may be implemented in other types of hardware.

프로세서(120)는 프로세서(120)가 구비된 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)를 제어하기 위한 전반적인 기능들을 수행하는 역할을 한다. 프로세서(120)는 메모리(110)에 저장된 프로그램들을 실행함으로써, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)를 전반적으로 제어할 수 있다. 예를 들어, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)가 디스플레이 장치(130) 내에 구비된 경우, 프로세서(120)는 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)에 의한 이미지 처리를 제어함으로써 디스플레이 장치(130)에 의한 홀로그래픽 이미지의 표시를 제어할 수 있다.The processor 120 plays a role of performing overall functions for controlling the device 10 for generating a hologram capable of expressing multiple depths equipped with the processor 120 . The processor 120 may generally control the device 10 generating a hologram capable of expressing multiple depths by executing programs stored in the memory 110 . For example, when the device 10 for generating a hologram capable of representing multiple depths is included in the display device 130, the processor 120 processes images by the device 10 for generating a hologram capable of expressing multiple depths. It is possible to control the display of the holographic image by the display device 130 by controlling.

디스플레이 장치(130)는 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)에 의해 생성된 홀로그램에 기초하여 3D 공간 상에 홀로그래픽 이미지를 표시할 수 있는 장치에 해당할 수 있다. 또한, 디스플레이 장치(130)는 LCoS, LCD, OLED 등과 같은 다양한 종류의 디스플레이 패널을 포함할 수 있다. 즉, 디스플레이 장치(130)는 홀로그램을 생성하기 위한 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10) 외에도, 홀로그래픽 이미지를 표시하기 위한 다양한 하드웨어 모듈들, 하드웨어 구성들을 포함할 수 있다.The display device 130 may correspond to a device capable of displaying a holographic image in a 3D space based on a hologram generated by the device 10 that generates a hologram capable of expressing multiple depths. Also, the display device 130 may include various types of display panels such as LCoS, LCD, and OLED. That is, the display device 130 may include various hardware modules and hardware components for displaying a holographic image, in addition to the device 10 for generating a hologram capable of expressing multiple depths for generating a hologram.

한편, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)는 디스플레이 장치(130)의 외부에 구현된 별도의 독립적인 장치일 수 있다. 이때, 디스플레이 장치(130)는 외부의 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)에 의해 생성된 홀로그램 데이터를 수신하고, 수신된 홀로그램 데이터에 기초하여 홀로그래픽 이미지를 표시할 수 있다. 즉, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)와 디스플레이 장치(130)의 구현 방식은 어느 하나의 실시예에 의해 제한되지 않는다.Meanwhile, the device 10 for generating a hologram capable of expressing multiple depths may be a separate and independent device implemented outside the display device 130 . In this case, the display device 130 may receive hologram data generated by the device 10 for generating a hologram capable of expressing external multi-depths, and display a holographic image based on the received hologram data. That is, implementation methods of the device 10 generating a hologram capable of representing multiple depths and the display device 130 are not limited by any one embodiment.

프로세서(120)는 학습 데이터 세트를 지도학습(Supervised Learning) 기법에 따라 처리하여 신경망을 구축하거나 학습시킬 수 있다. The processor 120 may construct or train a neural network by processing the training data set according to a supervised learning technique.

신경망은 1개 이상의 히든 레이어를 포함하는 심층 신경망(Deep Neural Network: DNN) 또는 n-계층 신경망(n-layers neural networks)일 수 있다. DNN은 합성곱 신경망(Convolutional Neural Networks: CNN), 순환 신경망(Recurrent Neural Networks: RNN), 심층 신뢰망(Deep Belief Networks; DBN), 제한적 볼츠만 머신(Restricted Boltzman Machines: RBM) 등을 포함할 수 있으나, 이에 제한되지 않는다.The neural network may be a deep neural network (DNN) including one or more hidden layers or an n-layers neural network. DNNs may include Convolutional Neural Networks (CNN), Recurrent Neural Networks (RNN), Deep Belief Networks (DBN), Restricted Boltzman Machines (RBM), etc. , but not limited thereto.

프로세서(120)는 학습 데이터 세트를 이용하여, 어느 하나의 입력 데이터를 신경망에 입력하여 생성된 출력 값이 해당 학습 데이터 세트의 미리 정해진 값에 근접하도록 신경망 내 함수들을 조정하는 과정을 반복하여 수행함으로써 신경망을 학습시킬 수 있다. 학습 데이터 세트는 복수의 학습용 깊이 이미지들과 타겟 복소 홀로그램으로 구성될 수 있다. 복수의 학습용 깊이 이미지들은 가상의 이미지들일 수 있다. 이하에서는, 편의상 신경망을 학습시키기 위한 가상의 이미지인 "학습용 깊이 이미지"를 "가상의 깊이 이미지"로 지칭한다. 즉, "복수의 가상의 깊이 이미지들"은 "복수의 학습용 깊이 이미지들"일 수 있다. 예를 들어, 학습 데이터 세트가 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램으로 구성되는 경우, 프로세서(120)는 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램으로부터 산출한 오차에 기초하여 신경망 내 함수들을 조정하는 과정을 반복하여 수행함으로써 신경망을 학습시킬 수 있다.The processor 120 repeatedly performs a process of adjusting functions in the neural network so that an output value generated by inputting any one input data to the neural network approaches a predetermined value of the corresponding learning data set using the training data set, neural networks can be trained. The training data set may be composed of a plurality of depth images for learning and a target complex hologram. The plurality of depth images for learning may be virtual images. Hereinafter, for convenience, a “learning depth image” that is a virtual image for training a neural network is referred to as a “virtual depth image”. That is, “a plurality of virtual depth images” may be “a plurality of depth images for learning”. For example, when the training data set consists of a plurality of virtual depth images and a target complex hologram, the processor 120 performs a function in the neural network based on an error calculated from the plurality of virtual depth images and the target complex hologram. The neural network can be trained by repeating the process of adjusting them.

신경망의 학습에 이용되는 학습 데이터 세트의 개수가 증가될수록, 보다 적절한 신경망 내 함수들을 획득할 수 있으므로, 학습된 신경망에 의해 출력된 출력 값의 정확도가 증가될 수 있다. 예를 들어, 학습 데이터 세트가 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램으로 구성되는 경우, 학습을 위해 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램이 신경망에 많이 제공될수록, 학습된 신경망에 기초하여 복수의 객체 깊이 이미지들로부터 출력되는 객체 복소 홀로그램의 정확도가 증가될 수 있다. 이하에서는, 편의상 신경망을 학습시키기 위한 가상의 이미지인 "학습용 깊이 이미지"가 "가상의 깊이 이미지"로 지칭되는 것과 구별되도록, 이러한 학습된 신경망에 입력되는 이미지인 "객체 깊이 이미지"를 "깊이 이미지"로 지칭한다. 즉, "복수의 깊이 이미지들"은 "복수의 객체 깊이 이미지들"일 수 있다. 한편, 이하에서는, 편의상 신경망을 학습시키기 위한 복소 홀로그램인 "타겟 복소 홀로그램"과 구별되도록, 이러한 학습된 신경망에 기초하여 복수의 객체 깊이 이미지들로부터 출력되는 복소 홀로그램인 "객체 복소 홀로그램"을 "복소 홀로그램"으로 지칭한다.As the number of training data sets used for learning the neural network increases, more appropriate functions within the neural network can be obtained, so the accuracy of output values output by the trained neural network can increase. For example, when the training data set is composed of a plurality of virtual depth images and a target complex hologram, the more virtual depth images and the target complex hologram are provided to the neural network for learning, the more the neural network is trained. Accordingly, the accuracy of the object complex hologram output from the plurality of object depth images may be increased. Hereinafter, for convenience, "object depth image", an image input to the trained neural network, is referred to as a "depth image" to distinguish a "depth image for learning", which is a virtual image for training a neural network, from what is referred to as a "virtual depth image". referred to as " That is, “plural depth images” may be “plural object depth images”. Meanwhile, in the following, for convenience, "object complex hologram", which is a complex hologram output from a plurality of object depth images based on the learned neural network, is referred to as a "complex hologram" to be distinguished from a "target complex hologram", which is a complex hologram for learning a neural network. referred to as "holograms".

그러나, 학습 데이터 세트가 실물 객체의 깊이 이미지들로 구성되는 경우, 실물 객체에 대한 저작권 등의 법적인 문제와 다수의 깊이 이미지들을 확보하는 것이 어렵다는 현실적인 문제가 존재한다. 가상의 깊이 이미지들을 이용하여 학습을 하는 경우에는 이러한 문제들이 존재하지 않으므로, 다수의 학습 데이터 세트를 이용함으로써, 학습된 신경망에 기초하여 복수의 깊이 이미지들로부터 출력되는 복소 홀로그램의 정확도가 증가될 수 있다.However, when the training data set is composed of depth images of real objects, there are legal issues such as copyright for real objects and practical problems in that it is difficult to secure a plurality of depth images. Since these problems do not exist when learning is performed using virtual depth images, the accuracy of a complex hologram output from a plurality of depth images based on a learned neural network can be increased by using a plurality of training data sets. there is.

복수의 가상의 깊이 이미지들은 점, 선, 원, 타원, 삼각형, 사각형, 다각형 등의 도형으로 구성될 수 있다. 다만, 이에 반드시 제한되는 것은 아니다. The plurality of virtual depth images may be composed of figures such as points, lines, circles, ellipses, triangles, rectangles, and polygons. However, it is not necessarily limited thereto.

또한, 복수의 가상의 깊이 이미지들은 제1 이미지 세트 및 제2 이미지 세트를 포함하고, 각각의 이미지 세트는 구성되는 도형의 밀도 및 형상 중 적어도 하나가 서로 다를 수 있다. 예를 들어, 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며, 제2 이미지 세트는 제1 이미지 세트와 밀도가 다른 복수의 점들 또는 형상이 다른 복수의 원들로 구성된 복수의 이미지들일 수 있다. 다만, 이에 반드시 제한되는 것은 아니다.Also, the plurality of virtual depth images may include a first image set and a second image set, and each image set may have a different density or shape of a figure. For example, the first image set may be a plurality of images composed of a plurality of dots, and the second image set may be a plurality of images composed of a plurality of dots having a different density or a plurality of circles having a different shape from the first image set. . However, it is not necessarily limited thereto.

또한, 복수의 가상의 깊이 이미지들은 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 제1 이미지 세트 및 제2 이미지 세트와 다른, 제3 이미지 세트를 더 포함할 수 있다. 예를 들어, 상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며, 제2 이미지 세트는 제1 이미지 세트와 밀도가 다른 복수의 점들로 구성된 복수의 이미지들이며, 제3 이미지 세트는 제1 이미지 세트 및 제2 이미지 세트와 형상이 다른 복수의 원들로 구성된 복수의 이미지들일 수 있다. 다만, 이에 반드시 제한되는 것은 아니다.Also, the plurality of virtual depth images may further include a third image set different from the first image set and the second image set in at least one of density and shape of figures constituting the image set. For example, the first image set is a plurality of images composed of a plurality of dots, the second image set is a plurality of images composed of a plurality of dots having a different density from the first image set, and the third image set is a first image set. It may be a plurality of images composed of a plurality of circles different in shape from the image set and the second image set. However, it is not necessarily limited thereto.

학습 데이터 세트의 종류는, 해당 학습 데이터 세트를 이용하여 학습된, 신경망에 기초하여 출력되는 출력 값에 영향을 줄 수 있다. 따라서, 학습 데이터 세트가 복수의 가상 깊이 이미지들을 포함하고, 복수의 가상의 깊이 이미지들이 복수의 도형으로 구성되는 경우, 도형의 밀도나 형상은, 해당 학습 데이터 세트를 이용하여 학습된, 신경망에 기초하여 출력되는 복소 홀로그램에 영향을 미칠 수 있다. 또한, 도형의 밀도나 형상이 다른 경우, 해당 학습 데이터 세트를 이용하여 학습된, 신경망에 기초하여 출력되는 복소 홀로그램에 미치는 영향이 상이할 수 있다. The type of the training data set may affect an output value that is output based on the neural network learned using the corresponding training data set. Therefore, when the training data set includes a plurality of virtual depth images, and the plurality of virtual depth images are composed of a plurality of figures, the density or shape of the figure is based on the neural network learned using the corresponding training data set. This can affect the output complex hologram. In addition, when the density or shape of the figure is different, the effect on the complex hologram output based on the neural network learned using the corresponding training data set may be different.

복수의 가상의 깊이 이미지들은 도형의 밀도 및 형상이 유사한 하나의 이미지 세트만을 포함할 수 있으며, 도형의 밀도나 형상이 상이한 복수의 이미지 세트들을 포함할 수도 있다. 하나의 이미지 세트만을 이용하여 신경망을 학습시키지 않고, 도형의 밀도 및 형상 중 적어도 하나가 다른, 둘 이상의 이미지 세트를 이용하여 신경망을 학습시키는 경우, 이미지 세트들이 신경망에 기초하여 출력되는 복소 홀로그램에 미치는 영향이 해당 복소 홀로그램에 중첩적으로 작용될 수 있다.The plurality of virtual depth images may include only one image set having similar densities and shapes of figures, or may include a plurality of image sets having different densities or shapes of figures. When the neural network is trained using two or more image sets, in which at least one of the density and shape of the figure is different, without using only one image set, the image sets affect the complex hologram output based on the neural network. The influence can be applied to the complex hologram in an overlapping manner.

타겟 복소 홀로그램은 복수의 가상의 깊이 이미지들로부터 생성되는 각 스펙트럼 방법(angular spectrum method: ASM)에 의한 CGH일 수 있다. CGH는 2차원 인텐시티(2D intensity) 이미지와 깊이 데이터를 이용하여 CGH를 생성하는 깊이 맵(depth map)(또는 레이어 기반(layer-based)) 방식으로 생성될 수 있으며, 수치적 전파 모델로써 ASM, 프레넬 변환(Fresnel transform), 푸리에 변환(Fourier transform)이 사용될 수 있다. 다만, 이에 제한되는 것은 아니다.The target complex hologram may be a CGH by an angular spectrum method (ASM) generated from a plurality of virtual depth images. CGH can be generated by a depth map (or layer-based) method that generates CGH using a 2D intensity image and depth data, and as a numerical propagation model, ASM, Fresnel transform and Fourier transform may be used. However, it is not limited thereto.

프로세서(120)는 객체의 깊이 데이터로부터 기 설정된 개수의 깊이 레이어들에 대한 복수의 깊이 이미지들을 획득할 수 있다. 프로세서(120)가 복수의 깊이 레이어들로부터 복수의 깊이 이미지들을 획득하므로, 출력되는 복소 홀로그램의 다중 심도 표현이 가능하게 된다. 일부 실시예에서는 5개의 깊이 이미지들을 사용하였으나, 이에 제한되는 것은 아니며, 깊이 레이어들의 개수는 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)를 사용하는 자의 목적, 의도 또는 새로운 기술의 출현 등에 따라 달라질 수 있다.The processor 120 may obtain a plurality of depth images of a preset number of depth layers from the depth data of the object. Since the processor 120 obtains a plurality of depth images from a plurality of depth layers, multi-depth representation of an output complex hologram is possible. In some embodiments, 5 depth images are used, but it is not limited thereto, and the number of depth layers may vary according to the purpose or intention of the person using the device 10 for generating a hologram capable of expressing multiple depths, or the emergence of a new technology. It can vary.

프로세서(120)는 학습 데이터 세트를 이용하여 미리 학습시킨 신경망에 기초하여, 획득된 복수의 깊이 이미지들로부터 실수부와 허수부로 구성된 복소 홀로그램을 출력한다. 출력된 복소 홀로그램은 인코딩됨으로써 진폭 홀로그램 또는 위상 홀로그램으로 변환될 수 있다.The processor 120 outputs a complex hologram composed of a real part and an imaginary part from a plurality of obtained depth images based on a neural network previously trained using a training data set. The outputted complex hologram may be converted into an amplitude hologram or a phase hologram by being encoded.

이하 도 2 내지 4를 참조하여 신경망을 학습시키고, 학습된 신경망에 기초하여 복소 홀로그램을 출력하는 과정을 보다 상세히 설명한다.Hereinafter, a process of learning a neural network and outputting a complex hologram based on the learned neural network will be described in detail with reference to FIGS. 2 to 4 .

도 2는 일부 실시예에 따른 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 생성하는 과정을 설명하기 위한 예시도이다.2 is an exemplary diagram for explaining a process of generating a plurality of virtual depth images and a target complex hologram according to some embodiments.

도 2를 참조하면, 입력 데이터를 위해 복수의 가상의 깊이 이미지들(210)이 생성될 수 있다. 생성된 복수의 가상의 깊이 이미지들(210)은 홀로그램 면(230)으로부터 각각 d1 내지 d5의 깊이의 입력 면(220)에 위치할 수 있다. 이러한 복수의 가상의 깊이 이미지들(210)들은 각각의 깊이에 따라 홀로그램 면(230)에 역 전달(back propagation)되고, 중첩됨으로써 타겟 복소 홀로그램(240)을 생성한다. 생성된 타겟 복소 홀로그램(240)은 실수부와 허수부로 나뉘어 저장 된다. 예를 들어, 임의의 점들로 구성되는 5개의 상이한 가상의 깊이 이미지들이 생성될 수 있으며, 가상의 깊이 이미지들은 홀로그램 면(230)으로부터 각각 0.5cm, 1.0cm, 1.5cm, 2.0cm 및 2.5cm의 거리만큼 분리되어 있을 수 있다. 5개의 상이한 가상의 깊이 이미지들이 홀로그램 면(230)에 역 전달되고, 중첩됨으로써 타겟 복소 홀로그램(240)을 생성하며, 타겟 복소 홀로그램(240)을 생성하는 과정에서 ASM이 이용될 수 있다. 생성된 타겟 복소 홀로그램(240)은 실수부와 허수부로 나뉘어 메모리에 저장될 수 있다.Referring to FIG. 2 , a plurality of virtual depth images 210 may be generated for input data. The generated plurality of virtual depth images 210 may be located on the input surface 220 at depths of d1 to d5 from the hologram surface 230 . The plurality of virtual depth images 210 are back-propagated to the hologram surface 230 according to their respective depths and overlapped to generate the target complex hologram 240 . The generated target complex hologram 240 is divided into a real part and an imaginary part and stored. For example, five different virtual depth images composed of random points may be generated, and the virtual depth images are respectively 0.5 cm, 1.0 cm, 1.5 cm, 2.0 cm, and 2.5 cm from the hologram face 230. They can be separated by distance. Five different virtual depth images are reversely transferred to the hologram surface 230 and overlapped to generate the target complex hologram 240 , and ASM may be used in the process of generating the target complex hologram 240 . The generated target complex hologram 240 may be divided into a real part and an imaginary part and stored in a memory.

도 3은 일부 실시예에 따른 합성곱 신경망의 예시도이다.3 is an exemplary diagram of a convolutional neural network in accordance with some embodiments.

도 3은 참조하면, 일부 실시예에 따른 합성곱 신경망은 1개의 합성곱 레이어(convolution layer), 2개의 다운 샘플링 블록(down-sampling block), 15개의 레지듀얼 블록(residual block) 및 2개의 업 샘플링 블록(up-sampling block)으로 구성될 수 있다. 다운 샘플링 블록은 1개의 합성곱 레이어, 1개의 배치 노멀리제이션 레이어(batch normalization layer), 및 1개의 정류 선형 유닛 레이어(rectified linear unit layer)로 구성될 수 있다. 레지듀얼 블록은 2개의 합성곱 레이어, 2개의 배치 노멀리제이션 레이어, 및 1개의 정류 선형 유닛 레이어로 구성될 수 있다. 업 샘플링 블록은 1개의 인터폴레이션 레이어(interpolation layer), 1개의 컨볼루션 레이어, 1개의 배치 노멀리제이션 레이어, 및 1개의 정류 선형 유닛 레이어로 구성될 수 있다. 다만, 이에 반드시 제한되는 것은 아니다.Referring to FIG. 3 , the convolutional neural network according to some embodiments includes one convolution layer, two down-sampling blocks, 15 residual blocks, and two up-sampling blocks. It may be composed of a sampling block (up-sampling block). The downsampling block may consist of one convolutional layer, one batch normalization layer, and one rectified linear unit layer. A residual block may consist of two convolution layers, two batch normalization layers, and one commutation linear unit layer. The up-sampling block may include one interpolation layer, one convolution layer, one batch normalization layer, and one rectified linear unit layer. However, it is not necessarily limited thereto.

도 4는 일부 실시예에 따른 학습된 신경망에 기초하여, 복수의 깊이 이미지들로부터 복소 홀로그램을 출력하는 과정을 설명하기 위한 예시도이다.4 is an exemplary diagram for explaining a process of outputting a complex hologram from a plurality of depth images based on a learned neural network, according to some embodiments.

도 4을 참조하면, 상이한 복수의 깊이 레이어들로부터 복수의 깊이 이미지들(410)이 신경망(420)에 입력될 수 있다. 예를 들어, 상이한 복수의 깊이 레이어들로부터, A부터 E까지의 알파벳 형상으로 구성되는 5개의 상이한 깊이 이미지들이 신경망에 입력될 수 있다. 입력된 깊이 이미지들 각각이 해당하는 깊이에서 재생될 수 있도록, 신경망(420)이 복소 홀로그램을 생성할 수 있다. 생성된 복소 홀로그램은 실수부(430)와 허수부(440)로 나뉘어 출력될 수 있다. 일부 실시예에서는 신경망(420)으로써 합성곱 신경망을 사용하였으나, 이에 제한되는 것은 아니다.Referring to FIG. 4 , a plurality of depth images 410 from a plurality of different depth layers may be input to a neural network 420 . For example, five different depth images composed of alphabetic shapes from A to E, from a plurality of different depth layers, may be input to the neural network. The neural network 420 may generate a complex hologram so that each of the input depth images may be reproduced at a corresponding depth. The generated complex hologram may be divided into a real part 430 and an imaginary part 440 and output. In some embodiments, a convolutional neural network is used as the neural network 420, but is not limited thereto.

도 5는 복수의 가상의 깊이 이미지들을 달리하여 학습된, 신경망으로부터 출력되는 복소 홀로그램들의 예시도이다.5 is an exemplary diagram of complex holograms output from a neural network, learned by varying a plurality of virtual depth images.

도 5에는 신경망이 복수의 도형으로 구성된 이미지 세트를 하나 이상 포함하는 복수의 가상의 깊이 이미지들(510 내지 540)에 의해 학습되고, 학습된 신경망에 의해 출력되는 복소 홀로그램들(550 내지 580)이 도시되어 있다.In FIG. 5 , complex holograms 550 to 580 that are learned by a plurality of virtual depth images 510 to 540 including one or more image sets composed of a plurality of figures by a neural network and output by the learned neural network are shown in FIG. is shown

복수의 가상의 깊이 이미지들(510)은 저밀도의 점들로 구성된 이미지 세트만을 포함하며, 복소 홀로그램(550)은 복수의 가상의 깊이 이미지들(510)에 의해 학습된 신경망에 의해 출력된다.The plurality of virtual depth images 510 include only an image set composed of low-density points, and the complex hologram 550 is output by a neural network trained by the plurality of virtual depth images 510 .

복수의 가상의 깊이 이미지들(520)은 저밀도의 점들로 구성된 이미지 세트 및 고밀도의 점들로 구성된 이미지 세트를 포함하며, 복소 홀로그램(560)은 복수의 가상의 깊이 이미지들(520)에 의해 학습된 신경망에 의해 출력된다. 복소 홀로그램(560)은 복소 홀로그램(550)과 비교하여, 알파벳 형상들의 외곽부가 보다 선명하며, 상당히 높은 화질을 갖는다. 이는, 복수의 가상의 깊이 이미지들이 저밀도의 점들로 구성된 이미지 세트 및 고밀도의 점들로 구성된 이미지 세트를 포함하는 경우, 고주파수(high-frequency) 영역에서도 복소 홀로그램의 재생이 잘 이루어지기 때문이다. 저밀도의 점들로 구성된 이미지 세트 및 고밀도의 점들로 구성된 이미지 세트의 비율은 1:1이 바람직하다.The plurality of virtual depth images 520 include an image set composed of low-density points and an image set composed of high-density points, and the complex hologram 560 is learned by the plurality of virtual depth images 520. output by the neural network. Compared to the complex hologram 550, the complex hologram 560 has sharper outlines of alphabet shapes and has considerably higher image quality. This is because, when the plurality of virtual depth images include an image set composed of low-density points and an image set composed of high-density points, complex holograms are well reproduced even in a high-frequency region. The ratio of the image set composed of low-density dots and the image set composed of high-density dots is preferably 1:1.

복수의 가상의 깊이 이미지들(530)은 복수의 원들로 구성된 이미지 세트만을 포함하며, 복소 홀로그램(570)은 복수의 가상의 깊이 이미지들(530)에 의해 학습된 신경망에 의해 출력된다. 복소 홀로그램(570)은, 복수의 가상의 깊이 이미지들(530)이 원들로 구성된 이미지 세트를 포함하므로, 저주파수(low-frequency) 영역에서 복소 홀로그램의 재생이 잘 이루어 진다. 그러나, 복수의 가상의 깊이 이미지들이 원들로 구성된 이미지 세트만을 포함하는 경우, 학습된 신경망이 고주파수 영역에서의 복소 홀로그램을 표현하기가 어렵다.The plurality of virtual depth images 530 includes only an image set composed of a plurality of circles, and a complex hologram 570 is output by a neural network trained by the plurality of virtual depth images 530 . Since the complex hologram 570 includes an image set in which the plurality of virtual depth images 530 are circles, the complex hologram is well reproduced in a low-frequency region. However, when the plurality of virtual depth images include only an image set composed of circles, it is difficult for a trained neural network to express a complex hologram in a high frequency region.

복수의 가상의 깊이 이미지들(540)은 저밀도의 점들로 구성된 이미지 세트, 고밀도의 점들로 구성된 이미지 세트, 및 복수의 원들로 구성된 이미지 세트를 포함하며, 복소 홀로그램(580)은 복수의 가상의 깊이 이미지들(540)에 의해 학습된 신경망에 의해 출력된다. 복소 홀로그램(580)은, 복수의 깊이 이미지들(540)이 저밀도의 점들로 구성된 이미지 세트, 고밀도의 점들로 구성된 이미지 세트, 및 복수의 원들로 구성된 이미지 세트를 모두 포함하므로, 고주파수 영역뿐만 아니라 저주파수 영역에서도 복소 홀로그램의 재생이 잘 이루어 진다. 저밀도의 점들로 구성된 이미지 세트, 고밀도의 점들로 구성된 이미지 세트, 및 복수의 원들로 구성된 이미지 세트의 비율은 1:1:1이 바람직하다.The plurality of virtual depth images 540 include an image set composed of low-density points, an image set composed of high-density points, and an image set composed of a plurality of circles, and the complex hologram 580 includes a plurality of virtual depths. It is output by a neural network trained by images 540 . Since the plurality of depth images 540 include an image set composed of low-density dots, an image set composed of high-density points, and an image set composed of a plurality of circles, the complex hologram 580 is formed not only in a high-frequency region but also in a low-frequency region. Reproduction of complex holograms is well done even in the area. The ratio of the image set composed of low-density dots, the image set composed of high-density dots, and the image set composed of a plurality of circles is preferably 1:1:1.

도 6은 학습된 신경망에 의해 획득된 복소 홀로그램과 ASM에 의해 획득된 복소 홀로그램 각각의 실수부와 허수부를 나타내는 도면이다.6 is a diagram showing a real part and an imaginary part of each of a complex hologram obtained by a trained neural network and a complex hologram obtained by ASM.

도 6을 참조하면, A부터 E까지의 알파벳 형상으로 구성되는 깊이 이미지들이 학습된 신경망에 입력된다. A부터 E까지의 알파벳 형상으로 구성되는 깊이 이미지들이 입력되는 신경망은 합성곱 신경망일 수 있다. 학습된 신경망은 복소 홀로그램을 생성하며, 생성된 복소 홀로그램은 실수부(610)와 허수부(620)로 나뉘어 출력된다. 또한, 학습된 신경망에 의해 획득되는 복소 홀로그램과 비교하기 위하여, ASM에 의해 복소 홀로그램의 실수부(630)와 허수부(640)가 획득된다.Referring to FIG. 6 , depth images composed of alphabets from A to E are input to the trained neural network. A neural network to which depth images composed of alphabet shapes from A to E are input may be a convolutional neural network. The learned neural network generates a complex hologram, and the generated complex hologram is divided into a real part 610 and an imaginary part 620 and output. In addition, in order to compare with the complex hologram obtained by the learned neural network, the real part 630 and the imaginary part 640 of the complex hologram are obtained by ASM.

학습된 신경망에 의해 획득되는 복소 홀로그램의 실수부(610)와 ASM에 의해 획득되는 복소 홀로그램의 실수부(630)는 유사한 결과를 나타내며, 학습된 신경망에 의해 획득되는 복소 홀로그램의 허수부(620)와 ASM에 의해 획득되는 복소 홀로그램의 허수부(640)의 경우도 마찬가지이다.The real part 610 of the complex hologram obtained by the learned neural network and the real part 630 of the complex hologram obtained by the ASM show similar results, and the imaginary part 620 of the complex hologram obtained by the learned neural network The same applies to the imaginary part 640 of the complex hologram obtained by ASM.

도 7은 일부 실시예에 따른, 학습된 신경망에 의해 획득된 복소 홀로그램과 ASM에 의해 획득된 복소 홀로그램의 재생 시뮬레이션 결과이다.7 is a reproduction simulation result of a complex hologram obtained by a trained neural network and a complex hologram obtained by ASM, according to some embodiments.

각각의 알파벳이 해당하는 깊이 평면 상에서 초점이 맞추어졌는지 평가하기 위하여, 해당하는 깊이의 알파벳이 확대(710, 720)된다. 또한, 깊이에 따라, 학습된 신경망에 의해 획득되는 복소 홀로그램의 흐려지는 정도(740, 760)는 깊이에 따라, ASM에 의해 획득되는 복소 홀로그램의 흐려지는 정도(730, 750)와 유사하다.In order to evaluate whether each letter is in focus on the corresponding depth plane, the letters of the corresponding depth are magnified (710, 720). Further, according to the depth, the blurring degree (740, 760) of the complex hologram obtained by the learned neural network is similar to the blurring degree (730, 750) of the complex hologram obtained by the ASM according to the depth.

도 8은 일부 실시예에 따른, 학습된 신경망에 의해 획득된 복소 홀로그램과 ASM에 의해 획득된 복소 홀로그램의 재생 시뮬레이션 결과이다.8 is a reproduction simulation result of a complex hologram obtained by a trained neural network and a complex hologram obtained by ASM, according to some embodiments.

1개의 회색조의 사진사 이미지와 검은색의 더미(dummy) 이미지들이 신경망에 입력되고, 학습된 신경망은 복소 홀로그램을 생성한다. 깊이에 따라 복소 홀로그램 상의 사진사의 얼굴 및 삼각대 다리의 흐려지는 정도가 비교된다. 깊이에 따라, 학습된 신경망에 의해 획득되는 복소 홀로그램의 흐려지는 정도(820, 840)는 깊이에 따라, ASM에 의해 획득되는 복소 홀로그램의 흐려지는 정도(810, 830)와 유사하다.One grayscale photographer image and black dummy images are input to the neural network, and the trained neural network creates a complex hologram. The degree of blurring of the photographer's face and tripod leg on the complex hologram is compared according to the depth. According to the depth, the blurring degree (820, 840) of the complex hologram obtained by the learned neural network is similar to the blurring degree (810, 830) of the complex hologram obtained by the ASM according to the depth.

따라서, 도 6 내지 도 8에 기초하여, 학습된 신경망은 ASM에 의해 획득된 복소 홀로그램과 유사한 복소 홀로그램을 생성할 수 있음은 당업자에게 자명하다.Therefore, based on Figs. 6 to 8, it is apparent to those skilled in the art that the trained neural network can generate a complex hologram similar to the complex hologram obtained by ASM.

도 9는 일부 실시예에 따른 객체의 깊이 데이터로부터 다중 심도 표현이 가능한 홀로그램을 생성하는 방법의 흐름도이다.9 is a flowchart of a method of generating a hologram capable of representing multiple depths from depth data of an object according to some embodiments.

도 9를 참조하면, 다중 심도 표현이 가능한 홀로그램을 생성하는 방법은 도 1에 도시된 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 내지 도 8에 관하여 이상에서 기술된 내용은 도 9의 다중 심도 표현이 가능한 홀로그램을 생성하는 방법에도 적용됨을 알 수 있다.Referring to FIG. 9 , the method for generating a hologram capable of representing multiple depths is composed of steps sequentially processed in the apparatus 10 for generating a hologram capable of expressing multiple depths shown in FIG. 1 . Therefore, it can be seen that even if the content is omitted below, the content described above with respect to FIGS. 1 to 8 is also applied to the method of generating a hologram capable of expressing multiple depths in FIG. 9 .

단계 910에서, 다중 심도 표현이 가능한 홀로그램 생성 장치는 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시킬 수 있다.In step 910, the hologram generating apparatus capable of representing multiple depths may train a neural network using a plurality of virtual depth images and a target complex hologram.

다중 심도 표현이 가능한 홀로그램 생성 장치는 학습 데이터 세트를 이용하여, 어느 하나의 입력 데이터를 신경망에 입력하여 생성된 출력 값이 해당 학습 데이터 세트의 미리 정해진 값에 근접하도록 신경망 내 함수들을 조정하는 과정을 반복하여 수행함으로써 신경망을 학습시킬 수 있다. A hologram generating device capable of expressing multiple depths uses a learning data set to input any one input data to a neural network and adjusts functions in the neural network so that the generated output value approaches a predetermined value of the corresponding training data set. You can train a neural network by doing it repeatedly.

신경망의 학습에 이용되는 학습 데이터 세트의 개수가 증가될수록, 보다 적절한 신경망 내 함수들을 획득할 수 있으므로, 학습된 신경망에 의해 출력된 출력 값의 정확도가 증가될 수 있다.As the number of training data sets used for learning the neural network increases, more appropriate functions within the neural network can be obtained, so the accuracy of output values output by the trained neural network can increase.

그러나, 학습 데이터 세트가 실물 객체의 깊이 이미지들로 구성되는 경우, 실물 객체에 대한 저작권 등의 법적인 문제와 다수의 깊이 이미지들을 확보하는 것이 어렵다는 현실적인 문제가 존재한다. 가상의 깊이 이미지들을 이용하여 학습을 하는 경우에는 이러한 문제들이 존재하지 않으므로, 다수의 학습 데이터 세트를 이용함으로써, 학습된 신경망에 기초하여 복수의 깊이 이미지들로부터 출력되는 복소 홀로그램의 정확도가 증가될 수 있다. However, when the training data set is composed of depth images of real objects, there are legal issues such as copyright for real objects and practical problems in that it is difficult to secure a plurality of depth images. Since these problems do not exist when learning is performed using virtual depth images, the accuracy of a complex hologram output from a plurality of depth images based on a learned neural network can be increased by using a plurality of training data sets. there is.

복수의 가상의 깊이 이미지들은 점, 선, 원, 타원, 삼각형, 사각형, 다각형 등의 도형으로 구성될 수 있다. 다만, 이에 반드시 제한되는 것은 아니다. The plurality of virtual depth images may be composed of figures such as points, lines, circles, ellipses, triangles, rectangles, and polygons. However, it is not necessarily limited thereto.

다중 심도 표현이 가능한 홀로그램 생성 장치는 각각의 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 서로 다른, 제1 이미지 세트 및 제2 이미지 세트를 포함하는 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시킬 수 있다.A hologram generating apparatus capable of expressing multiple depths includes a plurality of virtual depth images including a first image set and a second image set, in which at least one of the density and shape of figures constituting each image set is different from each other, and a target complex A neural network can be trained using holograms.

일 예에서, 다중 심도 표현이 가능한 홀로그램 생성 장치는 제1 이미지 세트가 복수의 점들로 구성된 복수의 이미지들이며, 제2 이미지 세트가 제1 이미지 세트와 밀도가 다른 복수의 점들 또는 형상이 다른 복수의 원들로 구성된 복수의 이미지들인 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시킬 수 있다. 다만, 이에 반드시 제한되는 것은 아니다.In an example, in a hologram generating apparatus capable of expressing multiple depths, a first image set is a plurality of images composed of a plurality of dots, and a second image set is a plurality of dots having a different density or a plurality of shapes different from the first image set. A neural network may be trained using a plurality of virtual depth images, which are a plurality of images composed of circles, and a target complex hologram. However, it is not necessarily limited thereto.

또한, 다중 심도 표현이 가능한 홀로그램 생성 장치는 각각의 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 서로 다른, 제1 이미지 세트, 제2 이미지 세트 및 제3 이미지 세트를 포함하는 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시킬 수 있다.In addition, the hologram generating device capable of expressing multiple depths includes a plurality of virtual images including a first image set, a second image set, and a third image set, in which at least one of the density and shape of figures constituting each image set is different from each other. The neural network can be trained using the depth images of and the target complex hologram.

일 예에서, 다중 심도 표현이 가능한 홀로그램 생성 장치는 제1 이미지 세트가 복수의 점들로 구성된 복수의 이미지들이며, 제2 이미지 세트가 제1 이미지 세트와 밀도가 다른 복수의 점들로 구성된 복수의 이미지들이며, 제3 이미지 세트가 제1 이미지 세트 및 제2 이미지 세트와 형상이 다른 복수의 원들로 구성된 복수의 이미지들인, 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시킬 수 있다. 다만, 이에 반드시 제한되는 것은 아니다.In an example, in the hologram generating device capable of expressing multiple depths, a first image set is a plurality of images composed of a plurality of dots, a second image set is a plurality of images composed of a plurality of dots having a different density from the first image set, and , The neural network may be trained using a plurality of virtual depth images and a target complex hologram, in which the third image set is a plurality of images composed of a plurality of circles having shapes different from those of the first image set and the second image set. However, it is not necessarily limited thereto.

학습 데이터 세트의 종류는, 해당 학습 데이터 세트를 이용하여 학습된, 신경망에 기초하여 출력되는 출력 값에 영향을 줄 수 있다. 따라서, 학습 데이터 세트가 복수의 가상 깊이 이미지들을 포함하고, 복수의 가상의 깊이 이미지들이 복수의 도형으로 구성되는 경우, 도형의 밀도나 형상은, 해당 학습 데이터 세트를 이용하여 학습된, 신경망에 기초하여 출력되는 복소 홀로그램에 영향을 미칠 수 있다. 또한, 도형의 밀도나 형상이 다른 경우, 해당 학습 데이터 세트를 이용하여 학습된, 신경망에 기초하여 출력되는 복소 홀로그램에 미치는 영향이 상이할 수 있다. The type of the training data set may affect an output value that is output based on the neural network learned using the corresponding training data set. Therefore, when the training data set includes a plurality of virtual depth images, and the plurality of virtual depth images are composed of a plurality of figures, the density or shape of the figure is based on the neural network learned using the corresponding training data set. This can affect the output complex hologram. In addition, when the density or shape of the figure is different, the effect on the complex hologram output based on the neural network learned using the corresponding training data set may be different.

복수의 가상의 깊이 이미지들은 도형의 밀도 및 형상이 유사한 하나의 이미지 세트만을 포함할 수 있으며, 도형의 밀도나 형상이 상이한 복수의 이미지 세트들을 포함할 수도 있다. 하나의 이미지 세트만를 이용하여 신경망을 학습시키지 않고, 도형의 밀도 및 형상 중 적어도 하나가 다른, 둘 이상의 이미지 세트를 이용하여 신경망을 학습시키는 경우, 이미지 세트들이 신경망에 기초하여 출력되는 복소 홀로그램에 미치는 영향이 해당 복소 홀로그램에 중첩적으로 작용될 수 있다.The plurality of virtual depth images may include only one image set having similar densities and shapes of figures, or may include a plurality of image sets having different densities or shapes of figures. When the neural network is trained using two or more image sets, in which at least one of the density and shape of the figure is different, without using only one image set, the image sets affect the complex hologram output based on the neural network. The influence can be applied to the complex hologram in an overlapping manner.

단계 920에서, 다중 심도 표현이 가능한 홀로그램 생성 장치는 객체의 깊이 데이터로부터 기 설정된 개수의 깊이 레이어들에 대한 복수의 깊이 이미지들을 획득할 수 있다. 깊이 레이어들의 개수는 다중 심도 표현이 가능한 홀로그램을 생성하는 장치를 사용하는 자의 목적, 의도 또는 새로운 기술의 출현 등에 따라 달라질 수 있다.In operation 920, the hologram generating apparatus capable of expressing multiple depths may obtain a plurality of depth images of a preset number of depth layers from the depth data of the object. The number of depth layers may vary according to the purpose or intention of a person who uses a device for generating a hologram capable of expressing multiple depths, or the appearance of a new technology.

단계 930에서, 다중 심도 표현이 가능한 홀로그램 생성 장치는 학습된 신경망에 기초하여, 획득된 복수의 깊이 이미지들로부터 실수부와 허수부로 구성된 복소 홀로그램을 출력할 수 있다. 다중 심도 표현이 가능한 홀로그램 생성 장치는 출력된 복소 홀로그램을 인코딩함으로써 진폭 홀로그램 또는 위상 홀로그램으로 변환시킬 수 있다.In operation 930, the hologram generating apparatus capable of representing multiple depths may output a complex hologram composed of a real part and an imaginary part from the obtained plurality of depth images based on the learned neural network. A hologram generating device capable of representing multiple depths can convert an output complex hologram into an amplitude hologram or a phase hologram by encoding it.

본 실시예들은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.The present embodiments may be implemented in the form of a recording medium including instructions executable by a computer, such as program modules executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer readable media may include computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.Although the embodiments have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concept of the present invention defined in the following claims are also within the scope of the present invention. belongs to

Claims (13)

다중 심도 표현이 가능한 홀로그램을 생성하는 방법에 있어서,
가상의 이미지들인 복수의 학습용 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시키는 단계;
객체의 기 설정된 개수의 깊이 레이어들에 대한 이미지들인 복수의 객체 깊이 이미지들을 상기 객체의 깊이 데이터로부터 획득하는 단계; 및
상기 학습된 신경망에 기초하여, 상기 복수의 객체 깊이 이미지들로부터 실수부와 허수부로 구성된 객체 복소 홀로그램을 출력하는 단계를 포함하고,
상기 복수의 학습용 깊이 이미지들은 제1 이미지 세트 및 제2 이미지 세트를 포함하고,
상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며,
상기 제2 이미지 세트는 상기 제1 이미지 세트와 밀도가 다른 복수의 점들로 구성된 복수의 이미지들인, 다중 심도 표현이 가능한 홀로그램을 생성하는 방법.A method for generating a hologram capable of expressing multiple depths,
training a neural network using a plurality of learning depth images that are virtual images and a target complex hologram;
obtaining a plurality of object depth images, which are images of a preset number of depth layers of an object, from depth data of the object; and
Based on the learned neural network, outputting an object complex hologram composed of a real part and an imaginary part from the plurality of object depth images;
The plurality of depth images for learning include a first image set and a second image set,
The first image set is a plurality of images composed of a plurality of dots,
The second image set is a plurality of images composed of a plurality of dots having different densities from the first image set, the method of generating a hologram capable of expressing multiple depths. 삭제delete 삭제delete 제 1항에 있어서,
상기 복수의 학습용 깊이 이미지들은 제3 이미지 세트를 더 포함하고,
상기 제3 이미지 세트는 복수의 원들로 구성된 복수의 이미지들인, 다중 심도 표현이 가능한 홀로그램을 생성하는 방법.According to claim 1,
The plurality of depth images for training further include a third image set,
Wherein the third image set is a plurality of images composed of a plurality of circles, a method for generating a hologram capable of expressing multiple depths. 삭제delete 제 1 항에 있어서,
상기 객체 복소 홀로그램을 진폭 홀로그램 또는 위상 홀로그램으로 인코딩하는 단계를 더 포함하는, 다중 심도 표현이 가능한 홀로그램을 생성하는 방법.According to claim 1,
The method of generating a hologram capable of representing multiple depths, further comprising encoding the object complex hologram into an amplitude hologram or a phase hologram. 다중 심도 표현이 가능한 홀로그램을 생성하는 장치에 있어서,
적어도 하나의 프로그램이 저장된 메모리; 및
상기 적어도 하나의 프로그램을 실행함으로써 다중 심도 표현이 가능한 홀로그램을 생성하는 프로세서를 포함하고,
상기 프로세서는
가상의 이미지들인 복수의 학습용 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시키고, 객체의 기 설정된 개수의 깊이 레이어들에 대한 이미지들인 복수의 객체 깊이 이미지들을 상기 객체의 깊이 데이터로부터 획득하고, 상기 학습된 신경망에 기초하여, 상기 복수의 객체 깊이 이미지들로부터 실수부와 허수부로 구성된 객체 복소 홀로그램을 출력하고,
상기 복수의 학습용 깊이 이미지들은 제1 이미지 세트 및 제2 이미지 세트를 포함하고,
상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며,
상기 제2 이미지 세트는 상기 제1 이미지 세트와 밀도가 다른 복수의 점들로 구성된 복수의 이미지들인, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치.An apparatus for generating a hologram capable of expressing multiple depths,
a memory in which at least one program is stored; and
A processor for generating a hologram capable of expressing multiple depths by executing the at least one program;
The processor
Learning a neural network using a plurality of training depth images, which are virtual images, and a target complex hologram, and acquiring a plurality of object depth images, which are images for a preset number of depth layers of an object, from the depth data of the object, Based on the learned neural network, outputting an object complex hologram composed of a real part and an imaginary part from the plurality of object depth images;
The plurality of depth images for learning include a first image set and a second image set,
The first image set is a plurality of images composed of a plurality of dots,
Wherein the second image set is a plurality of images composed of a plurality of dots having different densities from the first image set, and a device for generating a hologram capable of representing multiple depths. 삭제delete 삭제delete 제 7항에 있어서,
상기 복수의 학습용 깊이 이미지들은 제3 이미지 세트를 더 포함하고,
상기 제3 이미지 세트는 복수의 원들로 구성된 복수의 이미지들인, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치.According to claim 7,
The plurality of depth images for training further include a third image set,
The third image set is a plurality of images composed of a plurality of circles, the apparatus for generating a hologram capable of expressing multiple depths. 삭제delete 제 7항에 있어서,
상기 프로세서는,
상기 객체 복소 홀로그램을 진폭 홀로그램 또는 위상 홀로그램으로 인코딩하는, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치.According to claim 7,
the processor,
An apparatus for generating a hologram capable of expressing multiple depths by encoding the object complex hologram into an amplitude hologram or a phase hologram. 제 1항, 제 4항 및 제 6항 중 어느 한 항에 따른 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium recording a program for executing the method according to any one of claims 1, 4 and 6.
KR1020200176605A 2020-12-16 2020-12-16 Method and apparatus for generating multi-depth hologram KR102501302B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200176605A KR102501302B1 (en) 2020-12-16 2020-12-16 Method and apparatus for generating multi-depth hologram
PCT/KR2021/004289 WO2022131452A1 (en) 2020-12-16 2021-04-06 Method and apparatus for generating hologram capable of multi-depth expression

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200176605A KR102501302B1 (en) 2020-12-16 2020-12-16 Method and apparatus for generating multi-depth hologram

Publications (2)

Publication Number Publication Date
KR20220086289A KR20220086289A (en) 2022-06-23
KR102501302B1 true KR102501302B1 (en) 2023-02-17

Family

ID=82057710

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200176605A KR102501302B1 (en) 2020-12-16 2020-12-16 Method and apparatus for generating multi-depth hologram

Country Status (2)

Country Link
KR (1) KR102501302B1 (en)
WO (1) WO2022131452A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240041713A (en) * 2022-09-23 2024-04-01 서울대학교산학협력단 Hologram optimization method and apparatus

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102187123B1 (en) * 2020-02-12 2020-12-04 주식회사 카카오뱅크 Server and Method for Detecting Hologram

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010511899A (en) * 2006-12-01 2010-04-15 エフ ポスザット エイチユー、 エルエルシー Computer-generated hologram
KR101820563B1 (en) * 2014-12-31 2018-01-19 한국전자통신연구원 Data format for hologram, and apparatus and method for holographic video system
KR102526651B1 (en) * 2017-12-01 2023-04-27 삼성전자주식회사 Apparatus and Method of processing image data
KR102167616B1 (en) * 2018-12-12 2020-10-19 세종대학교 산학협력단 Apparatus extracting three-dimensional location of object using optical scanning holography and convolutional neural network and method thereof
KR20200104068A (en) * 2019-02-26 2020-09-03 한국전자통신연구원 Method and apprartus for generating deep learning-based digital hologram
KR102129069B1 (en) * 2019-06-05 2020-07-01 세종대학교산학협력단 Method and apparatus of automatic optical inspection using scanning holography

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102187123B1 (en) * 2020-02-12 2020-12-04 주식회사 카카오뱅크 Server and Method for Detecting Hologram

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Pengcheng Zhou et al, Image quality enhancement and computation acceleration of 3D holographic display using a symmetrical 3D GS algorithm"

Also Published As

Publication number Publication date
KR20220086289A (en) 2022-06-23
WO2022131452A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
US10552730B2 (en) Procedural modeling using autoencoder neural networks
US10088802B2 (en) Method and apparatus for processing holographic image
CN107622521B (en) Method and apparatus for processing three-dimensional image
US11823349B2 (en) Image generators with conditionally-independent pixel synthesis
KR102501302B1 (en) Method and apparatus for generating multi-depth hologram
KR20200104068A (en) Method and apprartus for generating deep learning-based digital hologram
Guérin et al. Gradient terrain authoring
US20240027961A1 (en) Method and apparatus for generating computer-generated hologram
US11150605B1 (en) Systems and methods for generating holograms using deep learning
US20140210942A1 (en) Fast processing of information represented in digital holograms
KR20220023953A (en) Method and system for processing computer-generated hologram
US10748249B2 (en) Image data processing method and apparatus
US20200192286A1 (en) Hologram image representation method and hologram image representation device
Dy et al. MCGAN: mask controlled generative adversarial network for image retargeting
US20210003967A1 (en) Method and apparatus for processing holographic image
US11740587B2 (en) Method and apparatus for generating computer-generated hologram
Mangra et al. TSCH Algorithm-Terrain Synthesis from Crude Heightmaps.
Jaminet et al. Serlio and Artificial Intelligence: Problematizing the Image-to-Object Workflow
US20230236545A1 (en) Holographic image processing method and holographic image processing apparatus
US20230186432A1 (en) Method and apparatus for image restoration based on burst image
KR20200073127A (en) Method and device for representing hologram image
Gillespie User-appropriate viewer for high resolution interactive engagement with 3D digital cultural artefacts.
US20190266704A1 (en) Apparatus and method of processing image data
CN117934677A (en) Image processing method and device and training method and device of image processing model
KR20200111598A (en) Method and apparatus for processing three dimensional holographic image

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant