KR20220086289A

KR20220086289A - 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치

Info

Publication number: KR20220086289A
Application number: KR1020200176605A
Authority: KR
Inventors: 이병호; 이주현; 정진수; 유동헌
Original assignee: 서울대학교산학협력단
Priority date: 2020-12-16
Filing date: 2020-12-16
Publication date: 2022-06-23
Also published as: WO2022131452A1; KR102501302B1

Abstract

일부 실시예에 따르면, 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시키고, 객체의 깊이 데이터로부터 기 설정된 개수의 깊이 레이어들에 대한 복수의 깊이 이미지들을 획득하고, 학습된 신경망에 기초하여, 획득된 복수의 깊이 이미지들로부터 실수부와 허수부로 구성된 복소 홀로그램을 출력하는, 다중 심도 표현이 가능한 홀로그램을 생성하는 방법이 개시된다.

Description

다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치 {Method and apparatus for generating multi-depth hologram}

본 개시는 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치에 관한 것이다.

홀로그램은, 빛의 진폭 및 위상을 조절하여 3D 공간 상에 객체를 재현함에 따라, 시야의 제한이 없고 입체 피로가 거의 없는 3D 공간 표현 기술의 일종이다. 따라서, 빛의 진폭 또는 위상을 제어할 수 있는 공간 광 변조기(Spatial Light Modulator(SLM))를 이용하여 실시간으로 고해상도 홀로그램을 구현하는 디바이스들이 많이 개발되고 있다. 홀로그램은, 물체파와 참조파의 간섭 패턴(interference pattern)을 이용하여 3D 공간 상에 표시될 수 있다. 최근에는 홀로그램을 재생하기 위한 간섭 패턴을 프로세싱함으로써 평면 디스플레이(flat panel display) 상에서 홀로그램을 제공할 수 있는 컴퓨터 생성 홀로그램(computer-generated hologram: CGH)이 활용되고 있다. 디지털 홀로그램을 생성하는 방법, 예를 들어 CGH는, 광학 신호들을 근사화하고 수학적 연산을 통해 생성된 간섭 패턴을 계산함으로써, 홀로그램을 생성한다. 디지털 홀로그램 생성 방법은, 객체가 3D 포인트들, 폴리곤들, 또는 깊이 데이터들 등의 다양한 데이터의 집합으로 구성된다는 점에 기초하여, 객체를 구성하는 객체 데이터들을 계산함으로써, 완성된 홀로그램을 표현한다.

최근 이러한 디지털 홀로그램 생성에도 신경망 학습을 도입하고자 하는 시도들이 늘어나고 있다. 그 중, 생산적 적대 신경망(Generative adversarial network: GAN)을 이용하여 포인트 클라우드 기반의 디지털 홀로그램을 생성하는 방법은, 한번에 하나의 점광원에 대한 홀로그램을 생성할 수 있으므로 하나의 이미지에 대한 홀로그램을 생성하기 위해서는 반복적인 계산이 요구된다. 또한, 심층 신경망(Deep neural network: DNN)을 이용하여 랜덤 위상과 랜덤 스페클 기반의 디지털 홀로그램을 생성하는 방법은, 신경망 학습이 하나의 깊이 레이어에 대해서만 진행되므로, 3차원 입체 정보를 표현하는 홀로그램을 생성하기 위해서는 수 차례의 학습이 요구된다.

다양한 실시예들은 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치를 제공하는데 있다. 본 개시가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.

상술한 기술적 과제를 해결하기 위한 수단으로서, 일 측면에 따른 다중 심도 표현이 가능한 홀로그램을 생성하는 방법은, 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시키는 단계; 객체의 깊이 데이터로부터 기 설정된 개수의 깊이 레이어들에 대한 복수의 깊이 이미지들을 획득하는 단계; 및 상기 학습된 신경망에 기초하여, 상기 획득된 복수의 깊이 이미지들로부터 실수부와 허수부로 구성된 복소 홀로그램을 출력하는 단계를 포함할 수 있다.

일부 실시예에 따르면, 상기 복수의 가상의 깊이 이미지들은 제1 이미지 세트 및 제2 이미지 세트를 포함하고, 각각의 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 서로 다를 수 있다.

예를 들어, 상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며, 상기 제2 이미지 세트는 상기 제1 이미지 세트와 상기 밀도가 다른 복수의 점들 또는 상기 형상이 다른 복수의 원들로 구성된 복수의 이미지들 일 수 있다.

또한, 상기 복수의 가상의 깊이 이미지들은 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 상기 제1 이미지 세트 및 상기 제2 이미지 세트와 다른, 제3 이미지 세트를 더 포함할 수 있다.

예를 들어, 상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며, 상기 제2 이미지 세트는 상기 제1 이미지 세트와 상기 밀도가 다른 복수의 점들로 구성된 복수의 이미지들이며, 상기 제3 이미지 세트는 상기 제1 이미지 세트 및 상기 제2 이미지 세트와 상기 형상이 다른 복수의 원들로 구성된 복수의 이미지들일 수 있다.

또한, 상기 복소 홀로그램을 진폭 홀로그램 또는 위상 홀로그램으로 인코딩하는 단계를 더 포함할 수 있다.

다른 측면에 따르면, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치에 있어서, 적어도 하나의 프로그램이 저장된 메모리; 및 상기 적어도 하나의 프로그램을 실행함으로써 다중 심도 표현이 가능한 홀로그램을 생성하는 프로세서를 포함하고, 상기 프로세서는 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시키고, 객체의 깊이 데이터로부터 기 설정된 개수의 깊이 레이어들에 대한 복수의 깊이 이미지들을 획득하고, 상기 학습된 신경망에 기초하여, 상기 획득된 복수의 깊이 이미지들로부터 실수부와 허수부로 구성된 복소 홀로그램을 출력할 수 있다.

일부 실시예에 따르면, 상기 복수의 깊이 이미지들은 제1 이미지 세트 및 제2 이미지 세트를 포함하고, 각각의 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 서로 다를 수 있다.

예를 들어, 상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며, 상기 제2 이미지 세트는 상기 제1 이미지 세트와 상기 밀도가 다른 복수의 점들 또는 상기 형상이 다른 복수의 원들로 구성된 복수의 이미지들일 수 있다.

또한, 상기 프로세서는, 상기 복소 홀로그램을 진폭 홀로그램 또는 위상 홀로그램으로 인코딩할 수 있다.

또 다른 측면에 따르면, 상술한 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함할 수 있다.

실시예에 따른 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치는 가상의 깊이 이미지들을 이용하여 학습을 하는 경우, 실물 객체에 대한 저작권 등의 법적인 문제와 다수의 깊이 이미지들을 확보하는 것이 어렵다는 현실적인 문제들이 존재하지 않으므로, 다수의 학습 데이터 세트를 이용함으로써, 학습된 신경망에 기초하여 복수의 깊이 이미지들로부터 출력되는 복소 홀로그램의 정확도가 증가될 수 있다.

또한, 실시예에 따른 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치는 하나의 이미지 세트만을 이용하여 신경망을 학습시키지 않고, 도형의 밀도 및 형상 중 적어도 하나가 다른, 둘 이상의 이미지 세트를 이용하여 신경망을 학습시키는 경우, 이미지 세트들이 신경망에 기초하여 출력되는 복소 홀로그램에 미치는 영향이 해당 복소 홀로그램에 중첩적으로 작용될 수 있으므로, 학습된 신경망에 기초하여 복수의 깊이 이미지들로부터 출력되는 복소 홀로그램의 정확도가 증가될 수 있다.

도 1은 일부 실시예에 따른 다중 심도 표현이 가능한 홀로그램을 생성하는 장치의 일 예를 나타내는 블록도이다.
도 2는 일부 실시예에 따른 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 생성하는 과정을 설명하기 위한 예시도이다.
도 3은 일부 실시예에 따른 합성곱 신경망의 예시도이다.
도 4는 일부 실시예에 따른 학습된 신경망에 기초하여, 복수의 깊이 이미지들로부터 복소 홀로그램을 출력하는 과정을 설명하기 위한 예시도이다.
도 5는 복수의 깊이 이미지들을 달리하여 학습된, 신경망으로부터 출력되는 복소 홀로그램들의 예시도이다.
도 6은 학습된 신경망에 의해 획득된 복소 홀로그램과 ASM에 의해 획득된 복소 홀로그램 각각의 실수부와 허수부를 나타내는 도면이다.
도 7은 일부 실시예에 따른, 학습된 신경망에 의해 획득된 복소 홀로그램과 ASM에 의해 획득된 복소 홀로그램의 재생 시뮬레이션 결과이다.
도 8은 일부 실시예에 따른, 학습된 신경망에 의해 획득된 복소 홀로그램과 ASM에 의해 획득된 복소 홀로그램의 재생 시뮬레이션 결과이다.
도 9는 일부 실시예에 따른 객체의 깊이 데이터로부터 다중 심도 표현이 가능한 홀로그램을 생성하는 방법의 흐름도이다.

본 실시예들에서 사용되는 용어는 본 실시예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 기술분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 임의로 선정된 용어도 있으며, 이 경우 해당 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들의 전반에 걸친 내용을 토대로 정의되어야 한다.

실시예들에 대한 설명들에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 구성요소를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 실시예들에서 사용되는 “구성된다” 또는 “포함한다” 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 명세서에서 사용되는 '제1' 또는 '제2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.

하기 실시예들에 대한 설명은 권리범위를 제한하는 것으로 해석되지 말아야 하며, 해당 기술분야의 당업자가 용이하게 유추할 수 있는 것은 실시예들의 권리범위에 속하는 것으로 해석되어야 할 것이다. 이하 첨부된 도면들을 참조하면서 오로지 예시를 위한 실시예들을 상세히 설명하기로 한다.

도 1은 일부 실시예에 따른 다중 심도 표현이 가능한 홀로그램을 생성하는 장치의 일 예를 나타내는 블록도이다.

다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)는 다중 심도 표현이 가능한 홀로그래픽 이미지를 재생하는 장치라면 제한 없이 해당될 수 있다. 예를 들어, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)는 TV, 모니터, 테블릿 PC, 모바일 폰 등과 같은 디스플레이 장치에 배치되어 다중 심도 표현이 가능한 홀로그래픽 이미지를 재생하는 장치에 해당될 수 있으나, 이에 반드시 제한되는 것은 아니다.

도 1을 참조하면, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)는 메모리(110) 및 프로세서(120)를 포함할 수 있다. 다만, 도 1에 도시된 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)에는 본 실시예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)에는 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음은 당업자에게 자명하다.

메모리(110)는 프로세서(120) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 예를 들어, 메모리(110)는 프로세서(120)에서 처리된 데이터들 및 처리될 데이터들을 저장할 수 있다. 또한, 메모리(110)는 프로세서(120)에 의해 구동될 다양한 애플리케이션들, 예를 들어 홀로그램 재생 애플리케이션, 웹 브라우징 애플리케이션, 게임 애플리케이션, 비디오 애플리케이션 등을 저장할 수 있다.

메모리(110)는 휘발성 메모리(volatile memory) 또는 불휘발성 메모리(nonvolatile memory) 중 적어도 하나를 포함할 수 있다. 불휘발성 메모리는 ROM (Read Only Memory), PROM (Programmable ROM), EPROM (Electrically Programmable ROM), EEPROM (Electrically Erasable and Programmable ROM), 플래시 메모리, PRAM (Phase-change RAM), MRAM (Magnetic RAM), RRAM (Resistive RAM), FeRAM (Ferroelectric RAM) 등을 포함한다. 휘발성 메모리는 DRAM (Dynamic RAM), SRAM (Static RAM), SDRAM (Synchronous DRAM), PRAM (Phase-change RAM), MRAM (Magnetic RAM), RRAM (Resistive RAM) 등을 포함한다. 다만, 이에 제한되지 않는다.

일부 실시예에 있어서, 메모리(110)는 HDD(Hard Disk Drive), SSD(Solid State Drive), CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 Memory Stick 중 적어도 하나로 구현될 수 있다.

프로세서(120)는 PC(personal computer), 서버 디바이스, TV(television), 모바일 디바이스(스마트폰, 태블릿 디바이스 등), 임베디드 디바이스, 자율주행 자동차, 웨어러블 디바이스, AR(Augmented Reality) 디바이스, IoT(Internet of Things) 디바이스 등의 다양한 종류의 컴퓨팅 디바이스들에 구비된 프로세서에 해당할 수 있다. 예를 들어, 프로세서(120)는 CPU(central processing unit), GPU(graphics processing unit), AP(application processor), NPU(neural processing unit) 등과 같은 프로세서에 해당할 수 있으나, 이에 제한되지 않는다.

프로세서(120)는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

프로세서(120)는 프로세서(120)가 구비된 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)를 제어하기 위한 전반적인 기능들을 수행하는 역할을 한다. 프로세서(120)는 메모리(110)에 저장된 프로그램들을 실행함으로써, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)를 전반적으로 제어할 수 있다. 예를 들어, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)가 디스플레이 장치(130) 내에 구비된 경우, 프로세서(120)는 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)에 의한 이미지 처리를 제어함으로써 디스플레이 장치(130)에 의한 홀로그래픽 이미지의 표시를 제어할 수 있다.

디스플레이 장치(130)는 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)에 의해 생성된 홀로그램에 기초하여 3D 공간 상에 홀로그래픽 이미지를 표시할 수 있는 장치에 해당할 수 있다. 또한, 디스플레이 장치(130)는 LCoS, LCD, OLED 등과 같은 다양한 종류의 디스플레이 패널을 포함할 수 있다. 즉, 디스플레이 장치(130)는 홀로그램을 생성하기 위한 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10) 외에도, 홀로그래픽 이미지를 표시하기 위한 다양한 하드웨어 모듈들, 하드웨어 구성들을 포함할 수 있다.

한편, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)는 디스플레이 장치(130)의 외부에 구현된 별도의 독립적인 장치일 수 있다. 이때, 디스플레이 장치(130)는 외부의 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)에 의해 생성된 홀로그램 데이터를 수신하고, 수신된 홀로그램 데이터에 기초하여 홀로그래픽 이미지를 표시할 수 있다. 즉, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)와 디스플레이 장치(130)의 구현 방식은 어느 하나의 실시예에 의해 제한되지 않는다.

프로세서(120)는 학습 데이터 세트를 지도학습(Supervised Learning) 기법에 따라 처리하여 신경망을 구축하거나 학습시킬 수 있다.

신경망은 1개 이상의 히든 레이어를 포함하는 심층 신경망(Deep Neural Network: DNN) 또는 n-계층 신경망(n-layers neural networks)일 수 있다. DNN은 합성곱 신경망(Convolutional Neural Networks: CNN), 순환 신경망(Recurrent Neural Networks: RNN), 심층 신뢰망(Deep Belief Networks; DBN), 제한적 볼츠만 머신(Restricted Boltzman Machines: RBM) 등을 포함할 수 있으나, 이에 제한되지 않는다.

프로세서(120)는 학습 데이터 세트를 이용하여, 어느 하나의 입력 데이터를 신경망에 입력하여 생성된 출력 값이 해당 학습 데이터 세트의 미리 정해진 값에 근접하도록 신경망 내 함수들을 조정하는 과정을 반복하여 수행함으로써 신경망을 학습시킬 수 있다. 학습 데이터 세트는 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램으로 구성될 수 있다. 예를 들어, 학습 데이터 세트가 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램으로 구성되는 경우, 프로세서(120)는 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램으로부터 산출한 오차에 기초하여 신경망 내 함수들을 조정하는 과정을 반복하여 수행함으로써 신경망을 학습시킬 수 있다.

신경망의 학습에 이용되는 학습 데이터 세트의 개수가 증가될수록, 보다 적절한 신경망 내 함수들을 획득할 수 있으므로, 학습된 신경망에 의해 출력된 출력 값의 정확도가 증가될 수 있다. 예를 들어, 학습 데이터 세트가 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램으로 구성되는 경우, 학습을 위해 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램이 신경망에 많이 제공될수록, 학습된 신경망에 기초하여 복수의 깊이 이미지들로부터 출력되는 복소 홀로그램의 정확도가 증가될 수 있다.

그러나, 학습 데이터 세트가 실물 객체의 깊이 이미지들로 구성되는 경우, 실물 객체에 대한 저작권 등의 법적인 문제와 다수의 깊이 이미지들을 확보하는 것이 어렵다는 현실적인 문제가 존재한다. 가상의 깊이 이미지들을 이용하여 학습을 하는 경우에는 이러한 문제들이 존재하지 않으므로, 다수의 학습 데이터 세트를 이용함으로써, 학습된 신경망에 기초하여 복수의 깊이 이미지들로부터 출력되는 복소 홀로그램의 정확도가 증가될 수 있다.

복수의 가상의 깊이 이미지들은 점, 선, 원, 타원, 삼각형, 사각형, 다각형 등의 도형으로 구성될 수 있다. 다만, 이에 반드시 제한되는 것은 아니다.

또한, 복수의 가상의 깊이 이미지들은 제1 이미지 세트 및 제2 이미지 세트를 포함하고, 각각의 이미지 세트는 구성되는 도형의 밀도 및 형상 중 적어도 하나가 서로 다를 수 있다. 예를 들어, 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며, 제2 이미지 세트는 제1 이미지 세트와 밀도가 다른 복수의 점들 또는 형상이 다른 복수의 원들로 구성된 복수의 이미지들일 수 있다. 다만, 이에 반드시 제한되는 것은 아니다.

또한, 복수의 가상의 깊이 이미지들은 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 제1 이미지 세트 및 제2 이미지 세트와 다른, 제3 이미지 세트를 더 포함할 수 있다. 예를 들어, 상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며, 제2 이미지 세트는 제1 이미지 세트와 밀도가 다른 복수의 점들로 구성된 복수의 이미지들이며, 제3 이미지 세트는 제1 이미지 세트 및 제2 이미지 세트와 형상이 다른 복수의 원들로 구성된 복수의 이미지들일 수 있다. 다만, 이에 반드시 제한되는 것은 아니다.

학습 데이터 세트의 종류는, 해당 학습 데이터 세트를 이용하여 학습된, 신경망에 기초하여 출력되는 출력 값에 영향을 줄 수 있다. 따라서, 학습 데이터 세트가 복수의 가상 깊이 이미지들을 포함하고, 복수의 가상의 깊이 이미지들이 복수의 도형으로 구성되는 경우, 도형의 밀도나 형상은, 해당 학습 데이터 세트를 이용하여 학습된, 신경망에 기초하여 출력되는 복소 홀로그램에 영향을 미칠 수 있다. 또한, 도형의 밀도나 형상이 다른 경우, 해당 학습 데이터 세트를 이용하여 학습된, 신경망에 기초하여 출력되는 복소 홀로그램에 미치는 영향이 상이할 수 있다.

복수의 가상의 깊이 이미지들은 도형의 밀도 및 형상이 유사한 하나의 이미지 세트만을 포함할 수 있으며, 도형의 밀도나 형상이 상이한 복수의 이미지 세트들을 포함할 수도 있다. 하나의 이미지 세트만을 이용하여 신경망을 학습시키지 않고, 도형의 밀도 및 형상 중 적어도 하나가 다른, 둘 이상의 이미지 세트를 이용하여 신경망을 학습시키는 경우, 이미지 세트들이 신경망에 기초하여 출력되는 복소 홀로그램에 미치는 영향이 해당 복소 홀로그램에 중첩적으로 작용될 수 있다.

타겟 복소 홀로그램은 복수의 가상의 깊이 이미지들로부터 생성되는 각 스펙트럼 방법(angular spectrum method: ASM)에 의한 CGH일 수 있다. CGH는 2차원 인텐시티(2D intensity) 이미지와 깊이 데이터를 이용하여 CGH를 생성하는 깊이 맵(depth map)(또는 레이어 기반(layer-based)) 방식으로 생성될 수 있으며, 수치적 전파 모델로써 ASM, 프레넬 변환(Fresnel transform), 푸리에 변환(Fourier transform)이 사용될 수 있다. 다만, 이에 제한되는 것은 아니다.

프로세서(120)는 객체의 깊이 데이터로부터 기 설정된 개수의 깊이 레이어들에 대한 복수의 깊이 이미지들을 획득할 수 있다. 프로세서(120)가 복수의 깊이 레이어들로부터 복수의 깊이 이미지들을 획득하므로, 출력되는 복소 홀로그램의 다중 심도 표현이 가능하게 된다. 일부 실시예에서는 5개의 깊이 이미지들을 사용하였으나, 이에 제한되는 것은 아니며, 깊이 레이어들의 개수는 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)를 사용하는 자의 목적, 의도 또는 새로운 기술의 출현 등에 따라 달라질 수 있다.

프로세서(120)는 학습 데이터 세트를 이용하여 미리 학습시킨 신경망에 기초하여, 획득된 복수의 깊이 이미지들로부터 실수부와 허수부로 구성된 복소 홀로그램을 출력한다. 출력된 복소 홀로그램은 인코딩됨으로써 진폭 홀로그램 또는 위상 홀로그램으로 변환될 수 있다.

이하 도 2 내지 4를 참조하여 신경망을 학습시키고, 학습된 신경망에 기초하여 복소 홀로그램을 출력하는 과정을 보다 상세히 설명한다.

도 2는 일부 실시예에 따른 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 생성하는 과정을 설명하기 위한 예시도이다.

도 2를 참조하면, 입력 데이터를 위해 복수의 가상의 깊이 이미지들(210)이 생성될 수 있다. 생성된 깊이 이미지들(210)은 홀로그램 평면(230)으로부터 각각 d1 내지 d5의 깊이에 위치할 수 있다. 이러한 깊이 이미지들(210)들은 각각의 깊이에 따라 홀로그램 평면에 역 전달(back propagation)되고, 중첩됨으로써 타겟 복소 홀로그램(240)을 생성한다. 생성된 타겟 복소 홀로그램(240)은 실수부와 허수부로 나뉘어 저장 된다. 예를 들어, 임의의 점들로 구성되는 5개의 상이한 깊이 이미지들이 생성될 수 있으며, 깊이 이미지들은 홀로그램 평면으로부터 각각 0.5cm, 1.0cm, 1.5cm, 2.0cm 및 2.5cm의 거리만큼 분리되어 있을 수 있다. 5개의 상이한 깊이 이미지들이 홀로그램 평면에 역 전달되고, 중첩됨으로써 타겟 복소 홀로그램(240)을 생성하며, 타겟 복소 홀로그램(240)을 생성하는 과정에서 ASM이 이용될 수 있다. 생성된 타겟 복소 홀로그램(240)은 실수부와 허수부로 나뉘어 메모리에 저장될 수 있다.

도 3은 일부 실시예에 따른 합성곱 신경망의 예시도이다.

도 3은 참조하면, 일부 실시예에 따른 합성곱 신경망은 1개의 합성곱 레이어(convolution layer), 2개의 다운 샘플링 블록(down-sampling block), 15개의 레지듀얼 블록(residual block) 및 2개의 업 샘플링 블록(up-sampling block)으로 구성될 수 있다. 다운 샘플링 블록은 1개의 합성곱 레이어, 1개의 배치 노멀리제이션 레이어(batch normalization layer), 및 1개의 정류 선형 유닛 레이어(rectified linear unit layer)로 구성될 수 있다. 레지듀얼 블록은 2개의 합성곱 레이어, 2개의 배치 노멀리제이션 레이어, 및 1개의 정류 선형 유닛 레이어로 구성될 수 있다. 업 샘플링 블록은 1개의 인터폴레이션 레이어(interpolation layer), 1개의 컨볼루션 레이어, 1개의 배치 노멀리제이션 레이어, 및 1개의 정류 선형 유닛 레이어로 구성될 수 있다. 다만, 이에 반드시 제한되는 것은 아니다.

도 4는 일부 실시예에 따른 학습된 신경망에 기초하여, 복수의 깊이 이미지들로부터 복소 홀로그램을 출력하는 과정을 설명하기 위한 예시도이다.

도 4을 참조하면, 상이한 복수의 깊이 레이어들로부터 복수의 깊이 이미지들(410)이 신경망에 입력될 수 있다. 예를 들어, 상이한 복수의 깊이 레이어들로부터, A부터 E까지의 알파벳 형상으로 구성되는 5개의 상이한 깊이 이미지들이 신경망에 입력될 수 있다. 입력된 깊이 이미지들 각각이 해당하는 깊이에서 재생될 수 있도록, 신경망이 복소 홀로그램을 생성할 수 있다. 생성된 복소 홀로그램은 실수부(430)와 허수부(440)로 나뉘어 출력될 수 있다. 일부 실시예에서는 신경망으로써 합성곱 신경망을 사용하였으나, 이에 제한되는 것은 아니다.

도 5는 복수의 깊이 이미지들을 달리하여 학습된, 신경망으로부터 출력되는 복소 홀로그램들의 예시도이다.

도 5에는 신경망이 복수의 도형으로 구성된 이미지 세트를 하나 이상 포함하는 복수의 깊이 이미지들(510 내지 540)에 의해 학습되고, 학습된 신경망에 의해 출력되는 복소 홀로그램들(550 내지 580)이 도시되어 있다.

복수의 깊이 이미지들(510)은 저밀도의 점들로 구성된 이미지 세트만을 포함하며, 복소 홀로그램(550)은 복수의 깊이 이미지들(510)에 의해 학습된 신경망에 의해 출력된다.

복수의 깊이 이미지들(520)은 저밀도의 점들로 구성된 이미지 세트 및 고밀도의 점들로 구성된 이미지 세트를 포함하며, 복소 홀로그램(560)은 복수의 깊이 이미지들(520)에 의해 학습된 신경망에 의해 출력된다. 복소 홀로그램(560)은 복소 홀로그램(550)과 비교하여, 알파벳 형상들의 외곽부가 보다 선명하며, 상당히 높은 화질을 갖는다. 이는, 복수의 깊이 이미지들이 저밀도의 점들로 구성된 이미지 세트 및 고밀도의 점들로 구성된 이미지 세트를 포함하는 경우, 고주파수(high-frequency) 영역에서도 복소 홀로그램의 재생이 잘 이루어지기 때문이다. 저밀도의 점들로 구성된 이미지 세트 및 고밀도의 점들로 구성된 이미지 세트의 비율은 1:1이 바람직하다.

복수의 깊이 이미지들(530)은 복수의 원들로 구성된 이미지 세트만을 포함하며, 복소 홀로그램(570)은 복수의 깊이 이미지들(530)에 의해 학습된 신경망에 의해 출력된다. 복소 홀로그램(570)은, 복수의 깊이 이미지들이 원들로 구성된 이미지 세트를 포함하므로, 저주파수(low-frequency) 영역에서 복소 홀로그램의 재생이 잘 이루어 진다. 그러나, 복수의 깊이 이미지들이 원들로 구성된 이미지 세트만을 포함하는 경우, 학습된 신경망이 고주파수 영역에서의 복소 홀로그램을 표현하기가 어렵다.

복수의 깊이 이미지들(540)은 저밀도의 점들로 구성된 이미지 세트, 고밀도의 점들로 구성된 이미지 세트, 및 복수의 원들로 구성된 이미지 세트를 포함하며, 복소 홀로그램(580)은 복수의 깊이 이미지들(540)에 의해 학습된 신경망에 의해 출력된다. 복소 홀로그램(580)은, 복수의 깊이 이미지들이 저밀도의 점들로 구성된 이미지 세트, 고밀도의 점들로 구성된 이미지 세트, 및 복수의 원들로 구성된 이미지 세트를 모두 포함하므로, 고주파수 영역뿐만 아니라 저주파수 영역에서도 복소 홀로그램의 재생이 잘 이루어 진다. 저밀도의 점들로 구성된 이미지 세트, 고밀도의 점들로 구성된 이미지 세트, 및 복수의 원들로 구성된 이미지 세트의 비율은 1:1:1이 바람직하다.

도 6은 학습된 신경망에 의해 획득된 복소 홀로그램과 ASM에 의해 획득된 복소 홀로그램 각각의 실수부와 허수부를 나타내는 도면이다.

도 6을 참조하면, A부터 E까지의 알파벳 형상으로 구성되는 깊이 이미지들이 학습된 신경망에 입력된다. 학습된 신경망은 복소 홀로그램을 생성하며, 생성된 복소 홀로그램은 실수부(610)와 허수부(620)로 나뉘어 출력된다. 또한, 학습된 신경망에 의해 획득되는 복소 홀로그램과 비교하기 위하여, ASM에 의해 복소 홀로그램의 실수부(630)와 허수부(640)가 획득된다.

학습된 신경망에 의해 획득되는 복소 홀로그램의 실수부(610)와 ASM에 의해 획득되는 복소 홀로그램의 실수부(630)는 유사한 결과를 나타내며, 학습된 신경망에 의해 획득되는 복소 홀로그램의 허수부(620)와 ASM에 의해 획득되는 복소 홀로그램의 허수부(640)의 경우도 마찬가지이다.

도 7은 일부 실시예에 따른, 학습된 신경망에 의해 획득된 복소 홀로그램과 ASM에 의해 획득된 복소 홀로그램의 재생 시뮬레이션 결과이다.

각각의 알파벳이 해당하는 깊이 평면 상에서 초점이 맞추어졌는지 평가하기 위하여, 해당하는 깊이의 알파벳이 확대(710, 720)된다. 또한, 깊이에 따라, 학습된 신경망에 의해 획득되는 복소 홀로그램의 흐려지는 정도(740, 760)는 깊이에 따라, ASM에 의해 획득되는 복소 홀로그램의 흐려지는 정도(730, 750)와 유사하다.

도 8은 일부 실시예에 따른, 학습된 신경망에 의해 획득된 복소 홀로그램과 ASM에 의해 획득된 복소 홀로그램의 재생 시뮬레이션 결과이다.

1개의 회색조의 사진사 이미지와 검은색의 더미(dummy) 이미지들이 신경망에 입력되고, 학습된 신경망은 복소 홀로그램을 생성한다. 깊이에 따라 복소 홀로그램 상의 사진사의 얼굴 및 삼각대 다리의 흐려지는 정도가 비교된다. 깊이에 따라, 학습된 신경망에 의해 획득되는 복소 홀로그램의 흐려지는 정도(820, 840)는 깊이에 따라, ASM에 의해 획득되는 복소 홀로그램의 흐려지는 정도(810, 830)와 유사하다.

따라서, 도 6 내지 도 8에 기초하여, 학습된 신경망은 ASM에 의해 획득된 복소 홀로그램과 유사한 홀로그램을 생성할 수 있음은 당업자에게 자명하다.

도 9는 일부 실시예에 따른 객체의 깊이 데이터로부터 다중 심도 표현이 가능한 홀로그램을 생성하는 방법의 흐름도이다.

도 9를 참조하면, 다중 심도 표현이 가능한 홀로그램을 생성하는 방법은 도 1에 도시된 다중 심도 표현이 가능한 홀로그램을 생성하는 장치(10)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 내지 도 8에 관하여 이상에서 기술된 내용은 도 9의 다중 심도 표현이 가능한 홀로그램을 생성하는 방법에도 적용됨을 알 수 있다.

단계 910에서, 다중 심도 표현이 가능한 홀로그램 생성 장치는 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시킬 수 있다.

다중 심도 표현이 가능한 홀로그램 생성 장치는 학습 데이터 세트를 이용하여, 어느 하나의 입력 데이터를 신경망에 입력하여 생성된 출력 값이 해당 학습 데이터 세트의 미리 정해진 값에 근접하도록 신경망 내 함수들을 조정하는 과정을 반복하여 수행함으로써 신경망을 학습시킬 수 있다.

신경망의 학습에 이용되는 학습 데이터 세트의 개수가 증가될수록, 보다 적절한 신경망 내 함수들을 획득할 수 있으므로, 학습된 신경망에 의해 출력된 출력 값의 정확도가 증가될 수 있다.

다중 심도 표현이 가능한 홀로그램 생성 장치는 각각의 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 서로 다른, 제1 이미지 세트 및 제2 이미지 세트를 포함하는 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시킬 수 있다.

일 예에서, 다중 심도 표현이 가능한 홀로그램 생성 장치는 제1 이미지 세트가 복수의 점들로 구성된 복수의 이미지들이며, 제2 이미지 세트가 제1 이미지 세트와 밀도가 다른 복수의 점들 또는 형상이 다른 복수의 원들로 구성된 복수의 이미지들인 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시킬 수 있다. 다만, 이에 반드시 제한되는 것은 아니다.

또한, 다중 심도 표현이 가능한 홀로그램 생성 장치는 각각의 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 서로 다른, 제1 이미지 세트, 제2 이미지 세트 및 제3 이미지 세트를 포함하는 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시킬 수 있다.

일 예에서, 다중 심도 표현이 가능한 홀로그램 생성 장치는 제1 이미지 세트가 복수의 점들로 구성된 복수의 이미지들이며, 제2 이미지 세트가 제1 이미지 세트와 밀도가 다른 복수의 점들로 구성된 복수의 이미지들이며, 제3 이미지 세트가 제1 이미지 세트 및 제2 이미지 세트와 형상이 다른 복수의 원들로 구성된 복수의 이미지들인, 복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시킬 수 있다. 다만, 이에 반드시 제한되는 것은 아니다.

복수의 가상의 깊이 이미지들은 도형의 밀도 및 형상이 유사한 하나의 이미지 세트만을 포함할 수 있으며, 도형의 밀도나 형상이 상이한 복수의 이미지 세트들을 포함할 수도 있다. 하나의 이미지 세트만를 이용하여 신경망을 학습시키지 않고, 도형의 밀도 및 형상 중 적어도 하나가 다른, 둘 이상의 이미지 세트를 이용하여 신경망을 학습시키는 경우, 이미지 세트들이 신경망에 기초하여 출력되는 복소 홀로그램에 미치는 영향이 해당 복소 홀로그램에 중첩적으로 작용될 수 있다.

단계 920에서, 다중 심도 표현이 가능한 홀로그램 생성 장치는 객체의 깊이 데이터로부터 기 설정된 개수의 깊이 레이어들에 대한 복수의 깊이 이미지들을 획득할 수 있다. 깊이 레이어들의 개수는 다중 심도 표현이 가능한 홀로그램을 생성하는 장치를 사용하는 자의 목적, 의도 또는 새로운 기술의 출현 등에 따라 달라질 수 있다.

단계 930에서, 다중 심도 표현이 가능한 홀로그램 생성 장치는 학습된 신경망에 기초하여, 획득된 복수의 깊이 이미지들로부터 실수부와 허수부로 구성된 복소 홀로그램을 출력할 수 있다. 다중 심도 표현이 가능한 홀로그램 생성 장치는 출력된 복소 홀로그램을 인코딩함으로써 진폭 홀로그램 또는 위상 홀로그램으로 변환시킬 수 있다.

본 실시예들은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims

다중 심도 표현이 가능한 홀로그램을 생성하는 방법에 있어서,
복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시키는 단계;
객체의 깊이 데이터로부터 기 설정된 개수의 깊이 레이어들에 대한 복수의 깊이 이미지들을 획득하는 단계; 및
상기 학습된 신경망에 기초하여, 상기 획득된 복수의 깊이 이미지들로부터 실수부와 허수부로 구성된 복소 홀로그램을 출력하는 단계를 포함하는, 다중 심도 표현이 가능한 홀로그램을 생성하는 방법.
제 1항에 있어서,
상기 복수의 가상의 깊이 이미지들은 제1 이미지 세트 및 제2 이미지 세트를 포함하고,
각각의 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 서로 다른, 다중 심도 표현이 가능한 홀로그램을 생성하는 방법.
제 2항에 있어서,
상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며,
상기 제2 이미지 세트는 상기 제1 이미지 세트와 상기 밀도가 다른 복수의 점들 또는 상기 형상이 다른 복수의 원들로 구성된 복수의 이미지들인, 다중 심도 표현이 가능한 홀로그램을 생성하는 방법.
제 2항에 있어서,
상기 복수의 가상의 깊이 이미지들은 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 상기 제1 이미지 세트 및 상기 제2 이미지 세트와 다른, 제3 이미지 세트를 더 포함하는, 다중 심도 표현이 가능한 홀로그램을 생성하는 방법.
제 4항에 있어서,
상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며,
상기 제2 이미지 세트는 상기 제1 이미지 세트와 상기 밀도가 다른 복수의 점들로 구성된 복수의 이미지들이며,
상기 제3 이미지 세트는 상기 제1 이미지 세트 및 상기 제2 이미지 세트와 상기 형상이 다른 복수의 원들로 구성된 복수의 이미지들인, 다중 심도 표현이 가능한 홀로그램을 생성하는 방법.
제 1 항에 있어서,
상기 복소 홀로그램을 진폭 홀로그램 또는 위상 홀로그램으로 인코딩하는 단계를 더 포함하는, 다중 심도 표현이 가능한 홀로그램을 생성하는 방법.
다중 심도 표현이 가능한 홀로그램을 생성하는 장치에 있어서,
적어도 하나의 프로그램이 저장된 메모리; 및
상기 적어도 하나의 프로그램을 실행함으로써 다중 심도 표현이 가능한 홀로그램을 생성하는 프로세서를 포함하고,
상기 프로세서는
복수의 가상의 깊이 이미지들과 타겟 복소 홀로그램을 이용하여 신경망을 학습시키고, 객체의 깊이 데이터로부터 기 설정된 개수의 깊이 레이어들에 대한 복수의 깊이 이미지들을 획득하고, 상기 학습된 신경망에 기초하여, 상기 획득된 복수의 깊이 이미지들로부터 실수부와 허수부로 구성된 복소 홀로그램을 출력하는, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치.
제 7항에 있어서,
상기 복수의 깊이 이미지들은 제1 이미지 세트 및 제2 이미지 세트를 포함하고,
각각의 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 서로 다른, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치.
제 8항에 있어서,
상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며,
상기 제2 이미지 세트는 상기 제1 이미지 세트와 상기 밀도가 다른 복수의 점들 또는 상기 형상이 다른 복수의 원들로 구성된 복수의 이미지들인, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치.
제 8항에 있어서,
상기 복수의 가상의 깊이 이미지들은 이미지 세트를 구성하는 도형의 밀도 및 형상 중 적어도 하나가 상기 제1 이미지 세트 및 상기 제2 이미지 세트와 다른, 제3 이미지 세트를 더 포함하는, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치.
제 10항에 있어서,
상기 제1 이미지 세트는 복수의 점들로 구성된 복수의 이미지들이며,
상기 제2 이미지 세트는 상기 제1 이미지 세트와 상기 밀도가 다른 복수의 점들로 구성된 복수의 이미지들이며,
상기 제3 이미지 세트는 상기 제1 이미지 세트 및 상기 제2 이미지 세트와 상기 형상이 다른 복수의 원들로 구성된 복수의 이미지들인, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치.
제 7항에 있어서,
상기 프로세서는,
상기 복소 홀로그램을 진폭 홀로그램 또는 위상 홀로그램으로 인코딩하는, 다중 심도 표현이 가능한 홀로그램을 생성하는 장치.
제 1항 내지 제 6항 중 어느 한 항에 따른 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.