KR20230140187A - 디지털 홀로그램 변환 및 렌더링 방법 그리고 장치 - Google Patents

Abstract

디지털 홀로그램 변환 및 렌더링 방법 및 장치가 제공된다. 처리 장치가, 3차원 영상에 대응하는 디지털 홀로그램 데이터를 입력받은 다음에, 입력된 디지털 홀로그램 데이터의 해상도를 축소 변환한다. 그리고 축소 변환된 디지털 홀로그램 데이터를 미리 학습된, 신경망 모델에 적용하여 디지털 홀로그램 예측한다. 이후, 처리 장치가, 예측된 디지털 홀로그램을 기반으로 수치적 복원 처리를 수행하여 홀로그래픽 디스플레이 단말 장치를 통해 대응하는 홀로그램을 재현한다.

Description

디지털 홀로그램 변환 및 렌더링 방법 그리고 장치{Method and apparatus for digital hologram transform and rendering}

본 발명은 디지털 홀로그램 분야에 관한 것으로, 더욱 상세하게 말하자면, 디지털 홀로그램 변환 및 렌더링 방법 그리고 장치에 관한 것이다.

3차원 홀로그램 영상을 공간 상에 재현하는 홀로그래픽 디스플레이는 빛의 회절(diffraction) 현상을 이용한 공간 광 변조기(SLM: spatial light modulator)와 가간섭성 레이저 광원으로 구성된다. 최근 디지털 홀로그래피 및 광학 교육 또는 개발용 목적으로 보급되는 홀로그램 키트(hologram kit)는 반사형 마이크로 디스플레이인 LCOS(Liquid Crystal on Silicon) 기반 SLM을 활용하여 기본적인 홀로그램 광학적 복원을 통한 홀로그래피 3D 영상 재현 기능을 제공한다.

홀로그램 키트는 디지털 홀로그램의 광학적 복원을 위한 최소한의 구성을 가지는 홀로그래픽 디스플레이 장치이다. 디지털 홀로그램의 생성 및 수치적 복원 등과 같은 홀로그램 신호 처리를 위한 모든 수치적 연산 기능은, 홀로그램 키트와는 독립적으로 외부의 고성능 컴퓨팅 시스템(예. 고사양 PC)에서 수행되며, 그 결과값인 디지털 홀로그램이 HDMI 등의 하드웨어 인터페이스 연결을 통하여 홀로그램 키트의 디스플레이에 전송된다.

이때, 고성능 컴퓨팅 시스템에서 서로 다른 방식의 알고리즘으로 생성된 홀로그램이더라도, 홀로그래픽 키트 디스플레이를 이용하여 홀로그램을 실제 재현할 수 있는 물리적 공간 크기와 같은 실제 환경 조건에서 정상적으로 동작되어야 한다. 따라서, 광학적 복원 단계 이전에 홀로그램 키트의 물리 광학적 환경과 특성에 맞는 조건에 부합하여 정상 동작되는지를 사전에 확인하는 검증 과정이 필요하다.

이러한 검증 방법은 홀로그램의 수치적 복원 기능을 통하여 가능하다. 그러나, 종래의 홀로그램 수치적 복원 기능은 홀로그래픽 디스플레이와 같은 단말 환경과는 독립적이다. 또한 디지털 홀로그램 콘텐츠의 생성 및 복원 과정은 2차원 복소수 데이터의 연산에 따른 높은 계산 복잡도를 요구하며, 상당한 성능의 컴퓨터 사양을 필요로 한다.

본 발명이 해결하고자 하는 과제는 홀로그램 키트와 같이 단순한 구성으로 이루어진 디지털 홀로그래픽 디스플레이 단말 장치를 위한 디지털 홀로그램을 적은 계산량으로 변환처리하고 렌더링하는 방법 및 장치를 제공하는 것이다.

또한, 본 발명이 해결하고자 하는 과제는 디지털 홀로그래픽 디스플레이 단말 장치의 광학적 복원을 모사하는 디지털 홀로그램을 적은 계산량으로 수치적 복원 처리를 수행하고, 복원시 3차원 공간 상에서 홀로그램 재현 영상의 위치가 이동되도록 디지털 홀로그램을 처리하는 방법 및 장치를 제공하는 것이다.

일 실시 예에 따르면, 디지털 홀로그램 변환 및 렌더링 방법이 제공된다. 상기 방법은, 처리 장치가, 3차원 영상에 대응하는 디지털 홀로그램 데이터를 입력받는 단계; 상기 처리 장치가, 상기 입력된 디지털 홀로그램 데이터의 해상도를 축소 변환하는 단계; 상기 처리 장치가, 상기 축소 변환된 디지털 홀로그램 데이터를 미리 학습된, 신경망 모델에 적용하여 디지털 홀로그램 예측하는 단계; 및 상기 처리 장치가, 상기 예측된 디지털 홀로그램을 기반으로 수치적 복원 처리를 수행하여, 홀로그래픽 디스플레이 단말 장치를 통해 대응하는 홀로그램을 재현하는 단계를 포함한다.

실시 예들에 따르면, 고사양의 컴퓨터 성능 환경이 요구되는 홀로그램 콘텐츠의 수치적 복원 기능을 구현한 종래 기술과는 다르게, 디지털 홀로그래픽 디스플레이 단말 장치의 물리적 크기와 특성에 부합하도록 저사양의 임베디드 컴퓨팅 장치에서 동작되는 수치적 복원 기능을 제공할 수 있는 방법과 장치를 제공할 수 있다.

또한, 종래 기술이 요구하는 고성능의 디지털 홀로그램 컴퓨팅 환경과 함께 CGH 생성 과정에서 적용된 구체적인 CGH 알고리즘 또는 특정한 방법에 국한되지 않도록, 홀로그래픽 디스플레이 단말 장치에 임베디드 형태로 장착되는 비대칭적, 독립적인 기능을 수행하는 장치를 제공할 수 있다. 이에 따라, 홀로그래픽 디스플레이 단말 장치에서, 고속의 수치적 복원 기능을 통하여 홀로그램 재현 영상 내용을 빠르게 확인함으로써 디지털 위상 홀로그램의 유효성을 검증할 수 있다.

또한, 종래 기술의 홀로그램 생성 과정 중심에서 적용되는 3차원 공간 위치 지정의 파라미터 입력을 실제 이용되는 홀로그래픽 디스플레이 단말 장치의 물리적 광학적 활용 조건에 적응될 수 있도록 홀로그램 재현 영상의 3차원 공간 위치를 이동시키는 기능을 제공할 수 있다. 이에 따라, 홀로그래피 기술의 교육과 응용 개발의 효과를 높일 수 있다.

도 1은 기존의 홀로그램 키트의 구조를 나타낸 도이다.
도 2는 본 발명의 실시 예에 따른 디지털 홀로그램 변환 및 렌더링을 위한 장치의 구조를 나타낸 도이다.
도 3은 본 발명의 실시 예에 따른 홀로그래픽 디스플레이 단말 장치의 구조를 나타내 도이다.
도 4는 본 발명의 실시 예에 따른 신경망 학습 처리부의 구조를 나타낸 도이다.
도 5는 본 발명의 실시 예에 따른 공간 이동 변환 처리부의 구조를 나타낸 도이다.
도 6은 본 발명의 실시 예에 따른 수치적 복원 렌더링 처리부의 구조를 나타낸 도이다.
도 7은 본 발명의 실시 예에 따른 해상도 변환 모듈의 구조를 나타낸 도이다.
도 8은 본 발명의 실시 예에 따른 디지털 홀로그램 처리 장치의 구현 예를 나타내 도이다.
도 9는 본 발명의 실시 예에 따른 디지털 홀로그램의 해상도 변환에 따른 홀로그램 복원 영상 재현시 발생될 수 있는 깊이 방향의 왜곡을 나타낸 도이다.
도 10은 본 발명의 실시 예에 따른 신경망 모델의 학습 과정을 나타낸 흐름도이다.
도 11은 본 발명의 실시 예에 따른 디지털 홀로그램 변환 및 렌더링 방법의 흐름도이다.
도 12는 본 발명의 실시 예에 따른 디지털 홀로그램의 복원 영상이 3차원 공간에서 수직, 수평 및 깊이(거리) 방향으로 이동되는 예시를 나타낸 도이다.
도 13은 본 개시의 실시 예에 따른 방법을 구현하기 위한 컴퓨팅 장치를 설명하기 위한 구조도이다.

아래에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.

또한, 본 개시의 실시 예에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

이하, 도면을 참조하여 본 개시의 실시 예에 따른 심층 강화 학습 방법 및 장치에 대하여 설명한다.

도 1은 기존의 홀로그램 키트의 구조를 나타낸 도이다.

홀로그램 키트(hologram kit)는 반사형 마이크로 디스플레이인 LCOS(Liquid Crystal on Silicon) 기반 SLM(spatial light modulator)을 활용하여 기본적인 홀로그램 광학적 복원을 통한 홀로그래피 3D 영상 재현 기능을 제공한다. 첨부한 도 1에 도시된 홀로그램 키트는 현재 상용화된 홀로그램 키트의 예시이다. 홀로그램 키트에서, 레이저 광원의 파장(wavelength)과 위상 또는 진폭 변조와 같은 SLM의 변조 방식과, SLM의 픽셀 피치(pixel-pitch)는 디지털 홀로그래픽 디스플레이의 성능과 재현되는 홀로그램 영상의 3차원 특성을 결정하는 중요한 광학적 파라미터들이다.

홀로그램 키트는 디지털 홀로그램의 광학적 복원을 위한 최소한의 구성을 가지는 홀로그래픽 디스플레이 장치이므로, 디지털 홀로그램의 생성 및 수치적 복원 등과 같은 홀로그램 신호 처리를 위한 모든 수치적 연산 기능은, 홀로그램 키트와는 독립적으로 외부의 고성능 컴퓨팅 시스템(예. 고사양 PC)에서 수행된다.

외부의 고성능 컴퓨터 시스템이 홀로그래픽 디스플레이의 입력인 디지털 홀로그램 데이터를 생성할 때, 컴퓨터 생성 홀로그램(CGH: computer-generated hologram) 알고리즘을 사용한다. 여기서, 알고리즘은 점광원(point source) 기반; 레이어(layer) 기반 또는 3D 메쉬(mesh) 모델 기반의 방식과 함께 프레넬 전파(Fresnel propagation), 프라운호퍼(Fraunhofer) 변환 또는 각 스펙트럼(angular spectrum) 등 빛의 회절 또는 전파 방법에 따라서 다양한 방식의 CGH 알고리즘을 포함할 수 있다.

이때, 서로 다른 방식의 알고리즘으로 생성된 홀로그램이더라도 모두, 구동하고자 하는 홀로그래픽 키트 디스플레이의 레이저 광원과 SLM의 광학적 파라미터와 함께, 홀로그래픽 키트 디스플레이를 이용하여 홀로그램을 실제 재현할 수 있는 물리적 공간 크기와 같은 실제 환경 조건에서 정상적으로 동작되어야 한다. 이에 따라, 광학적 복원 단계 이전에, 생성된 홀로그램이 홀로그램 키트의 물리 광학적 환경과 특성에 맞는 조건에 부합하여 정상 동작되는지를 사전에 확인하는 검증 과정이 필요하다. 이러한 검증 방법은 홀로그램의 수치적 복원 기능을 통하여 가능하다.

종래의 홀로그램 수치적 복원 기능은 특정한 홀로그램 (콘텐츠) 생성 알고리즘 방식에 부합하도록 콘텐츠의 CGH 생성 단계에서 함께 제공되어 이용되므로, 홀로그래픽 디스플레이와 같은 단말 환경과는 독립적이다. 또한, 디지털 홀로그램 콘텐츠의 생성 및 복원 과정은 2차원 복소수 데이터의 연산에 따른 높은 계산 복잡도를 요구하는데, 특히 3840×2160과 같은 4K UHD(Ultra High Definition)급의 초고해상도 홀로그램의 CGH 및 수치적 복원 과정은 상당한 성능의 컴퓨터 사양을 필요로 한다.

본 발명의 실시 예에서는, 디지털 홀로그램의 기술 교육과 응용 실험을 목적으로 보급되는 홀로그램 키트와 같이 단순한 구성으로 이루어진 디지털 홀로그래픽 디스플레이 단말 장치에서, SLM과 레이저 광원과 같은 해당 장치 구성품의 특정한 물리 광학적 조건과 환경에 특화되어 홀로그램 키트에 입력되는 디지털 홀로그램의 유효성을 검증할 수 있는 수치적 복원 기능을 제공한다. 특히, 고사양의 컴퓨터 성능 환경이 요구되는 홀로그램 콘텐츠의 수치적 복원 기능을 구현한 종래기술과는 다르게, 해당 디지털 홀로그래픽 디스플레이 단말 장치(예: 홀로그램 키트)의 물리적 크기와 특성에 부합하도록, 저사양의 임베디드 컴퓨팅 장치에서 동작되는, 수치적 복원 기능을 제공할 수 있는 방법 및 장치를 제공한다.

도 2는 본 발명의 실시 예에 따른 디지털 홀로그램 변환 및 렌더링을 위한 장치의 구조를 나타낸 도이다.

본 발명의 실시 예에 따른 디지털 홀로그램 변환 및 렌더링을 위한 장치(이하, 설명의 편의를 위해, 디지털 홀로그램 처리 장치라고 명명함)(1)은, 첨부한 도 2에 도시되어 있듯이, 디지털 홀로그램 생성 장치(2)로부터 제공되는 디지털 홀로그램을 수신하여 변환 및 렌더링을 수행하여 홀로그래픽 디스플레이 단말 장치(3)에 제공한다.

여기서, 디지털 홀로그램 생성 장치(2)는 위에서 살펴본 바와 같이 다양한 알고리즘을 기반으로 디지털 홀로그램을 생성하는 장치이다. 디지털 홀로그램 생성 장치(2)는 홀로그래픽 디스플레이 단말 장치(3)와 독립적으로 위치되면서, 고성능의 컴퓨팅 환경을 갖춘 컴퓨터를 이용하여, 홀로그램 생성(computer-generated hologram: CGH) 과정을 수생하여, 디지털 홀로그램 데이터를 생성할 수 있다.

홀로그래픽 디스플레이 단말 장치(3)는 디지털 홀로그램의 광학적 복원을 통한 홀로그래피 3D 영상 재현 기능을 제공한다.

도 3은 본 발명의 실시 예에 따른 홀로그래픽 디스플레이 단말 장치의 구조를 나타내 도이다.

첨부한 도 3에서와 같이, 홀로그래픽 디스플레이 단말 장치(3)는 가간섭성(coherence)을 가지는 레이저 광원(31) 및 공간 광 변조기(spatial light modulator, SLM)(32)을 포함한다.

레이저 광원(31)으로부터 콜리메이트된(collimated) 빛이 SLM(32)를 통하여 빛의 세기 또는 위상이 변조된다. SLM(32)에 입력되는 디지털 홀로그램 데이터는 SLM(32)의 광 변조 기능에 의하여 빛의 분포가 공간적으로 달라짐으로써, 공간 상에 홀로그래피 3차원 영상을 재현하게 된다.

이러한 홀로그래픽 디스플레이 단말 장치(3)는 예를 들어, 디지털 홀로그램의 기술 교육과 응용 실험을 목적으로 보급되는 홀로그램 키트일 수 있다. 홀로그램 키트는 이러한 홀로그램의 광학적 복원 기능을 제공하는 최소한의 부품으로 구성되어 디지털 홀로그래피 광학 교육과 응용 실험을 수행할 수 있는 장치이다.

본 발명의 실시 예에 따른 디지털 홀로그램 처리 장치(1)는 디지털 홀로그램 생성 장치(2)로부터 생성된 디지털 홀로그램 데이터에 대응하는 홀로그램 영상 재현을 위해, 디지털 홀로그램 데이터를 변환하고 렌더링하여 홀로그래픽 디스플레이 단말 장치(3)로 제공하도록 구성된다.

이를 위해, 디지털 홀로그램 처리 장치(1)는 도 2에서와 같이, 신경망 학습 처리부(11), 공간 이동 변환 처리부(12), 수치적 복원 렌더링 처리부(13)를 포함한다.

신경망 학습 처리부(11)는 홀로그램 해상도 축소 변환 및 홀로그램의 수치적 복원 기능을 위한 신경망 모델을 학습하도록 구성된다. 일 예로, 딥 러닝(deep learning)과 같은 인공 신경망(artificial neural network) 학습을 기반으로 신경망 모델을 학습할 수 있다.

도 4는 본 발명의 실시 예에 따른 신경망 학습 처리부의 구조를 나타낸 도이다.

본 발명의 실시 예에 따른 신경망 학습 처리부(11)는 도 4에 도시된 바와 같이, 제1 공간 샘플링부(111), 제1 홀로그램 생성부(112), 제2 홀로그램 생성부(113), 제2 공간 샘플링부(114), 차분 데이터 획득부(115), 및 학습 처리부(116)를 포함한다.

제1 공간 샘플링부(111)는 입력되는 3차원 영상 정보의 해상도를 축소(down-scaling)하도록 구성되며, 특히, 3차원 영상 정보의 해상도를 1/N 해상도로 샘플링하도록 구성된다.

제1 홀로그램 생성부(112)는 제1 공간 샘플링부(111)로부터 제공되는 해상도가 축소된 3차원 영상 정보에 대응하는 디지털 홀로그램을 생성하도록 구성되며, 특히, 1/N 해상도 크기의 디지털 홀로그램 h(x, y)을 생성하도록 구성된다.

한편, 제2 홀로그램 생성부(113)는 입력되는 3차원 영상 정보에 대응하는 디지털 홀로그램을 생성하도록 구성되며, 특히, 원래 해상도 크기의 디지털 홀로그램 H(x, y)을 생성하도록 구성된다.

제1 공간 샘플링부(111)와 제2 홀로그램 생성부(113)로 입력되는 3차원 영상 정보는 초고해상도 3차원 정보이며, 레이어(layer) 방식의 CGH 알고리즘의 일례로서 생성된 데이터일 수 있으며, RGB 영상 및 깊이맵 정보를 포함할 수 있다.

제2 공간 샘플링부(114)는 제2 홀로그램 생성부(113)로부터 제공되는 디지털 홀로그램 H(x, y)의 해상도를 축소하도록 구성되며, 특히, 디지털 홀로그램 H(x, y)의 해상도를 1/N 크기로 단순히 서브 샘플링하여(sub-sampled) 축소된 디지털 홀로그램 H(x/N, y/N)를 출력하도록 구성된다.

여기서, 제1 홀로그램 생성부(112)와 제2 홀로그램 생성부(113)는 3차원 정보의 CGH 계산으로 디지털 홀로그램을 생성할 수 있다.

차분 데이터 획득부(115)는 제1 홀로그램 생성부(112)로부터 제공되는 디지털 홀로그램(1/N 해상도 크기의 디지털 홀로그램 h(x, y)이며, 설명의 편의상 제1 디지털 홀로그램이라고 명명함)과 제2 공간 샘플링부(114)로부터 제공되는 디지털 홀로그램(디지털 홀로그램 H(x/N, y/N)이며, 설명의 편의상 제2 디지털 홀로그램이라고 명명함)의 차분 데이터를 획득하도록 구성된다. 이러한 차분 데이터 즉, 차분 영상(difference image)은 학습 처리부(116)의 입력 데이터로 사용된다.

학습 처리부(116)는 차분 데이터 획득부(115)로부터 제공되는 차분 영상을 입력 데이터로 사용하여, h(x, y)을 예측하도록 신경망 모델을 학습시킨다. 차분 영상의 특징(feature) 정보가 디지털 홀로그램 h(x, y)을 예측하기 위한 학습 데이터(training data)로 사용된다. 여기서는 지도 학습(supervised-learning) 기반의 학습이 수행되지만, 이에 한정되는 것은 아니다. 또한, 학습 처리부(116)는 홀로그래픽 디스플레이 단말 장치의 광학적 파라미터(광원과 SLM의 물리 광학적 조건인, 파장 λ와 SLM의 픽셀 피치 p, 변조 방식 등)을 추가적으로 고려하여 디지털 홀로그램 h(x, y)을 예측한다.

이러한 학습을 통해, 홀로그램 해상도 축소 변환 및 홀로그램의 수치적 복원 기능을 위한 신경망 모델이 학습된다.

한편, 도 2의 공간 이동 변환 처리부(12)는 홀로그램 재현 영상을 3차원 공간 상에서 수평 또는 수직 또는 깊이 방향에서 원하는 위치로 이동시키도록 구성된다.

도 5는 본 발명의 실시 예에 따른 공간 이동 변환 처리부의 구조를 나타낸 도이다.

본 발명의 실시 예에 따른 공간 이동 변환 처리부(12)는 도 5에서와 같이, 수평/수직 방향 이미징 위치 이동 변환 모듈(121) 및 깊이 방향 이미징 위치 이동 변환 모듈(122)을 포함한다.

수평/수직 방향 이미징 위치 이동 변환 모듈(121)은 디지털 홀로그램 생성 장치(2)로부터 전달되는 디지털 홀로그램 데이터(디지털 위상 홀로그램)에 대해 위상 천이 함수를 적용시켜, 홀로그램 재현 영상을 3차원 공간 상에서 수평 또는 수직 방향에서 원하는 위치로 이동시키도록 구성된다.

깊이 방향 이미징 위치 이동 변환 모듈(122)은, 디지털 홀로그램 데이터(또는 수평/수직 방향 이미징 위치 이동 변환 모듈(121)로부터 제공되는 위상 천이 함수가 적용된 데이터)에 대해 위상 변환 함수를 적용시켜, 홀로그램 재현 영상을 3차원 공간 상에서 깊이 방향에서 원하는 위치로 이동시키도록 구성된다.

이러한 구조의 공간 이동 변환 처리부(12)를 통해, 도 5에서와 같이, 디지털 위상 홀로그램이 처리되어, 변환 처리된 디지털 위상 홀로그램이 획득된다. 이때, 변환 처리되는 디지털 위상 홀로그램의 해상도에서는 변화가 없다.

한편, 도 2의 수치적 복원 렌더링 처리부(13)는, 위에서 살펴본 바와 같은, 학습된 신경망 모델을 기반으로 홀로그램의 수치적 복원 렌더링 처리를 수행한다.

도 6은 본 발명의 실시 예에 따른 수치적 복원 렌더링 처리부의 구조를 나타낸 도이다.

본 발명의 실시 예에 따른 수치적 복원 렌더링 처리부(13)는 도 6에서와 같이, 해상도 변환 모듈(131) 및 수치적 복원 처리 모듈(132)을 포함한다.

해상도 변환 모듈(131)은 디지털 홀로그램 데이터에 대해 해상도를 축소 변환하고, 축소 변환된 디지털 홀로그램 데이터를 미리 학습된 신경망 모델에 적용하도록 구성된다.

도 7은 본 발명의 실시 예에 따른 해상도 변환 모듈의 구조를 나타낸 도이다.

본 발명의 실시 예에 따른 해상도 변환 모듈(131)은 도 7에서와 같이, 공간 샘플링 모듈(1311) 및 신경망 모델 적용 모듈(1312)을 포함한다.

공간 샘플링 모듈(1311)은 디지털 홀로그램 생성 장치(2)로부터 입력되는 디지털 홀로그램 데이터에 대해 해상도를 1/4 또는 1/5 수준의 해상도 크기로 축소 변환하도록 구성된다.

신경망 모델 적용 모듈(1312)은 공간 샘플링 모듈(1311)로부터 제공되는, 축소 변환된 디지털 홀로그램 데이터를 신경망 학습 처리부(11)에 의해 학습된 신경망 모델에 적용하도록 구성된다. 이에 따라 축소 변환된 디지털 홀로그램 데이터를 기반으로 신경망 모델에 의해 홀로그램 데이터 즉, 해상도의 축소 변환을 가지는 홀로그램 데이터가 예측된다.

한편, 수치적 복원 렌더링 처리부(13)의 수치적 복원 처리 모듈(132)은 해상도 변환 모듈(131)에 의해 예측된 홀로그램 데이터에 대한 수치적 복원 처리를 수행하도록 구성된다. 특히, 홀로그래픽 디스플레이 단말 장치(3)에 사용되는 광원과 SLM의 물리 광학적 조건(예: 광원의 파장 λ와 SLM의 픽셀 피치 p, 변조 방식 등)을 고려하여 홀로그램의 수치적 복원 기능을 수행한다. 홀로그램 해상도의 축소 변환으로 계산 복잡도가 저감되며, 따라서 고속의 수치적 복원 과정을 통해 홀로그램 재현 영상 내용을 빠르게 확인할 수 있다.

이러한 구조로 이루어지는 본 발명의 실시 예에 따른 디지털 홀로그램 처리 장치(1)는, 고성능의 홀로그램 컴퓨팅 생성 환경과 디지털 위상 홀로그램 생성에 이용된 구체적인 CGH 알고리즘 또는 특정한 방법에 국한되지 않도록, 비대칭적, 독립적인 기능 모듈로서 홀로그래픽 디스플레이 단말 장치(3)에 임베디드(embedded) 형태로 장착 또는 탑재될 수 있다.

도 8은 본 발명의 실시 예에 따른 디지털 홀로그램 처리 장치의 구현 예를 나타내 도이다.

디지털 홀로그램 처리 장치(1)는 도 8의 (a)에서와 같이, 원보드(one-board) 형태로 임베디드 컴퓨팅 시스템으로 구현될 수 있으며, 도 8의 (b)에서와 같이 3.5인치 LCD가 장착된 라즈베리파이(RaspBerry Pi) 보드 형태로 구현될 수 있다.

다음에는 이러한 구조로 이루어지는 디지털 홀로그램 처리 장치(1)를 기반으로, 본 발명의 실시 예에 따른 디지털 홀로그램 변환 및 렌더링 방법에 대해 설명한다.

임베디드 컴퓨팅 시스템으로 구현가능한, 본 발명의 실시 예에 따른 디지털 홀로그램 처리 장치(1)는 임베디드 컴퓨팅에서 지원 가능한 제한된 수준의 연산 성능과 데이터량을 고려하여, 홀로그래픽 디스플레이 단말 장치(3)에 입력되는 초고해상도, 예를 들어, 3840×2160 크기의 초고해상도 홀로그램 데이터를 설정 수준 예를 들어, 1/4 또는 1/5 수준의 해상도 크기로 축소 변환한 후 처리한다. 이때, 홀로그램 데이터의 픽셀을 수평/수직 방향에서 단순히 샘플링하면(sub-sampled), 축소 변환된 홀로그램으로부터 재현된 복원 영상은 수평/수직 방향과는 다르게 거리(깊이) 방향에서 왜곡이 발생하게 된다.

도 9는 본 발명의 실시 예에 따른 디지털 홀로그램의 해상도 변환에 따른 홀로그램 복원 영상 재현시 발생될 수 있는 깊이 방향의 왜곡을 나타낸 도이다.

점광원의 원본 홀로그램 H(x, y)으로부터 전파되는 복소 광 필드(complex wave-field)는 (x _o , y _o , z _o ) 위치에서 다음과 같이 표현된다.

그리고 수평 또는 수직 방향으로 s만큼 스케일되어(scaled) 축소된 홀로그램 H _s (x, y) 또는 H(x/s, y/s)는 다음과 같이 표현된다.

그리고 수평 또는 수직 방향으로 s만큼 스케일되어(scaled) 축소된 홀로그램 H _s (x, y) 또는 H(x/s, y/s)는 다음과 같이 표현된다. 여기서, M _x 는 수평 방향에서 축소되는 배율을 나타내며, M _y 는 수직 방향에서 축소되는 배율을 나타내고, M _z 는 거리(깊이) 방향에서 축소되는 배율을 나타낸다.

수평 또는 수평 방향에서 축소되는 배율 M _x 와 M _y 는 모두 s만큼 축소되는 반면에, 거리(깊이) 방향이 배율 M _z 는 s ² 만큼 축소되어 홀로그램의 재현 영상은 도 9에서와 같이, 깊이 방향으로 왜곡이 발생한다.

또한, 홀로그래픽 디스플레이 단말 장치(3)(홀로그램 키트)를 구성하는 레이저 광원의 파장 λ와 SLM의 픽셀 피치 p와 같은 광학적 파라미터를 정확히 반영하여 CGH 생성된 홀로그램의 재현 영상에는 별다른 왜곡이 없다. 그러나, 파장값이 다른 레이저 광원에 맞추어 생성된 홀로그램의 경우 또는 픽셀 피치와 변조 방식이 다른 SLM을 대상으로 생성된 홀로그램의 경우, 해당 조건과 다른 구성품을 가지는 홀로그램 키트에서의 홀로그램 재현 영상이 왜곡된 형태로 복원될 수 있다.

본 발명의 실시 예에서는 홀로그래픽 디스플레이 단말 장치(3)에서 사용되는 광원과 SLM의 물리 광학적 조건(예: 파장 λ와 SLM의 픽셀 피치 p, 변조 방식 등)을 고려하여 홀로그램의 수치적 복원 기능을 수행한다. 이를 통해, 왜곡을 발생시키는 요소와 정도를 홀로그램의 수치적 복원 영상 재현을 통하여 시각적으로 확인할 수 있게 된다.

위에서 살펴본 바와 같이, 홀로그램의 축소 변환과 레이저 광원의 파장, 그리고 SLM의 픽셀 피치와 변조 방식의 변환 과정과 그에 따른 왜곡 발생은 이러한 상황들이 복합적으로 작용될 경우 비선형적(non-linear) 특성을 가지게 되므로, 종래 기술의 선형적 해석 기법으로는 한계를 가진다.

본 발명의 실시 예에서는 기존의 선형적 해석 기법과는 달리, 비선형적 왜곡 분석 및 보정이 가능하도록 지도 학습(supervised-learning) 기반의 인공 신경망 기술을 이용한, 홀로그램의 축소 변환과 수치적 복원 기능을 제공한다.

또한, 본 발명의 실시 예에서는 홀로그래픽 디스플레이 단말 장치(3)가 실제 광학적으로 복원하는 홀로그램 영상의 위치를 3차원 공간 상에서 사용자가 원하는 위치로 이동시키는 홀로그램 변환을 수행한다.

홀로그램 복원 영상의 재현 위치는 디지털 홀로그램 콘텐츠의 생성 과정에서 지정이 가능하다. 그러나 이미 제작되어 홀로그래픽 디스플레이 단말 장치(3)로 전송 또는 저장되는 디지털 홀로그램 데이터를 실제 홀로그램의 광학적 복원시 운용할 때, 사용자가 원하는 공간 위치에서 홀로그램 영상이 재현될 수 있도록 조절되어야 할 필요가 있다. 본 발명의 실시 예에서는 홀로그래픽 디스플레이 단말 장치(3)에 장착된 임베디드 컴퓨팅 장치인 디지털 홀로그램 처리 장치(1)가 3차원 공간 상에서의 홀로그램 재현 영상의 위치 이동 변환을 수행한다. 즉, 3차원 공간 상에서의 수평, 수직, 깊이(거리) 방향으로 그 재현 위치를 이동하도록 디지털 홀로그램 데이터를 신호처리적으로 변환한다.

이를 위해, 본 발명의 실시 예에서는 딥 러닝과 같은 인공 신경망 학습을 통해 학습된 신경망 모델을 이용하여 홀로그램 해상도 축소 변환 및 홀로그램의 수치적 복원 기능을 제공한다.

도 10은 본 발명의 실시 예에 따른 신경망 모델의 학습 과정을 나타낸 흐름도이다.

도 10에서와 같이, 먼저, 3차원 영상 정보를 입력받는다(S100). 3차원 영상 정보는 초고해상도 3차원 정보이며, RGB 영상 및 깊이맵 정보를 포함할 수 있다.

입력된 3차원 영상 정보의 해상도를 1/N 해상도로 샘플링하고, 해상도가 축소된 3차원 영상 정보에 대응하는 디지털 홀로그램을 생성한다(S110). 이에 따라 특히, 1/N 해상도 크기의 디지털 홀로그램 h(x, y)(제1 디지털 홀로그램 데이터)이 획득된다.

그리고, 입력된 3차원 영상 정보에 대응하는 디지털 홀로그램을 생성하고, 생성된 디지털 홀로그램의 해상도를 1/N 크기로 단순히 서브 샘플링하여 축소된 디지털 홀로그램을 생성한다(S120). 이에 따라 축소된 디지털 홀로그램 H(x/N, y/N)(제2 디지털 홀로그램 데이터)이 획득된다.

여기서 단계(S110)와 단계(S120)의 실행 순서는 위에 기술된 것에 한정되지 않으며, 동시에 수행되거나 또는 다른 순서로 수행될 수 있다.

이후, 제1 디지털 홀로그램 데이터와 제2 디지털 홀로그램 데이터의 차분 데이터를 획득한다(S130). 차분 데이터인 차분 영상의 특징 정보를 신경망 모델의 입력 데이터로 사용하여, 신경망 모델에 대한 지도 학습(supervised-learning) 기반의 학습을 수행한다(S140). 이러한 신경망 모델의 학습의 결과 목표로 h(x, y) 즉, 왜곡 없는 홀로그램 해상도의 축소 변환을 가지는 홀로그램 데이터를 예측한다.

신경망 모델을 학습시키는 학습 데이터(training data)를 수식으로 나타내면 다음과 같다.

이와 같이 지도 학습을 통한 신경망 학습 과정의 결과물인 신경망 모델을 이용하여 디지털 홀로그램 변환 및 렌더링을 수행한다.

도 11은 본 발명의 실시 예에 따른 디지털 홀로그램 변환 및 렌더링 방법의 흐름도이다.

디지털 홀로그램 생성 장치(2)가 3차원 영상에 대응하는 디지털 홀로그램 데이터를 CGH 방식으로 생성하며, 이러한 디지털 홀로그램 데이터가 홀로그래픽 디스플레이 단말 장치(3)로 제공된다(S300). 디지털 홀로그램 처리 장치(1)는 홀로그래픽 디스플레이 단말 장치(3)에 임베디드 형태로 구성되어, 입력되는 디지털 홀로그램 데이터에 대한 변환 및 렌더링을 수행한다.

입력된 디지털 홀로그램 데이터의 해상도를 1/4 또는 1/5 수준의 해상도 크기로 축소 변환한다(S310). 예를 들어, 3840×2160 초고해상도 디지털 홀로그램 데이터의 해상도를 N=4 또는 N=5 정도의 해상도를 가지는 데이터로 축소 변환 또는 다운 스케일링한다.

축소 변환된 디지털 홀로그램 데이터를 위의 과정을 통해 차분 데이터를 특징 정보로 학습하여 획득된 신경망 모델에 적용한다(S320). 이에 따라 예측된 디지털 홀로그램 즉, 왜곡 없는 홀로그램 해상도의 축소 변환을 가지는 홀로그램 데이터를 획득한다(S330).

이후, 홀로그램 해상도의 축소 변환을 가지는 홀로그램 데이터에 대해 수치적 복원을 수행한다(S340). 특히, 홀로그래픽 디스플레이 단말 장치(3)에서 사용되는 광원과 SLM의 물리 광학적 조건(예: 파장 λ와 SLM의 픽셀 피치 p, 변조 방식 등)을 고려하여 홀로그램의 수치적 복원 기능을 수행한다. 이러한 과정을 통해, 홀로그램 해상도의 축소 변환으로 계산 복잡도가 저감되며, 따라서 고속의 수치적 복원 과정을 통해 홀로그램 재현 영상 내용을 빠르게 확인할 수 있다.

또한, 디지털 홀로그램 데이터에 대해 함수를 적용시켜, 홀로그래픽 디스플레이 단말 장치(3)가 광학적으로 복원하는 홀로그램 재현 영상의 3차원 공간 위치를 이동시킨다(S350).

도 12는 본 발명의 실시 예에 따른 디지털 홀로그램의 복원 영상이 3차원 공간에서 수직, 수평 및 깊이(거리) 방향으로 이동되는 예시를 나타낸 도이다.

3차원 공간 상에서 홀로그램 재현 영상의 위치는 도 12에 도시된 바와 같이, 수평 및 수직 방향에서의 이동과 거리(깊이) 방향에서의 이동이 가능하다.

디지털 홀로그램 처리 장치(1)로 입력되는 디지털 위상 홀로그램 데이터는 위의 수학식 1과 같이 디지털 홀로그램 H(x, y)으로 나타낼 수 있다.

홀로그래픽 디스플레이 단말 장치(3)는 위상 변조 SLM 기반의 홀로그램 키트이며, 여기서 재현되는 홀로그램 재현 영상은 도 12에서와 같이, 수평 방형으로 m 만큼 또는 수직 방향으로 n 만큼 이동시킬 수 있다. 이를 위해, 복소 광 필드의 위상 천이(phase-shift)의 T _p (x, y) 함수를 디지털 위상 홀로그램 데이터(H(x, y))에 적용할 수 있으며, 이를 수식으로 나타내면 다음과 같다.

또한, 홀로그램 재현 영상을 원래 홀로그램의 복원 위치에서 도 4에서와 같이 거리(깊이) 방향으로 l 만큼 이동시킬 수 있다. 이를 위해, 렌즈(lens)의 위상 변환 함수(렌즈 함수라고도 명명됨) T _l (x, y)를 디지털 위상 홀로그램 데이터(H(x, y))에 적용할 수 있으며, 이를 수식으로 나타내면 다음과 같다.

본 발명의 실시 예에서, 3차원 이미징 공간 이동 변환은, 디지털 홀로그램 H(x, y)에 다음의 수학식 6과 같이, 위상 천이 함수 T _p (x, y)와 렌즈 함수 T _l (x, y)를 순차적으로 적용하는 것에 의해 이루어질 수 있다. 이에 따라 홀로그래픽 디스플레이 단말 장치(3)로 입력된 디지털 홀로그램을 광학적으로 복원할 때, 홀로그램 재현 영상을 3차원 공간 상에서 수평 또는 수직 또는 깊이 방향에서 원하는 위치로 이동시킬 수 있다.

여기서, *은 2차원 신호의 합성곱(convolution)이므로, 주파수 영역에서의 푸리에(Fourier) 변환을 적용하면 그 계산 속도가 비약적으로 향상될 수 있다. 이에 따라 입력 디지털 홀로그램의 크기가 초고해상도 데이터 일지라도, 임베디드 컴퓨팅 환경에서 고속 처리가 가능해질 수 있다.

위에 기술된 바와 같은 단계(S310~S340)와 단계(S350)가 수행되는 순서는 위에 기술된 것에 한정되지 않는다. 일 예로, 단계(S350)가 먼저 수행되고, 이후에 단계(S310~S340)가 수행될 수도 있다. 다른 예로, 단계(S350)가 수행되어 함수(위상 천이 함수 및/또는 렌즈 함수)가 적용된 디지털 홀로그램 데이터에 대해 단계(S310~S340)가 수행되어, 수평/수직/깊이 방향으로 이동 변환이 적용되면서 홀로그램 해상도의 축소 변환을 가지는 홀로그램 데이터에 대해 수치적 복원이 이루어질 수 있다.

이러한 본 발명의 실시 예에 따르면, 홀로그래픽 디스플레이 단말 장치의 입력인 디지털 홀로그램을 신호처리적으로 변환시킴으로써, 빠른 수치적 복원 렌더링을 통한 홀로그램 재현 영상의 내용과 홀로그램 데이터의 유효성 여부를 검증할 수 있다. 특히, 제한된 연산 능력의 임베디드 컴퓨팅에서 홀로그램의 해상도 축소 변환 및 홀로그램의 수치적 복원이 처리 가능하여 홀로그램 재현 영상 내용을 확인할 수 있다.

또한, 입력되는 디지털 홀로그램의 수치적 복원을 통하여 다양한 알고리즘 방식으로 생성되어 제공된 디지털 홀로그램이 해당 홀로그래픽 디스플레이 단말 장치의 물리 광학적 조건에서 정상적으로 동작되는지를 검증할 수 있다. 이에 따라, 실제 광학적 복원에 활용되는 홀로그래픽 디스플레이 단말 장치의 구성과 물리적 특성이 적용된 비대칭적 임베디드 컴퓨팅 환경에서, 독립적으로 광학적 복원이 이루어진다.

또한, 홀로그래픽 디스플레이 단말 장치에서 광학적으로 복원되는 3차원 재현 영상의 공간 상의 위치를 수평, 수직 및 깊이 방향으로 이동시키는 변환 기능을 제공할 수 있다. 이러한 홀로그램 변환 기능은 홀로그래픽 디스플레이 단말 장치에 장착되는 임베디드 컴퓨팅 환경에서 저감된 계산량으로 구현이 가능하므로, 궁극적으로 홀로그램 키트와 같은 홀로그래픽 디스플레이 단말 장치의 독립성과 사용 용이성을 향상시킬 수 있다.

또한, 기존의 선형적 해석 기법과는 달리, 비선형적 왜곡 분석 및 보정이 가능하도록 지도 학습 기반의 인공 신경망 기술을 이용한, 홀로그램의 축소 변환과 수치적 복원 기능을 제공할 수 있다.

또한, 신경망 학습과 모델 적용의 비대칭적 구성, 즉 일반적으로 학습 과정에서 소요되는 상당한 연산 능력과 계산 속도를 제공하는 고사양의 컴퓨터 환경과, 학습된 신경망 모델을 구현한 임베디드 컴퓨팅 환경에서의 적용은, 종래 기술에서는 기대하기 어려운 4K 초고해상도 홀로그램 데이터의 수치적 복원 과정에서 고속 처리가 가능해지는 장점이 있다.

도 13은 본 개시의 실시 예에 따른 방법을 구현하기 위한 컴퓨팅 장치를 설명하기 위한 구조도이다.

첨부한 도 13에 도시되어 있듯이, 본 개시의 일 실시 예에 따른 방법(디지털 홀로그램 변환 및 렌더링 방법)은 컴퓨팅 장치(100)를 이용하여 구현될 수 있다.

컴퓨팅 장치(100)는 프로세서(110), 메모리(120), 입력 인터페이스 장치(130), 출력 인터페이스 장치(140), 저장 장치(150) 및 네트워크 인터페이스 장치(160) 중 적어도 하나를 포함할 수 있다. 각각의 구성 요소들은 버스(bus)(170)에 의해 연결되어 서로 통신을 수행할 수 있다. 또한, 각각의 구성 요소들은 공통 버스(170)가 아니라, 프로세서(110)를 중심으로 개별 인터페이스 또는 개별 버스를 통하여 연결될 수도 있다.

프로세서(110)는 AP(Application Processor), CPU(Central Processing Unit), GPU(Graphic　Processing　Unit) 등과 같은 다양한 종류들로 구현될 수 있으며, 메모리(120) 또는 저장 장치(150)에 저장된 명령을 실행하는 임의의 반도체 장치일 수 있다. 프로세서(110)는 메모리(120) 및 저장 장치(150) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 이러한 프로세서(110)는 위의 도 1 내지 도 12를 토대로 설명한 기능 및 방법들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(110)는 신경망 학습 처리부, 공간 이동 변환 처리부, 수치적 복원 렌더링 처리부의 기능을 수행하도록 구성될 수 있다.

메모리(120) 및 저장 장치(150)는 다양한 형태의 휘발성 또는 비 휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read-only memory) 및 RAM(random access memory)를 포함할 수 있다. 본 개시의 실시 예에서 메모리(120)는 프로세서(110)의 내부 또는 외부에 위치할 수 있고, 메모리(120)는 이미 알려진 다양한 수단을 통해 프로세서(110)와 연결될 수 있다.

입력 인터페이스 장치(130)는 데이터(예를 들어, 홀로그램 데이터 생성 장치로부터의 디지털 홀로그램 데이터)를 프로세서(110)로 제공하도록 구성되며, 출력 인터페이스 장치(140)는 프로세서(110)로부터의 데이터(예: 수치적 복원 기능이 적용된 홀로그램)를 출력하도록 구성된다.

네트워크 인터페이스 장치(160)는 유선 네트워크 또는 무선 네트워크를 통해 다른 디바이스와 신호를 송신 또는 수신할 수 있다.

입력 인터페이스 장치(130), 출력 인터페이스 장치(140) 및 네트워크 인터페이스 장치(160)를 포괄하여 “인터페이스 장치”라고도 명명할 수 있다.

이러한 구조로 이루어지는 컴퓨팅 장치(100)는 디지털 홀로그램 변환 및 렌더링을 위한 장치로 명명되어, 본 개시의 일 실시 예에 따른 위의 방법들을 구현할 수 있다.

또한, 본 개시의 일 실시 예에 따른 방법 중 적어도 일부는 컴퓨팅 장치(100)에서 실행되는 프로그램 또는 소프트웨어로 구현될 수 있고, 프로그램 또는 소프트웨어는 컴퓨터로 판독 가능한 매체에 저장될 수 있다.

또한, 본 개시의 일 실시 예에 따른 방법 중 적어도 일부는 컴퓨팅 장치(100)와 전기적으로 접속될 수 있는 하드웨어로 구현될 수도 있다.

본 개시의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 개시의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 개시가 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.

이상에서 본 개시의 실시 예에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 개시의 권리범위에 속하는 것이다.

Claims (1)

1. 디지털 홀로그램 변환 및 렌더링 방법으로서,
   처리 장치가, 3차원 영상에 대응하는 디지털 홀로그램 데이터를 입력받는 단계;
   상기 처리 장치가, 상기 입력된 디지털 홀로그램 데이터의 해상도를 축소 변환하는 단계;
   상기 처리 장치가, 상기 축소 변환된 디지털 홀로그램 데이터를 미리 학습된, 신경망 모델에 적용하여 디지털 홀로그램 예측하는 단계; 및
   상기 처리 장치가, 상기 예측된 디지털 홀로그램을 기반으로 수치적 복원 처리를 수행하여, 홀로그래픽 디스플레이 단말 장치를 통해 대응하는 홀로그램을 재현하는 단계
   를 포함하는 디지털 홀로그램 변환 및 렌더링 방법.
   
   
   
   
   
   
   

Images