KR102464596B1 - 홀로그램 생성 방법 - Google Patents

Abstract

홀로그램 생성 방법이 제공된다. 홀로그램 생성 방법은, 3차원 객체를 표현하는 입력 영상을 입력받는 단계; 상기 입력 영상에 대해 시공간적으로 동일한 화소가 동일한 위상을 갖도록 제1 화소 데이터에 대해 제1 위상 값을 정의하는 단계; 상기 입력 영상에 대해 시공간적으로 동일한 화소가 동일한 위상을 갖도록 제2 화소 데이터에 대해 제2 위상 값을 정의하는 단계; 및 상기 제1 위상 값 및 제2 위상 값을 이용하여 다시점 홀로그램을 생성하는 단계를 포함한다.

Description

홀로그램 생성 방법{METHOD FOR GENERATING HOLOGRAM}

본 발명은 홀로그램 생성 방법에 관한 것이다.

홀로그래피는 빛의 회절과 간섭 현상을 이용하는 기술이다. 빛의 진폭 정보만을 기록하는 기존의 2차원 영상과 달리, 홀로그래피는 빛의 위상 정보까지 활용할 수 있다. 이에 따라, 홀로그래피는 실물을 보는 것과 같은 완벽한 3차원 영상을 제공할 수 있다. 그리고 최근에는, 일반적인 영상(또는 입력 이미지)에 대해 CGH(computer generated hologram)를 이용하여 생성하는, 디지털 홀로그램 기술에 대한 연구들이 활발히 진행되고 있다.

디지털 홀로그램은 공간 광 변조기(spatial light modulator, SLM)에 의해 광학적으로 복원될 수 있다. SLM은 홀로그램의 진폭 정보 및 위상 정보를 2차원 디지털 이미지 형태로 입력을 받아 이를 공간적으로 재현한다. 이 때 홀로그램의 시야각은 홀로그램 및 SLM의 픽셀 피치 크기에 의존적이며, 픽셀 피치가 작을수록 큰 시야각이 제공된다. 그러나 큰 시야각을 제공할 만큼 작은 픽셀 피치를 가지는 SLM을 제작하는 것은 매우 어렵다. 이에 따라 복수의 SLM을 이용하여 홀로그램 재현공간을 시공간적으로 늘리기 위한 방법들에 대한 연구가 많이 진행되고 있으며, 이러한 경우 복수의 시공간적 홀로그램을 생성하고 재현할 수 있게 된다.

본 발명은 Giga Korea 사업의 디지털 홀로그래픽 테이블탑형 단말 기술 개발 사업[GK19D0100]의 지원을 받아 수행된 연구 내용을 기반으로 한다.

본 발명이 해결하고자 하는 과제는, 시공간적으로 연속하는 홀로그램들간의 상관도, 즉 시공간적 상관도를 증가시킬 수 있는 홀로그램 생성 방법을 제공하는 것이다.

여기서 시공간적 상관도는 시간적 상관도와 시점간 상관도를 모두 포함하는 개념으로, 통상적으로 다시점 영상에서 쓰이는 표현이다. 구체적으로, 시간적 상관도란 하나의 시점에 대해 연속하는 프레임 간의 유사성에 기반한 상관도를 말하며, 시점간 상관도는 다시점인 경우에 대해 인접한 시점의 프레임 간의 유사성에 기반한 상관도를 말하고, 여기서 다시점이라는 용어는 단일 시점을 포함하는 것으로 즉, 하나 이상의 시점을 의미한다. 즉, 시공간적 상관도는 시간적으로 인접하거나, 다시점인 경우에 대해 시점간 인접한 프레임 간의 유사성에 기반한 상관도를 의미한다.

본 발명의 일 실시 예에 따른 홀로그램 생성 방법은, 3차원 객체를 표현하는 입력 영상을 입력받는 단계; 상기 입력 영상에 대해 시공간적으로 동일한 화소가 동일한 위상을 갖도록 제1 화소 데이터에 대해 제1 위상 값을 정의하는 단계; 상기 입력 영상에 대해 시공간적으로 동일한 화소가 동일한 위상을 갖도록 제2 화소 데이터에 대해 제2 위상 값을 정의하는 단계; 및 상기 제1 위상 값 및 제2 위상 값을 이용하여 다시점 홀로그램을 생성하는 단계를 포함할 수 있다.

상기 제1 화소 데이터는, 상기 3차원 객체를 표현하는 제1 3차원 좌표 정보, 제1 RGB 화소 정보 및 상기 제1 위상 값을 포함할 수 있다.

상기 제2 화소 데이터는, 상기 3차원 객체를 표현하는 제2 3차원 좌표 정보, 제2 RGB 화소 정보 및 상기 제2 위상 값을 포함할 수 있다.

상기 다시점 홀로그램은 단일 시점 홀로그램을 포함할 수 있다.

상기 제1 위상 값을 정의하는 단계는, 상기 제1 화소 데이터에 대해 제1 랜덤 위상을 적용하는 단계를 포함할 수 있다.

상기 제2 위상 값을 정의하는 단계는, 상기 제2 화소 데이터에 대해 제2 랜덤 위상을 적용하는 단계를 포함할 수 있다.

상기 제1 랜덤 위상 및 상기 제2 랜덤 위상은, 상기 제1 화소 데이터 및 상기 제2 화소 데이터에 대해, 상기 제1 랜덤 위상 및 상기 제2 랜덤 위상이 적용되는 경우 상기 제1 위상 값과 상기 제2 위상 값이 동일한 값이 되도록 설정될 수 있다.

상기 홀로그램 생성 방법은, 시공간적으로 동일한 화소에 제1 값을 할당하고, 시공간적으로 상이한 화소에 제2 값을 할당하여 상관도 이미지를 생성하는 단계를 더 포함할 수 있다.

상기 홀로그램 생성 방법은, 상기 상관도 이미지를 이용하여 상기 다시점 홀로그램을 압축하는 단계를 더 포함할 수 있다.

RGBD 기반 홀로그램 생성 방식에서, 시점간 동일한 화소는 깊이 영상에 기초하여 결정될 수 있다.

본 발명의 일 실시 예에 따른 홀로그램 생성 방법은, 3차원 객체를 표현하는 입력 영상을 입력받는 단계; 상기 입력 영상에 대해, 제1 시점에서 제1 위상 정보를 포함하는 제1 화소 데이터를 생성하는 단계; 상기 입력 영상에 대해, 제2 시점에서 제2 위상 정보를 포함하는 제2 화소 데이터를 생성하는 단계; 및 상기 제1 화소 데이터 및 상기 제2 화소 데이터를 이용하여 다시점 홀로그램을 생성하는 단계를 포함할 수 있다.

상기 제1 화소 데이터는, 상기 제1 시점에서, 상기 3차원 객체를 표현하는 제1 3차원 좌표 정보, 제1 RGB 화소 정보 및 상기 제1 위상 정보를 포함할 수 있다.

상기 제2 화소 데이터는, 상기 제2 시점에서, 상기 3차원 객체를 표현하는 제2 3차원 좌표 정보, 제2 RGB 화소 정보 및 상기 제2 위상 정보를 포함할 수 있다.

상기 홀로그램 생성 방법은, 상기 제1 시점 및 상기 제2 시점간 동일한 화소에 대해, 상기 제1 화소 데이터의 상기 제1 위상 정보 및 상기 제2 화소 데이터의 상기 제2 위상 정보에 상기 동일한 위상 값을 할당하는 단계를 더 포함할 수 있다.

상기 홀로그램 생성 방법은, 상기 제1 시점과 상기 제2 시점이 인접한 시점인 경우, 상기 제1 시점 및 상기 제2 시점간 동일한 화소에 대해 제1 값을 할당하고, 상기 제1 시점 및 상기 제2 시점간 상이한 화소에 대해 제2 값을 할당하여 상관도 이미지를 생성하는 단계를 더 포함할 수 있다.

상기 홀로그램 생성 방법은, 상기 상관도 이미지를 이용하여 상기 다시점 홀로그램을 압축하는 단계를 더 포함할 수 있다.

본 발명의 일 실시 예에 따른 홀로그램 생성 방법은, 3차원 객체를 표현하는 입력 영상을 입력받는 단계; 상기 입력 영상에 대해, 제1 시점의 제1 화소 데이터에 대해 제1 랜덤 위상을 적용하는 단계; 상기 입력 영상에 대해, 제2 시점의 제2 화소 데이터에 대해 제2 랜덤 위상을 적용하는 단계; 및 상기 제1 화소 데이터 및 상기 제2 화소 데이터를 이용하여 다시점 홀로그램을 생성하는 단계를 포함할 수 있다.

상기 홀로그램 생성 방법은, 상기 제1 시점 및 상기 제2 시점간 동일한 화소에 대해, 상기 제1 랜덤 위상 및 상기 제2 랜덤 위상을 적용한 결과가 동일한 위상 값이 되도록 랜덤 위상 변조를 수행하는 단계를 더 포함할 수 있다.

상기 홀로그램 생성 방법은, 상기 제1 시점과 상기 제2 시점이 인접한 시점인 경우, 상기 제1 시점 및 상기 제2 시점간 동일한 화소에 대해 제1 값을 할당하고, 상기 제1 시점 및 상기 제2 시점간 상이한 화소에 대해 제2 값을 할당하여 상관도 이미지를 생성하는 단계를 더 포함할 수 있다.

상기 홀로그램 생성 방법은, 상기 상관도 이미지를 이용하여 상기 다시점 홀로그램을 압축하는 단계를 더 포함할 수 있다.

본 발명의 일 실시 예에 따르면, 3차원 영상으로부터 홀로그램을 생성하고 시공간적으로 연속하는 홀로그램들간에도 상관도가 낮은 문제를 해결하기 위해, 시공간적으로 동일한 화소에 동일한 위상 값을 정의함으로써, 시공간적으로 연속하는 홀로그램들간의 상관도를 증가시킬 수 있다. 구체적으로, 위상 값을 이용하여, 하나의 시점에 대해 시간적으로 연속하는 홀로그램들간의 상관도, 즉, 시간적 상관도를 증가시킬 수 있거나, 다시점에 대해 인접한 시점의 홀로그램들간의 상관도, 즉, 시점간 상관도를 증가시킬 수 있다.

또한, 본 발명의 일 실시 예에 따르면, 시공간적으로 연속하는 홀로그램들간의 상관도가 증가함에 따라, 이를 홀로그램 압축에 이용함으로써, 홀로그램 압축률을 크게 향상시킬 수 있다. 예를 들어, 다시점 홀로그램 압축에 있어서, 시점간 동일한 화소와 시점간 동일하지 않은 화소를 구별하여 상관도 이미지를 생성하고, 상관도 이미지를 압축에 이용함으로써 홀로그램 압축률을 향상시킬 수 있다.

도 1은 본 발명의 일 실시 예에 따른 홀로그램 생성 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 홀로그램 생성 방법을 설명하기 위한 흐름도이다.
도 3 내지 도 5는 본 발명의 일 실시 예에 따른 홀로그램 생성 방법을 설명하기 위한 도면들이다.
도 6 내지 도 9는 본 발명의 일 실시 예에 따른 홀로그램 생성 방법을 설명하기 위한 도면들이다.
도 10 내지 도 11은 본 발명의 일 실시 예에 따른 홀로그램 생성 및 압축 방법을 설명하기 위한 도면들이다.
도 12는 본 발명의 실시 예들에 따른 홀로그램 생성 장치 및 홀로그램 생성 방법을 구현하기 위한 컴퓨팅 장치를 설명하기 위한 블록도이다.

아래에서는 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도 1은 본 발명의 일 실시 예에 따른 홀로그램 생성 장치를 설명하기 위한 블록도이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 홀로그램 생성 장치(10)는 3차원 객체를 표현하는 입력 영상을 입력받아 이에 대한 홀로그램을 생성할 수 있다.

홀로그래피는, 빛의 진폭 및 위상을 조절하여 3차원 공간 상에 객체를 재현함에 따라, 시야의 제한이 없고 입체 피로가 거의 없는 3차원 공간 표현 기술의 일종이다. 홀로그램은, 물체파와 참조파의 간섭 패턴을 이용하여 3차원 공간 상에 표시될 수 있으며, 복합 공간 광 변조기(complex SLM)와 같은 빛의 진폭과 위상을 동시에 제어할 수 있는 디바이스를 이용하여 실시간 고해상도 홀로그램을 구현할 수 있다. 최근에는 홀로그램 동영상을 재생하기 위한 간섭 패턴을 프로세싱함으로써 평면 디스플레이 상에서 홀로그램을 제공할 수 있는 CGH 기술도 활용되고 있다.

CGH 기술은, 광학 신호들을 근사화하고 수학적 연산을 통해 생성된 간섭 패턴을 계산함으로써, 홀로그램을 생성할 수 있다. 예를 들어, 3차원 객체는 3차원 포인트들의 집합으로 구성된다는 점에 기초하여, CGH 기술은 3차원 객체를 구성하는 모든 3차원 포인트들 각각에 대응하는 포인트 홀로그램을 계산하고 이를 중첩함으로써, 하나의 완성된 홀로그램을 표현할 수 있다. 이하에서는 이러한 방식을 포인트 클라우드 기반 홀로그램 생성 방식이라고 지칭하도록 한다. 다른 예로서, 3차원 객체를 깊이 정보에 따라 레이어 별로 복수의 CGH 이미지를 생성하고, 이로부터 홀로그램 이미지를 표현할 수도 있으며, 이하에서는 이러한 방식을 RGBD(RGB+Depth) 기반 홀로그램 생성 방식이라고 지칭하도록 한다. 이외에, 홀로그램 생성 방식으로서 메쉬 기반 홀로그램 생성 방식 또는 라이트 필드 기반 홀로그램 생성 방식 등이 있으며, 아래에서는 주로 포인트 클라우드 기반 생성 방식과 RGBD 기반 홀로그램 생성 방식에 대해 설명할 것이지만, 본 발명의 실시 예들은 메쉬 기반 홀로그램 생성 방식 또는 라이트 필드 기반 홀로그램 생성 방식 등 다양한 홀로그램 생성 방식에 적용될 수 있음이 자명하다.

본 실시 예에서, 홀로그램 생성 장치(10)는 3차원 객체를 표현하기 위한 다시점 홀로그램을 생성할 수 있다. 이를 위해, 홀로그램 생성 장치(10)는 영상 입력 모듈(110), 홀로그램 데이터 입력 모듈(120) 및 홀로그램 생성 모듈(130)을 포함할 수 있다.

홀로그램 관점에서 다시점은 공간적 또는 시간적으로 구별되는 여러 시점을 의미할 수 있는데, 예를 들어 복수의 SLM을 이용하여 공간 다중화 방법이 적용된 경우의 시점들이나, 고속으로 동작이 가능한 SLM을 이용하여 시간 다중화 방법이 적용된 경우의 시점들을 의미할 수 있다. 그런데, 본 명세서에서 다시점이라는 용어는 3차원 객체가 표현하는 입력 영상 관점에서의 다시점에 대한 개념까지 포함할 수 있다. 예를 들어, 2 개 이상의 시점을 이용하여 3차원 영상을 표현하는 경우의 다시점을 의미할 수도 있다. 한편, 본 명세서에서 다시점이라는 용어는 하나 이상의 시점을 포함할 수 있다.

영상 입력 모듈(110)은 3차원 객체를 표현하는 입력 영상을 입력받고, 이를 홀로그램 데이터 입력 모듈(120)에 전달할 수 있다. 여기서 3차원 객체는 시점에 따라 보이거나 보이지 않는 영역을 포함할 수 있다.

홀로그램 데이터 입력 모듈(120)은 영상 입력 모듈(110)이 입력받은 입력 영상에 대해 홀로그램을 생성하기 위한 화소 데이터를 생성할 수 있다. 여기서 화소 데이터는 특정 구조로 제한되지 않는 다양한 구조를 가질 수 있다. 예를 들어, 화소 데이터는 3차원 객체를 표현하는 3차원 좌표 정보와 이에 대응하는 RGB 화소 정보를 포함하는 구조를 가질 수 있다. 다른 예로서, 화소 데이터는 3차원 객체의 밝기를 표현하기 위한 실수부(real part)와 위상을 표현하기 위한 허수부(imaginary part) 값을 갖는 복소값의 구조를 가질 수도 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.

홀로그램 데이터 입력 모듈(120)은 위와 같은 화소 데이터의 구조에 위상 값을 정의할 수 있다. 구체적으로, 홀로그램 데이터 입력 모듈(120)은, 홀로그램의 복수의 화소에 각각 대응되는 화소 데이터 각각에 대해 위상 값을 정의할 수 있다.

구체적으로, 홀로그램 데이터 입력 모듈(120)은, 시공간적으로 동일한 화소가 동일한 위상을 갖도록 화소 데이터에 대해 위상 값을 정의할 수 있다. 여기서 시공간적으로 동일한 화소는 동일한 3차원 절대 좌표를 갖는 화소를 의미할 수 있다. 또한, 시공간적으로 동일한 화소는 시점간 동일한 화소를 의미할 수 있다. 예를 들어, 시공간적으로 동일한 화소는, 3차원 객체가 표현되는 입력 영상에 대해 시간적으로 연속하여 보일 수 있는 화소를 포함할 수 있거나, 3차원 객체가 표현되는 입력 영상에 대해 제1 시점과 제2 시점에서 계속 보일 수 있는 화소를 포함할 수 있다. 홀로그램 데이터 입력 모듈(120)은, 이와 같이 시공간적으로 동일한 화소가 동일한 위상을 갖도록 화소 데이터에 위상 값을 정의할 수 있다.

홀로그램 생성 모듈(130)은, 홀로그램 데이터 입력 모듈(120)에 의해 정의된 위상 값을 포함하는 화소 데이터를 이용하여, 시공간적 상관도를 증가시킬 수 있는 홀로그램을 생성할 수 있다.

도 2는, 도 1에 기초하여, 본 발명의 일 실시 예에 따른 홀로그램 생성 방법을 설명하기 위한 흐름도이다.

도 2를 참조하면, 본 발명의 일 실시 예에 따른 홀로그램 생성 방법은, 3차원 객체를 표현하는 입력 영상을 입력받는 단계(S210)를 포함할 수 있다.

또한, 상기 방법은, 입력 영상에 대해, 시공간적으로 동일한 화소가 동일한 위상을 갖도록 제1 화소 데이터에 대해 제1 위상 값을 정의하는 단계(S220)를 포함할 수 있다.

또한, 상기 방법은, 입력 영상에 대해, 시공간적으로 동일한 화소가 동일한 위상을 갖도록 제2 화소 데이터에 대해 제2 위상 값을 정의하는 단계(S230)를 포함할 수 있다.

즉, 시간적으로 연속하여 움직이는 홀로그램 또는 다시점으로 보여지는 홀로그램에서, 절대적으로 동일한 것으로 식별되는 화소 데이터가 동일한 위상 값을 갖도록 할 수 있다. 예를 들어, 동일한 3차원 절대 좌표를 갖는 것으로 식별되는 화소 데이터는 동일한 위상 값을 갖도록 처리될 수 있다.

또한, 상기 방법은, 제1 위상 값 및 제2 위상 값을 이용하여 다시점 홀로그램을 생성하는 단계(S240)를 포함할 수 있다. 여기서 다시점 홀로그램은 단일 시점 홀로그램을 포함할 수 있다.

도 1 및 도 2의 실시 예들에 따르면, 3차원 영상으로부터 홀로그램을 생성하고 시공간적으로 연속하는 홀로그램들간에도 상관도가 낮은 문제를 해결하기 위해, 시공간적으로 동일한 화소에 동일한 위상 값을 정의함으로써, 시공간적으로 연속하는 홀로그램들간의 상관도를 증가시킬 수 있다. 구체적으로, 위상 값을 이용하여, 하나의 시점에 대해 시간적으로 연속하는 홀로그램들간의 상관도, 즉, 시간적 상관도를 증가시킬 수 있거나, 다시점에 대해 인접한 시점의 홀로그램들간의 상관도, 즉, 시점간 상관도를 증가시킬 수 있다.

또한, 본 발명의 일 실시 예에 따르면, 시공간적으로 연속하는 홀로그램들간의 상관도가 증가함에 따라, 이를 홀로그램 압축에 이용함으로써, 홀로그램 압축률을 크게 향상시킬 수 있다. 예를 들어, 다시점 홀로그램 압축에 있어서, 시점간 동일한 화소와 시점간 동일하지 않은 화소를 구별하여 상관도 이미지를 생성하고, 상관도 이미지를 압축에 이용함으로써 홀로그램 압축률을 향상시킬 수 있다.

도 3 내지 도 5는 본 발명의 일 실시 예에 따른 홀로그램 생성 방법을 설명하기 위한 도면들이다.

도 3을 참조하면, 본 발명의 일 실시 예에 따른 홀로그램 생성 방법은, 3차원 객체를 표현하는 입력 영상을 입력받는 단계(S310)를 포함할 수 있다.

또한, 상기 방법은, 입력 영상에 대해, 제1 시점에서 제1 위상 정보를 포함하는 제1 화소 데이터를 생성하는 단계(S320)를 포함할 수 있다. 즉, 제1 화소 데이터는, 제1 시점에서, 3차원 객체를 표현하는 제1 3차원 좌표 정보, 제1 RGB 화소 정보 및 제1 위상 정보를 포함할 수 있다.

또한, 상기 방법은, 입력 영상에 대해, 제2 시점에서 제2 위상 정보를 포함하는 제2 화소 데이터를 생성하는 단계(S330)를 포함할 수 있다. 즉, 제2 화소 데이터는, 제2 시점에서, 3차원 객체를 표현하는 제2 3차원 좌표 정보, 제2 RGB 화소 정보 및 제2 위상 정보를 포함할 수 있다.

여기서 제1 시점과 제2 시점은 서로 시공간적으로 다른 시점일 수 있다. 또한, 제1 시점과 제2 시점은 서로 인접한, 즉 시공간적으로 연속하는 다른 시점일 수 있다.

이 때, 제1 화소 데이터의 제1 위상 정보 및 제2 화소 데이터의 제2 위상 정보는, 제1 시점 및 제2 시점간 동일한 화소에 대해, 동일한 위상 값으로 할당될 수 있다.

또한, 상기 방법은, 제1 화소 데이터 및 제2 화소 데이터를 이용하여, 다시점 홀로그램을 생성하는 단계(S340)를 포함할 수 있다.

도 4를 참조하면, 포인트 클라우드 기반 홀로그램 생성 방식에서는, 복수의 포인트들로 구성되어 있는 3차원 객체(20)로부터, 하나의 포인트마다 홀로그램(22, 24)을 생성하여 이를 중첩하는 방식으로 홀로그램을 생성한다.

도 5를 참조하면, 하나의 객체에 대해 여러 시점을 추출하고, 각 시점에 대해 홀로그램을 생성하는 경우이다. 3차원 객체는 시점에 따라 새롭게 보이는 영역이 있기도 하고, 모든 시점에서 보이는 영역이 있기도 하다. 예를 들어, P로 표시된 포인트는 3 가지 모든 시점에서 보이는 포인트로서, 그 화소 값은 일정할 것이다.

그러나, 랜덤 위상을 고려하여 홀로그램을 생성하는 경우, 각 시점에 대해 독립적으로 랜덤 위상을 적용하게 되므로, P로 표시된 포인트는 크기 값은 동일하더라도 위상 값이 달라지게 되어, 독립적으로 생성된 홀로그램 간에는 시공간적 상관도가 깨질 수 있다.

이와 같이 독립적으로 생성되는 홀로그램들간의 시공간적 상관도를 유지하기 위해, 예컨대 P로 표시되는 공통 포인트를 동일한 위상 값으로 표현할 수 있다. 예를 들어, 기존의 포인트 클라우드 데이터 표현은 3차원 좌표 정보 및 RGB 화소 정보만을 포함하였으나, 여기에 위상 정보를 추가한 것이다. 그리고, 포인트 클라우드로부터 여러 시점에 대한 홀로그램을 생성할 때, 동일한 3차원 절대 좌표에 대해서는 동일한 위상 값을 위상 정보에 할당함으로써, 시공간적 상관도가 유지되는 다시점 홀로그램을 생성할 수 있다.

(x, y, z, R, G, B) -> (x, y, z, R, G, B, phase)

여기서, x, y, z는 3차원 좌표 정보, R, G, B는 RGB 화소 정보, 그리고 phase는 위상 정보를 의미한다.

도 6 내지 도 9는 본 발명의 일 실시 예에 따른 홀로그램 생성 방법을 설명하기 위한 도면들이다.

도 6을 참조하면, 본 발명의 일 실시 예에 따른 홀로그램 생성 방법은, 3차원 객체를 표현하는 입력 영상을 입력받는 단계(S610)를 포함할 수 있다.

또한, 상기 방법은, 입력 영상에 대해, 제1 시점의 제1 화소 데이터에 대해 제1 랜덤 위상을 적용하는 단계(S620)를 포함할 수 있다.

또한, 상기 방법은, 입력 영상에 대해, 제2 시점의 제2 화소 데이터에 대해 제2 랜덤 위상을 적용하는 단계(S630)를 포함할 수 있다.

여기서 제1 시점과 제2 시점은 서로 시공간적으로 다른 시점일 수 있다. 또한, 제1 시점과 제2 시점은 서로 인접한, 즉 시공간적으로 연속하는 다른 시점일 수 있다.

이 때, 제1 시점 및 제2 시점간 동일한 화소에 대해, 제1 랜덤 위상 및 제2 랜덤 위상을 적용한 결과가 동일한 위상 값이 되도록 랜덤 위상 변조를 수행할 수 있다.

또한, 상기 방법은, 제1 화소 데이터 및 제2 화소 데이터를 이용하여, 다시점 홀로그램을 생성하는 단계(S640)를 포함할 수 있다.

도 7을 참조하면, RGBD 기반 홀로그램 생성 방식에서는, 3차원 객체(30)를 여러 레이어(32, 34, 26, 38)로 구분하여 레이어 기반으로 홀로그램을 생성할 수 있다. 예를 들어, 깊이(D)에 따라, 레이어(32)에 대응하는 단면(A)에 대한 홀로그램을 생성하고, 레이어(36)에 대응하는 단면(B)에 대한 홀로그램을 생성하고, 레이어(38)에 대응하는 단면(C)에 대한 홀로그램을 생성할 수 있다.

이어서 도 8을 참조하면, 추가적으로 랜덤 위상을 적용하는 랜덤 위상 변조가 수행될 수 있다. 랜덤 위상 변조는 객체의 표면을 미세하게 거칠게 표현함으로써, 객체의 표면에 도달하는 빛이 여러 방향으로 퍼져나가는 효과를 낼 수 있다. 홀로그램의 경우, 랜덤 위상을 고려하면, 주어진 시야각 내에서 모두 균등한 화질로 홀로그램을 관찰할 수 있다. 이와 다르게, 랜덤 위상을 고려하지 않는다면, 축 방향에 대해서는 홀로그램 관찰이 가능하나 시야각 내에서 외곽 영역으로 갈 수록 홀로그램을 관찰하기가 어렵게 된다. 또한, 랜덤 위상은 홀로그램의 주된 특징 중의 하나인 조절(accommodation) 효과도 증대시킬 수 있다. 그러나, 랜덤 위상은 스페클(speckle) 노이즈의 원인이 되기도 하고 홀로그램 자체의 공간적인 상관도를 저하시킬 수도 있다.

랜덤 위상 변조를 위해, 화소 또는 포인트 별 밝기 값마다 위상을 부여할 수 있다. 일반적인 랜덤 위상 변조에서는 0 내지 2π 범위의 위상 값을 랜덤하게 부여할 수 있다. 도 8의 (a)는 랜덤 위상이 적용되지 않은 홀로그램을 도시한 것이고, 도 8의 (b)는 랜덤 위상이 적용된 홀로그램을 도시한 것이다.

이와 같은 랜덤 위상 변조는 RGBD 기반 홀로그램 생성 방식뿐 아니라 앞서 설명한 바와 같은 포인트 클라우드 기반 홀로그램 생성 방식, 메쉬 기반 홀로그램 생성 방식, 라이트 필드 기반 홀로그램 생성 방식 등에 적용될 수 있다.

이어서 도 9를 참조하면, RGBD 기반 홀로그램 생성 방식에서, 도 9의 (c)와 같이 랜덤 위상을 정의하고, 상이한 시점에서 동일한 화소가 동일한 위상 값을 갖도록 하여 홀로그램을 생성함으로써, 다시점 홀로그램 생성 시 인접한 시점의 시공간적으로 연속하는 홀로그램간 상관도를 유지할 수 있다. 이 때, 시점간 동일한 화소는 깊이 영상에 기초하여 워핑을 통해 찾아낼 수 있다. 도 9에서 (a)는 RGB 영상에 해당하고 (b)는 깊이 영상에 해당한다.

도 10 내지 도 11은 본 발명의 일 실시 예에 따른 홀로그램 생성 및 압축 방법을 설명하기 위한 도면들이다.

도 10을 참조하면, 본 발명의 일 실시 예에 따른 홀로그램 생성 및 압축 방법은, 입력 영상에 대해, 시공간적으로 동일한 화소가 동일한 위상을 갖도록 제1 화소 데이터에 제1 위상 값을 정의하는 단계(S1010)를 포함할 수 있다.

또한, 상기 방법은, 입력 영상에 대해, 시공간적으로 동일한 화소가 동일한 위상을 갖도록 제2 화소 데이터에 제2 위상 값을 정의하는 단계(S1020)를 포함할 수 있다.

즉, 시간적으로 연속하여 움직이는 홀로그램 또는 다시점으로 보여지는 홀로그램에서, 절대적으로 동일한 것으로 식별되는 화소 데이터가 동일한 위상 값을 갖도록 할 수 있다. 예를 들어, 동일한 3차원 절대 좌표를 갖는 것으로 식별되는 화소 데이터는 동일한 위상 값을 갖도록 처리될 수 있다.

또한, 상기 방법은, 제1 시점과 제2 시점이 인접한 시점인 경우, 상관도 이미지를 생성하는 단계(S1030)를 포함할 수 있다. 여기서 상관도 이미지는, 제1 시점 및 제2 시점에 대해 랜덤 위상을 적용하여 시공간적으로 동일한 화소에는 제1 값(예컨대 0)을 할당하고, 시공간적으로 상이한 화소에는 제2 값(예컨대 1)을 할당하여 생성될 수 있다.

도 11을 함께 참조하면, (a)는 제1 시점의 영상이고 (b)는 제2 시점의 영상이며 (c)는 인접한 제1 시점과 제2 시점에 대해, 제1 시점과 제2 시점간 동일한 화소에 대해 0을 할당하고, 제1 시점과 제2 시점간 상이한 화소에 대해 1을 할당한 상관도 이미지를 나타낸 것이다. (c)로부터 상관도가 매우 높음을 알 수 있다.

다시 도 10을 참조하면, 상기 방법은, 상관도 이미지를 이용하여 다시점 홀로그램을 압축하는 단계(S1040)를 포함할 수 있다. 예를 들어, 제2 시점의 영상을 부호화하는 경우, 도 11의 (b)와 같은 제2 시점의 영상 대신 도 11의 (c)와 같은 상관도 이미지를 부호화함으로써 압축률을 크게 개선할 수 있다.

도 12는 본 발명의 실시 예들에 따른 홀로그램 생성 장치 및 홀로그램 생성 방법을 구현하기 위한 컴퓨팅 장치를 설명하기 위한 블록도이다.

도 12를 참조하면, 본 발명의 일 실시 예에 따른 홀로그램 생성 장치 및 홀로그램 생성 방법은 컴퓨팅 장치(500)를 이용하여 구현될 수 있다.

컴퓨팅 장치(500)는 버스(520)를 통해 통신하는 프로세서(510), 메모리(530), 사용자 인터페이스 입력 장치(540), 사용자 인터페이스 출력 장치(550) 및 저장 장치(560) 중 적어도 하나를 포함할 수 있다. 컴퓨팅 장치(500)는 또한 네트워크(40), 예컨대 무선 네트워크에 전기적으로 접속되는 네트워크 인터페이스(570)를 포함할 수 있다. 네트워크 인터페이스(570)는 네트워크(40)를 통해 다른 개체와 신호를 송신 또는 수신할 수 있다.

프로세서(510)는 AP(Application Processor), CPU(Central Processing Unit), GPU(Graphic　Processing　Unit) 등과 같은 다양한 종류들로 구현될 수 있으며, 메모리(530) 또는 저장 장치(560)에 저장된 명령을 실행하는 임의의 반도체 장치일 수 있다. 프로세서(510)는 도 1 내지 도 11에서 설명한 기능 및 방법들을 구현하도록 구성될 수 있다.

메모리(530) 및 저장 장치(560)는 다양한 형태의 휘발성 또는 비 휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read-only memory)(531) 및 RAM(random access memory)(532)를 포함할 수 있다. 본 발명의 일 실시 예에서 메모리(530)는 프로세서(510)의 내부 또는 외부에 위치할 수 있고, 메모리(530)는 이미 알려진 다양한 수단을 통해 프로세서(510)와 연결될 수 있다.

또한, 본 발명의 실시 예들에 따른 홀로그램 생성 장치 및 홀로그램 생성 방법 중 적어도 일부는 컴퓨팅 장치(500)에서 실행되는 프로그램 또는 소프트웨어로 구현될 수 있고, 프로그램 또는 소프트웨어는 컴퓨터로 판독 가능한 매체에 저장될 수 있다.

또한, 본 발명의 실시 예들에 따른 홀로그램 생성 장치 및 홀로그램 생성 방법 중 적어도 일부는 컴퓨팅 장치(500)와 전기적으로 접속될 수 있는 하드웨어로 구현될 수도 있다.

이제까지 설명한 본 발명의 실시 예들에 따르면, 3차원 영상으로부터 홀로그램을 생성하고 시공간적으로 연속하는 홀로그램들간에도 상관도가 낮은 문제를 해결하기 위해, 시공간적으로 동일한 화소에 동일한 위상 값을 정의함으로써, 시공간적으로 연속하는 홀로그램들간의 상관도를 증가시킬 수 있다. 구체적으로, 위상 값을 이용하여, 하나의 시점에 대해 시간적으로 연속하는 홀로그램들간의 상관도, 즉, 시간적 상관도를 증가시킬 수 있거나, 다시점에 대해 인접한 시점의 홀로그램들간의 상관도, 즉, 시점간 상관도를 증가시킬 수 있다.

또한, 본 발명의 일 실시 예에 따르면, 시공간적으로 연속하는 홀로그램들간의 상관도가 증가함에 따라, 이를 홀로그램 압축에 이용함으로써, 홀로그램 압축률을 크게 향상시킬 수 있다. 예를 들어, 다시점 홀로그램 압축에 있어서, 시점간 동일한 화소와 시점간 동일하지 않은 화소를 구별하여 상관도 이미지를 생성하고, 상관도 이미지를 압축에 이용함으로써 홀로그램 압축률을 향상시킬 수 있다.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고, 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속한다.

Claims (20)

1. 3차원 객체를 표현하는 입력 영상을 입력받는 단계;
   상기 입력 영상에 대해 시공간적으로 동일한 화소가 동일한 위상을 갖도록 제1 화소 데이터에 대해 제1 위상 값을 정의하는 단계;
   상기 입력 영상에 대해 시공간적으로 동일한 화소가 동일한 위상을 갖도록 제2 화소 데이터에 대해 제2 위상 값을 정의하는 단계; 및
   상기 제1 위상 값 및 제2 위상 값을 이용하여 다시점 홀로그램을 생성하는 단계를 포함하고,
   상기 제1 위상 값을 정의하는 단계는,
   상기 제1 화소 데이터에 대해 제1 랜덤 위상을 적용하는 단계를 포함하고,
   상기 제2 위상 값을 정의하는 단계는,
   상기 제2 화소 데이터에 대해 제2 랜덤 위상을 적용하는 단계를 포함하고,
   상기 제1 랜덤 위상 및 상기 제2 랜덤 위상은,
   상기 제1 화소 데이터 및 상기 제2 화소 데이터에 대해, 상기 제1 랜덤 위상 및 상기 제2 랜덤 위상이 적용되는 경우 상기 제1 위상 값과 상기 제2 위상 값이 동일한 값이 되도록 설정되는,
   홀로그램 생성 방법.
2. 제1항에 있어서,
   상기 제1 화소 데이터는,
   상기 3차원 객체를 표현하는 제1 3차원 좌표 정보, 제1 RGB 화소 정보 및 상기 제1 위상 값을 포함하는, 홀로그램 생성 방법.
3. 제2항에 있어서,
   상기 제2 화소 데이터는,
   상기 3차원 객체를 표현하는 제2 3차원 좌표 정보, 제2 RGB 화소 정보 및 상기 제2 위상 값을 포함하는, 홀로그램 생성 방법.
4. 제3항에 있어서,
   상기 다시점 홀로그램은 단일 시점 홀로그램을 포함하는, 홀로그램 생성 방법.
5. 삭제
6. 삭제
7. 삭제
8. 제1항에 있어서,
   시공간적으로 동일한 화소에 제1 값을 할당하고, 시공간적으로 상이한 화소에 제2 값을 할당하여 상관도 이미지를 생성하는 단계를 더 포함하는 홀로그램 생성 방법.
9. 제8항에 있어서,
   상기 상관도 이미지를 이용하여 상기 다시점 홀로그램을 압축하는 단계를 더 포함하는 홀로그램 생성 방법.
10. 제1항에 있어서,
    RGBD 기반 홀로그램 생성 방식에서, 시점간 동일한 화소는 깊이 영상에 기초하여 결정되는 홀로그램 생성 방법.
11. 3차원 객체를 표현하는 입력 영상을 입력받는 단계;
    상기 입력 영상에 대해, 제1 시점에서 제1 위상 정보를 포함하는 제1 화소 데이터를 생성하는 단계;
    상기 입력 영상에 대해, 제2 시점에서 제2 위상 정보를 포함하는 제2 화소 데이터를 생성하는 단계;
    상기 제1 시점 및 상기 제2 시점간 동일한 화소에 대해, 상기 제1 화소 데이터의 상기 제1 위상 정보 및 상기 제2 화소 데이터의 상기 제2 위상 정보에 상기 동일한 위상 값을 할당하는 단계; 및
    상기 제1 화소 데이터 및 상기 제2 화소 데이터를 이용하여 다시점 홀로그램을 생성하는 단계
    를 포함하는 홀로그램 생성 방법.
12. 제11항에 있어서,
    상기 제1 화소 데이터는,
    상기 제1 시점에서, 상기 3차원 객체를 표현하는 제1 3차원 좌표 정보, 제1 RGB 화소 정보 및 상기 제1 위상 정보를 포함하는, 홀로그램 생성 방법.
13. 제12항에 있어서,
    상기 제2 화소 데이터는,
    상기 제2 시점에서, 상기 3차원 객체를 표현하는 제2 3차원 좌표 정보, 제2 RGB 화소 정보 및 상기 제2 위상 정보를 포함하는, 홀로그램 생성 방법.
14. 삭제
15. 제11항에 있어서,
    상기 제1 시점과 상기 제2 시점이 인접한 시점인 경우, 상기 제1 시점 및 상기 제2 시점간 동일한 화소에 대해 제1 값을 할당하고, 상기 제1 시점 및 상기 제2 시점간 상이한 화소에 대해 제2 값을 할당하여 상관도 이미지를 생성하는 단계를 더 포함하는 홀로그램 생성 방법.
16. 제15항에 있어서,
    상기 상관도 이미지를 이용하여 상기 다시점 홀로그램을 압축하는 단계를 더 포함하는 홀로그램 생성 방법.
17. 3차원 객체를 표현하는 입력 영상을 입력받는 단계;
    상기 입력 영상에 대해, 제1 시점의 제1 화소 데이터에 대해 제1 랜덤 위상을 적용하는 단계;
    상기 입력 영상에 대해, 제2 시점의 제2 화소 데이터에 대해 제2 랜덤 위상을 적용하는 단계;
    상기 제1 시점 및 상기 제2 시점간 동일한 화소에 대해, 상기 제1 랜덤 위상 및 상기 제2 랜덤 위상을 적용한 결과가 동일한 위상 값이 되도록 랜덤 위상 변조를 수행하는 단계; 및
    상기 제1 화소 데이터 및 상기 제2 화소 데이터를 이용하여 다시점 홀로그램을 생성하는 단계
    를 포함하는 홀로그램 생성 방법.
18. 삭제
19. 제17항에 있어서,
    상기 제1 시점과 상기 제2 시점이 인접한 시점인 경우, 상기 제1 시점 및 상기 제2 시점간 동일한 화소에 대해 제1 값을 할당하고, 상기 제1 시점 및 상기 제2 시점간 상이한 화소에 대해 제2 값을 할당하여 상관도 이미지를 생성하는 단계를 더 포함하는 홀로그램 생성 방법.
20. 제19항에 있어서,
    상기 상관도 이미지를 이용하여 상기 다시점 홀로그램을 압축하는 단계를 더 포함하는 홀로그램 생성 방법.

Images