KR20210113053A - 홀로그래픽 디스플레이 장치 및 이의 처리 방법 - Google Patents

홀로그래픽 디스플레이 장치 및 이의 처리 방법 Download PDF

Info

Publication number
KR20210113053A
KR20210113053A KR1020210025066A KR20210025066A KR20210113053A KR 20210113053 A KR20210113053 A KR 20210113053A KR 1020210025066 A KR1020210025066 A KR 1020210025066A KR 20210025066 A KR20210025066 A KR 20210025066A KR 20210113053 A KR20210113053 A KR 20210113053A
Authority
KR
South Korea
Prior art keywords
data
hologram
holographic
generating
image data
Prior art date
Application number
KR1020210025066A
Other languages
English (en)
Other versions
KR102605678B1 (ko
Inventor
윤민성
박수명
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US17/191,969 priority Critical patent/US11532122B2/en
Publication of KR20210113053A publication Critical patent/KR20210113053A/ko
Application granted granted Critical
Publication of KR102605678B1 publication Critical patent/KR102605678B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268—Holographic stereogram
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 홀로그램 데이터를 생성하는 홀로그램 처리 장치와 상기 생성한 홀로그램 데이터에 따라 홀로그램 이미지를 3차원 공간 상에 복원하는 디스플레이 단말을 포함하는 홀로그래픽 디스플레이 장치에서, 상기 홀로그램 데이터를 생성하는 방법으로, 깊이 맵 생성을 위한 딥러닝 엔진을 이용하여, 입력 이미지 데이터로부터 깊이 맵 이미지 데이터를 생성하는 단계; 및 상기 깊이 맵 이미지 데이터와 상기 입력 이미지 데이터를 기반으로 복소수 홀로그램을 계산하여 상기 홀로그램 데이터를 생성하는 단계를 포함한다.

Description

홀로그래픽 디스플레이 장치 및 이의 처리 방법{Method and apparatus for processing holographic image}
본 발명은 고품질의 디지털 홀로그램의 생성 및 처리와 관련된 기술이다.
최근에는 3차원 디스플레이 기술이 발전함에 따라 완벽한 시차와 깊이로 물체를 표현함으로써, 조절-폭주(accommodation-convergence) 불일치 문제에 따른 눈의 피로감과 어지러움 증상이 개선되고 있다.
더 나아가, 홀로그래픽 디스플레이 기술은 시점의 이동에 따라 서로 다른 이미지를 관찰할 수 있으며, 시청을 위한 부수적인 장치(예, 안경)가 필요 없는 다수의 시청이 가능한 궁극의 3차원 디스플레이 기술로 발전하고 있다.
홀로그래픽 디스플레이 기술은 주어진 물체에서 발생되는 파면(wave-front)을 그대로 재생함에 따라 사람의 눈에 실제로 그 물체가 존재하는 것과 동일한 효과를 주는 기술이다.
그러나 이러한 홀로그래픽 디스플레이 기술을 구현하기 위해서 문제점 및 요구 사항들이 있다.
첫째, 다양한 실물 또는 CG(computer graphic)를 기반으로 생성된 홀로그래픽용 360도 영상 콘텐츠는 데이터량이 매우 크기 때문에, 실시간으로 이미지 콘텐츠를 처리하고 이를 광학적으로 복원하는 기술이 매우 어렵다.
둘째, 영상 콘텐츠는 데이터량이 매우 크므로 그에 따른 연산 처리량도 매우 많다. 이러한 연산 처리량의 부담으로 인해서, 기존에 만들어진 영상을 복원하는 방식으로 개발되고 있어서, 시청자가 영상을 수동적인 자세로 관찰할 수밖에 없는 콘텐츠가 제작되고 있는 실정이다. 따라서 사용자와 콘텐츠 간의 상호작용 체험이 가능한 콘텐츠의 개발이 필요한 상태이다.
상술한 문제점을 해결하기 위한 본 발명이 목적은, 딥러닝 엔진을 이용하여 빠른 속도로 홀로그램 데이터(또는 홀로그래픽 콘텐츠)를 생성할 수 있는 홀로그래픽 디스플레이 장치 및 이의 처리 방법을 제공하는 데 있다.
본 발명의 다른 목적은 사용자와의 상호 작용에 따른 홀로그램 데이터(또는 홀로그래픽 콘텐츠)를 용이하게 생성하여 디스플레이할 수 있는 홀로그래픽 디스플레이 장치 및 이의 처리 방법을 제공하는 데 있다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부된 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
상술한 목적을 달성하기 위한 본 발명의 일면에 따른 홀로그래픽 디스플레이 장치에서 홀로그램 데이터를 생성하는 방법은, 딥러닝 엔진을 이용하여, 입력 이미지 데이터로부터 깊이 맵 이미지 데이터를 생성하는 단계; 및 상기 깊이 맵 이미지 데이터와 상기 입력 이미지 데이터를 기반으로 복소수 홀로그램을 계산하여 상기 홀로그램 데이터를 생성하는 단계를 포함한다.
본 발명의 다른 일면에 따른 홀로그래픽 디스플레이 장치에서 홀로그램 데이터를 생성하는 방법은, 제1 딥 러닝 엔진을 이용하여, 입력 이미지 데이터로부터 깊이 맵 이미지 데이터를 생성하는 단계; 제2 딥 러닝 엔진을 이용하여, 상기 깊이 맵 이미지 데이터와 상기 입력 이미지 데이터를 기반으로 상기 홀로그램 데이터를 생성하는 단계; 및 상기 홀로그램 데이터에 따라 3차원 공간 상에 상기 홀로그램 이미지를 복원하는 단계를 포함한다.
본 발명의 또 다른 일면에 따른 홀로그래픽 디스플레이 장치는, 홀로그램 데이터를 생성하는 홀로그램 처리 장치와 상기 생성한 홀로그램 데이터에 따라 홀로그램 이미지를 3차원 공간 상에 복원하는 디스플레이 단말을 포함한다.
상기 홀로그램 처리 장치는, 제1 딥러닝 엔진을 이용하여, 입력 이미지 데이터로부터 깊이 맵 이미지 데이터를 생성하는 깊이 맵 생성부; FFT(fast-Fourier transformation) 기반 CGH(Computer-Generated Hologram) 계산 알고리즘 또는 제2 딥러닝 엔진을 이용하여, 상기 깊이 맵 이미지 데이터와 상기 입력 이미지 데이터를 기반으로 상기 홀로그램 데이터를 생성하는 홀로그램 생성부; 및 상기 홀로그램 데이터를 상기 디스플레이 단말로 전송하는 송신부를 포함한다.
상기 디스플레이 단말은, 상기 홀로그램 데이터를 수신하는 수신부; 상기 수신된 홀로그램 데이터에 따라 회절 패턴을 형성하고, 상기 형성된 회절 패턴에 입사되는 광을 변조시키는 공간 광 변조기; 및 상기 공간 광 변조기에 의해 변조된 광에 의해 3차원 공간 상에 상기 홀로그램 이미지가 복원되도록, 상기 회절 패턴에 가간섭성 광을 조사하는 광학 모듈을 포함한다.
본 발명의 실시 예에 따르면, 홀로그램 데이터(또는 홀로그래픽 콘텐츠)를 생성하기 위한 연산 처리 과정이 딥러닝 엔진에 의해 수행됨으로써, 홀로그램 데이터(또는 홀로그래픽 콘텐츠)를 고속으로 제작할 수 있다.
나아가 연산 처리 과정의 고속화로 인해, 본 발명의 실시 예가 적용된 개인 휴대형 모바일, 테블릿, AI 디스플레이 단말에서도 실시간 데이터 처리가 가능하다.
도 1은 본 발명의 실시 예에 따른 홀로그래픽 디스플레이 장치의 블록도이다.
도 2는 도 1에 도시한 홀로그램 처리 장치의 블록도이다.
도 3은 도 1에 도시한 디스플레이 장치의 블록도이다.
도 4는 본 발명의 다른 실시 예에 따른 홀로그램 이미지를 복원하는 디스플레이 장치와 시청자 사이의 상호 작용 기능을 제공하는 홀로그래픽 디스플레이 장치의 블록도이다.
도 5는 도 4에 도시한 상호 작용 장치의 블록도이다.
도 6은 본 발명의 실시 예에 따른 홀로그래픽 디스플레이 장치의 처리 방법을 나타내는 흐름도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 도면을 참조하여, 본 발명의 실시 예에 대해 상세히 설명하기로 한다. 그에 앞서, 본 발명의 이해를 돕기 위해, 홀로그램 계산 및 딥러닝 방법에 대한 이론적 배경을 간략히 소개한다.
홀로그램 계산 및 딥러닝 방법에 대한 이론적 배경
고속의 홀로그램 데이터(또는 홀로그래픽 콘텐츠)를 생성하기 위한 연산 방법으로, RGB 이미지 데이터(RGB)와 깊이 맵 데이터(depth map)를 입력(RGB-depth map)으로 하는 FFT (fast-Fourier transformation) 기반 CGH (Computer-Generated Hologram) 계산식이 이용될 수 있다. CGH 계산식은 아래와 같다.
Figure pat00001
Figure pat00002
여기서 (u, v), (x i , y i ), Ui, f, λ, 그리고 di은 시청자의 관측면, 3D scene (장면)의 i-번째 층, i-번째 층의 물체(object) 필드, 필드 렌즈의 초점 길이, 조명광의 파장, 그리고 홀로그램 면(hologram plane, H)으로부터 시청 거리를 각각 나타낸다.
이렇게 계산된 RGB-깊이맵 (RGB-depth map) 기반 CGH에 의해, 원래의 3D 장면(scene)이 공간 상에 복원될 수 있고, view-window 위치에서 관찰하는 시청자는 광학적으로 복원된 3D 장면을 시인할 수 있게 된다.
3D 장면 (scene)을 포함하는 3차원 공간을 여러 계층으로 조각을 낼 때, 홀로그램 면(hologram plane, H)과 시청자의 관측 면(observing view-window plane, VW) 그리고 계층화된 각 층(layer)들은 서로 평행하게 자르는 경우를 고려해 보자.
연속적으로 분포된 점 구름(point cloud)들이 가장 가까운 곳에 있는 층에 할당된다. 그러면, 홀로그램 면(hologram plane)에서의 복소수 필드들을 계산하기 위해서, FFT 알고리즘에 따른 불연속적인 Fourier 변환이 수행된다.
CGH 계산을 위한 다른 알고리즘으로 Gerchberg-Saxton (GS) 알고리즘이 있다. 이러한 GS 알고리즘은 반복(iterative) 퓨리에 변환 알고리즘 (IFA)의 일종이다.
CNN(Convolutional Neural Network)과 같은 딥러닝 모델은 이미지의 공간 정보를 유지한 상태로 학습이 가능하다. 상기 CNN은 기존의 완전히 연결된 신경망(Fully Connected Neural Network)과 비교하여 다음과 같은 차별성이 있다.
상기 CNN은 각 레이어의 입출력 데이터의 형태를 유지하고, 이미지의 공간 정보를 유지하면서 인접한 이미지와의 특징을 효율적으로 인식한다.
또한, 상기 CNN은 복수의 필터들을 이용하여 이미지의 특징을 추출 및 학습한다. 또한 상기 CNN은 상기 추출한 이미지의 특징을 수집하고 강화하는 풀링(Pooling) 레이어, 그리고 필터를 공유 파라미터로 사용한다.
이러한 차별성들로 인해, 상기 CNN을 학습시키기 위한 학습 파라미터의 수가 일반 신경망과 비교하여 매우 적다.
여러 시점의 컬러 이미지(multi-view color images)는 일반적인 모바일 기기에 장착된 카메라 모듈에 의해 쉽게 획득할 수 있으며, 딥러닝 학습을 위한 학습 데이터의 용도로 널리 활용될 수 있다.
또한, 상기 CNN은 상기 여러 시점의 컬러 이미지로부터 깊이 맵(depth map)을 추출하는데 용이하게 활용될 수 있다.
상기 CNN은 입력 이미지의 특징(feature)을 추출하는 부분과 입력 이미지의 클래스를 분류하는 부분으로 나눌 수 있다.
특징을 추출하는 부분은 컨벌루션 레이어(Convolution Layer)와 풀링 레이어(Pooling Layer)을 적층한 구조로 이루어질 수 있다.
상기 컨벌루션 레이어는 입력 데이터(또는 입력 이미지)에 필터를 적용하여 입력 데이터(또는 입력 이미지)의 특징을 추출하는 요소이다.
상기 컨벌루션 레이어의 다음에 위치하는 풀링 레이어(Pooling Layer)는 선택적인 레이어로서, 앞 층의 국소적인 노드에서 결정된 값들 중에서 최대값을 자기 노드 값으로 구성한다. 추가로, CNN은 이미지 분류를 위한 완전 연결된(Fully Connected) 레이어를 더 포함할 수 있다.
상기 CNN은 플래튼(Flatten) 레이어를 더 포함할 수 있다. 상기 플래튼(Flatten) 레이어는 상기 입력 이미지의 특징을 추출하는 부분과 상기 입력 이미지를 분류하는 부분 사이에 위치할 수 있다. 상기 플래튼 레이어는 이미지 형태의 데이터를 배열 형태로 만드는 레이어일 수 있다.
상기 CNN은 이미지 특징 추출을 위해, 필터가 입력 데이터를 순회하며, 합성 곱을 계산하고, 그 계산 결과를 이용하여 특징 맵(Feature map)을 만든다.
컨벌루션 레이어에서는, 필터(Filter)의 크기, 스트라이드(Stride), 패딩(Padding) 적용, 최대 풀링(Max Pooling) 크기에 따라서 출력 데이터의 형상(Shape)이 변경된다.
도 1은 본 발명의 실시 예에 따른 홀로그래픽 디스플레이 장치의 블록도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 홀로그래픽 디스플레이 장치(500)는 홀로그램 처리 장치(100) 및 디스플레이 단말(200)를 포함한다.
상기 홀로그램 처리 장치(100)는 상기 입력 이미지 데이터로부터 홀로그램 데이터를 생성하여 디스플레이 단말(200)로 제공하는(또는 업로드하는) 장치일 수 있다.
상기 입력 이미지 데이터는, 선택된 화상(scene) 또는 선택된 객체(object)의 3차원(3D) 정보를 제공할 수 있는 이미지 데이터일 수 있다.
이러한 입력 이미지 데이터는, 예를 들면, RGB 컬러 이미지일 수 있다. 상기 RGB 컬러 이미지는 예를 들면, 단일 시점의 컬러 이미지 (single view color image) 또는 다시점의 컬러 이미지 (multi-view color images)일 수 있다.
상기 입력 이미지 데이터는, 다양한 방식으로 획득될 수 있다.
일 예로, 상기 입력 이미지 데이터는, 카메라에 의해 획득될 수 있다.
다른 예로, 상기 입력 이미지 데이터는 컴퓨터 그래픽(Computer Graphics: CG)에 의해 획득된 이미지일 수 있다. 여기서, 컴퓨터 그래픽(Computer Graphics: CG)에 획득된 이미지는, 예를 들면, 에니메이션 이미지와 같이 가상으로 제작된 이미지일 수 있다.
상기 디스플레이 단말(200)는 상기 홀로그램 처리 장치(100)로부터 제공된(업로드 된) 홀로그램 데이터와 적절하게 준비된 가간섭성(Coherent)을 갖는 광원을 이용하여 홀로그램 이미지를 3차원(3D) 공간 상에 복원(reconstruction 또는 display)하는 장치일 수 있다.
상기 디스플레이 단말(200)는 공간 광 변조기(Spatial Light Modulator, SLM)를 포함하며, 공간 광 변조기는 상기 홀로그램 처리 장치(100)로부터 제공되는 상기 홀로그램 데이터에 기초하여 회절 패턴을 형성한다.
상기 공간 광 변조기는 상기 광원으로부터 상기 회절 패턴에 입사되는 가간섭성(Coherent) 광을 변조시킬 수 있다. 이처럼 상기 공간 광 변조기는 상기 가간섭성 광을 변조시킴으로써 상기 입력 이미지 데이터에 대응하는 홀로그램 이미지를 공간 상에 복원할 수 있다.
도 2는 도 1에 도시한 홀로그램 처리 장치의 블록도이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 홀로그램 처리 장치(100)는 입력 이미지 데이터(10, 이하, 컬러 이미지 데이터)로부터 깊이 맵 데이터(11)를 생성하는 깊이 맵 생성부(110), 상기 컬러 이미지 데이터(10)와 상기 깊이 맵 데이터(11)를 이용하여 홀로그램 데이터(12)를 생성(또는 합성)하는 홀로그램 생성부(120), 상기 홀로그램 데이터(12)를 인코딩하는 인코더(130) 및 상기 인코딩된 홀로그램 데이터(13)를 디스플레이 단말(200)로 전송하는 송수신기(130)를 포함할 수 있다.
홀로그램 처리 장치(100)는 도 2에 도시한 구성 요소들(110, 120, 130 및 140) 외에 다른 범용적인 구성요소들을 더 포함할 수 있다. 범용적인 구성요소들은, 예를 들면, 프로세서 및 메모리를 포함할 수 있다.
깊이 맵 생성부(110), 홀로그램 생성부(120), 인코더(130) 및 송수신기(130)는 각각의 기능에 따라 독립적인 명칭으로 구분한 것일 뿐, 이를 한정하는 것은 아니다. 따라서, 깊이 맵 생성부(110), 홀로그램 생성부(120), 인코더(130) 및 송수신기(130)는 서로 다른 하드웨어 자원에 의해 구현되거나 동일한 하드웨어 자원에 의해 구현될 수 있다.
깊이 맵 생성부(110), 홀로그램 생성부(120), 인코더(130)가 동일한 하드웨어 자원에 의해 구현되는 경우, 상기 구성 요소들(110, 120 및 130) 각각은 도 2에 도시하지 않은 프로세서에 의해 실행되거나 동작하는 하드웨어 모듈 또는 소프트웨어 모듈일 수 있다. 이때, 소프트웨어 모듈은 다양한 프로그램 코드로 프로그래밍된 알고리즘을 의미할 수 있다.
이하, 홀로그램 처리 장치(100)에 포함된 각 구성요소에 대해 상세히 설명한다.
깊이 맵 생성부(110)
상기 깊이 맵 생성부(110)는, 컬러 이미지 데이터(10)로부터 고품질의 깊이 맵 이미지 데이터(11)를 생성하기 위해, 딥러닝 엔진으로 구현될 수 있다.
고품질의 깊이 맵 이미지 데이터(11)를 생성하기 위한 상기 딥러닝 엔진은, 사전에 학습된 인공 신경망일 수 있다.
상기 딥러닝 엔진을 학습시기 위한 학습 데이터는 학습용 컬러 이미지 데이터(Color image data for training)와 학습용 깊이 맵 이미지 데이터(Depth map image data for training)를 포함한다.
상기 깊이 맵 이미지 데이터(11)의 생성을 위한 인공 신경망은, 예를 들면, 전술한 바와 같이, 합성곱층(convolutional layer)과 풀링층(pooling layer)을 포함하는 합성곱 신경망(Convolutional neural network, CNN)일 수 있다.
깊이 맵 이미지 데이터(11)의 생성(추정)을 위해, CNN 기반의 DenseDepth 모델이 이용될 수 있다. DenseDepth 모델은 DenseNet(Densely Connected Convolutional Networks) 타입의 모델이다.
상기 DenseDepth 모델은 컬러 이미지 데이터(10)의 특징 추출 및 다운 샘플링(down-sampling)을 수행하는 인코더(Encoder)와, 상기 인코더에서 추출한 특징들에 대한 연쇄(concatenation) 연산과 컬러 이미지 데이터(10)의 사이즈를 참조하여 업-샘풀링(up-sampling)을 수행하는 디코더를 포함한다.
학습에 사용한 모델은 Pytorch에서 지원하는 Densenet-161 모델을 토대로 본 발명을 위한 딥러닝 알고리즘 설계 및 검증을 수행할 수 있다.
일 실시 예에서, 640×360의 해상도를 갖는 입력 컬러 이미지로부터 깊이 맵 이미지 데이터를 추정하기 위해, 멀티-GPU 환경에서 동작하도록 학습된 DenseDepth 모델의 경우, 본 출원인은 5개 입력 컬러 이미지에 대한 평균 처리 속도는 0.6s임을 실험을 통해 확인할 수 있었다.
상기 평균 처리 속도는, 손실 함수로서, L1 function 10%, SSIM function 90%를 반영한 경우이고, 최종 손실 함수값의 평균치는 0.0006 수준이다.
다른 실시 예에서, 1920×1080의 해상도를 갖는 입력 컬러 이미지로부터 깊이 맵 이미지 데이터를 추정하기 위해, 멀티-GPU 환경에서 동작하도록 학습된 DenseDepth 모델의 경우, 본 출원인은 1 epoch (614장)에 대한 평균 처리속도는 대략 4분임을 실험을 통해 확인할 수 있었다.
이 평균 처리 속도는, 손실 함수로서, L1 function 10%, SSIM function 90%를 반영한 경우이다. 이때, Batch Size = 8, Learning rate = 0.0001, 10 epoch, 8 GPU (RTX Titan X 8대)이다.
1920×1080의 해상도를 갖는 입력 컬러 이미지를 처리하는 멀티-GPU 환경은, Pytorch 라이브러리에서 지원하는 Data Parallel Model 변환 함수를 사용하여 기존에 사용하던 모델을 Multi-GPU 환경에서 동작하도록 구현한 것이다.
한편, 상기 컬러 이미지 데이터와 상기 깊이 맵 생성부(110)에 의해 생성된 깊이 맵 이미지 데이터에 대한 영상 처리 과정이 수행될 수 있다.
구체적으로, 상기 컬러 이미지 데이터와 상기 깊이 맵 이미지 데이터에 대해, 원하는 이미지 영역을 선택하고, 선택되지 않은 이미지 영역을 제거하는 과정이 수행될 수 있다.
이어, 상기 선택된 이미지 영역에서 원하지 않는 데이터 또는 노이즈가 제거된다.
이어, 상기 선택된 이미지 영역에서 객체의 방향, 위치, 특징을 포함하는 이미지 파라미터를 추출하고, 추출된 이미지 파라미터를 수정하는 등의 과정이 수행될 수 있다.
이러한 영상 처리 과정에 의해 처리된 상기 컬러 이미지 데이터와 상기 깊이 맵 이미지 데이터는 특정 포맷을 갖는 파일로 저장될 수 있다. 예를 들어, 포인트 클라우드(point cloud) 형태의 포맷으로 저장되거나 또는 RGB-깊이 형태의 정보로 저장될 수 있다.
도 2에서는 도시하지 않았으나, 이러한 영상 처리 과정을 수행하기 위한 이미지 처리부가 깊이 맵 생성부(110)와 홀로그램 생성부(120) 사이에 추가될 수 있으며, 이러한 이미지 처리부는 '전처리부'로 지칭될 수 있다.
홀로그램 생성부(120)
상기 홀로그램 생성부(120)는 컬러 이미지 데이터(10)와 상기 깊이 맵 생성부(110)에서 생성한 깊이 맵 이미지 데이터(11)를 기반으로 복소수 홀로그램(complex values hologram)을 계산하여 상기 홀로그램 데이터(12)를 생성한다. 여기서, 상기 홀로그램 데이터(12)는 '홀로그래픽 콘텐츠'로 불릴 수 있다.
상기 홀로그램 데이터(12)를 생성하기 위해, 일 예로, 홀로그램 생성부(120)는 딥러닝 엔진으로 구현될 수 있다. 상기 딥러닝 엔진은, 사전에 학습된 인공 신경망이다.
상기 딥러닝 엔진을 학습시키기 위한 학습 데이터는 학습용 컬러 이미지 데이터(Color image data for training), 학습용 깊이 맵 이미지 데이터(Depth map image data for training) 및 학습용 홀로그램 데이터(CGH)를 포함한다.
상기 홀로그램 데이터(12)를 생성하기 위한 딥러닝 엔진은, 예를 들면, 합성곱층(convolutional layer)과 풀링층(pooling layer)을 포함하는 합성곱 신경망(Convolutional neural network, CNN)일 수 있다.
상기 홀로그램 생성부(120)가 상기 딥러닝 엔진으로 구현된 경우, 상기 홀로그램 생성부(120)는 전술한 상기 깊이 맵 생성부(110)를 구성하는 딥러닝 엔진과 end-to-end로 구조로 통합될 수 있다.
다른 예로, 홀로그램 생성부(120)는 CGH(Computer-Generated Hologram) 계산 알고리즘에 따라 상기 홀로그램 데이터(12)를 생성할 수도 있다.
CGH 계산 알고리즘에 따라 상기 홀로그램 데이터(12)를 생성하는 경우, 상기 홀로그램 생성부(120)는, 포인트 클라우드 형태로 저장된 컬러 이미지 데이터와 깊이 맵 이미지 데이터에 대해, 공간적 샘플링 또는 깊이 양자화(depth quantization), 공간 잡음 최소화 등과 같은 처리 과정을 통해, 고품질/고속의 홀로그램을 생성할 수 있다.
인코더(130)
상기 인코더(130)는 디스플레이 단말(200)에 포함된 공간 광 변조기(SLM)의 광변조 방식 및 광학계 등의 홀로그래픽 디스플레이 특성을 고려하여, 상기 홀로그램 생성부(120)에서 생성한 상기 홀로그램 데이터(12)에 대해 진폭 변조, 위상 변조 또는 복소수 변조 등과 같은 다양한 인코딩 과정을 수행한다. 이러한 인코딩 과정은 후처리 과정으로 지칭될 수 있다.
또한, 인코더(130)는 디스플레이 단말(200)의 특성에 따라 보정할 수 있다. 여기서, 디스플레이 단말(200)의 특성은, 디스플레이 단말(200)에서 사용되는 광원 파장, 해상도, 그리고 디스플레이 단말(200)로 전송되는 데이터의 변조 방식을 포함할 수 있다.
상기 인코더(130)는 홀로그램 생성부(120)에 통합될 수 있으며, 이 경우, 도 2에서 인코더(130)는 삭제될 수 있다.
상기 인코더(130)에 의해 인코딩된 홀로그램 데이터(13)는 특정 메모리의 폴더에 저장되어 관리될 수 있다.
송신부(140)
상기 송신부(140)는 상기 인코더(130)로부터 제공되는 상기 인코딩된 홀로그램 데이터(13)를 디스플레이 단말(200)로 전송한다.
또한 상기 송신부(140)는 상기 인코딩된 홀로그램 데이터에서 선택된 하나의 홀로그램 데이터 또는 적어도 2개 이상의 홀로그램 데이터 쌍(pair)을 디스플레이 단말(200)로 전송할 수 있다.
상기 적어도 2개 이상의 홀로그램 데이터 쌍을 디스플레이 단말(200)로 전송하는 경우, 하나의 쌍을 구성하는 2개의 홀로그램 데이터는, 디스플레이 단말(200)에서의 홀로그램 이미지를 복원하는 경우에, 복원되는 공간 상의 위치와 광학 장치의 배치를 고려하여, 시청자의 좌측 눈과 우측 눈에 각각 적합하도록 선택된 데이터일 수 있다.
도 3은 도 1에 도시한 디스플레이 장치의 블록도이다.
도 3을 참조하면, 본 발명의 실시 예에 따른 디스플레이 단말(200)은 홀로그램 처리 장치(100)로부터 수신된 상기 선택된 홀로그램 데이터에 대응하는 홀로그래픽 콘텐츠를 복원(reconstruction 또는 display)한다.
이를 위해, 디스플레이 단말(200)은 수신부(210)와 광학 재구성부(220)를 포함한다.
수신부(210)는 홀로그램 처리 장치(100)로부터 홀로그램 데이터를 수신한다. 수신부(210)는 홀로그램 데이터를 수신하기 위해 홀로그램 처리 장치(100) 내의 송신부(140)와 유선으로 연결될 수 있다.
또한 수신부(210)는 홀로그램 데이터가 사용될 디스플레이 단말에 적합하도록 변환하거나 또는 인코딩(encoding)하는 과정을 수행할 수 있다.
광학 재구성부(220)는 데이터 수신부(210)로부터 전달되는 홀로그램 데이터에 따라 광을 조명하여 홀로그램 이미지를 3차원 공간 상에 복원한다. 예를 들면, 광학 재구성부(220)는 홀로그램 데이터에 대응하는 전기 신호를 광 신호로 변조하고, 상기 변조된 광 신호를 디스플레이 하여 상기 홀로그램 이미지를 복원한다.
광학 재구성부(220)는 도 2에 도시된 바와 같이, 공간 광 변조기(SLM, spatial light modulator)(221) 및 상기 공간 광 변조기(221)의 활성 영역 (active area)을 균일하게 조명할 수 있는 광학 모듈(223)을 포함한다.
상기 광학 모듈(223)은 가간섭성(coherent)의 광을 발진하는 광원부(223A), 상기 광원부(223A)로부터 발진된 광을 활성 영역의 크기로 확대시키고, 동시에 균일한 빔의 세기로 상기 활성 영역으로 출력하는 빔 가이딩(beam guiding)부(223B) 및 상기 빔 가이딩부(223B)로부터 출력되는 광을 소정 위치로 수렴시키는 필드 렌즈(field lens)(223C)를 포함할 수 있다.
필드 렌즈(2223)는 광학적으로 투명성을 가지며, 도 3에서와 같이, 빔 가이딩부(223B)로부터의 광을 시청자의 눈에 대응하는 위치로 복원된 광 필드(optically reconstructed field)를 전달한다.
필드 렌즈(223C)는 광학적으로 복원된 홀로그램 이미지를 공간 광 변조기(221)의 전 공간(front space) 또는 후 공간(back space)에 맺히도록(형성되도록) 배치된다.
이러한 상기 필드 렌즈(223C)와 상기 공간 광 변조기(221) 사이의 배치 구조는 본 발명의 핵심적인 특징이 아니므로, 이에 대한 설명을 공지 기술로 대신한다.
다만, 광학적으로 복원된 홀로그램 이미지가 공간 광 변조기(221)의 전 공간(front space) 또는 후 공간(back space)에 형성되는 기능은 상기 필드 렌즈(232C)의 광학적인 굴절 (reflection) 또는 회절 (diffraction) 특성에 의해 구현된다.
한편, 도 2에 도시한 홀로그램 처리 장치(100) 내의 송신부(140)는 전술한 바와 같이, 홀로그램 생성부(120)에 의해 생성된 홀로그램 데이터(또는 홀로그래픽 콘텐츠) 중에서, 시청자의 좌안에 대응하는 홀로그램 데이터(좌안 홀로그램 데이터)와 우안에 대응하는 홀로그램 데이터(우안 홀로그램 데이터)를 선택하고, 선택된 좌안 홀로그램 데이터와 우안 홀로그램 데이터를 포함하는 홀로그램 데이터 쌍을 디스플레이 단말(200)로 전송한다.
상기 좌안 홀로그램 데이터와 상기 우안 홀로그램 데이터가 서로 중첩되지 않고 동시에 디스플레이될 수 있도록, 도 3에는 도시하지 않았으나, 상기 필드 렌즈(223C)는 좌안용 필드 렌즈와 우안용 필드 렌즈를 포함할 수 있다.
좌안용 필드 렌즈는 시청자의 좌안에 대응하고, 우안용 필드 렌즈는 시청자의 우안에 대응할 수 있다. 좌안용 필드 렌즈와 우안용 필드 렌즈는 복원되는 홀로그램 이미지가 공간 광 변조기(221)의 전 공간 또는 후 공간에 맺힐 수 있도록(형성되도록) 배치된다.
도 4는 본 발명의 다른 실시 예에 따른 홀로그램 이미지를 복원하는 디스플레이 단말과 시청자 사이의 상호 작용 기능을 제공하는 홀로그래픽 디스플레이 장치의 블록도이고, 도 5는 도 4에 도시한 상호 작용 장치의 블록도이다.
도 4및 5를 참조하면, 본 발명의 다른 실시 예에 따른 홀로그래픽 디스플레이 장치(500')는 도 1에 도시한 홀로그래픽 디스플레이 장치(500)와 시청자 사이의 상호 작용 기능을 제공하는 상호 작용 장치(human interaction equipment)(300)를 더 포함하도록 구성된 점에 도 1에 도시한 홀로그래픽 디스플레이 장치(500)와 차이가 있다.
또한, 홀로그램 처리 장치(100')가 피드백 처리부(150)를 더 포함하는 점에서 도 1에 도시한 홀로그램 처리 장치(100)와 차이가 있다.
한편, 도 5에서는 홀로그램 처리 장치(100)가 메모리(160)를 더 포함하고 있는 점에서 도 2의 홀로그램 처리 장치(100)와 차이가 있으나, 도 2의 홀로그램 처리 장치(100) 역시 실제로 메모리를 포함하고 있다. 따라서, 도 5에서는 홀로그램 처리 장치(100)에 포함된 메모리(160)는 도 2의 홀로그램 처리 장치(100)와의 차이점을 나타내는 구성은 아니다.
도 4에서는 상호 작용 장치(300)가 홀로그램 장치(100) 또는 디스플레이 단말(200)와 분리된 형태로 도시하고 있으나, 홀로그램 장치(100) 또는 디스플레이 단말(200) 내에 통합될 수 있다.
본 발명의 실시 예에 따른 상호 작용 장치(300)는 디스플레이 단말(200)에 의해 3차원 공간 상에 복원되는 홀로그램 이미지(또는 홀로그래픽 입체 영상)와 시청자 사이의 상호 작용 기능을 제공한다.
이를 위해, 상호 작용 장치(300)는 사용자 인식 센서(310), 피드백 명령 생성부(320) 및 송신기(330)를 포함할 수 있다. 그리고, 홀로그램 처리 장치(100')는 피드백 처리부(150)를 더 포함할 수 있다. 여기서, 상기 상호 작용 장치(300)가 홀로그램 장치(100) 내에 통합되는 경우, 상기 송수신기(310)는 삭제될 수 있다.
사용자 인식 센서(310)는 사용자의 제스처를 모니터링하는 센서로서, 사용자의 제스처(gesture)에 대응하는 정보를 획득한다. 특별히 한정하는 것은 아니지만, 사용자 인식 센서(310)는 예를 들면, 립-모션(leap-motion) 센서일 수 있다.
립-모션(leap-motion) 센서로 구현된 사용자 인식 센서(310)의 경우, 사용자 인식 센서(310)는, 디스플레이 단말(200)가 홀로그램 이미지를 복원하는 동안, 사용자의 손 움직임에 대응하는 제스처를 모니터링하여, 손 동작의 방향, 손 동작의 위치, 손 동작의 빠르기 등과 같은 제스처 정보를 획득할 수 있다.
디스플레이 단말(200)에 의해 복원되는 홀로그램 이미지의 형태는 사용자 인식 센서(310)에 의해 획득된 제스처 정보에 따라 달라질 수 있다. 예를 들어, 사용자의 손의 제스처에 따라, 입체적 홀로그램 이미지의 회전 방향, 회전 각도 또는 회전 속도 등이 달라질 수 있다.
입체적 홀로그램 이미지의 형태를 변경하기 위한 다른 방법으로, 사용자의 제스처가 아니라 사용자의 음성 명령이 이용될 수 있다. 이 경우, 사용자 인식 센서(310)는 사용자의 음성 명령에 대응하는 사용자의 음성을 인식하는 음성 인식기(speech recognizer)로 구현될 수 있다.
사용자 인식 센서(310)가 음성 인식기로 구현된 경우, 사용자 인식 센서(310)는 디스플레이 단말(200)에 의해 복원된 홀로그램 이미지의 형태 변경을 명령하는 음성 인식 정보를 획득할 수 있다.
예를 들면, 사용자 인식 센서(310)는 사용자가 원하는 홀로그램 이미지의 회전 방향, 회전 각도 또는 회전 속도 등을 명령하는 사용자의 음성을 인식할 수 있다.
본 발명은 음성 인식 방법과 이의 하드웨어 구성에 특징이 있는 것이 아니므로, 음성 인식에 대한 상세한 설명은 공지 기술로 대신한다.
이처럼 사용자의 제스처 정보 또는 음성 인식 정보에 따라 입체적 홀로그램 이미지의 형태를 변경하기 위해, 우선, 피드백 명령 생성부(320)가 사용자 인식 센서(310)로부터 제공된 사용자의 제스처 정보 또는 음성 인식 정보에 대응하는 피드백 명령을 생성한다.
피드백 명령은, 전술한 바와 같이, 디스플레이 단말(200)에 의해 복원되는 홀로그램 이미지의 형태 변경(shape deformation)을 명령하는 정보일 수 있다.
피드백 명령 생성부(320)는 명령어 테이블을 참조하여, 사용자 인식 센서(310)로부터 제공된 사용자의 제스처 정보 또는 음성 인식 정보에 대응하는 피드백 명령을 생성할 수 있다.
명령어 테이블은, 예를 들면, 사용자의 제스처 정보 또는 음성 인식 정보와 맵핑되는 홀로그램 이미지의 형태 변경 명령(피드백 명령)을 기록한 테이블일 수 있다. 테이블은, 예를 들면, 룩 업(look-up) 테이블일 수 있다.
송신기(330)는 피드백 명령 생성부(320)로부터 제공된 형태 변경 명령(피드백 명령)을 홀로그램 처리 장치(100')내의 피드백 처리부(150)로 전송할 수 있다.
피드백 처리부(150)는 상호 작용 장치(300)로부터 수신한 형태 변경 명령에 따라 인코더(130)를 통해 홀로그램 생성부(120)로부터 송신부(140)로 전달되는 홀로그램 데이터(홀로그래픽 콘텐츠)를 업데이트한다.
예를 들면, 피드백 처리부(150)는, 홀로그램 생성부(120)가 생성한 홀로그램 데이터를 저장 및 관리하는 메모리(160)를 검색하여, 상기 형태 변경 명령(피드백 명령)에 매칭되는 홀로그램 데이터를 선택한다.
상기 메모리(160)는 상기 피드백 처리부(150)에 의해 선택된 홀로그램 데이터를 사용자의 제스처 정보 또는 음성 인식 정보에 따라 업데이트된 홀로그램 데이터로서 상기 인코더(130)에게 전달한다.
상기 인코더(130)는 상기 업데이트된 홀로그램 데이터를 인코딩한 후, 송신부(140)를 통해 디스플레이 단말(200)로 전송한다.
이렇게 함으로써, 디스플레이 단말(200)는 사용자의 제스처 정보 또는 음성 인식 정보에 따라 상기 업데이트된 홀로그램 데이터에 대응하는 홀로그래픽 이미지를 복원한다.
도 6은 본 발명의 실시 예에 따른 홀로그래픽 디스플레이 장치의 처리 방법을 나타내는 흐름도이다.
도 6을 참조하면, 먼저, 단계 S610에서, 홀로그램 처리 장치(100)에서, 제1 딥러닝 엔진(110)을 이용하여, 입력 이미지 데이터로부터 깊이 맵 이미지 데이터를 생성하는 과정이 수행된다.
이어, 단계 S620에서, 홀로그램 처리 장치(100)에서, FFT(fast-Fourier transformation) 기반 CGH(Computer-Generated Hologram) 계산 알고리즘(120) 또는 제2 딥러닝 엔진(120)을 이용하여, 상기 깊이 맵 이미지 데이터와 상기 입력 이미지 데이터를 기반으로 상기 홀로그램 데이터를 생성하는 과정이 수행된다.
이어, 단계 630에서, 디스플레이 단말(200)에서, 상기 홀로그램 처리 장치(100)로부터 홀로그램 데이터를 수신하는 과정이 수행된다.
이어, 단계 S640에서, 상기 수신한 홀로그램 데이터에 따라 3차원 공간 상에 홀로그램 이미지를 복원하는 과정이 수행된다.
추가로, 단계 S650에서, 상기 상호 작용 장치(300)에서, 사용자의 제스처 또는 음성을 인식하여 사용자의 제스처 정보 또는 음성 인식 정보를 획득하는 과정이 수행된다.
이어, 추가로, 단계 S660에서, 상기 상호 작용 장치(300)에서, 상기 제스처 정보 또는 상기 음성 인식 정보에 따라 상기 복원된 홀로그램 이미지의 형태 변경을 명령하는 피드백 명령을 생성하는 과정이 수행된다.
이어, 추가로, 단계 S670에서, 상기 홀로그램 처리 장치(100)에서, 현재 복원된 홀로그램 이미지에 대응하는 상기 홀로그램 데이터를 상기 형태 변경 명령에 대응하는 홀로그램 데이터로 업데이트하는 과정이 수행된다.
이어, 추가로, 단계 630에서, 상기 디스플레이 단말(200)에서, 상기 업데이트된 홀로그램 데이터를 홀로그램 처리 장치(100)로부터 수신하는 과정이 수행된다.
이어, 추가로, 단계 640에서, 상기 디스플레이 단말(200)에서, 상기 홀로그램 데이터에 따라 3차원 공간 상에 홀로그램 이미지를 복원하는 과정이 수행된다.
실시 예에서, 상기 깊이 맵 이미지 데이터를 생성하는 단계 이전에, 학습용 입력 이미지 데이터와 학습용 깊이 맵 이미지 데이터를 학습 데이터로 저장하는 데이터베이스를 구축하는 과정 및 상기 학습 데이터를 이용하여 상기 깊이 맵 생성을 위한 딥러닝 엔진을 학습시키는 과정이 더 수행될 수 있다.
실시 예에서, 상기 깊이 맵 이미지 데이터를 생성하는 단계 이전에, 학습용 컬러 이미지 데이터, 학습용 깊이 맵 이미지 데이터 및 학습용 홀로그램 데이터를 학습 데이터로서 저장하는 데이터베이스를 구축하는 과정 및 상기 학습 데이터를 이용하여 상기 홀로그램 데이터 생성을 위한 딥러닝 엔진을 학습시키는 과정이 더 수행될 수 있다.
실시 예에서, 상기 홀로그램 데이터를 생성하는 단계 이후에, 상기 디스플레이 단말에 포함된 공간 광 변조기의 광변조 방식에 따라, 상기 홀로그램 데이터를 진폭 변조, 위상 변조 및 복소수 변조 중 어느 하나의 방식으로 인코딩하는 과정이 더 수행될 수 있다.
실시 예에서, 상기 깊이 맵 이미지 데이터를 생성하는 과정은, 상기 입력 이미지 데이터에 대해, 특징을 추출하고, 다운 샘플링(down-sampling)을 수행하는 과정 및 상기 추출한 특징에 대한 연쇄(concatenation) 연산을 수행하고, 상기 입력 이미지 데이터의 사이즈를 참조하여 업-샘풀링(up-sampling)을 수행하여, 상기 깊이 맵 이미지 데이터를 생성하는 과정을 포함할 수 있다.
실시 예에서, 상기 깊이 맵 이미지 데이터를 생성하는 단계 이전에, 학습용 입력 이미지 데이터와 학습용 깊이 맵 이미지 데이터를 포함하는 학습 데이터로 이용하여 상기 제1 딥 러닝 엔진을 학습시키는 과정, 상기 학습용 입력 이미지 데이터, 상기 학습용 깊이 맵 이미지 데이터 및 학습용 홀로그램 데이터를 포함하는 학습 데이터를 이용하여 상기 제2 딥 러닝 엔진을 학습시키는 과정 및 상기 학습된 제1 딥 러닝 엔진과 상기 학습된 제2 딥러닝 엔진을 엔드 두 엔드 구조(end-to-end)로 통합하는 과정이 더 수행될 수 있다.
실시 예에서, 상기 제1 딥러닝 엔진과 상기 제2 딥 러닝 엔진 각각은, 합성곱 신경망(Convolutional neural network, CNN)을 기반으로 하는 것일 수 있다.
실시 예에서, 깊이 맵 이미지 데이터를 생성하는 상기 제1 딥러닝 엔진은, DenseNet(Densely Connected Convolutional Networks) 타입의 DenseDepth 모델로 구현된 것일 수 있다.
실시 예에서, 상기 제1 딥 러닝 엔진은, Pytorch 라이브러리에서 지원하는 Data Parallel Model 변환 함수를 이용하여 멀티(Multi)-GPU 환경에서 동작하도록 구현된 것일 수 있다.
본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다.
소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다.
구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다.
기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 발명의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명이 보호범위가 제한될 수도 없음을 다시 한번 첨언한다.

Claims (18)

  1. 홀로그램 데이터를 생성하는 홀로그램 처리 장치와 상기 생성한 홀로그램 데이터에 따라 홀로그램 이미지를 3차원 공간 상에 복원하는 디스플레이 단말을 포함하는 홀로그래픽 디스플레이 장치에서, 상기 홀로그램 데이터를 생성하는 방법으로,
    깊이 맵 생성을 위한 딥러닝 엔진을 이용하여, 입력 이미지 데이터로부터 깊이 맵 이미지 데이터를 생성하는 단계; 및
    상기 깊이 맵 이미지 데이터와 상기 입력 이미지 데이터를 기반으로 복소수 홀로그램을 계산하여 상기 홀로그램 데이터를 생성하는 단계
    를 포함하는 홀로그래픽 디스플레이 장치에서 홀로그램 데이터를 생성하는 방법.
  2. 제1항에서,
    상기 깊이 맵 이미지 데이터를 생성하는 단계 이전에,
    학습용 입력 이미지 데이터와 학습용 깊이 맵 이미지 데이터를 학습 데이터로 저장하는 데이터베이스를 구축하는 단계; 및
    상기 학습 데이터를 이용하여 상기 깊이 맵 생성을 위한 딥러닝 엔진을 학습시키는 단계
    를 더 포함하는 홀로그래픽 디스플레이 장치에서 홀로그램 데이터를 생성하는 방법.
  3. 제1항에서,
    상기 홀로그램 데이터를 생성하는 단계는,
    합성곱 신경망 기반의 홀로그램 데이터 생성을 위한 딥러닝 엔진을 이용하여 상기 복소수 홀로그램을 계산하는 단계인 것인 홀로그래픽 디스플레이 장치에서 홀로그램 데이터를 생성하는 방법.
  4. 제3항에서,
    상기 깊이 맵 이미지 데이터를 생성하는 단계 이전에,
    학습용 컬러 이미지 데이터, 학습용 깊이 맵 이미지 데이터 및 학습용 홀로그램 데이터를 학습 데이터로서 저장하는 데이터베이스를 구축하는 단계; 및
    상기 학습 데이터를 이용하여 상기 홀로그램 데이터 생성을 위한 딥러닝 엔진을 학습시키는 단계
    를 더 포함하는 홀로그래픽 디스플레이 장치에서 홀로그램 데이터를 생성하는 방법.
  5. 제1항에서,
    상기 홀로그램 데이터를 생성하는 단계는,
    FFT(fast-Fourier transformation) 기반 CGH(Computer-Generated Hologram) 계산식을 이용하여 상기 복소수 홀로그램을 계산하는 단계인 것인 홀로그래픽 디스플레이 장치에서 홀로그램 데이터를 생성하는 방법.
  6. 제1항에서,
    상기 홀로그램 데이터를 생성하는 단계 이후,
    상기 디스플레이 단말에 포함된 공간 광 변조기의 광변조 방식에 따라, 상기 홀로그램 데이터를 진폭 변조, 위상 변조 및 복소수 변조 중 어느 하나의 방식으로 인코딩하는 단계를 더 포함하는 것인 홀로그래픽 디스플레이 장치에서 홀로그램 데이터를 생성하는 방법.
  7. 제1항에서,
    상기 깊이 맵 이미지 데이터를 생성하는 단계는,
    상기 입력 이미지 데이터에 대해, 특징을 추출하고, 다운 샘플링(down-sampling)을 수행하는 단계; 및
    상기 추출한 특징에 대한 연쇄(concatenation) 연산을 수행하고, 상기 입력 이미지 데이터의 사이즈를 참조하여 업-샘풀링(up-sampling)을 수행하여, 상기 깊이 맵 이미지 데이터를 생성하는 단계
    를 포함하는 것인 홀로그래픽 디스플레이 장치에서 홀로그램 데이터를 생성하는 방법.
  8. 홀로그램 데이터를 생성하는 홀로그램 처리 장치와 상기 생성한 홀로그램 데이터에 따라 홀로그램 이미지를 3차원 공간 상에 복원하는 디스플레이 단말을 포함하는 홀로그래픽 디스플레이 장치에서 상기 홀로그램 이미지를 복원하는 방법으로서,
    제1 딥 러닝 엔진을 이용하여, 입력 이미지 데이터로부터 깊이 맵 이미지 데이터를 생성하는 단계;
    제2 딥 러닝 엔진을 이용하여, 상기 깊이 맵 이미지 데이터와 상기 입력 이미지 데이터를 기반으로 상기 홀로그램 데이터를 생성하는 단계; 및
    상기 홀로그램 데이터에 따라 3차원 공간 상에 상기 홀로그램 이미지를 복원하는 단계
    를 포함하는 홀로그래픽 디스플레이 장치에서 홀로그램 이미지를 복원하는 방법.
  9. 제8항에서,
    상기 제1 및 제2 딥 러닝 엔진은,
    합성곱 신경망 기반의 인공 신경망인 것인 홀로그래픽 디스플레이 장치에서 홀로그램 이미지를 복원하는 방법.
  10. 제8항에서,
    상기 깊이 맵 이미지 데이터를 생성하는 단계이전에,
    학습용 입력 이미지 데이터와 학습용 깊이 맵 이미지 데이터를 포함하는 학습 데이터로 이용하여 상기 제1 딥 러닝 엔진을 학습시키는 단계;
    상기 학습용 입력 이미지 데이터, 상기 학습용 깊이 맵 이미지 데이터 및 학습용 홀로그램 데이터를 포함하는 학습 데이터를 이용하여 상기 제2 딥 러닝 엔진을 학습시키는 단계; 및
    상기 학습된 제1 딥 러닝 엔진과 상기 학습된 제2 딥러닝 엔진을 엔드 두 엔드 구조(end-to-end)로 통합하는 단계
    를 더 포함하는 것인 홀로그래픽 디스플레이 장치에서 홀로그램 이미지를 복원하는 방법.
  11. 제8항에서,
    사용자의 제스처를 인식하여 사용자의 제스처 정보를 획득하는 단계;
    상기 제스처 정보에 따라 상기 복원된 홀로그램 이미지의 형태 변경을 명령하는 형태 변경 명령을 생성하는 단계;
    상기 홀로그램 데이터를 생성하는 단계에서 생성된 상기 홀로그램 데이터 중에서, 상기 형태 변경 명령에 대응하는 홀로그램 데이터를 선택하는 단계;
    현재 복원된 홀로그램 이미지에 대응하는 홀로그램 데이터를 상기 선택된 홀로그램 데이터로 업데이트 하는 단계를 더 포함하고,
    상기 홀로그램 이미지를 복원하는 단계는,
    상기 업데이트된 홀로그램 데이터를 기반으로 상기 복원된 홀로그램 이미지와 다른 형태를 갖는 홀로그램 이미지를 복원하는 단계인 것인 홀로그래픽 디스플레이 장치에서 홀로그램 이미지를 복원하는 방법.
  12. 제8항에서,
    사용자의 음성을 인식하여 사용자의 음성 인식 정보를 획득하는 단계;
    상기 음성 인식 정보에 따라 상기 복원된 홀로그램 이미지의 형태 변경을 명령하는 형태 변경 명령을 생성하는 단계;
    상기 홀로그램 데이터를 생성하는 단계에서 생성된 상기 홀로그램 데이터 중에서, 상기 형태 변경 명령에 대응하는 홀로그램 데이터를 선택하는 단계;
    현재 복원된 홀로그램 이미지에 대응하는 홀로그램 데이터를 상기 선택된 홀로그램 데이터로 업데이트 하는 단계를 더 포함하고,
    상기 홀로그램 이미지를 복원하는 단계는,
    상기 업데이트된 홀로그램 데이터를 기반으로 상기 복원된 홀로그램 이미지와 다른 형태를 갖는 홀로그램 이미지를 복원하는 단계인 것인 홀로그래픽 디스플레이 장치에서 홀로그램 이미지를 복원하는 방법.
  13. 홀로그램 데이터를 생성하는 홀로그램 처리 장치와 상기 생성한 홀로그램 데이터에 따라 홀로그램 이미지를 3차원 공간 상에 복원하는 디스플레이 단말을 포함하고,
    상기 홀로그램 처리 장치는,
    제1 딥러닝 엔진을 이용하여, 입력 이미지 데이터로부터 깊이 맵 이미지 데이터를 생성하는 깊이 맵 생성부;
    FFT(fast-Fourier transformation) 기반 CGH(Computer-Generated Hologram) 계산 알고리즘 또는 제2 딥러닝 엔진을 이용하여, 상기 깊이 맵 이미지 데이터와 상기 입력 이미지 데이터를 기반으로 상기 홀로그램 데이터를 생성하는 홀로그램 생성부; 및
    상기 홀로그램 데이터를 상기 디스플레이 단말로 전송하는 송신부를 포함하고,
    상기 디스플레이 단말은,
    상기 홀로그램 데이터를 수신하는 수신부;
    상기 수신된 홀로그램 데이터에 따라 회절 패턴을 형성하고, 상기 형성된 회절 패턴에 입사되는 광을 변조시키는 공간 광 변조기; 및
    상기 공간 광 변조기에 의해 변조된 광에 의해 3차원 공간 상에 상기 홀로그램 이미지가 복원되도록, 상기 회절 패턴에 가간섭성 광을 조사하는 광학 모듈
    을 포함하는 홀로그래픽 디스플레이 장치.
  14. 제13항에서,
    상기 제1 딥러닝 엔진과 상기 제2 딥 러닝 엔진은, 엔드 투 엔드(end-to-end) 구조로 통합된 것인 홀로그래픽 디스플레이 장치.
  15. 제13항에서,
    상기 제1 딥러닝 엔진과 상기 제2 딥 러닝 엔진 각각은,
    합성곱 신경망(Convolutional neural network, CNN)을 기반으로 하는 것인 홀로그래픽 디스플레이 장치.
  16. 제13항에서,
    상기 제1 딥러닝 엔진은,
    DenseNet(Densely Connected Convolutional Networks) 타입의 DenseDepth 모델로 구현된 것인 홀로그래픽 디스플레이 장치.
  17. 제13항에서,
    상기 제1 딥 러닝 엔진은,
    Pytorch 라이브러리에서 지원하는 Data Parallel Model 변환 함수를 이용하여 멀티(Multi)-GPU 환경에서 동작하도록 구현된 것인 홀로그래픽 디스플레이 장치.
  18. 제13항에서,
    상기 디스플레이 단말과 사용자 사이의 상호 작용 기능을 제공하는 상호 작용 장치를 더 포함하고,
    상기 상호 작용 장치는,
    사용자의 제스처 또는 음성을 인식하여 사용자의 제스처 정보 또는 음성 인식 정보를 획득하는 사용자 인식 센서; 및
    상기 제스처 정보 또는 상기 음성 인식 정보에 따라 상기 복원된 홀로그램 이미지의 형태 변경을 명령하는 피드백 명령을 생성하는 피드백 명령 생성부를 포함하고,
    상기 홀로그램 처리 장치는,
    상기 홀로그램 생성부에서 생성된 상기 홀로그램 데이터 중에서, 상기 피드백 명령에 대응하는 홀로그램 데이터를 선택하고, 현재 복원된 홀로그램 이미지에 대응하는 홀로그램 데이터를 상기 선택된 홀로그램 데이터로 업데이트 하는 피드백 처리부를 더 포함하고,
    상기 디스플레이 단말에 포함된 상기 공간 광 변조기는,
    상기 업데이트된 홀로그램 데이터에 따라 회절 패턴을 형성하고, 상기 형성된 회절 패턴에 입사되는 광을 변조시키는 것인 홀로그래픽 디스플레이 장치.
KR1020210025066A 2020-03-05 2021-02-24 홀로그래픽 디스플레이 장치 및 이의 처리 방법 KR102605678B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/191,969 US11532122B2 (en) 2020-03-05 2021-03-04 Method and apparatus for processing holographic image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200027664 2020-03-05
KR1020200027664 2020-03-05

Publications (2)

Publication Number Publication Date
KR20210113053A true KR20210113053A (ko) 2021-09-15
KR102605678B1 KR102605678B1 (ko) 2023-11-29

Family

ID=77793473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210025066A KR102605678B1 (ko) 2020-03-05 2021-02-24 홀로그래픽 디스플레이 장치 및 이의 처리 방법

Country Status (1)

Country Link
KR (1) KR102605678B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023128010A1 (ko) * 2021-12-27 2023-07-06 서울대학교산학협력단 홀로그래픽 디스플레이 장치 및 그 장치를 위한 홀로그램 최적화 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180069622A (ko) * 2016-12-15 2018-06-25 한국전자통신연구원 홀로그램 실감 콘텐츠 제작 방법 및 장치
KR20190089791A (ko) * 2019-07-11 2019-07-31 엘지전자 주식회사 삼차원 어라운드 뷰 제공 장치 및 방법
KR20190108003A (ko) * 2018-03-13 2019-09-23 한국전자통신연구원 사용자와 상호작용하는 홀로그램 영상 복원 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180069622A (ko) * 2016-12-15 2018-06-25 한국전자통신연구원 홀로그램 실감 콘텐츠 제작 방법 및 장치
KR20190108003A (ko) * 2018-03-13 2019-09-23 한국전자통신연구원 사용자와 상호작용하는 홀로그램 영상 복원 시스템 및 방법
KR20190089791A (ko) * 2019-07-11 2019-07-31 엘지전자 주식회사 삼차원 어라운드 뷰 제공 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023128010A1 (ko) * 2021-12-27 2023-07-06 서울대학교산학협력단 홀로그래픽 디스플레이 장치 및 그 장치를 위한 홀로그램 최적화 방법

Also Published As

Publication number Publication date
KR102605678B1 (ko) 2023-11-29

Similar Documents

Publication Publication Date Title
Paturzo et al. Synthesis and display of dynamic holographic 3D scenes with real-world objects
KR101177408B1 (ko) 시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템
US11699242B2 (en) System and method for digital hologram synthesis and process using deep learning
KR20200104068A (ko) 딥러닝 기반 디지털 홀로그램을 생성하는 방법 및 장치
KR20130074936A (ko) 디지털 홀로그래픽 콘텐츠 제작 시스템
US10928645B2 (en) Three-dimensional image display apparatus and image processing method
Yanagihara et al. Real-time three-dimensional video reconstruction of real scenes with deep depth using electro-holographic display system
KR102395056B1 (ko) 홀로그래픽 콘텐츠 제작 장치 및 이를 이용한 홀로그래픽 콘텐츠 디스플레이 방법
Kim et al. Holographic augmented reality based on three-dimensional volumetric imaging for a photorealistic scene
Zhao et al. Implementation of full-color holographic system using non-uniformly sampled 2D images and compressed point cloud gridding
KR102605678B1 (ko) 홀로그래픽 디스플레이 장치 및 이의 처리 방법
KR102577686B1 (ko) 홀로그램 생성 방법
KR102564822B1 (ko) 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템 및 방법
KR102549778B1 (ko) 다시점에 관련한 복수의 이미지에 대한 전처리를 수행하고, 전처리된 복수의 이미지를 통해 큐브맵을 생성하기 위한 방법, 서버 및 컴퓨터 프로그램
KR102577707B1 (ko) 진폭 변조 홀로그램을 위한 홀로그램 인코딩 및 홀로그램 화질 평가 장치 및 그 방법
CN113538254A (zh) 图像恢复方法、装置、电子设备及计算机可读存储介质
US11277633B2 (en) Method and apparatus for compensating motion for a holographic video stream
US11532122B2 (en) Method and apparatus for processing holographic image
CN113658330B (zh) 一种基于神经网络的全息编码方法
Schiffers et al. Stochastic Light Field Holography
US20200192286A1 (en) Hologram image representation method and hologram image representation device
Ryu et al. Continuous depth control of phase-only hologram with depth embedding block
Ahmad et al. Holographic interface management in the age of artificial intelligence
Yoon Recent Technologies for the Acquisition and Processing of 3D Images Based on Deep Learning
CN117333627B (zh) 一种自动驾驶场景的重建与补全方法、系统及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant