KR20200104068A - 딥러닝 기반 디지털 홀로그램을 생성하는 방법 및 장치 - Google Patents
딥러닝 기반 디지털 홀로그램을 생성하는 방법 및 장치 Download PDFInfo
- Publication number
- KR20200104068A KR20200104068A KR1020190022503A KR20190022503A KR20200104068A KR 20200104068 A KR20200104068 A KR 20200104068A KR 1020190022503 A KR1020190022503 A KR 1020190022503A KR 20190022503 A KR20190022503 A KR 20190022503A KR 20200104068 A KR20200104068 A KR 20200104068A
- Authority
- KR
- South Korea
- Prior art keywords
- hologram
- image
- generating
- data
- depth map
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000013135 deep learning Methods 0.000 title claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 46
- 230000003287 optical effect Effects 0.000 claims description 13
- 230000001427 coherent effect Effects 0.000 claims description 3
- 238000001093 holography Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 16
- 238000013527 convolutional neural network Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/16—Processes or apparatus for producing holograms using Fourier transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명에 따른 딥러닝 기반 디지털 홀로그램을 생성하는 장치의 방법은, 객체에 대한 다시점 컬러 이미지를 획득하는 단계, 상기 획득된 이미지의 방향, 위치 혹은 특징을 수정하기 위한 제 1 영상 처리하는 단계, 상기 제 1 영상 처리된 이미지로부터 학습을 통하여 깊이 맵을 추출하기 위한 제 2 영상 처리하는 단계; 및 상기 획득된 이미지와 상기 깊이 맵을 이용하여 상기 객체에 대응하는 홀로그램을 생성하는 단계를 포함할 수 있다.
Description
본 발명은 딥러닝(deep learning) 기반 디지털 홀로그램을 생성하는 방법 및 장치에 관한 것이다.
일반적으로, 홀로그래픽 디스플레이 기술은 물체를 3차원 공간에서 입체적으로 표현하는 것으로, 이상적인 완전 실감 3차원 디스플레이 기술이다. 구체적으로, 홀로그램 디스플레이 기술은 주어진 물체로 발생되는 파면(wave-front)을 그대로 재생함에 따라 사람의 눈에 실제로 그 물체가 존재하는 것과 동일한 효과를 준다.
본 발명의 목적은 빠른 속도로 홀로그래피용 3D 데이터 획득 및 사용자와 복원되는 영상 간에 상호작용이 가능한 완전 입체 영상을 디스플레이 하는 딥러닝 기반 디지털 홀로그램을 생성하는 방법 및 장치를 제공하는 데 있다.
본 발명의 실시 예에 따른 딥러닝 기반 디지털 홀로그램을 생성하는 장치의 방법은, 객체에 대한 다시점 컬러 이미지를 획득하는 단계; 상기 획득된 이미지의 방향, 위치 혹은 특징을 수정하기 위한 제 1 영상 처리하는 단계; 상기 제 1 영상 처리된 이미지로부터 학습을 통하여 깊이 맵을 추출하기 위한 제 2 영상 처리하는 단계; 및 상기 획득된 이미지와 상기 깊이 맵을 이용하여 상기 객체에 대응하는 홀로그램을 생성하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 제 1 영상 처리하는 단계는, 상기 제 1 영상 처리된 이미지를 특정 포맷으로 저장하는 단계를 더 포함할 수 있다.
실시 예에 있어서, 상기 제 2 영상 처리하는 단계는, 상기 제 1 영상 처리된 이미지에서 배경 값을 0이 아닌 상태로 처리한 후에, 상기 깊이 맵을 추출하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 홀로그램을 생성하는 단계는, 고속 푸리에 변환 방식으로 CGH(computer-generating hologram)을 생성하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 홀로그램을 생성하는 단계는, 상기 CGH를 디스플레이 단말의 특성에 적합하게 보정하도록 인코딩 하는 단계; 및 상기 인코딩 된 CGH를 전송하기에 용이한 형태로 취합하는 단계를 더 포함할 수 있다.
실시 예에 있어서, 상기 생성된 홀로그램을 저장하는 단계; 상기 저장된 홀로그램 중에서 적어도 2개의 홀로그램 쌍을 선택하는 단계; 및 상기 선택된 홀로그램 쌍을 디스플레이 단말기로 전송하는 단계를 더 포함할 수 있다.
실시 예에 있어서, 상기 홀로그램 쌍은 사용자의 좌안에 적합한 홀로그램 데이터와 상기 사용자의 우안에 적합한 홀로그램 데이터를 포함할 수 있다.
본 발명의 실시 예에 따른 디스플레이 단말기는, 공간 광 변조기; 및 상기 공간 광 변조기의 활성 영역에 균일한 광을 출력하는 광학 장치를 포함하고, 상기 활성 영역에 상기 광을 조명함으로써 홀로그램 쌍이 3차원 공간 상에 복원되고, 상기 홀로그램 쌍은 좌안 홀로그램 데이터와 우안 홀로그램 데이터를 포함하고, 상기 좌안 홀로그램 데이터 및 우안 홀로그램 데이터의 각각은 다시점 컬러 이미지와 상기 다시점 컬러 이미지에 대응하는 깊이 맵으로부터 생성되는 것을 특징으로 한다.
실시 예에 있어서, 상기 광학 장치는, 간섭성의 광을 발진하는 광원부; 및 상기 발진된 광을 상기 활성 영역의 크기에 대응하도록 확대하면서 동시에 균일함 빔의 세기로 상기 활성 영역으로 전달시키는 빔 가이딩부를 포함할 수 있다.
실시 예에 있어서, 사용자의 눈이 있는 위치로 빔을 수렴시키는 광학적으로 투명성을 갖는 필드 렌즈를 더 포함할 수 있다.
실시 예에 있어서, 상기 필드 렌즈는 상기 사용자가 있는 공간으로 3D 영상이 좌우 안에 들어 오도록 교차 수렴하는 것을 특징으로 한다.
실시 예에 있어서, 사용자의 음성 정보를 인식하는 음성 센서를 더 포함할 수 있다.
실시 예에 있어서, 상기 사용자의 명령을 인식하는 명령 인식 센서를 더 포함할 수 있다.
실시 예에 있어서, 상기 음성 정보는 홀로그램을 선택적으로 업데이트 하기 위한 피드백 프로그램에 입력되는 것을 특징으로 한다.
실시 예에 있어서, 상기 피드백 프로그램에 의거하여 상기 음성 정보에 매칭되는 홀로그램이 선택되는 것을 특징으로 한다.
본 발명의 실시 예에 따른 적어도 하나의 프로세서, 및 상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 인스트럭션을 저장하는 메모리를 갖는 딥러닝 기반 디지털 홀로그램을 생성하는 장치는, 상기 적어도 하나의 인스트럭션은, 객체에 대한 다시점 컬러 이미지를 획득하고; 상기 획득된 이미지의 방향, 위치 혹은 특징을 수정하기 위한 제 1 영상 처리하고; 상기 제 1 영상 처리된 이미지로부터 학습을 통하여 깊이 맵을 추출하기 위한 제 2 영상 처리하고; 및 상기 획득된 이미지와 상기 깊이 맵을 이용하여 상기 객체에 대응하는 홀로그램을 생성하는 것을 특징으로 한다.
실시 예에 있어서, 상기 홀로그램은, 좌안을 위한 제 1 컬러 이미지와 제 1 깊이 맵으로 구성된 제 1 CGH(computer generating hologram); 및 우안을 위한 제 2 컬러 이미지와 제 2 깊이 맵으로 구성된 제 2 CGH를 포함할 수 있다.
실시 예에 있어서, 상기 제 1 CGH와 상기 제 2 CGH는 특정 메모리 폴더에 저장되는 것을 특징으로 한다.
실시 예에 있어서, 피드백 프로그램에 의거하여 선택된 홀로그램이 디스플레이 단말기에 업데이트 되는 것을 특징으로 한다.
실시 예에 있어서, 상기 디스플레이 단말기에서 인식한 사용자의 명령 정보는 상기 피드백 프로그램에 입력되는 것을 특징으로 한다.
본 발명의 실시 예에 따른 딥러닝 기반 디지털 홀로그램을 생성하는 방법 및 장치는 종래의 컴퓨터 홀로그램 생성에서 포인트 클라우드, RGB-depth map 데이터 등을 3D 데이터로부터 홀로그래픽 콘텐츠 제작 중심의 한계를 극복함과 동시에 종래의 홀로그램을 만들기 위한 복잡한 장치 및 장시간의 콘텐츠 연산 프로세스로부터 탈피할 수 있다.
또한, 본 발명의 실시 예에 따른 딥러닝 기반 디지털 홀로그램을 생성하는 방법 및 장치는 기존 평판형 홀로그래픽 단말을 사용함에도 복원 영상에서 고품질의 화질을 구현이 가능한 인코딩 프로세스 및 양안식 입체 홀로그래피 방식을 포함할 수 있다.
또한, 본 발명의 실시 예에 따른 딥러닝 기반 디지털 홀로그램을 생성하는 방법 및 장치는 시청자들에게 보다 궁극의 실감 영상을 실시간으로 체험하게 할 수 있다.
또한, 본 발명의 실시 예에 따른 딥러닝 기반 디지털 홀로그램을 생성하는 방법 및 장치는 연산처리의 고속화가 가능하기 때문에 개인 휴대형 모바일 응용에 적합하며, 시청자에게 몰입감 및 3D 실감 증대 효과를 제공하고, 사용자-복원된 입체 영상 간에 상호작용 서비스에 요구되는 실시간 데이터 처리를 할 수 있다.
이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다. 다만, 본 실시예의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 본 발명의 실시 예에 따른 딥러닝 기반 홀로그램을 생성하는 장치(100)를 예시적으로 보여주는 도면이다.
도 2는 홀로그래픽 콘텐츠의 획득/생성 및 디스플레이 하는 과정을 예시적으로 보여주는 도면이다.
도 3은 RGB 카메라를 통하여 획득된 컬러 데이터 원본을 예시적으로 보여주는 도면이다.
도 4는 깊이 카메라로 획득한 깊이 맵 데이터 원본(좌)과, 컬러 데이터를 이용하여 딥러닝 기법으로 추출한 깊이 맵 데이터(우)를 예시적으로 보여주는 도면이다.
도 5는 깊이 카메라로 획득한 깊이 맵 데이터 원본(좌)과 딥러닝 기법으로 추출한 깊이 맵 데이터(우)의 결과를 상세하게 비교하는 도면이다.
도 6은 RGB-depth 맵 데이터로부터 FFT 알고리즘에 의해 계산된 홀로그램을 예시적으로 보여주는 도면이다.
도 7은 CNN 방법 기반 CGH 계산 프로세스를 예시적으로 보여주는 도면이다.
도 8은 본 발명의 실시 예에 따른 딥러닝 기반 홀로그램 생성 장치(1000)를 예시적으로 보여주는 도면이다.
도 1은 본 발명의 실시 예에 따른 딥러닝 기반 홀로그램을 생성하는 장치(100)를 예시적으로 보여주는 도면이다.
도 2는 홀로그래픽 콘텐츠의 획득/생성 및 디스플레이 하는 과정을 예시적으로 보여주는 도면이다.
도 3은 RGB 카메라를 통하여 획득된 컬러 데이터 원본을 예시적으로 보여주는 도면이다.
도 4는 깊이 카메라로 획득한 깊이 맵 데이터 원본(좌)과, 컬러 데이터를 이용하여 딥러닝 기법으로 추출한 깊이 맵 데이터(우)를 예시적으로 보여주는 도면이다.
도 5는 깊이 카메라로 획득한 깊이 맵 데이터 원본(좌)과 딥러닝 기법으로 추출한 깊이 맵 데이터(우)의 결과를 상세하게 비교하는 도면이다.
도 6은 RGB-depth 맵 데이터로부터 FFT 알고리즘에 의해 계산된 홀로그램을 예시적으로 보여주는 도면이다.
도 7은 CNN 방법 기반 CGH 계산 프로세스를 예시적으로 보여주는 도면이다.
도 8은 본 발명의 실시 예에 따른 딥러닝 기반 홀로그램 생성 장치(1000)를 예시적으로 보여주는 도면이다.
아래에서는 도면들을 이용하여 본 발명의 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 내용을 명확하고 상세하게 기재할 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.
상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 혹은 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 혹은 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 혹은 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것들의 존재 혹은 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 실시 예에 따른 딥러닝(deep learning) 기반 디지털 홀로그램을 생성하는 방법 및 장치는, 완전 입체 영상 콘텐츠 및 영상 처리 기술로서 딥러닝 기술로부터 생성된 깊이 맵(depth map) 정보와 RGB(red green blue) 컬러 원본 데이터를 입력 정보 세트로 하여 디지털 홀로그램 콘텐츠 제작하고, 이러한 콘텐츠 이용한 홀로그램 디스플레이를 할 수 있다.
최근에 3차원 디스플레이 기술이 발전함에 따라 완벽한 시차와 깊이로 물체를 표현함으로써, 조절-폭주 (accommodation-convergence) 불일치 문제에 따른 눈의 피로감과 어지러움 증상이 사라지고 있다. 더 나아가, 홀로그래픽 디스플레이 기술은 시점의 이동에 따라 실제 세계를 보는 것과 같은 자연스러운 영상을 시청할 수 있기 때문에 궁극의 3차원 디스플레이 기술로까지 발전하고 있다. 하지만, 여전히 홀로그래픽 디스플레이 기술을 구현하기 위해서는 다음의 요구 사항들이 만족되어야 한다.
첫째로, 다양한 실물 혹은 CG를 기반으로 홀로그래피용 360도 영상 콘텐츠는 데이터 량이 매우 크기 때문에 실시간으로 영상 처리 및 이의 광학적 복원하는 기술이 매우 어렵다. 둘째로, 홀로그램 데이터의 특성상 연산 처리량에 대한 부하가 높고 계산 과정에서 소요되는 시간에 따른 큰 부담으로 작용됨으로써, 기존에 이미 만들어진 콘텐츠를 토대로 하여 영상을 복원하는 방식으로 개발되고 있어서 시청자는 영상을 수동적인 자세로 관찰할 수 있는 콘텐츠가 제작되고 있다. 따라서 사용자와 콘텐츠 간에 실시간 (real-time) 상호작용 체험이 가능하도록 하는 고속 홀로그램 콘텐츠 제작 기술의 개발이 필요한 상태이다. 셋째로, 이렇게 제작된 홀로그래피용 콘텐츠가 준비되더라도, 이 콘텐츠를 적절히 디스플레이 할 수 있는 홀로그래픽 단말기들 혹은 공간 변조기들(SLMs, spatial light modulators)이 구비되는 것이 용이하지 않다. 따라서 사용자가 쉽게 손으로 들을 수 있거나 사용자 얼굴에 쓸 수 있는 착용형(웨어러벌) 타입이면서 무게가 가벼운 모바일 홀로그래픽 단말기를 개발할 필요가 있다.
한편 일반적으로 광시야각 홀로그래픽 디스플레이를 실현하기 위해서는 픽셀피치가 1um미만의 크기를 갖는 단말이 요구되고 있다. 이에 비해 현재 상용 LCD 패널의 픽셀 피치는 10um 수준이다. 이 크기는 시야각이 5도 미만 정도를 제공하고 있다. 그래서 동공추적 (eye-tracking) 기술과 같은 대용량 및 고정밀 데이터 처리 기술을 수반하는 별도의 고가 장치들이 부착된 시스템을 통해 홀로그램을 재생하고 있다.
본 발명은 딥러닝(deep learning) 기술을 통하여 빠른 속도로 360도 3D 입체 영상 정보를 기반으로 한 홀로그래픽 영상을 복원하고, 또한 사용자와 복원되는 콘텐츠 간 실시간 상호작용 가능하도록 홀로그래피 콘텐츠를 용이하게 제작 및 디스플레이 할 수 있다. 특히 본 발명은 개인 휴대가 가능한 모바일형/착용형 응용에 적합하면서도 시청자에게 몰입감 및 3D 실감 증대 효과를 제공하는 사용자-복원된 입체 영상 간에 상호작용이 가능한 홀로그래픽 콘텐츠 구현할 수 있다.
실시 예에 있어서, 고속의 홀로그램 생성을 위한 연산 방법은 RGB-depth map을 입력 정보로 하여 FFT (fast-Fourier transformation) 기반 CGH (computer-generated hologram) 계산식을 이용할 수 있다. 3D 장면(scene)을 포함하는 3차원 공간을 여러 계층으로 조각 낼 때, 홀로그램 면 (hologram plane, H)과 시청자의 관측 면(observing view-window plane, VW), 및 계층화된 각 층(layer)들은 서로 평행하게 자르는 경우를 고려하겠다. 이때, 거의 연속적을 분포된 점 크라우드들은 가장 가까운 곳에 있는 층에 할당될 수 있다. 따라서, 홀로그램 면에서의 복소수 필들을 계산 하기 위하여 FFT 알고리즘을 사용하여 불연속적인 Fourier 변환이 수행될 수 있다.
여기서 (u, v), (xi, yi), Ui, f, λ 및 di 은 시청자의 관측면, 3D 장면의 i-번째 층, i-번째 층의 물체 (object) 필드, 필드 렌즈의 초점 길이, 조명광의 파장, 그리고 홀로그램 면으로부터 시청 거리를 각각 나타낸다. 이렇게 계산된 깊이 맵(depth map) 기반 CGH는 원래의 3D 장면(scene)을 공간 상에 복원시킬 수 있다. 또한, view-window 위치에 눈을 두고서 관찰하는 시청자는 광학적으로 복원된 3D 장면을 볼 수 있다.
실시 예에 있어서, 이미지의 공간 정보를 유지한 상태로 학습이 가능한 딥러닝 모델이 바로 CNN(convolutional neural network)이다. CNN은 기존의 Fully Connected Neural Network와 비교하여 다음과 같은 차별성을 갖는다. 각 레이어의 입출력 데이터의 형상 유지, 이미지의 공간 정보를 유지하면서 인접 이미지와의 특징을 효율적으로 인식, 복수의 필터들로 이미지의 특징 추출 및 학습, 추출한 이미지의 특징을 모으고 강화하는 pooling 레이어, 그리고 필터를 공유 파라미터로 사용함으로써 일반 신경망과 비교하여 학습 파라미터 수가 매우 적은 것 등이다. 여러 시점의 컬러 영상 (multi-view color images)은 일반적인 모바일 기기에 의해서 쉽게 촬영될 수 있다. 또한 현재까지 다양한 콘텐츠 형태로 아카이빙 되어 있다.
여러 시점의 컬러 영상 데이터로부터 깊이 맵(depth map) 추출 이용에 용이한 CNN 방식은, 이미지의 특징을 추출하는 부분과 클래스를 분류하는 부분으로 나눌 수 있다. 특징 추출 영역은 Convolution Layer와 Pooling Layer를 여러 겹 쌓는 형태로 구성될 수 있다. Convolution Layer는 입력 데이터에 필터를 적용 후 활성화 함수를 반영하는 필수 요소이다. Convolutional Layer 다음에 위치하는 Pooling Layer는 선택적인 레이어이다. CNN 마지막 단계로서 이미지 분류를 위한 Fully Connected 레이어가 추가될 수 있다. 이미지의 특징을 추출하는 부분과 이미지를 분류하는 부분 사이에 이미지 형태의 데이터를 배열 형태로 만드는 Flatten 레이어가 위치할 수 있다.
CNN은 이미지 특징 추출을 위해 입력 데이터를 필터가 순회하며, 합성 곱을 계산하고, 그 계산 결과를 이용하여 Feature map을 만들 수 있다. Convolution Layer는 Filter 크기, Stride, Padding 적용 여부, Max Pooling 크기에 따라서 출력 데이터의 Shape이 변경될 수 있다.
도 1은 본 발명의 실시 예에 따른 딥러닝 기반 홀로그램을 생성하는 장치(100)를 예시적으로 보여주는 도면이다. 도 1을 참조하면, 홀로그램을 생성하는 장치(100)는 콘텐츠 획득부(102), 제 1 영상 처리부(104), 제 2 영상 처리부(106), 데이터 결합부(108), 홀로그램 생성부(110), 음성 데이터 인식부(122), 음성 정보 기반 CGH 및 각도 선별부(124), 사용자 제스처 정보 획득부(126), 사용자 제스처 기반 CGH 및 데이터 선별부(128), 메모리 및 피드백부(130), 데이터 전송부(140), 및 회전 모듈 제어부(150)를 포함할 수 있다.
콘텐츠 획득부(102)는 선택된 화상 (scene) 혹은 객체 (object)의 3D 정보를 제공할 수 있는 데이터, 혹은 여러 시점의 RGB 컬러 정보를 획득하도록 구현될 수 있다.
제 1 영상 처리부(104)는 1차 단계에서 획득된 여러 시점의 RGB 컬러 이미지로부터 중간 시점을 추출하도록 구현될 수 있다. 여기서 1차 단계는 실사(실물) 방법 혹은 CG 방법에 의해 카메라로 획득되는 다시점의 컬러 영상 (multi-view color images) 데이터를 획득하는 것일 수 있다. 실시 예에 있어서, 제 1 영상 처리부(104)는 선택된 영역에서 객체 이미지의 방향, 위치, 특징 등을 수정할 수 있다. 이 후에, 제 1 영상 처리부(104)는 원하는 특정 포맷을 갖는 파일로 저장할 수 있다. 여기서 특정 포맷은 360도 전방향 콘텐츠를 제공하기에 충분한 시차를 제공하는 여러 시점의 RGB 형태의 정보로 저장되는 포맷일 수 있다.
제 2 영상 처리부(106)는 제1 영상 처리부(104)에서 획득된 여러 시점의 RGB 컬러 이미지로부터 깊이 정보(depth map)를 추출하도록 구현될 수 있다. 실시 예에 있어서, 깊이 정보 추출하는 방법은 이미지의 공간 정보를 유지하면서 인접 이미지와의 특징을 효율적으로 인식함으로써 이미지의 특징 추출 및 학습하는 방식에 의해 깊이 맵을 추출할 수 있다.
실시 예에 있어서, 제 2 영상 처리부(106)는 제 1 영상 처리부(104)에서 획득된 여러 시점의 RGB 컬러 이미지가 배경 값이 0이 아닌 상태로 처리한 후에, 깊이 맵(depth map) 정보를 추출할 수 있다.
데이터 결합부(108)는 좌/우안 RGB-Depth 데이터를 획득하고 획득된 데이터를 결합하도록 구현될 수 있다.
홀로그램 생성부(110)는 복소수 (complex values) 홀로그램 (CGH, computer-generating hologram)을 생성하고 및 생성된 데이터를 특정 메모리 폴더에 보관하도록 구현될 수 있다.
실시 예에 있어서, 홀로그램 생성부(110)는 RGB-Depth 형태의 포맷을 입력 받고, 홀로그램 (CGH, computer-generating hologram)을 생성할 수 있다.
실시 예에 있어서, 홀로그램 생성부(110)는 RGB-Depth 형태의 포맷을 입력 받고, 고속 퓨리에 변환(fast Fourier transform) 방식으로 홀로그램 (CGH, computer-generating hologram)을 생성할 수 있다.
실시 예에 있어서, 홀로그램 생성부(110)는 계산된 CGH 파일을 디스플레이 단말의 특성에 맞도록 보정하기 위하여 인코딩 (encoding)하고, 및 전송하기에 용이한 형태로 취합할 수 있다.
음성 데이터 인식부(122)는 음성 데이터를 인식하도록 구현될 수 있다.
음성 정보 기반 CGH 및 각도 선별부(124)는 인식된 음성 데이터를 수신하고, 음성 정보 기반 CGH 및 각도를 선별하도록 구현될 수 있다.
사용자 제스처 정보 획득부(126)는 사용자의 제스처를 인식하도록 구현될 수 있다.
사용자 제스처 기반 CGH 및 데이터 선별부(128)는 인식된 사용자의 제스처를 수신하고, 사용자 제스처 기반 CGH 및 데이터를 선별하도록 구현될 수 있다.
메모리 및 피드백부(130)는 홀로그램 생성부(110)에서 생성된 홀로그램을 저장하고, 피드백 프로그램에 의해 저장된 홀로그램 중에서 어느 하나를 선택하도록 구현될 수 있다.
데이터 전송부(140)는 메모리 및 피드백부(130)에 저장된 홀로그램 데이터 중에서 선택된 하나 혹은 적어도 2개 이상의 홀로그램 쌍(pair)으로 이루어진 데이터를 전송하도록 구현될 수 있다.
회전 모듈 제어부(150)는 회전 각도 정보 및 데이터 전송부(140)를 통해 전달된 선택된 홀로그램 데이터를 수신하도록 구현될 수 있다. 실시 예에 있어서, 회전 모듈 제어부(150)는 수신된 홀로그램 데이터가 사용될 디스플레이 단말에 적합하도록 변환하거나 혹은 인코딩(encoding)할 수 있다. 실시 예에 있어서, 선택된 2개의 홀로그램 쌍은 복원되는 공간상의 위치와 광학장치의 배치를 고려하여 시청자의 좌측 눈과 우측 눈에 각각 적합한 홀로그램 데이터일 수 있다.
실시 예에 있어서, 회전 모듈 제어부(150)는 좌안 영상 표시부(152) 및 우안 영상 표시부(154)를 포함할 수 있다.
한편, 도 1에 도시된 콘텐츠 획득부(102), 제 1 영상 처리부(104), 제 2 영상 처리부(106), 데이터 결합부(108), 홀로그램 생성부(110), 음성 데이터 인식부(122), 음성 정보 기반 CGH 및 각도 선별부(124), 사용자 제스처 정보 획득부(126), 사용자 제스처 기반 CGH 및 데이터 선별부(128), 메모리 및 피드백부(130), 데이터 전송부(140), 및 회전 모듈 제어부(150)의 각각은 하드웨어, 소프트웨어, 혹은 펌웨어적으로 구현될 수 있다.
본 발명의 실시 예에 따른 딥러닝 기반 홀로그램을 생성하는 장치(100)는 사용자와 복원 영상 간에 상호작용 가능한 딥러닝 기술을 통한 홀로그래픽 콘텐츠를 획득/제작하고 및 디스플레이 할 수 있다.
도 2는 홀로그래픽 콘텐츠의 획득/생성 및 디스플레이 하는 과정을 예시적으로 보여주는 도면이다. 도 2를 참조하면, 딥러닝 기반 홀로그램을 생성하는 방법은 콘텐츠 획득하는 과정, 콘텐츠 생성하는 과정, 콘텐츠 입력하는 과정, 및 디스플레이 단말기에 콘텐츠를 업로드 하는 과정을 포함할 수 있다.
콘텐츠 획득하는 과정은 복수의 카메라들로부터 다시점 RGB 컬러 데이터를 획득하는 단계를 포함할 수 있다.
콘텐츠 생성하는 과정은, 다시점 RGB 컬러 데이터로부터 좌안 및 우안의 각각의 컬러 데이터 및 깊이 정보를 분리하고, 분리된 데이터로부터 좌안 및 우안의 각각의 CGH를 계산하고, 계산된 좌안 및 우안의 CGH를 결합하는 단계를 포함할 수 있다.
콘텐츠 입력하는 과정은, 제어 보드에서 생성된 콘텐츠를 수신하고 좌안 및 우안 전용으로 이미지를 구분하는 단계를 포함할 수 있다.
디스플레이 단말기에 콘텐츠를 업로드 하는 과정은, 선택된 홀로그램 데이터를 디스플레이 단말기에 업로드하는 단계, 업로드된 상태에서 단말기를 적절하게 준비된 광으로 조명하여 홀로그램 이미지를 3차원 공간 상에 복원하는 단계를 포함할 수 있다.
실시 예에 있어서, 디스플레이 단말기는 공간 광 변조기(spatial light modulator; SLM), 공간 광 변조기 (SLM)의 활성 영역(active area)을 균일하게 조명할 수 있는 광학 장치를 포함할 수 있다. 실시 예에 있어서, 광학 장치는 간섭성(coherent)의 광을 발진하는 광원부, 및 발진된 광을 활성 영역의 크기로 충분히 확대시키면서 동시에 균일한 빔의 세기로 활성 영역으로 전달시키는 빔 가이딩 (beam guiding)부를 포함할 수 있다.
실시 예에 있어서, 디스플레이 단말기를 통과해서 나온 광은 광학적으로 투명성을 갖는 필드 렌즈를 통하여 사용자의 눈이 있는 위치로 수렴될 수 있다. 여기서 필드 렌즈는 시청자의 눈이 있는 위치 주변으로 복원된 광 필드(optically reconstructed field)를 전달 할 수 있다. 실시 예에 있어서, 필드 렌즈는 공간 광 변조기(SLM)의 전 공간(front space) 혹은 후 공간(back space)에 광학적으로 복원된 홀로그래픽 영상을 맺도록 배치될 수 있다.
실시 예에 있어서, 필드 렌즈는 광학적인 굴절(reflection) 혹은 회절 (diffraction) 특성을 이용하여 상술된 기능들을 구현할 수 있다.
실시 예에 있어서, 상호작용에 적합한 디스플레이로서 필드 렌즈 구조는 사용자가 있는 공간인 양(+)의 z 공간 영역(front space)으로 3D영상이 좌우 안에 들어 오도록 교차 수렴 특성을 제공하는 광학계를 포함할 수 있다.
한편, 홀로그래픽 콘텐츠와 사용자 간의 상호 작용은 다음과 같이 진행될 수 있다.
실시 예에 있어서, 디스플레이 단말기는 공간 광 변조기(SLM)와 사용자에게 있어서 사용자의 음성 정보를 인식하는 센서(user's voice sensor, 도 1의 122)를 포함할 수 있다.
실시 예에 있어서, 디스플레이 단말기는 공간 광 변조기(SLM)와 사용자에게 있어서 사용자의 명령을 인식하는 센서(user's command recognition sensor, 도 1의 126)를 포함할 수 있다.
실시 예에 있어서, 획득된 사용자의 명령 정보는 홀로그램 생성부(110)에서 생성된 홀로그램 데이터를 선택적으로 업데이트 하는 피드백 프로그램에 입력될 수 있다. 실시 예에 있어서, 피드백 프로그램에 의해 획득된 정보에 매칭된 홀로그램 데이터가 선택되고 및 디스플레이 될 수 있다. 이때 홀로그램 데이터는 (실시간으로 CGH가 업데이트 되도록) 주어진 3D 콘텐츠에 대하여 선행 계산(pre-calculation of CGH)이 완료 되어서 준비된 상태 (stand-by state)로 대기할 수 있다.
도 3은 RGB 카메라를 통하여 획득된 컬러 데이터 원본을 예시적으로 보여주는 도면이다. 도 3을 참조하면, 깊이가 서로 다른 곳에 위치한 2대의 자동차가 도시된다.
도 4는 깊이 카메라로 획득한 깊이 맵 데이터 원본(좌)과, 컬러 데이터를 이용하여 딥러닝 기법으로 추출한 깊이 맵 데이터(우)를 예시적으로 보여주는 도면이다.
도 5는 깊이 카메라로 획득한 깊이 맵 데이터 원본(좌)과 딥러닝 기법으로 추출한 깊이 맵 데이터(우)의 결과를 상세하게 비교하는 도면이다. 도 5를 참조하면, 물체의 경계 라인에서 미세한 차이가 나타나고 있다.
도 6은 RGB-depth 맵 데이터로부터 FFT 알고리즘에 의해 계산된 홀로그램을 예시적으로 보여주는 도면이다. 도 6을 참조하면, 홀로그램은 진폭변조 인코딩(amplitude-modulating encoding)을 적용하여 생성될 수 있다.
도 7은 CNN 방법 기반 CGH 계산 프로세스를 예시적으로 보여주는 도면이다. 도 7를 참조하면, RGB 컬러 이미지를 획득하고, 획득된 이미지로부터 깊이 맵이 추출되고, 깊이 맵으로부터 FFT의한 CGH가 생성될 수 있다.
본 발명의 실시 예에 따른 딥러닝 기반 홀로그램을 생성하는 장치 및 방법은, 딥러닝 방식을 이용하여 홀로그램 콘텐츠 생성함으로써 종래의 컴퓨터 홀로그램 생성에서 포인트 클라우드, RGB-depth map 데이터 등을 3D 데이터로부터 홀로그래픽 콘텐츠 제작 중심의 한계를 극복함과 동시에 종래의 홀로그램을 만들기 위한 복잡한 장치 및 장시간의 콘텐츠 연산 프로세스로부터 탈피할 수 있다.
또한, 본 발명의 실시 예에 따른 딥러닝 기반 홀로그램을 생성하는 장치 및 방법은, 기존 평판형 홀로그래픽 단말을 사용함에도 복원 영상에서 고품질의 화질을 구현이 가능한 인코딩 프로세스 및 양안식 입체 홀로그래피 방식을 구비함으로써, 시청자들에게 보다 궁극의 실감 영상을 실시간으로 체험하도록 도와줄 수 있다.
또한, 본 발명의 실시 예에 따른 딥러닝 기반 홀로그램을 생성하는 장치 및 방법은, 연산처리의 고속화가 가능하기 때문에 개인 휴대형 모바일 응용에 적합하며, 시청자에게 몰입감 및 3D 실감 증대 효과를 제공하고, 사용자-복원된 입체 영상 간에 상호작용 서비스에 요구되는 실시간 데이터 처리가 가능하다.
도 8은 본 발명의 실시 예에 따른 딥러닝 기반 홀로그램 생성 장치(1000)를 예시적으로 보여주는 도면이다. 도 8을 참조하면, 딥러닝 기반 홀로그램 생성 장치(1000)는 적어도 하나의 프로세서(1100), 네트워크 인터페이스(1200), 메모리(1300), 디스플레이(1400), 및 입출력 장치(1500)를 포함할 수 있다.
딥러닝 기반 홀로그램 생성 장치(1000)는, 도시되지 않았지만 적어도 하나의 센서를 포함할 수 있다. 이러한 센서는 객체 인식을 위한, 영상 데이터 및 음성 데이터 등을 센싱 하기 위한 이미지 센서 및 마이크 등을 포함할 수 있다. 센서는 잘 알려진 방식(예를 들어, 광학 이미지를 전기 신호로 변환하는 방식 등)으로 이미지 등을 감지할 수 있다. 센서의 출력은 프로세서(1100) 혹은 메모리(1300)로 출력될 수 있다.
프로세서(1100)는 도 1 내지 도 7을 통하여 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 7을 통하여 전술한 적어도 하나의 방법으로 구현될 수 있다. 프로세서(1100)는, 상술된 바와 같이 딥러닝 방법으로 빠른 속도로 홀로그래피용 3D 데이터 획득 및 사용자와 복원되는 영상 간에 상호작용이 가능한 완전 입체 영상을 디스플레이 하는 홀로그래픽 콘텐츠 제작할 수 있다.
프로세서(1100)는 프로그램을 실행하고, 전자 시스템을 제어할 수 있다. 전자 시스템은 입출력 장치(1500)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 혹은 네트워크)에 연결되고, 데이터를 교환할 수 있다. 전자 시스템은 이동 전화, 스마트 폰, PDA, 태블릿 컴퓨터, 랩톱 컴퓨터 등 모바일 장치, 퍼스널 컴퓨터, 태블릿 컴퓨터, 넷북 등 컴퓨팅 장치, 혹은 텔레비전, 스마트 텔레비전, 게이트 제어를 위한 보안 장치 등 전자 제품 등 다양한 전자 시스템들을 포함할 수 있다.
네트워크 인터페이스(1200)는 외부의 네트워크와 다양한 유/무선 방식에 의해 통신을 수행하도록 구현될 수 있다.
메모리(1300)는 컴퓨터에서 읽을 수 있는 명령어(instruction)를 포함할 수 있다. 프로세서(1100)는 메모리(1300)에 저장된 명령어가 프로세서(1100)에서 실행됨에 따라 앞서 언급된 동작들을 수행할 수 있다. 메모리(1300)는 휘 발성 메모리 혹은 비휘발성 메모리일 수 있다.
메모리(1300)는 사용자의 데이터를 저장하도록 저장 장치를 포함할 수 있다. 저장 장치는 eMMC(embedded multimedia card), SSD(solid state drive), UFS(universal flash storage) 등 일 수 있다. 저장 장치는 적어도 하나의 비휘발성 메모리 장치를 포함할 수 있다. 비휘발성 메모리 장치는, 낸드 플래시 메모리(NAND Flash Memory), 수직형 낸드 플래시 메모리(Vertical NAND; VNAND), 노아 플래시 메모리(NOR Flash Memory), 저항성 램(Resistive Random Access Memory: RRAM), 상변화 메모리(Phase-Change Memory: PRAM), 자기저항 메모리(Magnetoresistive Random Access Memory: MRAM), 강유전체 메모리(Ferroelectric Random Access Memory: FRAM), 스핀주입 자화반전 메모리(Spin Transfer Torque Random Access Memory: STT-RAM) 등이 될 수 있다.
이상에서 설명된 실시 예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/혹은 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 혹은 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 혹은 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.
또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소 (processing element) 및/혹은 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치 는 복수의 프로세서 혹은 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 혹은 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 혹은 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/혹은 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 혹은 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 혹은 장치, 혹은 전송되는 신호 파(signal wave)에 영구적으로, 혹은 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매 체에 저장될 수 있다.
실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판 독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 혹은 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체 (magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
한편, 상술 된 본 발명의 내용은 발명을 실시하기 위한 구체적인 실시 예들에 불과하다. 본 발명은 구체적이고 실제로 이용할 수 있는 수단 자체뿐 아니라, 장차 기술로 이용할 수 있는 추상적이고 개념적인 아이디어인 기술적 사상을 포함할 것이다.
100: 홀로그램 생성 장치
102: 콘텐츠 획득부
104: 제 1 영상 처리부
106: 제 2 영상 처리부
108: 데이터 결합부
110: 홀로그램 생성부
122: 음성 데이터 인식부
124: 음성 정보 기반 CGH 및 각도 선별부
126: 사용자 제스처 정보 획득부
128: 사용자 제스처 기반 CGH 및 데이터 선별부
130: 메모리 및 피드백부
140: 데이터 전송부
150: 회전 모듈 제어부
152: 좌안 영상 표시부
154: 우안 영상 표시부
102: 콘텐츠 획득부
104: 제 1 영상 처리부
106: 제 2 영상 처리부
108: 데이터 결합부
110: 홀로그램 생성부
122: 음성 데이터 인식부
124: 음성 정보 기반 CGH 및 각도 선별부
126: 사용자 제스처 정보 획득부
128: 사용자 제스처 기반 CGH 및 데이터 선별부
130: 메모리 및 피드백부
140: 데이터 전송부
150: 회전 모듈 제어부
152: 좌안 영상 표시부
154: 우안 영상 표시부
Claims (20)
- 딥러닝 기반 디지털 홀로그램을 생성하는 장치의 방법에 있어서,
객체에 대한 다시점 컬러 이미지를 획득하는 단계;
상기 획득된 이미지의 방향, 위치 혹은 특징을 수정하기 위한 제 1 영상 처리하는 단계;
상기 제 1 영상 처리된 이미지로부터 학습을 통하여 깊이 맵을 추출하기 위한 제 2 영상 처리하는 단계; 및
상기 획득된 이미지와 상기 깊이 맵을 이용하여 상기 객체에 대응하는 홀로그램을 생성하는 단계를 포함하는 방법. - 제 1 항에 있어서,
상기 제 1 영상 처리하는 단계는,
상기 제 1 영상 처리된 이미지를 특정 포맷으로 저장하는 단계를 더 포함하는 방법. - 제 1 항에 있어서,
상기 제 2 영상 처리하는 단계는,
상기 제 1 영상 처리된 이미지에서 배경 값을 0이 아닌 상태로 처리한 후에, 상기 깊이 맵을 추출하는 단계를 포함하는 방법. - 제 1 항에 있어서,
상기 홀로그램을 생성하는 단계는,
고속 푸리에 변환 방식으로 CGH(computer-generating hologram)을 생성하는 단계를 포함하는 방법. - 제 4 항에 있어서,
상기 홀로그램을 생성하는 단계는,
상기 CGH를 디스플레이 단말의 특성에 적합하게 보정하도록 인코딩 하는 단계; 및
상기 인코딩 된 CGH를 전송하기에 용이한 형태로 취합하는 단계를 더 포함하는 방법. - 제 1 항에 있어서,
상기 생성된 홀로그램을 저장하는 단계;
상기 저장된 홀로그램 중에서 적어도 2개의 홀로그램 쌍을 선택하는 단계; 및
상기 선택된 홀로그램 쌍을 디스플레이 단말기로 전송하는 단계를 더 포함하는 방법. - 제 6 항에 있어서,
상기 홀로그램 쌍은 사용자의 좌안에 적합한 홀로그램 데이터와 상기 사용자의 우안에 적합한 홀로그램 데이터를 포함하는 방법. - 공간 광 변조기; 및
상기 공간 광 변조기의 활성 영역에 균일한 광을 출력하는 광학 장치를 포함하고,
상기 활성 영역에 상기 광을 조명함으로써 홀로그램 쌍이 3차원 공간 상에 복원되고,
상기 홀로그램 쌍은 좌안 홀로그램 데이터와 우안 홀로그램 데이터를 포함하고,
상기 좌안 홀로그램 데이터 및 우안 홀로그램 데이터의 각각은 다시점 컬러 이미지와 상기 다시점 컬러 이미지에 대응하는 깊이 맵으로부터 생성되는 것을 특징으로 하는 디스플레이 단말기. - 제 8 항에 있어서,
상기 광학 장치는,
간섭성의 광을 발진하는 광원부; 및
상기 발진된 광을 상기 활성 영역의 크기에 대응하도록 확대하면서 동시에 균일함 빔의 세기로 상기 활성 영역으로 전달시키는 빔 가이딩부를 포함하는 디스플레이 단말기. - 제 8 항에 있어서,
사용자의 눈이 있는 위치로 빔을 수렴시키는 광학적으로 투명성을 갖는 필드 렌즈를 더 포함하는 디스플레이 단말기. - 제 10 항에 있어서,
상기 필드 렌즈는 상기 사용자가 있는 공간으로 3D 영상이 좌우 안에 들어 오도록 교차 수렴하는 것을 특징으로 하는 디스플레이 단말기. - 제 8 항에 있어서,
사용자의 음성 정보를 인식하는 음성 센서를 더 포함하는 디스플레이 단말기. - 제 12 항에 있어서,
상기 사용자의 명령을 인식하는 명령 인식 센서를 더 포함하는 디스플레이 단말기. - 제 12 항에 있어서,
상기 음성 정보는 홀로그램을 선택적으로 업데이트 하기 위한 피드백 프로그램에 입력되는 것을 특징으로 하는 디스플레이 단말기. - 제 14 항에 있어서,
상기 피드백 프로그램에 의거하여 상기 음성 정보에 매칭되는 홀로그램이 선택되는 것을 특징으로 하는 디스플레이 단말기. - 적어도 하나의 프로세서, 및 상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 인스트럭션을 저장하는 메모리를 갖는 딥러닝 기반 디지털 홀로그램을 생성하는 장치에 있어서:
상기 적어도 하나의 인스트럭션은,
객체에 대한 다시점 컬러 이미지를 획득하고;
상기 획득된 이미지의 방향, 위치 혹은 특징을 수정하기 위한 제 1 영상 처리하고;
상기 제 1 영상 처리된 이미지로부터 학습을 통하여 깊이 맵을 추출하기 위한 제 2 영상 처리하고; 및
상기 획득된 이미지와 상기 깊이 맵을 이용하여 상기 객체에 대응하는 홀로그램을 생성하는 것을 특징으로 하는 디지털 홀로그램을 생성하는 장치. - 제 16 항에 있어서,
상기 홀로그램은,
좌안을 위한 제 1 컬러 이미지와 제 1 깊이 맵으로 구성된 제 1 CGH(computer generating hologram); 및
우안을 위한 제 2 컬러 이미지와 제 2 깊이 맵으로 구성된 제 2 CGH를 포함하는 디지털 홀로그램을 생성하는 장치. - 제 17 항에 있어서,
상기 제 1 CGH와 상기 제 2 CGH는 특정 메모리 폴더에 저장되는 것을 특징으로 하는 디지털 홀로그램을 생성하는 장치. - 제 17 항에 있어서,
피드백 프로그램에 의거하여 선택된 홀로그램이 디스플레이 단말기에 업데이트 되는 것을 특징으로 하는 디지털 홀로그램을 생성하는 장치. - 제 19 항에 있어서,
상기 디스플레이 단말기에서 인식한 사용자의 명령 정보는 상기 피드백 프로그램에 입력되는 것을 특징으로 하는 디지털 홀로그램을 생성하는 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190022503A KR20200104068A (ko) | 2019-02-26 | 2019-02-26 | 딥러닝 기반 디지털 홀로그램을 생성하는 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190022503A KR20200104068A (ko) | 2019-02-26 | 2019-02-26 | 딥러닝 기반 디지털 홀로그램을 생성하는 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200104068A true KR20200104068A (ko) | 2020-09-03 |
Family
ID=72450294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190022503A KR20200104068A (ko) | 2019-02-26 | 2019-02-26 | 딥러닝 기반 디지털 홀로그램을 생성하는 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20200104068A (ko) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022108067A1 (en) * | 2020-11-19 | 2022-05-27 | Samsung Electronics Co., Ltd. | Method for rendering relighted 3d portrait of person and computing device for the same |
| KR20220086289A (ko) * | 2020-12-16 | 2022-06-23 | 서울대학교산학협력단 | 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치 |
| CN114967398A (zh) * | 2022-05-13 | 2022-08-30 | 安徽大学 | 基于深度学习的大尺寸二维计算全息图实时生成方法 |
| KR20230085963A (ko) | 2021-12-07 | 2023-06-15 | 한국과학기술연구원 | 장갑 형태의 홀로그래피 이미지 생성 장치 |
| WO2023106429A1 (ko) * | 2021-12-06 | 2023-06-15 | 한국전자기술연구원 | 멀티 컴퓨터를 이용한 홀로그램 생성 및 스트리밍 방법 및 시스템 |
| US11823327B2 (en) | 2020-11-19 | 2023-11-21 | Samsung Electronics Co., Ltd. | Method for rendering relighted 3D portrait of person and computing device for the same |
| CN114967398B (zh) * | 2022-05-13 | 2024-05-31 | 安徽大学 | 基于深度学习的大尺寸二维计算全息图实时生成方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101840563B1 (ko) | 2016-07-04 | 2018-03-20 | 한양대학교 에리카산학협력단 | 신경망을 이용한 3차원 얼굴 복원 방법 및 장치 |
-
2019
- 2019-02-26 KR KR1020190022503A patent/KR20200104068A/ko not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101840563B1 (ko) | 2016-07-04 | 2018-03-20 | 한양대학교 에리카산학협력단 | 신경망을 이용한 3차원 얼굴 복원 방법 및 장치 |
Non-Patent Citations (2)
| Title |
|---|
| 미국등록특허: US 7,950,802, 등록일: 2011년 5월 31일, 제목: Method and circuit arrangement for recognizing and tracking eyes of several observers in real time. |
| 중국공개특허: 108089425, 공개일: 2018년 5월 29일, 제목: Deep learning-based optical scanning holography defocus noise eliminating method. |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022108067A1 (en) * | 2020-11-19 | 2022-05-27 | Samsung Electronics Co., Ltd. | Method for rendering relighted 3d portrait of person and computing device for the same |
| US11823327B2 (en) | 2020-11-19 | 2023-11-21 | Samsung Electronics Co., Ltd. | Method for rendering relighted 3D portrait of person and computing device for the same |
| KR20220086289A (ko) * | 2020-12-16 | 2022-06-23 | 서울대학교산학협력단 | 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치 |
| WO2023106429A1 (ko) * | 2021-12-06 | 2023-06-15 | 한국전자기술연구원 | 멀티 컴퓨터를 이용한 홀로그램 생성 및 스트리밍 방법 및 시스템 |
| KR20230085963A (ko) | 2021-12-07 | 2023-06-15 | 한국과학기술연구원 | 장갑 형태의 홀로그래피 이미지 생성 장치 |
| CN114967398A (zh) * | 2022-05-13 | 2022-08-30 | 安徽大学 | 基于深度学习的大尺寸二维计算全息图实时生成方法 |
| CN114967398B (zh) * | 2022-05-13 | 2024-05-31 | 安徽大学 | 基于深度学习的大尺寸二维计算全息图实时生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20200104068A (ko) | 딥러닝 기반 디지털 홀로그램을 생성하는 방법 및 장치 | |
| Blanche | Holography, and the future of 3D display | |
| US11281003B2 (en) | Near eye dynamic holography | |
| CN107850867A (zh) | 动态全息聚焦深度打印装置 | |
| US11699242B2 (en) | System and method for digital hologram synthesis and process using deep learning | |
| US10928645B2 (en) | Three-dimensional image display apparatus and image processing method | |
| KR20160016468A (ko) | 리얼 3d 영상 생성 방법 및 그 장치 | |
| TWI813098B (zh) | 用於新穎視圖合成之神經混合 | |
| CN108027583A (zh) | 动态全息非扫描打印装置 | |
| Kim et al. | Holographic augmented reality based on three-dimensional volumetric imaging for a photorealistic scene | |
| KR102395056B1 (ko) | 홀로그래픽 콘텐츠 제작 장치 및 이를 이용한 홀로그래픽 콘텐츠 디스플레이 방법 | |
| KR102577686B1 (ko) | 홀로그램 생성 방법 | |
| KR101489356B1 (ko) | 통신 네트워크를 통한 디지털 홀로그램 콘텐츠 제공 시스템 | |
| US10930183B2 (en) | Hologram content generation apparatus, integrated hologram content control system having the same, and method for operating the hologram content generation apparatus | |
| KR20200060207A (ko) | 홀로그램 콘텐츠 생성 장치, 그것을 포함하는 홀로그램 콘텐츠 통합 제어 시스템 및 그것의 동작 방법 | |
| KR102605678B1 (ko) | 홀로그래픽 디스플레이 장치 및 이의 처리 방법 | |
| KR102564822B1 (ko) | 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템 및 방법 | |
| US11320784B2 (en) | Method and apparatus for processing holographic image | |
| CN115222917A (zh) | 三维重建模型的训练方法、装置、设备及存储介质 | |
| US11532122B2 (en) | Method and apparatus for processing holographic image | |
| Ahmad et al. | Holographic interface management in the age of artificial intelligence | |
| KR20200142736A (ko) | 홀로그램 콘텐츠 생성 장치, 그것을 갖는 홀로그램 데이터 디스플레이 시스템 및 그것의 동작 방법 | |
| US11740587B2 (en) | Method and apparatus for generating computer-generated hologram | |
| KR102128535B1 (ko) | 홀로그램을 제공하기 위한 시스템 | |
| Mahmoudpour et al. | Learning-based light field imaging: an overview |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |