KR20190108003A - 사용자와 상호작용하는 홀로그램 영상 복원 시스템 및 방법 - Google Patents

사용자와 상호작용하는 홀로그램 영상 복원 시스템 및 방법 Download PDF

Info

Publication number
KR20190108003A
KR20190108003A KR1020180029421A KR20180029421A KR20190108003A KR 20190108003 A KR20190108003 A KR 20190108003A KR 1020180029421 A KR1020180029421 A KR 1020180029421A KR 20180029421 A KR20180029421 A KR 20180029421A KR 20190108003 A KR20190108003 A KR 20190108003A
Authority
KR
South Korea
Prior art keywords
rotation
hologram
display terminal
user
image
Prior art date
Application number
KR1020180029421A
Other languages
English (en)
Inventor
윤민성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180029421A priority Critical patent/KR20190108003A/ko
Publication of KR20190108003A publication Critical patent/KR20190108003A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2286—Particular reconstruction light ; Beam properties
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268—Holographic stereogram
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Holo Graphy (AREA)

Abstract

본 발명은 사용자와 상호작용하는 홀로그램 영상 복원 시스템 및 방법에 관한 것으로, 홀로그램 영상 복원 시스템은 3차원 영상 정보를 수신하면, 3차원 영상 정보를 이용해서 홀로그램 데이터를 생성하고, 상기 홀로그램 데이터를 저장하고, 상기 홀로그램 데이터를 디스플레이 단말기로 송신하고, 상기 디스플레이 단말기에서 상기 홀로그램 데이터를 수신하면 홀로그램 이미지를 3차원 공간 상에 복원하고, 사용자의 음성을 인식하거나 또는 상기 사용자의 동작을 감지하면, 상기 인식된 음성 또는 상기 감지된 동작에 대응하는 회전 정보를 확인고, 상기 회전 정보에 따라서, 상기 디스플레이 단말기를 회전하여 사용자와 상호작용한다.

Description

사용자와 상호작용하는 홀로그램 영상 복원 시스템 및 방법{SYSTEM AND METHOD FOR RESTORING HOLOGRAPHIC IMAGE BY INTERACTING WITH USER}
이하의 일 실시 예들은 사용자와 상호작용하는 홀로그램 영상 복원 시스템 및 방법에 관한 것으로, 사용자의 음성 및 동작과 홀로그램 영상을 연동하는 기술에 관한 것이다.
홀로그래픽 디스플레이 기술은 물체를 3차원 공간에서 입체적으로 표현하는 것으로, 이상적인 완전 실감 3차원 디스플레이 기술이다. 구체적으로, 홀로그램 디스플레이 기술은 주어진 물체로 발생되는 파면(wave-front)을 그대로 재생함에 따라 사람의 눈에 실제로 그 물체가 존재하는 것과 동일한 효과를 주는 기술이다.
최근에는 3차원 디스플레이 기술이 발전함에 따라 완벽한 시차와 깊이로 물체를 표현함으로써, 조절-폭주(accommodation-convergence) 불일치 문제에 따른 눈의 피로감과 어지러움 증상이 없게 되었다. 더 나아가, 홀로그래픽 디스플레이 기술은 시점의 이동에 따라 실제 세계를 보는 것과 같은 자연스러운 영상을 시청할 수 있기 때문에 궁극의 3차원 디스플레이 기술로까지 발전해오고 있다. 하지만, 이러한 홀로그래픽 디스플레이 기술을 구현하기 위해서는 몇 가지 요구 사항들이 있다.
첫째 다양한 실물 또는 컴퓨터 그래픽을 기반으로 홀로그래피용 360도 영상 콘텐츠는 데이터 량이 매우 크기 때문에 실시간으로 영상 처리 및 이의 광학적 복원하는 기술이 매우 어렵다. 둘째, 연산 처리량에 대한 큰 부담으로 인해서 기존에 만들어진 영상을 복원하는 방식으로 개발되고 있어서 시청자는 영상을 수동적인 자세로 관찰할 수 있는 콘텐츠가 제작되고 있는 실정이다. 따라서 사용자와 콘텐츠 간의 상호작용 체험이 가능한 콘텐츠의 개발이 필요한 상태이다. 셋째, 이렇게 제작된 홀로그래피용 콘텐츠가 준비되더라도, 이 콘텐츠를 디스플레이할 수 있는 기존 홀로그래픽 단말기들 또는 공간광변조기들 (SLMs, spatial light modulators)은 세기가 균일하고 가섭성이 우수한 광을 만들기 위해서 복잡한 광학시스템으로 인해서 시스템의 부피가 크며, 일반적으로 광학 테이블 상에서 구축되고 있는 실정이다. 따라서 사용자가 용이하게 손으로 들을 수 있거나 사용자 얼굴에 쓸 수 있는 웨어러블 타입이면서 무게가 가벼운 모바일형 홀로그래픽 단말기를 개발할 필요가 더욱 증대 되고 있다.
한편 광시야각 홀로그래픽 디스플레이를 실현하기 위해서는 픽셀피치가 1um미만의 크기를 갖는 단말이 요구된다. 이에 비해 현재 상용 LCD 패널의 픽셀 피치는 10um 수준에 머물고 있다. 이 크기는 시야각이 5도 미만 정도를 제공한다. 그래서 동공추적 (eye-tracking) 기술과 같은 대용량 및 고정밀 데이터 처리 기술을 수반하는 별도의 고가 장치들이 부착된 시스템을 통해 홀로그램을 재생하고 있는 실정이다.
따라서 360도 3D 영상 정보를 기반으로 하되 사용자와 홀로그래픽 영상을 복원하는 단말기 간에 상호작용 기능을 제공하면서 동시에 광시야각 홀로그래피용 콘텐츠를 용이하게 제작할 수 있는 디스플레이 방법이 요구된다.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하고자 도출된 것으로서, 사용자와 상호작용하는 홀로그램 영상 복원 시스템 및 방법을 제공하는 것을 목적으로 한다.
구체적으로, 본 발명은 홀로그램 영상을 3차원 입체공간에 복원하고, 사용자의 음성을 인지하거나 또는 사용자의 동작을 감지하고, 인식된 음성 또는 감지된 동작에 대응하는 회전 정보를 확인하고, 회전 정보에 따라서, 홀로그램 영상을 복원하는 디스플레이 단말기를 회전축을 기준으로 회전시키는 사용자와 상호작용하는 홀로그램 영상 복원 시스템 및 방법을 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시 예에 따른 홀로그램 영상 복원 시스템은, 3차원 영상 정보를 수신하는 콘텐츠 획득부; 상기 3차원 영상 정보를 이용해서 홀로그램 데이터를 생성하는 홀로그램 계산부; 상기 홀로그램 계산부에서 생성한 상기 홀로그램 데이터를 저장하는 저장부; 상기 저장부에 저장된 상기 홀로그램 데이터를 디스플레이 단말기로 송신하는 송신부; 상기 홀로그램 데이터를 수신하면 홀로그램 이미지를 3차원 공간 상에 복원하는 상기 디스플레이 단말기; 상기 디스플레이 단말기를 회전하도록 하는 회전 모듈부; 상기 회전 모듈부를 제어해서 상기 디스플레이 단말기의 회전을 제어하는 회전모듈 제어부; 사용자의 음성을 인식하는 음성 인식 센서부; 상기 사용자의 동작을 감지하는 동작 감지 센서부; 및 상기 인식된 음성 또는 상기 감지된 동작에 대응하는 회전 정보를 확인하고 상기 회전 정보를 상기 회전모듈 제어부에 제공하여 디스플레이 단말기를 회전시키도록 하는 상호작용부를 포함한다.
이때, 상기 회전 정보는, 회전 속도, 회전 방향, 회전 각도 중에서 적어도 하나를 포함할 수 있다.
이때, 상기 디스플레이 단말기는,
상기 사용자가 있는 공간인 양(+)의 z 공간 영역(front space)으로 상기 홀로그램 이미지가 좌안과 우안에 들어 올 수 있도록 교차 수렴 특성을 제공하도록 구성된 필드 렌즈 구조를 포함할 수 있다.
이때, 상기 회전 모듈부는, 회전축에 따라서 회전하고 상기 디스플레이 단말기와 연결하는 마운트; 및 상기 마운트를 지지하고 상기 회전축을 기준으로 상기 회전모듈 제어부의 제어에 따라 상기 마운트를 회전시키는 지지부를 포함할 수 있다.
이때, 상기 상호작용부는, 상기 인식된 음성과 상기 감지된 동작의 조합에 의해서 상기 회전 정보를 확인할 수 있다.
본 발명의 일 실시 예에 따른 홀로그램 영상 복원 시스템에서 홀로그램 영상을 복원하는 방법은, 3차원 영상 정보를 수신하는 단계; 상기 3차원 영상 정보를 이용해서 홀로그램 데이터를 생성하고, 상기 홀로그램 데이터를 저장하는 단계; 상기 홀로그램 데이터를 디스플레이 단말기로 송신하는 단계; 상기 디스플레이 단말기에서 상기 홀로그램 데이터를 수신하면 홀로그램 이미지를 3차원 공간 상에 복원하는 단계; 사용자의 음성을 인식하거나 또는 상기 사용자의 동작을 감지하면, 상기 인식된 음성 또는 상기 감지된 동작에 대응하는 회전 정보를 확인하는 단계; 및 상기 회전 정보에 따라 상기 디스플레이 단말기를 회전하는 단계를 포함한다.
이때, 상기 회전 정보는, 회전 속도, 회전 방향, 회전 각도 중에서 적어도 하나를 포함할 수 있다.
이때, 상기 회전 정보에 따라 상기 디스플레이 단말기를 회전하는 단계는, 상기 회전 정보에 포함된 회전 속도, 회전 방향 및 회전 각도를 확인하는 단계; 및 상기 디스플레이 단말기를 회전축을 기준으로 상기 회전 방향으로 상기 회전 각도까지 상기 회전 속도로 회전시키는 단계를 포함할 수 있다.
이때, 상기 디스플레이 단말기는, 상기 사용자가 있는 공간인 양(+)의 z 공간 영역(front space)으로 상기 홀로그램 이미지가 좌안과 우안에 들어 올 수 있도록 교차 수렴 특성을 제공하도록 구성된 필드 렌즈 구조를 포함할 수 있다.
본 발명은 사용자와 상호작용하는 홀로그램 영상 복원 시스템 및 방법에 관한 것으로, 홀로그램 영상을 3차원 입체공간에 복원하고, 사용자의 음성을 인지하거나 또는 사용자의 동작을 감지하고, 인식된 음성 또는 감지된 동작에 대응하는 회전 정보를 확인하고, 회전 정보에 따라서, 홀로그램 영상을 복원하는 디스플레이 단말기를 회전축을 기준으로 회전시킴에 따라서, 사용자와 홀로그램 이미지 간의 상호작용이 가능하게 할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 홀로그램 영상 복원 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 홀로그램 영상 복원 시스템에서 사용자와 상호작용하여 홀로그램 영상을 복원하는 과정을 도시한 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 홀로그램 영상 복원 시스템에서 홀로그램 영상과 사용자 간의 상호작용 개념을 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 홀로그램 영상 복원 시스템에 포함된 디스플레이 단말기에 적용된 광학계의 구조를 평면시점에서 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 홀로그램 영상 복원 시스템에 포함된 회전 모듈부와 디스플레이 단말기의 연결관계를 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 홀로그램 영상 복원 시스템에 포함된 회전 모듈부의 구성을 도시한 도면이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시 예에 따른 홀로그램 영상 복원 시스템의 구성을 도시한 도면이다.
도 1을 참조하면, 홀로그램 영상 복원 시스템은 콘텐츠 획득부(110), 홀로그램 계산부(120), 저장부(130), 상호작용부(140), 음성 인식 센서부(142), 동작 감지 센서부(144), 송신부(150), 디스플레이 단말기(160), 회전 모듈부(170) 및 회전 모듈 제어부(180)를 포함하여 사용자와 상호작용하는 홀로그램 영상을 복원할 수 있다.
콘텐츠 획득부(110)는 3차원 영상 정보를 수신하고, 수신한 3차원 영상 정보를 홀로그램 계산부(120)로 제공한다.
이때, 수신하는 3차원 영상 정보는 선택된 화상(scene) 또는 객체 (object)의 3차원 정보를 제공할 수 있는 데이터 이거나, 또는 RGB 컬러 및 깊이(depth map) 정보 일 수 있다.
콘텐츠 획득부(110)는 추가로 바람직한 이미지 영역을 선택하고 원하지 데이터 또는 노이즈의 제거할 수도 있다. 이때, 선택된 영역에서 객체 이미지의 방향, 위치, 특징 등을 수정할 수도 있으며, 수정후 특정 포맷을 갖는 파일로 3차원 영상 정보를 생성할 수 있다, 이때, 특정 포멧은 점 구름(point cloud) 형태의 정보로 저장되는 포멧, 또는 RGB-Depth 형태의 정보로 저장되는 포멧일 수 있다.
홀로그램 계산부(120)는 콘텐츠 획득부(110)로부터 제공받은 3차원 영상 정보를 이용해서 홀로그램 데이터를 생성한다.
홀로그램 계산부(120)는 컴퓨터에 의한 복소수(complex values) 홀로그램(CGH; computer-generating hologram)을 계산(생성)하고, 생성된 홀로그램 데이터를 저장부(130)에 저장한다. 이때, 수신하는 3차원 영상 정보는 RGB-Depth 형태의 포멧 또는 점구름(point cloud) 형태의 포멧으로 구성될 수 있다.
홀로그램 계산부(120)는 홀로그램 데이터를 저장하기에 앞서서 디스플레이 단말기(160)의 특성에 맞도록 보정하고, 디스플레이 단말기(160)로 전송하기에 용이한 형태로 구성할 수도 있다.
한편, 홀로그램 계산부(120)는 고속의 홀로그램 생성을 위한 연산 방법으로 RGB-depth map을 입력 정보로 하여서 아래에 식과 같은 FFT(fast-Fourier transformation) 기반 CGH(computer-generated hologram) 계산식을 이용할 수 있다.
3D 장면(scene)을 포함하는 3차원 공간을 여러 계층으로 조각을 낼 때, 홀로그램 면(hologram plane, H)과 시청자의 관측 면(observing view-window plane, VW) 그리고 계층화된 각 층(layer)들은 서로 평행하게 자르는 경우를 고려할 때, 연속적을 분포된 점 구름들은 가장 가까운 곳에 있는 층에 할당한다. 그러면, 홀로그램 면에서의 복소수 필들을 계산 하기 위해서 FFT 알고리즘을 사용하여 불연속적인 Fourier 변환이 수행된다.
[수학식1]
Figure pat00001
[수학식 2]
Figure pat00002
<수학식 1>과 <수학식 2>에서 (u, v)는 시청자의 관측면이고, (xi, yi)는 3D 씬의 i-번째 층이고, Ui는 i-번째 층의 물체 (object) 필드이고, f는 필드 렌즈의 초점 길이이고, λ는 조명광의 파장이고, di는 홀로그램 면으로부터 시청 거리를 나타낸다.
<수학식 1>과 <수학식 2>를 통해서 계산된 깊이맵 기반 CGH는 원래의 3D 장면(scene)을 공간 상에 복원시킬 수 있고, view-window 위치에 눈을 두고서 관찰하는 시청자는 광학적으로 복원된 3D 장면을 볼 수 한다.
저장부(130)는 홀로그램 계산부(120)에서 생성한 홀로그램 데이터를 저장한다.
송신부(150)는 저장부(130)에 저장된 홀로그램 데이터를 디스플레이 단말기(160)로 송신한다.
보다 구체적으로 송신부(150)는
홀로그램 계산부(120)에서 생성되어 저장된 홀로그램 데이터 중에서 선택된 하나 또는 적어도 2개 이상의 홀로그램이 쌍(pair)으로 이루어진 홀로그램 데이터를 디스플레이 단말기(160)로 송신한다. 이때, 홀로그램 데이터가 사용될 디스플레이 단말기(160)에 적합하도록 변환하거나 또는 인코딩 (encoding)할 수 있다. 이때, 선택된 2개의 홀로그램 쌍은 복원되는 공간상의 위치와 광학장치의 배치를 고려하여서 시청자의 좌측 눈과 우측 눈에 각각 적합한 홀로그램 데이터일 수 있다.
디스플레이 단말기(160)는 홀로그램 데이터를 수신하면 홀로그램 이미지를 3차원 공간 상에 복원한다.
디스플레이 단말기(160)는 홀로그램 데이터를 수신하면, 수신된 홀로그램 데이터에 따라 준비된 광으로 조명하여 홀로그램 이미지를 3차원 공간 상에 복원한다. 이때, 디스플레이 단말기(160)는 공간광변조기, 공간광변조기(SLM)의 활성 영역(active area)을 균일하게 조명할 수 있는 광학 장치를 포함할 수 있다. 이때, 광학 장치는 가간섭성의(coherent) 광을 발진하는 광원부, 그리고 이 발진된 광을 활성 영역의 크기로 충분히 확대시키면서 동시에 균일한 빔의 세기로 활성 영역으로 전달시키는 빔 가이딩(beam guiding)부, 광을 사용자의 눈이 있는 위치로 빔을 수렴시키는 광학적으로 투명성을 갖는 필드 렌즈를 포함할 수 있다.
이때, 필즈 렌즈는 시청자의 눈이 있는 위치 주변으로 복원된 광 필드(optically reconstructed field)를 전달 하는 기능을 수행할 수 있다. 필드 렌즈는 공간광변조기의 전 공간(front space) 또는 후 공간(back space)에 광학적으로 복원된 홀로그래픽 영상을 맺을 수 있도록 하는 기능을 형성하는 구조로 배치된다. 필드 렌즈는 광학적인 굴절(reflection) 또는 회절(diffraction) 특성을 이용하여 위의 기능들이 구현될 수 있다.
도 4는 본 발명의 일 실시 예에 따른 홀로그램 영상 복원 시스템에 포함된 디스플레이 단말기에 적용된 광학계의 구조를 평면시점에서 도시한 도면이다.
도 4를 참조하면, 디스플레이 단말기(160)는 사용자가 있는 공간인 양(+)의 z 공간 영역(front space)으로 홀로그램 이미지(420)가 좌안(434)과 우안(432)에 들어 올 수 있도록 교차 수렴 특성을 제공하도록 구성된 필드 렌즈(410) 구조를 포함할 수 있다.
한편, 회전 모듈부(170)는 디스플레이 단말기(160)를 회전하도록 한다.
도 5는 본 발명의 일 실시 예에 따른 홀로그램 영상 복원 시스템에 포함된 회전 모듈부와 디스플레이 단말기의 연결관계를 도시한 도면이다.
도 5를 참조하면, 510은 회전 모듈부(170)의 개략적인 외부 형태를 나타내고, 520은 회전 모듈부(170)의 내부 형태를 나타내는 것으로, 디스플레이 단말기(160)는 회전 모듈부(170)의 위에 배치되고, 회전 모듈부(170)의 기계식 회전 모터(522)를 통해서 디스플레이 단말기(160)를 회전 시킬 수 있다.
도 6은 본 발명의 일 실시 예에 따른 홀로그램 영상 복원 시스템에 포함된 회전 모듈부의 구성을 도시한 도면이다.
도 6을 참조하면, 회전 모듈부(170)는 회전축에 따라서 회전하고 디스플레이 단말기(160)와 연결하는 마운트(610)와 마운트(610)를 지지하고 회전축을 기준으로 회전모듈 제어부(180)의 제어에 따라 마운트(610)를 회전시키는 지지부(620)로 구성될 수 있다. 이때, 지지부(620)의 내부에 기계식 회전 모터(522)가 포함될 수 있다.
회전 모듈 제어부(180)는 회전 모듈부(170)를 제어해서 디스플레이 단말기(160)의 회전을 제어한다.
회전 모듈 제어부(180)는 사용자에 의한 음성 인식 데이터와 연동되어 해당 음성 정보에 대응하는 방향, 회전 속도 및 회전 각도에 맞도록 콘텐츠 및 단말기를 동기를 맞춰 회전할 수 있다.
음성 인식 센서부(142)는 사용자의 음성을 인식한다.
음성 인식 센서부(142)는 사용자의 목소리를 모니터링하고, 그 목소리가 지시하는 내용에 따라 회전 방향, 회전 각도, 그 회전 빠르기 등의 정보를 획득하고 인식 할 수 있다. 이때, 음성 인식 센서부(142)에서 인식하는 데이터는 회전 방향, 회전 각도, 회전 속도 등을 구분할 수 있다. 즉, 사용자의 음성 명령으로 좌로, 우로, 빠르게, 느리게 등의 명령을 인식하여 회전 정보를 획득할 수 있다.
동작 감지 센서부(144)는 사용자의 동작을 감지한다.
동작 감지 센서부(144)는 사용자의 몸짓을 모니터링하고, 그 동작의 위치, 그 동작의 방향(상/하/좌/우), 그 동작의 빠르기 등의 정보를 획득한다. 이때, 동작 감지 센서부(144)에서 인식하는 데이터는 회전 방향, 회전 각도, 회전 속도 등을 구분할 수 있다. 즉, 사용자의 특정 제스처 또는 사용자의 특정 신체의 이동 방향, 이동 속도, 이동 거리 등을 회전 방향, 회전 속도, 회전 각도에 매칭하여 회전 정보로 감지할 수도 있다.
도 3은 본 발명의 일 실시 예에 따른 홀로그램 영상 복원 시스템에서 홀로그램 영상과 사용자 간의 상호작용 개념을 도시한 도면이다.
도 3을 참조하면, 상호작용부(140)는 음성 인식 센서부(142)를 통해서 인식된 음성 또는 동작 감지 센서부(144)를 통해서 감지된 동작에 대응하는 회전 정보를 확인하고 회전 정보를 회전모듈 제어부(180)에 제공하여 디스플레이 단말기(160)를 회전시키도록 하여서, 3차원 홀로그램 이미지(310)를 회전시킬 수 있다. 이때, 회전 정보는 회전 속도, 회전 방향, 회전 각도 중에서 적어도 하나를 포함할 수 있다.
상호작용부(140)는 음성 인식 센서부(142)를 통해서 인식된 음성 또는 동작 감지 센서부(144)를 통해서 감지된 동작을 수신하면 대응하는 홀로그램 데이터를 선택 및 불러들여 송신부(150)를 통해서 디스플레이 단말기(160)로 전달되도록 할 수 있다. 이때 홀로그램 데이터는 (실시간으로 CGH가 업데이트 되도록) 주어진 3D 콘텐츠에 대하여 선행 계산 (pre-calculation of CGH)이 완료 되어서 준비된 상태(stand-by state)로 대기되어 저장부(130)에 저장될 수 있다.
상호작용부(140)에서 송신하는 회전 정보에 의해서 디스플레이 단말기(160)가 회전하는 경우에 디스플레이 단말기(160)가 복원하는 홀로그램이 동기화되어 디스플레이 될 때, 그 결과로 이 홀로그램의 복원 영상은 사용자의 양안 영역으로 최적의 홀로그램 복원 영상이 관찰될 수 있도록 한다.
한편, 상호작용부(140)는 인식된 음성 또는 감지된 동작 각각에 대응하는 회전 정보를 획득할 수도 있지만, 인식된 음성과 감지된 동작의 조합에 의해서 회전 정보를 확인할 수도 있다. 예를 들어, 사용자의 얼굴의 이동 방향으로 회전 방향을 결정하고, 사용자의 얼굴의 이동 속도로 회전 속도를 결정하고, 사용자의 음성 명령에 따라 회전 각도를 설정할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 홀로그램 영상 복원 시스템에서 사용자와 상호작용하여 홀로그램 영상을 복원하는 과정을 도시한 흐름도이다.
도 2를 참조하면, 홀로그램 영상 복원 시스템은
3차원 영상 정보를 수신하면(210), 차원 영상 정보를 이용해서 홀로그램 데이터를 생성하고, 홀로그램 데이터를 저장한다(212).
그리고, 홀로그램 영상 복원 시스템은 저장된 홀로그램 데이터를 디스플레이 단말기로 송신한다(214).
그리고, 홀로그램 영상 복원 시스템의 디스플레이 단말기는 홀로그램 데이터를 수신하면 홀로그램 이미지를 3차원 공간 상에 복원한다(216).
그리고, 홀로그램 영상 복원 시스템은 홀로그램이 종료되었는지 확인한다(218). 이때, 홀로그램의 종료는 저장된 홀로그램 데이터가 존재하지 않거나 사용자의 종료 요청이 감지되는 경우이다.
218단계의 확인결과 홀로그램이 종료되었으면, 본 알고리즘을 종료한다.
218단계의 확인결과 홀로그램이 종료되지 않았으면, 홀로그램 영상 복원 시스템은 사용자의 음성이 인지되거나 또는 사용자의 동작이 감지되는 확인한다(220).
220단계의 확인결과 사용자의 음성이 인지되거나 또는 사용자의 동작이 감지되면, 홀로그램 영상 복원 시스템은 인식된 음성 또는 감지된 동작에 대응하는 회전 정보를 확인한다(222). 이때 회전 정보는 회전 속도, 회전 방향, 회전 각도 중에서 적어도 하나를 포함할 수 있다.
그리고, 홀로그램 영상 복원 시스템은 회전 정보에 따라서, 디스플레이 단말기를 회전시킨다(224). 이때, 홀로그램 영상 복원 시스템은 회전 정보에 포함된 회전 속도, 회전 방향 및 회전 각도를 확인하고, 디스플레이 단말기를 회전축을 기준으로 회전 방향으로 회전 각도까지 회전 속도로 회전시킬 수 있다.
그리고, 홀로그램 영상 복원 시스템은 224단계 이후 또는 220단계의 확인결과 사용자의 음성이 인지되지 않고 사용자의 동작이 감지되지 않으면, 214단계로 돌아가서 일련의 과정을 반복할 수 있다. 이때, 홀로그램 영상 복원 시스템은 3차원 영상 정보를 계속해서 수신하는 경우 214단계로 돌아가는 것이 아닌 210단계로 돌아가서 이후 일련의 과정을 반복할 수도 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
110: 콘텐츠 획득부
120: 홀로그램 계산부
130: 저장부
140: 상호작용부
142: 음성 인식 센서부
144: 동작 감지 센서부
150: 송신부
160: 디스플레이 단말기
170: 회전 모듈부
180: 회전 모듈 제어부

Claims (9)

  1. 3차원 영상 정보를 수신하는 콘텐츠 획득부;
    상기 3차원 영상 정보를 이용해서 홀로그램 데이터를 생성하는 홀로그램 계산부;
    상기 홀로그램 계산부에서 생성한 상기 홀로그램 데이터를 저장하는 저장부;
    상기 저장부에 저장된 상기 홀로그램 데이터를 디스플레이 단말기로 송신하는 송신부;
    상기 홀로그램 데이터를 수신하면 홀로그램 이미지를 3차원 공간 상에 복원하는 상기 디스플레이 단말기;
    상기 디스플레이 단말기를 회전하도록 하는 회전 모듈부;
    상기 회전 모듈부를 제어해서 상기 디스플레이 단말기의 회전을 제어하는 회전모듈 제어부;
    사용자의 음성을 인식하는 음성 인식 센서부;
    상기 사용자의 동작을 감지하는 동작 감지 센서부; 및
    상기 인식된 음성 또는 상기 감지된 동작에 대응하는 회전 정보를 확인하고 상기 회전 정보를 상기 회전모듈 제어부에 제공하여 디스플레이 단말기를 회전시키도록 하는 상호작용부
    를 포함하는 홀로그램 영상 복원 시스템.
  2. 제1항에 있어서,
    상기 회전 정보는,
    회전 속도, 회전 방향, 회전 각도 중에서 적어도 하나를 포함하는
    홀로그램 영상 복원 시스템.
  3. 제1항에 있어서,
    상기 디스플레이 단말기는,
    상기 사용자가 있는 공간인 양(+)의 z 공간 영역(front space)으로 상기 홀로그램 이미지가 좌안과 우안에 들어 올 수 있도록 교차 수렴 특성을 제공하도록 구성된 필드 렌즈 구조를 포함하는
    홀로그램 영상 복원 시스템.
  4. 제1항에 있어서,
    상기 회전 모듈부는,
    회전축에 따라서 회전하고 상기 디스플레이 단말기와 연결하는 마운트; 및
    상기 마운트를 지지하고 상기 회전축을 기준으로 상기 회전모듈 제어부의 제어에 따라 상기 마운트를 회전시키는 지지부
    를 포함하는 홀로그램 영상 복원 시스템.
  5. 제1항에 있어서,
    상기 상호작용부는,
    상기 인식된 음성과 상기 감지된 동작의 조합에 의해서 상기 회전 정보를 확인하는
    홀로그램 영상 복원 시스템.
  6. 3차원 영상 정보를 수신하는 단계;
    상기 3차원 영상 정보를 이용해서 홀로그램 데이터를 생성하고, 상기 홀로그램 데이터를 저장하는 단계;
    상기 홀로그램 데이터를 디스플레이 단말기로 송신하는 단계;
    상기 디스플레이 단말기에서 상기 홀로그램 데이터를 수신하면 홀로그램 이미지를 3차원 공간 상에 복원하는 단계;
    사용자의 음성을 인식하거나 또는 상기 사용자의 동작을 감지하면, 상기 인식된 음성 또는 상기 감지된 동작에 대응하는 회전 정보를 확인하는 단계; 및
    상기 회전 정보에 따라 상기 디스플레이 단말기를 회전하는 단계
    를 포함하는 홀로그램 영상 복원 시스템에서 홀로그램 영상을 복원하는 방법.
  7. 제6항에 있어서,
    상기 회전 정보는,
    회전 속도, 회전 방향, 회전 각도 중에서 적어도 하나를 포함하는
    홀로그램 영상 복원 시스템에서 홀로그램 영상을 복원하는 방법.
  8. 제6항에 있어서,
    상기 회전 정보에 따라 상기 디스플레이 단말기를 회전하는 단계는,
    상기 회전 정보에 포함된 회전 속도, 회전 방향 및 회전 각도를 확인하는 단계; 및
    상기 디스플레이 단말기를 회전축을 기준으로 상기 회전 방향으로 상기 회전 각도까지 상기 회전 속도로 회전시키는 단계
    를 포함하는 홀로그램 영상 복원 시스템에서 홀로그램 영상을 복원하는 방법.
  9. 제6항에 있어서,
    상기 디스플레이 단말기는,
    상기 사용자가 있는 공간인 양(+)의 z 공간 영역(front space)으로 상기 홀로그램 이미지가 좌안과 우안에 들어 올 수 있도록 교차 수렴 특성을 제공하도록 구성된 필드 렌즈 구조를 포함하는
    홀로그램 영상 복원 시스템에서 홀로그램 영상을 복원하는 방법.
KR1020180029421A 2018-03-13 2018-03-13 사용자와 상호작용하는 홀로그램 영상 복원 시스템 및 방법 KR20190108003A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180029421A KR20190108003A (ko) 2018-03-13 2018-03-13 사용자와 상호작용하는 홀로그램 영상 복원 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180029421A KR20190108003A (ko) 2018-03-13 2018-03-13 사용자와 상호작용하는 홀로그램 영상 복원 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20190108003A true KR20190108003A (ko) 2019-09-23

Family

ID=68069335

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180029421A KR20190108003A (ko) 2018-03-13 2018-03-13 사용자와 상호작용하는 홀로그램 영상 복원 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20190108003A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102279991B1 (ko) * 2020-02-06 2021-07-21 동서대학교 산학협력단 소형 홀로그램 기반의 인공지능 헬퍼 시스템
KR20210108315A (ko) * 2020-02-25 2021-09-02 한국전자통신연구원 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템 및 방법
KR20210113053A (ko) * 2020-03-05 2021-09-15 한국전자통신연구원 홀로그래픽 디스플레이 장치 및 이의 처리 방법
US11699242B2 (en) 2020-02-25 2023-07-11 Electronics And Telecommunications Research Institute System and method for digital hologram synthesis and process using deep learning

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102279991B1 (ko) * 2020-02-06 2021-07-21 동서대학교 산학협력단 소형 홀로그램 기반의 인공지능 헬퍼 시스템
KR20210108315A (ko) * 2020-02-25 2021-09-02 한국전자통신연구원 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템 및 방법
US11699242B2 (en) 2020-02-25 2023-07-11 Electronics And Telecommunications Research Institute System and method for digital hologram synthesis and process using deep learning
KR20210113053A (ko) * 2020-03-05 2021-09-15 한국전자통신연구원 홀로그래픽 디스플레이 장치 및 이의 처리 방법

Similar Documents

Publication Publication Date Title
KR20190108003A (ko) 사용자와 상호작용하는 홀로그램 영상 복원 시스템 및 방법
CN103885582B (zh) 近眼微透镜阵列显示器
KR100837365B1 (ko) 룩업 테이블을 이용한 컴퓨터 형성 홀로그램 생성과 재생방법 및 그 장치
KR101759252B1 (ko) 액티브 셔터를 이용한 3차원 홀로그래피 영상 표시 장치
US11281003B2 (en) Near eye dynamic holography
KR101894017B1 (ko) 홀로그래픽 광학 소자의 제조 장치 및 홀로그램 재생 장치
US11068052B2 (en) Holographic image generated based on eye position
US11022939B2 (en) Reduced bandwidth holographic near-eye display
US20160042554A1 (en) Method and apparatus for generating real three-dimensional (3d) image
Murakami et al. Study on compact head-mounted display system using electro-holography for augmented reality
KR100973031B1 (ko) 룩업 테이블과 영상의 시간적 중복성을 이용한 3차원 동영상 컴퓨터 형성 홀로그램 생성 방법 및 그 장치
KR20200104068A (ko) 딥러닝 기반 디지털 홀로그램을 생성하는 방법 및 장치
KR102577686B1 (ko) 홀로그램 생성 방법
KR101021127B1 (ko) 룩업 테이블과 영상의 공간적 중복성을 이용한 컴퓨터 형성 홀로그램 산출 방법 및 그 장치
KR20180057550A (ko) 홀로그래픽 콘텐츠 제작 장치 및 이를 이용한 홀로그래픽 콘텐츠 디스플레이 방법
KR20120118621A (ko) 홀로그램 기록 장치 및 홀로그램 재생 장치
CN114746903B (zh) 虚拟、增强和混合现实系统和方法
CN116165864B (zh) 一种用于增强现实的二值层析三维场景实现方法及系统
KR20200060207A (ko) 홀로그램 콘텐츠 생성 장치, 그것을 포함하는 홀로그램 콘텐츠 통합 제어 시스템 및 그것의 동작 방법
KR20150061550A (ko) 홀로그래픽 콘텐츠 제공 방법 및 상기 방법을 이용하는 홀로그래픽 콘텐츠 제공 장치, 디스플레이 장치
KR102577707B1 (ko) 진폭 변조 홀로그램을 위한 홀로그램 인코딩 및 홀로그램 화질 평가 장치 및 그 방법
CN203825375U (zh) 一种大视角计算全息显示演示系统
JP2012008220A (ja) ルックアップテーブルと画像の空間的重複性を用いた計算機合成ホログラムの算出方法及びその装置
KR102605678B1 (ko) 홀로그래픽 디스플레이 장치 및 이의 처리 방법
CN113875230B (zh) 混合模式三维显示方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)