KR102128535B1 - 홀로그램을 제공하기 위한 시스템 - Google Patents

홀로그램을 제공하기 위한 시스템 Download PDF

Info

Publication number
KR102128535B1
KR102128535B1 KR1020190148977A KR20190148977A KR102128535B1 KR 102128535 B1 KR102128535 B1 KR 102128535B1 KR 1020190148977 A KR1020190148977 A KR 1020190148977A KR 20190148977 A KR20190148977 A KR 20190148977A KR 102128535 B1 KR102128535 B1 KR 102128535B1
Authority
KR
South Korea
Prior art keywords
hologram
user
information
management server
layer
Prior art date
Application number
KR1020190148977A
Other languages
English (en)
Inventor
박상훈
오형미
Original Assignee
주식회사 오드래빗미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오드래빗미디어 filed Critical 주식회사 오드래빗미디어
Priority to KR1020190148977A priority Critical patent/KR102128535B1/ko
Application granted granted Critical
Publication of KR102128535B1 publication Critical patent/KR102128535B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/10—Processes or apparatus for producing holograms using modulated reference beam
    • G03H1/12—Spatial modulation, e.g. ghost imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208—Individual components other than the hologram
    • G03H2001/0224—Active addressable light modulator, i.e. Spatial Light Modulator [SLM]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Holo Graphy (AREA)

Abstract

본 발명은 홀로그램을 제공하기 위한 시스템을 개시한다.
본 발명의 홀로그램을 제공하기 위한 시스템은, 사용자의 무게를 감지하고, 지면 상에 일정한 간격을 갖도록 배치된 복수의 무게 감지 셀; 상기 사용자를 촬영하여 3차원 정보를 생성하는 복수의 3D 카메라; 상기 사용자에게 홀로그램을 표시하는 공간 광 변조기(spartial light modulator); 및 상기 복수의 무게 감지 셀과 상기 복수의 3D 카메라를 제어하는 관리 서버를 포함한다. 따라서, 사용자의 위치에 따라 홀로그램 시야각을 충분히 확보할 수 있다.

Description

홀로그램을 제공하기 위한 시스템{SYSTEM FOR PROVIDING HOLOGRAM}
본 발명은 홀로그램을 제공하기 위한 시스템에 관한 것으로, 더욱 상세하게는 특정 공간 내에서 사용자의 위치와 거리에 반응하여 홀로그램을 제공하는 방법 및 장치에 관한 것이다.
홀로그램(hologram)은, 물체의 표면으로부터 반사되거나 회절되어 전파되는 빛의 분포를 기록 및 재현하는 기술로, 상용화가 이미 이루어진 3D 입체 영상과 초고화질(Ultra High Definition, UHD) 영상을 넘는 미래 핵심 영상 기술로 주목받고 있다.
홀로그램에 의해 생성되는 입체 영상은 마치 실재하는 존재와 같은 입체감을 제공하는 점에서 기존의 평면 스크린에서 구현되는 3D 입체 영상 대비 현실감이 극대화될 수 있는 장점을 가진다. 또한, 누구든지 어떤 각도에서나 홀로그램 영상을 감상할 수 있어 기존의 3D 입체 영상에서 지적되는 피로감이나 어지러움 등의 문제를 근본적으로 해결할 수 있다.
일반적 홀로그램은 물체에 의해 산란되지 않고 진행하는 평면파인 참조파(reference wave)와 물체에 의해 산란되어 퍼지는 물체파(object wave) 사이의 간섭 무늬를 기록 매질에 기록한다. 여기서, 간섭 무늬에는 물체의 진폭과 위상 정보가 함께 기록된다. 따라서, 기록 매질에 진폭과 파장이 일치하는 평면파를 조사함으로써 물체를 3차원 공간 상에서 그대로 재현할 수 있다.
그러나, 이러한 홀로그램은 한번 기록된 간섭 무늬를 바꾸는 것이 어려운 문제가 있고, 전송되는 신호들을 디지털화하기 어려운 문제가 있어, 컴퓨터 생성 홀로그램(CGH, computer generated hologram)이 제안되었다.
컴퓨터 생성 홀로그램은 컴퓨터를 이용하여 간섭 무늬에 해당하는 홀로그램 데이터를 생성한 후, 홀로그램 데이터를 공간 광 변조기(spartial light modulator, SLM)에서 구현함으로써 홀로그램을 생성할 수 있다.
공간 광 변조기는, 픽셀 크기에 따라 회절각이 달라지는데 회절각이 클수록 사용자에게 충분한 시야각을 확보할 수 있다. 그러나, 충분히 작은 크기의 픽셀 크기를 사용하는 공간 광 변조기는 매우 높은 비용이 소모되는 문제가 있어 시야각 문제와 선명도를 개선하기 위한 방법이 필요한 실정이다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 홀로그램을 제공하기 위한 시스템을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명은, 홀로그램을 제공하기 위한 시스템을 제공한다.
홀로그램을 제공하기 위한 시스템은, 사용자의 무게를 감지하고, 지면 상에 일정한 간격을 갖도록 배치된 복수의 무게 감지 셀; 상기 사용자를 촬영하여 3차원 정보를 생성하는 복수의 3D 카메라; 상기 사용자에게 홀로그램을 표시하는 공간 광 변조기(spartial light modulator); 및 상기 복수의 무게 감지 셀과 상기 복수의 3D 카메라를 제어하는 관리 서버를 포함한다.
상기 관리 서버는, 상기 복수의 무게 감지 셀로부터 무게 변화를 감지하고, 무게 변화가 감지된 무게 감지 셀의 식별 기호를 미리 설정된 위치 좌표와 매칭함으로써 상기 사용자의 위치를 감지할 수 있다.
상기 관리 서버는, 상기 사용자의 위치가 감지되면, 감지된 상기 사용자의 위치와 상응하는 방향으로 상기 복수의 3D 카메라의 초점(focus)를 제어할 수 있다.
상기 3차원 정보는, 상기 사용자에 대한 컬러 정보 및 깊이 정보를 포함할 수 있다.
상기 관리 서버는, 상기 복수의 3D 카메라로부터 수신된 복수의 3차원 정보를 이용하여 임의시점 정보를 생성하고, 생성된 임의시점 정보를 이용하여 홀로그램 정보를 생성할 수 있다.
상기와 같은 본 발명에 따른 홀로그램을 제공하기 위한 시스템을 이용할 경우에는 사용자의 위치와 거리를 고려하여 홀로그램을 동적으로 생성할 수 있다.
따라서, 사용자가 홀로그램에 가까이 오거나 이동할 경우에도 시야각을 충분히 확보하면서 선명한 홀로그램을 사용자에게 제공할 수 있다.
또한, 3차원 정보에 따라 홀로그램을 생성하기 위한 계층의 구분을 달리함으로써 항상 선명한 형태의 홀로그램을 표시할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 홀로그램을 제공하기 위한 시스템에 대한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 관리 서버에서 홀로그램을 생성하는 방법을 나타낸 개념도이다.
도 3은 본 발명의 일 실시예에 따른 계층의 개수와 선명도 사이의 관계를 나타낸 그래프이다.
도 4는 본 발명의 일 실시예에 따른 무게 감지 셀에 대한 배치 방법을 나타낸 개념도이다.
도 5는 본 발명의 일 실시예에 따른 관리 서버가 홀로그램을 표시하기 위한 과정을 나타낸 개념도이다.
도 6은 본 발명의 일 실시예에 따른 사용자의 위치 변화에 따라 공간 광 변조기를 이동시키는 방법을 나타낸 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 홀로그램을 제공하기 위한 시스템에 대한 개념도이다.
도 1을 참조하면, 홀로그램을 제공하기 위한 시스템은, 사용자의 무게를 감지하고 지면 상에 일정한 간격을 갖도록 배치된 복수의 무게 감지 셀(Cell), 사용자를 촬영하여 3차원 정보를 생성하는 복수의 3D 카메라(CMR), 사용자에게 홀로그램(HGM)을 표시하는 공간 광 변조기(spartial light modulator, SLM), 및 상기 복수의 무게 감지 셀과 복수의 3D 카메라를 제어하는 관리 서버(100)를 포함할 수 있다.
여기서, 사용자는 홀로그램을 제공하기 위한 시스템이 구비된 스테이지 공간(STG)에 있는 것으로 전제할 수 있다.
관리 서버(100)는, 복수의 무게 감지 셀(Cell)로부터 무게 변화를 감지하고, 무게 변화가 감지된 무게 감지 셀(Cell)의 식별 기호를 미리 설정된 위치 좌표와 매칭함으로써, 사용자의 위치를 감지할 수 있다. 사용자의 위치가 감지되면, 관리 서버(100)는, 감지된 사용자의 위치와 상응하는 방향으로 3D 카메라(CMR)의 초점을 제어할 수 있다.
3D 카메라(CMR)는, 관리 서버(100)에 의해 제어되는 초점에서 영상을 촬영함으로써 3차원 정보를 획득할 수 있다. 예를 들어, 3차원 정보에는 사용자에 대한 컬러 정보, 깊이(depth) 정보를 포함할 수 있다. 3D 카메라(CMR)는 획득한 3차원 정보를 관리 서버(100)에 전송할 수 있다.
관리 서버(100)는, 3차원 정보를 이용하여 홀로그램 정보를 생성하고, 생성된 홀로그램 정보를 공간 광 변조기(SLM)에 전송할 수 있다.
한편, 복수의 3D 카메라(CMR)의 개수가 적으면 3차원 정보가 적게 수집되므로 사용자의 형상을 정확하게 3차원 정보로 표현하기 어려울 수 있다. 이러한 문제를 해결하기 위하여, 본 발명의 일 실시예에 따른 관리 서버(100)는, 복수의 3D 카메라(CMR)로부터 수신된 복수의 3차원 정보를 이용하여 임의시점 정보를 생성하고, 생성된 임의시점 정보를 이용하여 홀로그램 정보를 생성할 수도 있다.
구체적으로, 관리 서버(100)는, 복수의 3차원 정보에서 컬러 정보를 획득하고, 획득된 컬러 정보를 기초로 특징점을 추출할 수 있다. 다음으로, 관리 서버(100)는, 각각의 3차원 정보에서 추출한 특징점들을 서로 매칭하여 매칭점들을 설정하고, 설정된 매칭점들을 기반으로, 복수의 3차원 정보를 조합함으로써 다시점 정보를 생성할 수 있다.
공간 광 변조기(SLM)는, 관리 서버(100)로부터 수신된 홀로그램 정보를 이용하여 스테이지 공간(STG)의 지정된 위치에 3차원 홀로그램(HGM)을 표시할 수 있다.
관리 서버(100)는, 홀로그램 정보를 공간 광 변조기(SLM)에 상응하도록 표현 값으로 인코딩하고, 인코딩된 홀로그램 정보를 공간 광 변조기(SLM)에 전송할 수 있다. 예를 들어, 관리 서버(100)는, 홀로그램 정보를 진폭변조(Amplitude modulation) 또는 Burckhardt 인코딩("A simplification of Lee's Method of Generating Holograms.2: Erratum", vol.9, no.12, 1970. pp2813)을 이용하여 인코딩할 수 있다.
관리 서버(100)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.
관리 서버(100)는, 적어도 하나의 프로세서 및 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다.
여기서, 적어도 하나의 단계는 본 명세서 전체에서 서술하는 관리 서버(100)가 수행하는 각종 단계나 방법을 의미할 수 있다.
여기서 적어도 하나의 프로세서는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리 및 저장 장치 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.
또한, 관리 서버(100)는, 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver)를 포함할 수 있다. 또한, 관리 서버(100)는 입력 인터페이스 장치, 출력 인터페이스 장치, 저장 장치 등을 더 포함할 수 있다. 관리 서버(100)에 포함된 각각의 구성 요소들은 버스(bus)에 의해 연결되어 서로 통신을 수행할 수 있다.
도 2는 본 발명의 일 실시예에 따른 관리 서버에서 홀로그램을 생성하는 방법을 나타낸 개념도이다. 도 3은 본 발명의 일 실시예에 따른 계층의 개수와 선명도 사이의 관계를 나타낸 그래프이다.
도 1에 따른 관리 서버(100)는, 3D 카메라(CMR)로부터 수신한 3차원 정보를 이용하여 홀로그램 정보를 생성할 수 있다. 예를 들어, 관리 서버(100)는, 수신한 3차원 정보를 RGB-depth 형태의 포맷 또는 점 구름(point cloud) 형태의 포맷으로 변환하고, 변환된 포맷에 따른 3차원 정보를 서로 평행한 복수의 계층으로 분리할 수 있다.
도 2는 임의의 물체에 대하여 3D 카메라(CMR)로 획득한 3차원 정보(OBJ)를 서로 평행한 복수의 계층(L1~Lm)으로 분리한 개념도를 도시한다.
도 2를 참조하면, 3차원 정보(OBJ)가 점 구름(point cloud) 형태의 포맷인 경우, 점 구름 데이터의 위치 좌표가 인접한 계층으로 점 구름 데이터를 할당하는 방식으로 3차원 정보를 복수의 계층(이하, 1보다 큰 자연수 m개의 계층으로 지칭)으로 분리한 것을 확인할 수 있다.
이때, 복수의 계층은, 홀로그램 계층(LH)을 포함할 수 있다. 여기서 홀로그램 계층(LH)은 공간 광 변조기의 위치에 상응하는 계층이 될 수 있다. 또한, 홀로그램 계층(LH)에 의해 발산되는 물체파와 참조파의 간섭을 관찰하는 관찰자의 시선 위치(또는 홀로그램이 표시되는 위치)를 나타내는 시선 계층(Lvw)을 정의할 수 있다. 시선 계층(Lvw)은 기준 계층(reference layer)으로도 지칭될 수 있다. 이때, 임의의 i번째(i는 1과 m 사이의 자연수) 계층(Li)과 시선 계층(Lvw) 사이의 거리(di)를 기준 시청 거리로 지칭할 수 있다. 또한, 임의의 i번째(i는 1과 m 사이의 자연수) 계층(Li)과 홀로그램 계층(LH) 사이의 거리를 3차원 정보(OBJ)에 포함된 물체의 깊이(depth)로 정의할 수 있다.
관리 서버(100)는, 불연속적 FFT(fast fourier transform) 기반으로 복수의 계층 각각에서 시선 계층으로 m번 Fresnel 변환을 순차적으로 수행하여 각 계층의 파동장들을 산출하고, 산출된 파동장들을 시선 계층(Lvw)에서 중첩(superposition)하여 시선 계층(Lvw)에 따른 복소 파동장을 산출할 수 있다.
더욱 구체적으로, 관리 서버(100)는, 다음의 수학식 1을 연산하여 시선 계층(Lvw)에 따른 복소 파동장(VW(x,y))을 산출할 수 있다.
Figure 112019118939331-pat00001
상기 수학식 1에서, m은 3차원 공간을 분리한 복수의 계층에 대한 갯수이고, f는 촬영한 카메라 렌즈의 초점 거리이며, λ는 촬영 당시 조명광의 파장이며, di는 홀로그램 계층에서 시선 계층 사이의 거리(이하, 기준 시청 거리로 지칭)이고, dv는 기준 시청 거리(di)에서 사용자가 이동한 거리이고, Ui(xi,yi)는, 3차원 공간을 분리한 복수의 계층 중에서 i번째 계층(Li)에 대한 3차원 데이터일 수 있다. 여기서 사용자가 이동한 거리는 초기에 0으로 설정될 수 있다.
관리 서버(100)는, 시선 계층(Lvw)에 따른 복소 파동장을 이용하여 홀로그램 계층(LH)에서의 홀로그램 정보(H(x,y))를 다음의 수학식 2와 같이 산출할 수 있다.
Figure 112019118939331-pat00002
상기 수학식 2에서, VW(u,v)는 수학식 1에서의 시선 계층(Lvw)에 따른 복소 파동장이며, 나머지 변수들은 수학식 1과 동일할 수 있다.
또한, 관리 서버(100)는, 복수의 무게 감지 셀(Cell)을 이용하여 사용자의 위치 변화를 감지하고, 감지한 위치 변화에 따라 홀로그램 정보를 보정할 수 있다. 예를 들어, 관리 서버(100)는, 사용자의 위치와 홀로그램이 표시되는 위치 사이의 거리 변화량을 결정하고, 결정된 거리 변화량에 상응하는 만큼 기준 시청 거리에서 사용자가 이동한 거리(수학식 1의 dv)를 달리 설정하여 수학식 1과 수학식 2를 연산함으로써, 홀로그램 정보를 보정(또는 보정하여 생성)할 수 있다.
따라서, 본 발명의 일 실시예에서는 사용자의 거리 변화에 따라 홀로그램 정보를 보정하기 때문에, 사용자가 거리를 가깝게 이동하거나 멀리 떨어지는 것에 반응하여 홀로그램 정보를 더욱 선명하게 만들 수 있다.
한편, 3차원 정보를 분리하는 복수의 계층의 개수(m)에 따라 홀로그램에 대한 선명도와 연산 부하가 크게 달라질 수 있다. 예를 들어 복수의 계층의 개수(m)를 크게 설정할수록, 홀로그램의 해상도가 높아지고 연산 부하가 증가한다. 따라서, 복수의 계층의 개수(m)를 3차원 정보(OBJ)에 따라 달리 설정함으로써 홀로그램의 해상도와 연산 부하를 최적화할 수 있다.
이러한 최적화 방안으로 본 발명의 일 실시예에 따른 복수의 계층의 개수는 3차원 정보(OBJ)가 복수의 계층들(L1~Lm) 사이의 수직 방향(도 2의 z축 방향)에 대하여 분산된 정도를 나타내는 분산값 및 3차원 정보(OBJ)가 홀로그램 계층(LH)에 할당되는 비율에 따라 결정될 수 있다.
구체적으로 도 3을 참조하면, 복수의 계층의 개수(m)가 증가할수록, 홀로그램이 선명하게 인식하는 정도(선명도)가 증가하는 것을 확인할 수 있다. 다만, 특히, 제1 분산값(U1)보다 큰 제2 분산값(U2)에서 홀로그램 선명도가 높게 나타난다. 또한, 제2 분산값(U2)의 계층 수(m1)가 제1 분산값(U1)의 계층 수(M2)보다 작더라도, 동등한 선명도(DF1)를 나타낸다. 다만, 계층이 수(m)가 어느정도 이상 커지면 더 이상 선명도가 증가하지 않고 포화(saturation)된다.
한편, 3차원 정보(OBJ)가 홀로그램 계층(LH)에 할당되는 비율이 높을수록, 물체의 깊이가 얕게 결정된다. 따라서, 계층의 수(m)가 충분히 많아야 얇은 물체의 형상을 3차원 형태의 홀로그램으로 선명하게 표현할 수가 있다. 즉, 비율과 계층의 수(m)는 서로 선형적으로 비례할 수 있다.
이러한 점들을 종합하면, 분산값(U)과 비율(p)에 따른 복수의 계층의 개수(m)는 다음의 수학식 3과 같이 설정될 수 있다.
Figure 112019118939331-pat00003
상기 수학식 3을 참조하면, 복수의 계층의 개수(m)는, 분산값(U)과 임계 분산값(Ud) 중 최소값에 대하여 루트를 취한 값 및 비율(p)에 비례할 수 있다. 이때, 수학식 3에서 a, b는 비례 상수일 수 있다. 임계 분산값(Ud)은, 미리 실험적으로 설정될 수 있다. 또한, 상기 임계 분산값은 홀로그램을 제공하기 위한 시스템에 구비된 기계 학습부(미도시)를 통하여 결정될 수 있다. 상기 기계 학습부에서 수행되는 학습은 지도학습(supervised learning) 또는 비지도학습(unsupervised learning)에 의하여 수행될 수 있으나, 본 발명의 일 실시예에 따른 관리 서버 또는 시스템의 경우 지도학습에 의하여 수행되는 것이 바람직할 수 있다. 또한, 기계 학습부는 관리 서버의 데이터베이스에 저장된 빅데이터를 입력변수로 하여 인공지능을 학습시키는데, 구체적으로는 머신러닝의 한 분야인 딥러닝(Deep Learning) 기법을 이용하여 정확한 상관 관계가 도출될 수 있도록 학습을 수행한다. 특히, 상술한 상관 관계의 경우, 입력(input)은 기존의 임계 분산값 또는 기존에 사용자에게 제공되었던(또는 표시된) 홀로그램에 대한 정보이고, 출력(output)은 새로운 임계 분산값으로 정의될 수 있다. 또한 결국 기계 학습부는 딥러닝을 통하여 상기 함수에서의 복수 개의 입력들의 가중치(weight)를 학습을 통하여 산출할 수 있다. 또한, 이러한 학습을 위하여 활용되는 인공지능망 모델로는 RNN(Recurrent Neural Network), DNN(Deep Neural Network) 및 DRNN(Dynamic Recurrent Neural Network) 등 다양한 모델들을 활용할 수 있을 것이다.
도 4는 본 발명의 일 실시예에 따른 무게 감지 셀에 대한 배치 방법을 나타낸 개념도이다.
도 1에 따른 관리 서버(100)는, 복수의 무게 감지 셀(Cell)을 이용하여 사용자의 위치 변화를 감지하고, 감지한 위치 변화에 따라 홀로그램 정보를 보정할 수 있다. 예를 들어, 관리 서버(100)는, 사용자의 위치와 홀로그램이 표시되는 위치 사이의 거리 변화량을 결정하고, 결정된 거리 변화량에 상응하는 만큼 기준 시청 거리에서 사용자가 이동한 거리(수학식 1의 dv)를 설정하여 수학식 1과 수학식 2를 연산함으로써, 홀로그램 정보를 보정(또는 보정하여 생성)할 수 있다.
이러한 보정이 가능하도록 복수의 무게 감지 셀(Cell)은, 스테이지 공간(STG)의 지면 상에 일정한 간격으로 배치될 수 있다.
이때, 복수의 무게 감지 셀은 홀로그램이 표시될 기준 위치(CP, 또는 도 2에 따른 시선 계층(Lvw)의 z축 좌표)를 중심으로 하는 위치 좌표를 가질 수 있다. 예를 들어, 복수의 무게 감지 셀은, 홀로그램이 표시되는 기준 위치(CP)를 중심으로 행과 열로 구성되는 위치 좌표들((1,3), (1,2), (2,1), 3,1), ...)을 가질 수 있다.
따라서, 관리 서버(100)는, 복수의 무게 감지 셀에 대한 고유 식별 기호를 복수의 무게 감지 셀이 지면 상에 배치된 위치 좌표와 매칭하여 매칭 테이블을 저장하고, 저장된 매칭 테이블을 참조하여 사용자의 위치를 결정할 수 있다.
구체적으로, 관리 서버(100)는 복수의 무게 감지 셀 중에서 감지되는 무게가 미리 설정된 임계값을 초과하여 증가한 무게 감지 셀을 식별하고, 식별된 무게 감지 셀의 고유 식별 기호와 상응하는 위치 좌표를 결정하고, 결정된 위치 좌표를 이용하여 사용자의 위치를 결정할 수 있다.
여기서, 사용자의 위치는, 홀로그램이 표시되는 기준 위치(CP)에서 사용자까지의 거리 및 기준 위치(CP)를 중심으로 사용자가 이동한 각도를 포함할 수 있다.
도 5는 본 발명의 일 실시예에 따른 관리 서버가 홀로그램을 표시하기 위한 과정을 나타낸 개념도이다. 도 6은 본 발명의 일 실시예에 따른 사용자의 위치 변화에 따라 공간 광 변조기를 이동시키는 방법을 나타낸 개념도이다.
도 5를 참조하면, 홀로그램을 제공하기 위한 시스템은, 레이저부(300)를 더 포함할 수 있다. 레이저부(300)는, 참조파(reference wave)에 해당하는 빛을 투사할 수 있다.
공간 광 변조기(200, SLM)는, 레이저부(300)에 의해 투사된 빛을 수신하고, 관리 서버(100)에 의해 제공받은 홀로그램 정보를 이용하여 홀로그램(HGM)을 지정된 위치에 표시할 수 있다.
한편, 본 발명의 일 실시예에 따른 공간 광 변조기(200)는, 곡면 형태를 갖는 레일부(RL) 상에 배치되어 레일부(RL)을 따라 일정한 기준각 사이를 이동할 수 있다. 여기서 레일부(RL)는, 관리 서버(100)의 제어 명령에 의해 제어되어 공간 광 변조기(200)를 이동시킬 수 있다.
구체적으로 도 5를 참조하면, 사용자가 제1 무게 감지 셀(Cell1)에서 제2 무게 감지 셀(Cell2)로 위치가 이동한 것을 감지한 것을 가정할 수 있다. 공간 광 변조기(200)가 높은 시야각을 제공하지 못하는 경우, 좁은 시야각으로 인해 사용자가 홀로그램(HGM)을 선명하게 시청하기 어려울 수 있다. 이러한 문제를 해결하기 위하여 본 발명의 일 실시예에서는 곡면 형태를 갖는 레일부(RL) 상에 공간 광 변조기(200)를 배치하고, 레일부(RL)를 제어함으로써, 공간 광 변조기(200)를 사용자의 방향각 변화에 상응하는 각도로 이동시킬 수 있다.
또한, 본 발명의 일 실시예에서는 레일부(RL)에 의해 이동하는 공간 광 변조기(200)가 레이저부(300)에 의해 투사되는 빛을 정확하게 수신할 수 있도록, 홀로그램을 제공하기 위한 시스템은, 레이저부(300)와 공간 광 변조기(200) 사이에 굴절부(400)를 더 포함할 수 있다. 굴절부(400)는, 레이저부(300)에 의해 투사되는 빛을 굴절시켜 레일부(RL)를 따라 이동하는 공간 광 변조기(200, SLM)에 제공할 수 있다.
한편, 공간 광 변조기(200)를 사용자의 방향각 변화에 상응하는 각도로 이동시키는 경우, 홀로그램(HGM)의 방향이 함께 달라질 수 있다. 그러나, 사용자가 제1 무게 감지 셀(Cell1)에서 제2 무게 감지 셀(Cell2)로 이동한 경우, 제2 무게 감지 셀(Cell2)에서 관찰되는 방향각에 따른 홀로그램(HGM)이 그대로 표현되는 것이 유리할 수 있다.
따라서, 본 발명의 일 실시예에 따른 관리 서버(100)는, 공간 광 변조기(200)의 이동에 따른 방향각 변화를 상쇄하는 방향으로 3차원 정보를 회전시켜 재생성하고, 재생성된 3차원 정보를 이용하여 홀로그램 정보를 생성할 수 있다.
일반적으로 홀로그램은 3차원 공간상에 표시되는 완전한 데이터이므로 사용자가 홀로그램을 바라보는 방향이 변동되더라도 홀로그램을 보정할 필요가 없다. 그러나, 본 발명의 일 실시예에 따른 공간 광 변조기(SLM)는 사용자의 위치 변화에 따라 구면을 따라 회전하도록 구성되므로, 공간 광 변조기의 회전에 따라 발생하는 홀로그램의 변화를 상쇄할 수 있도록, 홀로그램 정보의 기초가 되는 3차원 공간 정보를 회전시킬 수 있다.
따라서, 본 발명의 일 실시예에 따른 관리 서버(100)는, 사용자의 특정 위치에서의 홀로그램 정보를 생성하는 것이 아니라, 사용자의 위치 변화(즉, 기준 시청 거리에서 사용자가 이동한 시야각과 거리)를 고려하여 홀로그램 정보를 생성함으로써 사용자에게 가장 높은 시야각을 제공할 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 관리 서버 200: 공간 광 변조기
300: 레이저부 400: 굴절부
RL: 레일부 Cell: 무게 감지 셀
HGM: 홀로그램 OBJ: 3차원 정보

Claims (5)

  1. 홀로그램을 제공하기 위한 시스템으로,
    사용자의 무게를 감지하고, 지면 상에 일정한 간격을 갖도록 배치된 복수의 무게 감지 셀;
    상기 사용자를 촬영하여 3차원 정보를 생성하는 복수의 3D 카메라;
    상기 사용자에게 홀로그램을 표시하는 공간 광 변조기(spatial light modulator); 및
    상기 복수의 무게 감지 셀과 상기 복수의 3D 카메라를 제어하는 관리 서버; 를 포함하고,
    상기 관리 서버는,
    Figure 112020020683218-pat00010

    에 기반하여 복소 파동장 VW(x,y)를 산출하고,
    m은 상기 3차원 정보에 관한 복수의 계층의 개수를 나타내고, f는 상기 복수의 3D 카메라의 렌즈의 초점 거리를 나타내고, λ는 상기 사용자를 촬영할 때의 조명광의 파장을 나타내고, di는 홀로그램 계층에서 시선 계층 사이의 거리이고, dv는 상기 시선 계층 및 상기 사용자 사이의 거리를 나타내고, Ui(xi,yi)는 상기 복수의 계층 중에서 i번째 계층(Li)에 대한 3차원 데이터를 나타내고,
    u 및 v는 상기 시선 계층의 평면 좌표에 관한 파라미터이며, j는 허수(imaginary number)를 나타내고,
    상기 시선 계층은 상기 홀로그램이 표시되는 위치에 상응하는 계층이고, 상기 홀로그램 계층은 상기 공간 광 변조기의 위치에 상응하는 계층이고,
    Figure 112020020683218-pat00011

    에 기반하여, 상기 홀로그램을 보정하고,
    상기 복수의 계층의 개수 m은
    Figure 112020020683218-pat00012

    에 기반하여 설정되고,
    a, b는 상수 값에 해당되며, U는 상기 3차원 정보가 상기 복수의 계층 사이의 수직하는 방향에 대하여 분산된 정도를 나타내는 분산값을 나타내고, Ud는 임계분산값을 나타내며, p는 상기 3차원 정보가 상기 홀로그램 계층에 할당되는 비율을 나타내는, 시스템.
  2. 청구항 1에서,
    상기 관리 서버는,
    상기 복수의 무게 감지 셀로부터 무게 변화를 감지하고, 무게 변화가 감지된 무게 감지 셀의 식별 기호를 미리 설정된 위치 좌표와 매칭함으로써 상기 사용자의 위치를 감지하는, 시스템.
  3. 청구항 2에서,
    상기 관리 서버는,
    상기 사용자의 위치가 감지되면, 감지된 상기 사용자의 위치와 상응하는 방향으로 상기 복수의 3D 카메라의 초점(focus)를 제어하는, 시스템.
  4. 청구항 1에서,
    상기 3차원 정보는,
    상기 사용자에 대한 컬러 정보 및 깊이 정보를 포함하는, 시스템.
  5. 청구항 1에서,
    상기 관리 서버는,
    상기 복수의 3D 카메라로부터 수신된 복수의 3차원 정보를 이용하여 임의시점 정보를 생성하고, 생성된 임의시점 정보를 이용하여 홀로그램 정보를 생성하는, 시스템.
KR1020190148977A 2019-11-19 2019-11-19 홀로그램을 제공하기 위한 시스템 KR102128535B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190148977A KR102128535B1 (ko) 2019-11-19 2019-11-19 홀로그램을 제공하기 위한 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190148977A KR102128535B1 (ko) 2019-11-19 2019-11-19 홀로그램을 제공하기 위한 시스템

Publications (1)

Publication Number Publication Date
KR102128535B1 true KR102128535B1 (ko) 2020-06-30

Family

ID=71121170

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190148977A KR102128535B1 (ko) 2019-11-19 2019-11-19 홀로그램을 제공하기 위한 시스템

Country Status (1)

Country Link
KR (1) KR102128535B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000075601A (ko) * 1997-12-23 2000-12-26 요트.게.아. 롤페즈 카메라-기초 제스쳐 입력을 이용한 3차원 이미지 구축 시스템및 방법
KR101007944B1 (ko) * 2010-08-24 2011-01-14 윤상범 네트워크를 이용한 가상현실 무도 수련시스템 및 그 방법
KR20120045269A (ko) * 2010-10-29 2012-05-09 삼성전자주식회사 3ｄ 메쉬 모델링 및 에볼루션에 기반한 홀로그램 생성 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000075601A (ko) * 1997-12-23 2000-12-26 요트.게.아. 롤페즈 카메라-기초 제스쳐 입력을 이용한 3차원 이미지 구축 시스템및 방법
KR101007944B1 (ko) * 2010-08-24 2011-01-14 윤상범 네트워크를 이용한 가상현실 무도 수련시스템 및 그 방법
KR20120045269A (ko) * 2010-10-29 2012-05-09 삼성전자주식회사 3ｄ 메쉬 모델링 및 에볼루션에 기반한 홀로그램 생성 방법 및 장치

Similar Documents

Publication Publication Date Title
AU2017248506B2 (en) Implementation of an advanced image formation process as a network layer and its applications
US10803365B2 (en) System and method for relocalization and scene recognition
Wang et al. Real-time detection of flame and smoke using an improved YOLOv4 network
KR20200104068A (ko) 딥러닝 기반 디지털 홀로그램을 생성하는 방법 및 장치
Kim et al. Holographic augmented reality based on three-dimensional volumetric imaging for a photorealistic scene
Zhao et al. Quality enhancement and GPU acceleration for a full-color holographic system using a relocated point cloud gridding method
US20210334592A1 (en) Reinforcement learning model for labeling spatial relationships between images
CN115222917A (zh) 三维重建模型的训练方法、装置、设备及存储介质
KR102128535B1 (ko) 홀로그램을 제공하기 위한 시스템
Pang et al. Dynamic holographic imaging of real-life scene
Couturier et al. Using deep learning for object distance prediction in digital holography
Jacobson et al. Visualizing neural networks for pattern recognition
Ahmad et al. Holographic interface management in the age of artificial intelligence
Liu et al. Fusion Coding of 3D Real and Virtual Scenes Information for Augmented Reality-Based Holographic Stereogram
Leitner et al. The need for dynamic and active datasets
KR102454859B1 (ko) 인간 시각 시스템 모델링에 기반한 홀로그램 생성 장치 및 그 방법
CN112463936B (zh) 一种基于三维信息的视觉问答方法及系统
Pinard Robust Learning of a depth map for obstacle avoidance with a monocular stabilized flying camera
US20220171334A1 (en) Method and apparatus for generating computer-generated hologram
CHERGUI Improved Vehicle Detection in Aerial Images for 3D City Modeling
Rao Learning-based Visual Odometry-A Transformer Approach
Ocsa Sánchez et al. Attention U-Net Oriented Towards 3D Depth Estimation
Mudireddy Monocular Depth Estimation Using Attention Guidance
Ichihashi Computer-Generated Hologram: Multiview Image Approach
Yang et al. Integration of Depth Normal Consistency and Depth Map Refinement for MVS Reconstruction

Legal Events

Date Code Title Description
GRNT Written decision to grant