KR102599409B1 - 포비티드 홀로그램 렌더링 방법 및 시스템 - Google Patents

포비티드 홀로그램 렌더링 방법 및 시스템 Download PDF

Info

Publication number
KR102599409B1
KR102599409B1 KR1020210172555A KR20210172555A KR102599409B1 KR 102599409 B1 KR102599409 B1 KR 102599409B1 KR 1020210172555 A KR1020210172555 A KR 1020210172555A KR 20210172555 A KR20210172555 A KR 20210172555A KR 102599409 B1 KR102599409 B1 KR 102599409B1
Authority
KR
South Korea
Prior art keywords
hologram
user
rendering
foveated
rendered
Prior art date
Application number
KR1020210172555A
Other languages
English (en)
Other versions
KR20230084652A (ko
Inventor
홍성희
김영민
홍지수
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to PCT/KR2021/018316 priority Critical patent/WO2023106428A1/ko
Priority to KR1020210172555A priority patent/KR102599409B1/ko
Publication of KR20230084652A publication Critical patent/KR20230084652A/ko
Application granted granted Critical
Publication of KR102599409B1 publication Critical patent/KR102599409B1/ko

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/05—Means for tracking the observer
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00—Hologram nature or properties
    • G03H2240/50—Parameters or numerical values associated with holography, e.g. peel strength
    • G03H2240/56—Resolution

Abstract

포비티드 홀로그램 렌더링 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 포비티드 홀로그램 렌더링 방법은, 사용자의 시선을 추적하고, 사용자의 중심시 부분에 제1 해상도의 홀로그램을 렌더링하며, 사용자의 주변시 부분에 제1 해상도 보다 낮은 홀로그램을 렌더링한다. 이에 의해, 사용자의 중심시 부분과 주변시 부분에 각기 다른 해상도의 홀로그램을 렌더링하는 포비티드 홀로그램 렌더링을 통해, 고품질, 고해상도의 홀로그램 컨텐츠를 고속으로 생성하여 재생할 수 있게 된다.

Description

포비티드 홀로그램 렌더링 방법 및 시스템{Foveated hologram rendering method and system}
본 발명은 홀로그램 관련 기술에 관한 것으로, 더욱 상세하게는 포비티드 홀로그램을 실시간으로 렌더링하여 홀로그래픽 HMD(Head Mounted Display)를 통해 재생하는 방법에 관한 것이다.
PointCloud를 이용하여 CGH(Computer-Generated Hologram)을 렌더링하는 것은 기술적으로 가능하지만 문제점이 존재한다. 도 1은 기존 홀로그램 생성의 문제점을 나타낸 도면이다.
도시된 바와 같이, PointCloud를 이용하는 CGH는 고해상도로 갈수록 오브젝트를 구성하는 Point 개수가 증가하여, 연산량 또한 기하급수적으로 증가하기 때문에 실시간으로 홀로그램을 재생하기 어렵다.
이에 따라, 홀로그램을 실시간으로 렌더링하여 재생하기 위한 방안의 모색이 필요하다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 고품질, 고해상도의 홀로그램 컨텐츠를 고속으로 생성하여 재생할 수 있도록 하기 위한 방안으로, 사용자의 중심시 부분과 주변시 부분에 각기 다른 해상도의 홀로그램을 렌더링하는 포비티드 홀로그램 렌더링(foveated hologram rendering) 방법 및 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 포비티드 홀로그램 렌더링 방법은, 사용자의 시선을 추적하는 단계; 사용자의 중심시 부분에 제1 해상도의 홀로그램을 렌더링하는 제1 렌더링 단계; 및 사용자의 주변시 부분에 제1 해상도 보다 낮은 홀로그램을 렌더링하는 제2 렌더링 단계;를 포함한다.
제1 렌더링 방식은, 중심시 부분의 PointCloud에서 포인트들을 전부 홀로그램으로 렌더링할 수 있다.
제2 렌더링 방식은, 주변시 부분의 PointCloud에서 N개의 포인트를 1개로 재구성한 후 홀로그램으로 렌더링할 수 있다.
N은, 포인트가 중심시 부분에서 멀어질수록 증가할 수 있다. N은, 사용자가 설정 가능할 수 있다.
제2 렌더링 방식은, 재구성한 포인트들의 색상 정보를 다운 샘플링할 수 있다.
중심시 부분의 크기는, 사용자에 의해 설정 가능할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 포비티드 홀로그램 서비스 방법은, 사용자의 시선을 추적하고, 수신되는 홀로그램 컨텐츠를 재생하는 홀로그래픽 HMD; 홀로그래픽 HMD로부터 사용자의 시선 정보를 수신하여. 사용자의 중심시 부분에 제1 해상도의 홀로그램을 렌더링하고, 사용자의 주변시 부분에 제1 해상도 보다 낮은 홀로그램을 렌더링하며, 렌더링된 홀로그램들을 결합하여 하나의 홀로그램 컨텐츠를 생성하고, 생성한 홀로그램 컨텐츠를 홀로그래픽 HMD로 전송하는 렌더링 서버;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 사용자의 중심시 부분과 주변시 부분에 각기 다른 해상도의 홀로그램을 렌더링하는 포비티드 홀로그램 렌더링을 통해, 고품질, 고해상도의 홀로그램 컨텐츠를 고속으로 생성하여 재생할 수 있게 된다.
특히, 본 발명의 실시예들에 따르면, 실제 사용자의 눈으로 보는 것과 같은 원리로 렌더링하기 때문에 보다 실제에 가까운 느낌을 줄 수 있고, 홀로그램 생성에 필요한 비용과 시간을 절감하게 되므로, 이를 응용하여 증강 현실 등, 다양한 형태의 홀로그램 서비스가 가능해진다.
도 1은 기존 홀로그램 생성의 문제점을 나타낸 도면,
도 2는 기존의 홀로그램 렌더링 방법,
도 3은 중심시 부분과 주변시 부분을 예시한 도면,
도 4는 주변시 부분에서의 홀로그램 렌더링 방법의 설명에 제공되는 도면,
도 5는 본 발명의 일 실시예에 따른 홀로그램 가상 현실 서비스 시스템의 구성을 도시한 도면, 그리고,
도 6은 본 발명의 다른 실시예에 따른 홀로그램 가상 현실 서비스 방법의 설명에 제공되는 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는 포비티드 홀로그램 렌더링 방법을 제시한다. 사용자(관찰자)의 시선을 추적하여 사용자가 응시하고 있는 부분인 중요시 부분은 고화질로 홀로그램을 렌더링하고, 그 외의 부분인 주변시 부분은 저화질로 홀로그램을 렌더링하는 방법이다.
PointCloud의 모든 포인트들에 대해 홀로그램으로 렌더링하는 기존의 방식(도 2)의 경우 처리해야 할 연산량이 많아 실시간 홀로그램 생성/재생이 어렵다는 문제가 있었다.
반면, 본 발명의 실시예에서 제시하는 포비티드 홀로그램 렌더링 방법은, 도 3에 도시된 바와 같이, 사용자가 응시하고 있는 부분인 중심시 부분(10)의 포인트들을 기존 방식과 동일하게 렌더링하고, 주변시 부분(20,30)의 포인트들은 저해상도의 홀로그램으로 렌더링함으로써, 주변시 부분(20,30)에서의 연산량을 줄여 실시간 홀로그램 생성/재생을 가능하게 한다.
도 4는 주변시 부분(20,30)에서의 홀로그램 렌더링 방법의 설명에 제공되는 도면이다. 도시된 바와 같이, 주변시 부분의 PointCloud에서 N개의 포인트를 점선과 같이 그릅화하여 1개의 포인트로 재구성하여 데이터를 줄인 후 홀로그램을 렌더링한다.
즉, 본 발명의 실시예에서는 PointCloud를 N:1 비율로 재구성하여, PointCloud를 재구성한 후에 홀로그램을 렌더링하는 것으로 볼 수 있으며, 이는 포인트들의 좌표 벡터 정보(x,y,z)를 새로운 좌표 벡터를 재구성하는 과정에 해당한다.
여기서, N은 포인트가 중심시(10)에서 멀어질수록 증가하도록 할 수 있다. 즉, 주변시 부분(130)의 N은 주변시 부분(120)의 N 보다 큰 값으로 구현할 수 있다.
도 3에서 주변시 부분(120,130)은 2개로 구분되어 있는데, 보다 더 세밀하게, 즉, 3개 이상으로 분류하는 것이 가능하다. 나아가, 각 주변시 부분(120,130)에서의 N 값들은 사용자가 설정하도록 구현할 수 있다.
뿐만 아니라, 중심시 부분(110)의 크기는 사용자가 자신의 시각 특성과 취향, 그리고 QoS(Quality of Service)를 고려하여 설정하도록 구현하는 것도 가능하다.
나아가, 주변시 부분(20,30)에서는 재구성한 포인트들의 색상(R,G,B) 정보를 다운 샘플링하여 데이터를 더욱 줄일 수도 있다.
도 5는 본 발명의 일 실시예에 따른 홀로그램 가상 현실 서비스 시스템의 구성을 도시한 도면이다. 본 발명의 실시예에 따른 가상 현실 서비스 시스템은, 도시된 바와 같이, 포비티드 홀로그램 렌더링 서버(100)와 홀로그래픽 HMD(Head Mounted Display)(200)을 포함하여 구성된다.
포비티드 홀로그램 렌더링 서버(100)는 사용자의 시선을 기초로 중심시와 주변시를 판별하여, 중심시 부분에는 고해상도의 홀로그램을 렌더링하고, 주변시 부분에는 저해상도의 홀로그램을 렌더링한다.
홀로그래픽 HMD(200)는 사용자의 머리에 착용되어, 사용자의 시선을 추적하여 추적 결과를 포비티드 홀로그램 렌더링 서버(100)로 전달하고, 포비티드 홀로그램 렌더링 서버(100)로부터 홀로그램 컨텐츠를 수신하여 재생한다.
도 6은 본 발명의 다른 실시예에 따른 홀로그램 가상 현실 서비스 방법의 설명에 제공되는 흐름도이다.
도시된 바와 같이, 먼저, 사용자가 착용한 홀로그래픽 HMD(200)가 아이트래킹 센서 등의 시선 추적기를 이용하여 사용자의 시선을 추적하여, 포비티드 홀로그램 렌더링 서버(100)로 전송한다(S210).
그러면, 포비티드 홀로그램 렌더링 서버(100)는 사용자의 중심시 부분에 고해상도의 홀로그램을 렌더링 하고(S220), 사용자의 주변시 부분에 저해상도의 홀로그램을 렌더링 한다(S230).
다음, 포비티드 홀로그램 렌더링 서버(100)는 S220단계에서 렌더링된 중심시 부분의 홀로그램과 S230단계에서 렌더링된 주변시 부분의 홀로그램을 결합하여 하나의 홀로그램 컨텐츠를 생성한다(S240).
그리고, 포비티드 홀로그램 렌더링 서버(100)는 S240단계에서 생성되는 홀로그램 컨텐츠를 홀로그래픽 HMD(200)로 전송하고, 홀로그래픽 HMD(200)는 수신한 홀로그램 컨텐츠를 재생하여 사용자에게 제공한다(S250).
지금까지, 포비티드 홀로그램 렌더링을 이용한 홀로그램 가상 현실 서비스 방법 및 시스템에 대해, 바람직한 실시예를 들어 상세히 설명하였다.
본 발명의 실시예에서는, 고품질, 고해상도의 홀로그램 컨텐츠를 고속으로 생성할 수 있도록, 사용자의 시선에 따라 중심시와 주변시를 구분하여 다른 해상도로 홀로그램을 렌더링 하는 방법을 제시하였다.
본 발명의 실시예에 따른 포비티드 홀로그램 렌더링에 따르면, 실제 사용자의 눈으로 보는 것과 같은 원리로 렌더링하기 때문에 보다 실제에 가까운 느낌을 줄 수 있고, 홀로그램 생성에 필요한 비용과 시간을 절감하게 되므로, 이를 응용하여 가상 현실과 증강 현실 등, 다양한 형태의 홀로그램 서비스 모델의 정의가 가능해질 것이다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 포비티드 홀로그램 렌더링 서버
200 : 홀로그래픽 HMD(Head Mounted Display)

Claims (8)

  1. 사용자의 시선을 추적하는 단계;
    사용자의 중심시 부분에 제1 해상도의 홀로그램을 렌더링하는 제1 렌더링 단계; 및
    사용자의 주변시 부분에 제1 해상도 보다 낮은 홀로그램을 렌더링하는 제2 렌더링 단계;를 포함하고,
    제1 렌더링 단계는,
    중심시 부분의 PointCloud에서 포인트들을 전부 홀로그램으로 렌더링하며,
    제2 렌더링 단계는,
    주변시 부분의 PointCloud에서 N개의 포인트를 1개로 재구성한 후 홀로그램으로 렌더링하고,
    N은,
    포인트가 중심시 부분에서 멀어질수록 증가하되, 사용자가 설정 가능한 것을 특징으로 하는 포비티드 홀로그램 렌더링 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 청구항 1에 있어서,
    제2 렌더링 방식은,
    재구성한 포인트들의 색상 정보를 다운 샘플링하는 것을 특징으로 하는 포비티드 홀로그램 렌더링 방법.
  7. 청구항 1에 있어서,
    중심시 부분의 크기는,
    사용자에 의해 설정 가능한 것을 특징으로 하는 포비티드 홀로그램 렌더링 방법.
  8. 사용자의 시선을 추적하고, 수신되는 홀로그램 컨텐츠를 재생하는 홀로그래픽 HMD(Head Mounted Display); 및
    홀로그래픽 HMD로부터 사용자의 시선 정보를 수신하여. 사용자의 중심시 부분에 제1 해상도의 홀로그램을 렌더링하고, 사용자의 주변시 부분에 제1 해상도 보다 낮은 홀로그램을 렌더링하며, 렌더링된 홀로그램들을 결합하여 하나의 홀로그램 컨텐츠를 생성하고, 생성한 홀로그램 컨텐츠를 홀로그래픽 HMD로 전송하는 렌더링 서버;를 포함하고,
    렌더링 서버는,
    중심시 부분의 PointCloud에서 포인트들을 전부 홀로그램으로 렌더링하며,
    주변시 부분의 PointCloud에서 N개의 포인트를 1개로 재구성한 후 홀로그램으로 렌더링하고,
    N은,
    포인트가 중심시 부분에서 멀어질수록 증가하되, 사용자가 설정 가능한 것을 특징으로 하는 포비티드 홀로그램 서비스 방법.
KR1020210172555A 2021-12-06 2021-12-06 포비티드 홀로그램 렌더링 방법 및 시스템 KR102599409B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2021/018316 WO2023106428A1 (ko) 2021-12-06 2021-12-06 포비티드 홀로그램 렌더링 방법 및 시스템
KR1020210172555A KR102599409B1 (ko) 2021-12-06 2021-12-06 포비티드 홀로그램 렌더링 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210172555A KR102599409B1 (ko) 2021-12-06 2021-12-06 포비티드 홀로그램 렌더링 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20230084652A KR20230084652A (ko) 2023-06-13
KR102599409B1 true KR102599409B1 (ko) 2023-11-07

Family

ID=86730685

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210172555A KR102599409B1 (ko) 2021-12-06 2021-12-06 포비티드 홀로그램 렌더링 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR102599409B1 (ko)
WO (1) WO2023106428A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160016468A (ko) * 2014-08-05 2016-02-15 삼성전자주식회사 리얼 3d 영상 생성 방법 및 그 장치
KR20180008168A (ko) * 2016-07-15 2018-01-24 주식회사 디지캡 병렬 처리 환경을 이용한 홀로그램 콘텐츠 생성 시스템 및 그 방법
KR101927592B1 (ko) * 2016-12-08 2018-12-10 전자부품연구원 홀로그래픽 영상처리 장치 및 방법
KR20200071108A (ko) * 2017-10-18 2020-06-18 시리얼 테크놀로지즈 에스.에이. 넓은 시야를 생성하기 위한 디스플레이 디바이스 및 방법
KR20210107408A (ko) * 2020-02-24 2021-09-01 삼성전자주식회사 광학 장치 및 이를 포함한 근안 디스플레이 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
홍지수 등, "Gaze contingent hologram synthesis for holographic head-mounted display", PROCEEDINGS OF SPIE

Also Published As

Publication number Publication date
KR20230084652A (ko) 2023-06-13
WO2023106428A1 (ko) 2023-06-15

Similar Documents

Publication Publication Date Title
AU2009330607B2 (en) System and methods for dynamically injecting expression information into an animated facial mesh
US9454839B2 (en) Method and apparatus for expressing rigid area based on expression control points
US9245176B2 (en) Content retargeting using facial layers
EP3738102A1 (en) Systems and methods for rendering avatars with deep appearance models
JP2009515375A (ja) ビデオを個人化する操作
US20200221070A1 (en) Video generation method and apparatus
KR100973031B1 (ko) 룩업 테이블과 영상의 시간적 중복성을 이용한 3차원 동영상 컴퓨터 형성 홀로그램 생성 방법 및 그 장치
JP7009997B2 (ja) 動画生成システムおよび動画表示システム
US10278001B2 (en) Multiple listener cloud render with enhanced instant replay
CN116071494A (zh) 基于隐式神经函数的高保真三维人脸重建与生成方法
KR102599409B1 (ko) 포비티드 홀로그램 렌더링 방법 및 시스템
KR20200013607A (ko) 운동 시차 지원 전방위 비디오 획득/재생을 위한 방법 및 장치
JP3350654B2 (ja) 画像生成システム及び情報記憶媒体
Li Musical Instrument Performance in Augmented Virtuality
KR20230096591A (ko) 조종 가능한 실감 영상 콘텐츠의 생성 방법 및 이의 모션 시뮬레이션 시스템
CN109683845B (zh) 声音播放装置、方法及非暂态存储媒体
JP2012008207A (ja) ルックアップテーブルと画像の時間的重複性を用いた３次元動画の計算機合成ホログラムの算出方法及びその装置
KR102599411B1 (ko) 멀티 pc를 이용한 홀로그램 생성 및 스트리밍 방법 및 시스템
KR20070098364A (ko) 3차원 영상 데이터를 코드화하여 저장하는 장치 및 방법
JPH10301466A (ja) 計算機ホログラム合成方法および装置およびこの方法を記録した記録媒体
WO2024004739A1 (ja) 情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体
Leandro Parreira Duarte et al. Coarticulation and speech synchronization in MPEG-4 based facial animation
US20230345073A1 (en) Systems and methods for providing auxiliary manifests for media items
JP7165254B2 (ja) 自由視点映像のリプレイ映像を再生するシステムおよび方法
WO2021029155A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant