KR20220155071A - 적응적인 fov 렌더링 방법 - Google Patents

적응적인 fov 렌더링 방법 Download PDF

Info

Publication number
KR20220155071A
KR20220155071A KR1020210062852A KR20210062852A KR20220155071A KR 20220155071 A KR20220155071 A KR 20220155071A KR 1020210062852 A KR1020210062852 A KR 1020210062852A KR 20210062852 A KR20210062852 A KR 20210062852A KR 20220155071 A KR20220155071 A KR 20220155071A
Authority
KR
South Korea
Prior art keywords
fov
unit
quaternion
determining
time
Prior art date
Application number
KR1020210062852A
Other languages
English (en)
Other versions
KR102528175B1 (ko
Inventor
남승인
임종혁
주재현
한장희
Original Assignee
(주)이머시브캐스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이머시브캐스트 filed Critical (주)이머시브캐스트
Priority to KR1020210062852A priority Critical patent/KR102528175B1/ko
Publication of KR20220155071A publication Critical patent/KR20220155071A/ko
Application granted granted Critical
Publication of KR102528175B1 publication Critical patent/KR102528175B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 적응적인 FOV 렌더링 방법에 관한 것으로, 기본 출력에 사용될 기준 FOV를 결정하는 단계; HMD 단말로부터 제1 단위 시간 동안 사용자의 움직임 정보를 수집하는 단계; 상기 움직임 정보를 기초로 상기 제1 단위 시간에 연속하는 제2 단위 시간 동안의 움직임 변화를 예측하는 단계; 상기 기준 FOV와 상기 움직임 변화를 기초로 상기 제2 단위 시간 동안의 가변 FOV를 결정하는 단계; 상기 가변 FOV에 따라 레스터라이즈 이미지를 렌더링하는 단계; 및 상기 레스터라이즈 이미지를 인코딩하여 상기 HMD 단말에 전송하는 단계를 포함한다.

Description

적응적인 FOV 렌더링 방법{ADAPTIVE FOV RENDERING METHOD}
본 발명은 FOV 렌더링 기술에 관한 것으로, 보다 상세하게는 시간보정 이론 적용 후에도 투영 오차없이 블랙엣지를 효과적으로 제거할 수 있는 적응적인 FOV 렌더링 방법에 관한 것이다.
VR 하드웨어 제조사(Ouclus 경우)는 그래픽 프로세서에서 최종 처리 결과물로 올라오는 한장의 레스터라이즈(Rasterize) 된 이미지를 화면 상에 출력 할 때, 통상적인 디지털 패널의 출력 지연 시간(IPS의 경우 5/ms)으로 생기는 렌더 지연을 해결하기 위해 Asynchronous Time Warp(ATW, Oculus 시간보정 이론)과 Asynchronous Space Warp(ASW, Oculus 공간 보정 이론)을 적용하고 있다.
비디오 스트리밍을 통한 VR 솔루션은 클라이언트 하드웨어의 방향(Orientation)이 서버에 전달되고, 이 움직임이 영상에 반영되어, 출력된 레스터라이즈 이미지가 서버에서 인코딩(encoding) 된 후 다시 클라이언트에 도달하여 디코딩(decoding)되어 출력되기까지의 지연 시간을 일반적으로 4K 기준 80/ms ~ 100/ms로 보고 있다. 이는 상기에서 설명한 렌더 지연과 동일한 현상에 해당한다(Motion to Photon latency).
따라서, 클라이언트는 디코딩이 완료된 레스터라이즈 이미지가 과거의 이미지에 해당하는 점을 고려하여 현재 시점에서 출력할 때에 해당 이미지가 과거에 서버에서 인코딩 된 시점의 입력 방향으로 이미지를 끌어당겨 출력하는 시간 보정 이론을 적용한다.
또한, 시간 보정 이론의 적용으로 인해 현 시점과 과거 시점 사이에 준비되지 않아 그릴 수 없는 영역을 블랙엣지(Black-edge)라고 하며, Black-edge는 ATW를 적용한 로컬 하드웨어 렌더에서도 동일하게 발생하지만 그 폭이 매우 작고, 간격이 균일하다. 하지만, 네트워크 스트리밍 환경에서는 때때로 통신 지연에 비례하여 폭이 넓어지기도 하고 그 간격 역시 균일하지 않다는 점에서 VR 렌더 비디오 스트리밍(VR Render Video Streaming) 사용자에게 이용 불쾌감을 초래할 수 있다.
3차원 렌더링(3D Rendering)에서 원근 투영(Perspective render)의 이미지는 방사형(radial) 이미지로써, 렌더링 기법 중 절두체 분류(frustum culling)이 없다는 기준으로 보면 3D 월드의 추상적 이미지는 완전한 정구체 형태를 띄게 되는데, 이를 시야각(이하 FOV)으로 제한하여 레스터라이즈 하는 과정에서 레디얼 이미지 형태의 피사체를 담은 사각형 평면 이미지로 변환되게 된다. 따라서, Black-edge로 손실된 영역을 보상하기 위해 레스터라이즈 이미지의 사이즈를 임의 변경하게 되면 이미지 내 피사체의 형태에는 훼손이 발생하게 되고, 이런 현상을 투영 오차(Projection error)라고 한다(도 4 참조).
한편, VR Render Video Streaming 중, 비디오 텍스쳐의 평면 해상도는 런타임 중 즉각적으로 변경할 수 없다.
한국등록특허 제10-1591427호 (2016.01.28)
본 발명의 일 실시예는 시간보정 이론 적용 후에도 투영 오차없이 블랙엣지(black-edge)를 효과적으로 제거할 수 있는 적응적인 FOV 렌더링 방법을 제공하고자 한다.
본 발명의 일 실시예는 프레임들 사이의 손실률을 기초로 서버가 전송할 레스터라이즈 이미지의 가변 FOV를 결정하고, 해당 이미지를 받은 클라이언트는 기준 FOV로 출력함으로써 회전값 간의 오차에서 회전변화량 간의 오차 이하로 블랫엣지를 최소화하는 품질 향상을 꾀할 수 있는 적응적인 FOV 렌더링 방법을 제공하고자 한다.
실시예들 중에서, 적응적인 FOV 렌더링 방법은 기본 출력에 사용될 기준 FOV를 결정하는 단계; HMD 단말로부터 제1 단위 시간 동안 사용자의 움직임 정보를 수집하는 단계; 상기 움직임 정보를 기초로 상기 제1 단위 시간에 연속하는 제2 단위 시간 동안의 움직임 변화를 예측하는 단계; 상기 기준 FOV와 상기 움직임 변화를 기초로 상기 제2 단위 시간 동안의 가변 FOV를 결정하는 단계; 상기 가변 FOV에 따라 레스터라이즈 이미지를 렌더링하는 단계; 및 상기 레스터라이즈 이미지를 인코딩하여 상기 HMD 단말에 전송하는 단계를 포함한다.
상기 기준 FOV를 결정하는 단계는 상기 기준 FOV를 60도로 결정하는 단계를 포함할 수 있다.
상기 움직임 정보를 수집하는 단계는 상기 HMD 단말의 방향(orientation)에 관한 사원수(quaternion)를 상기 움직임 정보로서 수집하는 단계를 포함할 수 있다.
상기 움직임 변화를 예측하는 단계는 상기 사원수를 기초로 상기 제1 단위 시간에 대한 사원수의 제1 차수를 산출하고 상기 제1 차수를 기초로 다음의 수학식을 통해 상기 제2 단위 시간에 대한 제2 차수를 산출하는 단계를 포함할 수 있다.
[수학식]
dn+1 = ((tn - tn-1) / ta) * dn
(여기에서, dn+1은 틱 n+1의 사원수의 차수, tn은 n 프레임의 사원수가 수집된 시간, tn-1은 n-1 프레임의 사원수가 수집된 시간, ta는 평균 틱 사이의 시간차, dn은 틱 n의 사원수의 차수에 해당한다.)
상기 가변 FOV를 결정하는 단계는 상기 제2 차수를 기초로 상기 움직임 변화에 관한 회전의 절대량을 결정하는 단계; 및 상기 기준 FOV와 상기 절대량를 합산하여 상기 가변 FOV를 결정하는 단계를 포함할 수 있다.
상기 적응적인 FOV 렌더링 방법은 상기 HMD 단말을 통해 상기 레스터라이즈 이미지를 디코딩하고 기준 FOV에 따라 렌더링 이미지를 생성하여 재생하는 단계를 더 포함할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 적응적인 FOV 렌더링 방법은 시간보정 이론 적용 후에도 투영 오차없이 블랙엣지(black-edge)를 효과적으로 제거할 수 있다.
본 발명의 일 실시예에 따른 적응적인 FOV 렌더링 방법은 프레임들 사이의 손실률을 기초로 서버가 전송할 레스터라이즈 이미지의 가변 FOV를 결정하고, 해당 이미지를 받은 클라이언트는 기준 FOV로 출력함으로써 회전값 간의 오차에서 회전변화량 간의 오차 이하로 블랫엣지를 최소화하는 품질 향상을 꾀할 수 있다.
도 1은 본 발명에 따른 FOV 렌더링 시스템을 설명하는 도면이다.
도 2는 본 발명에 따른 FOV 렌더링 시스템의 기능적 구성을 설명하는 도면이다.
도 3은 본 발명에 따른 적응적인 FOV 렌더링 방법을 설명하는 순서도이다.
도 4는 블랙엣지를 설명하는 도면이다.
도 5 및 6은 3D 환경에서 FOV와 초첨 거리 및 뷰 평면 간의 관계를 설명하는 도면이다.
도 7은 지름에 의한 원의 방정식을 설명하는 도면이다.
도 8은 블랙엣지 발생량을 설명하는 도면이다.
도 9는 서버의 FOV와 클라이언트의 FOV 간의 차이를 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명에 따른 FOV 렌더링 시스템을 설명하는 도면이다.
도 1을 참조하면, FOV 렌더링 시스템(100)은 HMD 단말(110) 및 렌더링 서버(130)를 포함할 수 있다.
HMD 단말(110)은 AR/VR 영상을 재생할 수 있는 사용자 단말에 해당할 수 있다. 여기에서, HMD 단말(110)은 기본적으로 HMD(Head Mounted Display) 장치로 구현될 수 있으나, 반드시 이에 한정되지 않고, VR/AR 영상을 재생할 수 있는 다양한 디바이스로 구현될 수 있음은 물론이다. HMD 단말(110)은 렌더링 서버(130)와 네트워크를 통해 연결되어 데이터를 주고 받을 수 있다.
또한, HMD 단말(110)은 본 발명에 따른 적응적인 FOV 렌더링 방법을 통해 동작하도록 구현될 수 있다. 이를 위해, HMD 단말(110)은 렌더링 서버(130)와 연동하기 위한 전용 어플리케이션을 실행하여 동작할 수 있다. 즉, HMD 단말(110)은 렌더링 서버(130)와 상호 연동하여 본 발명에 따른 적응적인 FOV 렌더링을 위한 구체적 동작을 수행할 수 있다. 예를 들어, 비디오 영상을 인코딩하는 동작은 렌더링 서버(130)에서 수행될 수 있으며, HMD 단말(110)은 렌더링 서버(130)에 의해 인코딩된 비디오 영상을 수신하여 재생하는 동작을 수행할 수 있다.
일 실시예에서, HMD 단말(110)은 사용자의 움직임 정보에 관한 6 DoF(Degrees of Freedom) 센서를 포함하여 구현될 수 있다. 또한, HMD 단말(110)은 필요에 따라 다양한 센서들을 더 포함하여 구현될 수 있다. 예를 들어, HMD 단말(110)은 GPS 센서, 모션 센서 등을 더 포함할 수 있다. 다른 실시예에서, HMD 단말(110)은 외부에서 동작하는 6 DoF 센서로부터 사용자의 움직임 정보를 수신할 수 있다. 이 경우, 6 DoF 센서는 HMD 단말(110)과 연동하는 6 DoF 트래킹 디바이스(Tracking Device)에 포함되어 동작할 수 있다.
렌더링 서버(130)는 HMD 단말(110)에서 재생되는 AR/VR 영상을 생성하여 네트워크를 통해 전송하는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 렌더링 서버(130)는 HMD 단말(110)과 블루투스, WiFi, 5G 통신 등과 같은 무선 네트워크로 연결될 수 있고, 네트워크를 통해 HMD 단말(110)와 데이터를 송·수신할 수 있다.
또한, 렌더링 서버(130)는 HMD 단말(110)로부터 사용자의 움직임 정보로서 6 DoF 신호를 수신할 수 있고, 이를 기초로 해당 프레임을 생성하여 캡쳐(capture)하고 비디오 인코딩(encoding) 후 다시 HMD 단말(110)에게 전송할 수 있다. 이를 위하여, 렌더링 서버(130)는 HMD 단말(110)과 연동하여 동작하는 리모트 어플리케이션(Remote Application)을 설치하여 실행할 수 있다.
도 2는 본 발명에 따른 FOV 렌더링 시스템의 기능적 구성을 설명하는 도면이다.
도 2를 참조하면, FOV 렌더링 시스템(100)은 기준 FOV 결정부(210), 움직임 정보 수집부(220), 움직임 예측부(230), 가변 FOV 결정부(240), 영상 렌더링부(250), 영상 전송부(260), 영상 재생부(270) 및 제어부(도 2에 미도시함)를 포함할 수 있다.
기준 FOV 결정부(210)는 기본 출력에 사용될 기준 FOV(Field Of View)를 결정할 수 있다. 여기에서, 기본 출력은 HMD 단말(110)의 화면 해상도를 기준으로 결정될 수 있다. 즉, 기준 FOV는 기본 출력의 화면 해상도를 커버하는 FOV에 해당할 수 있다. 일 실시예에서, 기준 FOV 결정부(210)는 기준 FOV를 60도로 결정할 수 있다. 다만, 기준 FOV는 동작 환경에 따라 가변적으로 적용될 수 있다.
움직임 정보 수집부(220)는 HMD 단말(110)로부터 제1 단위 시간 동안 사용자의 움직임 정보를 수집할 수 있다. HMD 단말(110)은 사용자의 움직임, 특히 머리의 회전이나 이동에 관한 움직임 정보를 측정할 수 있으며, 움직임 정보 수집부(220)는 해당 움직임 정보를 소정의 기간 동안 수집할 수 있다. 여기에서, 제1 단위 시간은 1 틱(Tic)에 해당할 수 있다. 즉, 움직임 정보 수집부(220)는 움직임 정보를 틱 단위로 수집하여 움직임 예측을 위한 데이터로서 제공할 수 있다.
일 실시예에서, 움직임 정보 수집부(220)는 HMD 단말(110)의 방향(orientation)에 관한 사원수(quaternion)를 움직임 정보로서 수집할 수 있다. 여기에서, 사원수(quaternion)는 복소수를 확장해 만든 수체계로서 네 개의 실수 성분을 가질 수 있으며, 3차원 그래픽에서 회전을 표현할 때 행렬 대신 사용하는 수학적 개념에 해당할 수 있다. 움직임 정보 수집부(220)는 HMD 단말(110)로부터 방향에 관한 사원수를 제1 단위 시간마다 수집할 수 있다.
움직임 예측부(230)는 움직임 정보를 기초로 제1 단위 시간에 연속하는 제2 단위 시간 동안의 움직임 변화를 예측할 수 있다. 즉, 움직임 예측부(230)는 이전 사용자 움직임을 기초로 다음 사용자 움직임을 예측할 수 있다. 움직임 예측부(230)에 의해 예측된 움직임 정보는 가변 FOV를 결정하는 과정에 활용될 수 있다.
일 실시예에서, 움직임 예측부(230)는 사원수를 기초로 제1 단위 시간에 대한 사원수의 제1 차수를 산출하고 제1 차수를 기초로 다음의 수학식을 통해 제2 단위 시간에 대한 제2 차수를 산출할 수 있다.
[수학식]
dn+1 = ((tn - tn-1) / ta) * dn
여기에서, dn+1은 틱 n+1의 사원수의 차수, tn은 n 프레임의 사원수가 수집된 시간, tn-1은 n-1 프레임의 사원수가 수집된 시간, ta는 평균 틱 사이의 시간차, dn은 틱 n의 사원수의 차수에 해당한다. 여기에서, 틱 n의 사원수의 차수는 '(n 프레임의 사원수 - n-1 프레임의 사원수).magnitude'을 통해 획득될 수 있다. 즉, 움직임 예측부(230)는 HMD 단말(110)로부터 수집한 방향의 사원수를 기초로 이전 틱과 현재 틱의 차수로 다음 틱을 예측할 수 있다.
가변 FOV 결정부(240)는 기준 FOV와 움직임 변화를 기초로 제2 단위 시간 동안의 가변 FOV를 결정할 수 있다. 가변 FOV 결정부(240)는 기준 FOV에 대해 움직임 변화에 따른 FOV의 변화를 포함하는 가변 FOV를 결정할 수 있다. 일 실시예에서, 가변 FOV 결정부(240)는 제2 차수를 기초로 움직임 변화에 관한 회전의 절대량을 결정하고, 기준 FOV와 절대량를 합산하여 가변 FOV를 결정할 수 있다.
보다 구체적으로, 가변 FOV 결정부(240)는 다음 틱 n+1의 예측 값으로 획득한 회전의 절대량을 변위스칼라 M으로 정의할 수 있고, 기준 FOV와 변위스칼라 M을 더하여 가변 FOV를 결정할 수 있다. 즉, 다음 틱의 가변 FOV 값은 '기준 FOV + 변위스칼라 M'을 통해 도출될 수 있다. 만약 기준 FOV가 60도로 설정되고 다음 틱에서의 변위스칼라 M이 10도로 예측되는 경우, 적응적인 FOV 렌더링 방법은 런타임 중에 FOV를 변경하여 적용(즉, 가변 FOV를 적용)함으로써 적응형 투영(Adaptive Projection)을 실행할 수 있다.
한편, 적응형 투영을 적용할 경우, FOV가 높아질수록 상대적으로 고정된 해상도의 일부 만을 최종적으로 출력하게 되므로 이미지의 품질 자체는 저하될 수 있다. 그러나, 일반적인 HMD의 평균 지원 FOV인 80도 FOV를 기준으로, 최대 품질(100%) 대비 심각한 수준의 품질 저하(50%)가 발생하려면 16/ms(통상 60 FPS 기준)당 약 40도 이상의 회전이 필요하고, 해당 상황은 정상적인 HMD의 이용 과정에서 발생하지 않는 것으로 간주될 수 있다.
영상 렌더링부(250)는 가변 FOV에 따라 레스터라이즈 이미지를 렌더링할 수 있다. 즉, 렌더링 서버(130)에서는 사전에 예측된 사용자의 움직임 변화가 적용된 가변 FOV에 따라 현재 프레임의 레스터라이즈 이미지를 렌더링할 수 있다.
영상 전송부(260)는 레스터라이즈 이미지를 인코딩하여 HMD 단말(110)에 전송할 수 있다. 영상 재생부(270)는 HMD 단말(110)을 통해 레스터라이즈 이미지를 디코딩하고 기준 FOV에 따라 렌더링 이미지를 생성하여 재생할 수 있다.
즉, 본 발명에 따른 적응적인 FOV 렌더링 방법은 사용자의 움직임을 사전에 예측하고 해당 움직임에 관한 FOV를 서버 상에서 수행되는 렌더링 과정에서 미리 반영함으로써, HMD 단말(110) 상에서 지연 재생되는 경우에도 블랙엣지의 발생을 최소화할 수 있다.
제어부는 FOV 렌더링 시스템(100)의 전체적인 동작을 제어하고, 기준 FOV 결정부(210), 움직임 정보 수집부(220), 움직임 예측부(230), 가변 FOV 결정부(240), 영상 렌더링부(250), 영상 전송부(260) 및 영상 재생부(270) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 3은 본 발명에 따른 적응적인 FOV 렌더링 방법을 설명하는 순서도이다.
도 3을 참조하면, FOV 렌더링 시스템(100)은 기본 출력에 사용될 기준 FOV를 결정할 수 있다(단계 S310). FOV 렌더링 시스템(100)은 HMD 단말(110)로부터 제1 단위 시간 동안 사용자의 움직임 정보를 수집할 수 있다(단계 S330). FOV 렌더링 시스템(100)은 움직임 정보를 기초로 제1 단위 시간에 연속하는 제2 단위 시간 동안의 움직임 변화를 예측할 수 있다(단계 S350).
또한, FOV 렌더링 시스템(100)은 기준 FOV와 움직임 변화를 기초로 제2 단위 시간 동안의 가변 FOV를 결정할 수 있으며, 가변 FOV에 따라 레스터라이즈 이미지를 렌더링할 수 있다(단계 S370). FOV 렌더링 시스템(100)은 레스터라이즈 이미지를 인코딩하여 HMD 단말(110)에 전송할 수 있다(단계 S390).
도 5 및 6은 3D 환경에서 FOV와 초첨 거리 및 뷰 평면 간의 관계를 설명하는 도면이다.
도 5를 참조하면, 본 발명에 따른 적응적인 FOV 렌더링 방법은 시간보정 이론 적용 이후에도 투영 오차없이 블랙엣지(Black-edge)를 제거하기 위해 수행될 수 있다.
일반적으로 3D 환경에서 FOV(550)는 실제로 상이 맺히는 거리인 초점 거리(Focus distance)(530)와 뷰 평면(View Plane)(510)에 따라 달라질 수 있다. 즉, 최종 레스터라이즈 된 이미지는 해당 뷰 평면(View Plane)(510) 기준에서 보이는 방사형(radial) 3D 환경을 평면의(flat) 2D 이미지로 변환하여 획득될 수 있다. 이때, FOV의 값은 삼각함수 증명에 의해 초첨 거리와 반비례 관계를 형성할 수 있다(즉, 탄젠트(Tangent) 공식 유효).
도 6을 참조하면, 비디오 텍스쳐의 평면 해상도는 런타임 중 즉각적으로 변경할 수 없다는 점에서, 본 발명에 따른 적응적인 FOV 렌더링 방법은 변경할 수 없는 텍스쳐의 평면 해상도를 뷰 평면(View Plane)과 동일한 기준 해상도로 설정한 다음 런타임 중에 고정된 해상도 영역에 가변 FOV를 반영하여 3D 투영을 수행할 수 있다.
즉, 동일 해상도에서 투영 FOV가 커지면 동일한 크기의 레스터라이즈 이미지는 이전보다 많은 영역을 그릴 수 있고(이하 업사이징), FOV가 작아지면 좁은 영역(이하 다운사이징)을 그릴 수 있다. 이 역시 동일하게 초점 거리(Focus distance)를 매개로 하기 때문에 업사이징 된 이미지의 거리를 조절하여, '지름에 의한 원의 방정식'에 의해 고정된 해상도에 담긴 레스터라이즈 된 한 장의 View Plane으로 가변적인 FOV를 투영오차 없이 출력할 수 있게 된다.
도 7에서, 지름에 의한 원의 방정식은 다음과 같이 산출될 수 있다. degree ratio = 60' / 90' ∝ (b-c).magnitude / (a-d).magnitude ∝ (P1-V).magnitude / (P0-V).magnitude
도 8은 블랙엣지 발생량을 설명하는 도면이다.
도 8을 참조하면, HMD 단말(110)의 화면 갱신주기를 60fps에 서버의 프레임 생성 주기가 60fps 지원됨을 가정하면, 균일하게 초당 10도의 수평 움직임이 발생하는 경우 지연된 프레임 당 약 1.6%의 블랙엣지(Black-edge)가 발생할 수 있다.
구체적으로, 프레임당 경과 시간(Elapsed Time Per Frame) = (1 sec/60 fps) = 약 0.01666 seconds에 해당하고, 프레임당 평균 모멘텀(Average Momentum Per Frame) = 10 degree/60 fps = 약 0.16 degree에 해당하며, 프레임당 평균 손실률(Average loss Rate Per Frame) = 100 %/60 fps = 약 1.6% black-edge per frame에 해당한다.
도 9는 서버의 FOV와 클라이언트의 FOV 간의 차이를 설명하는 도면이다.
도 9를 참조하면, 본 발명에 따른 적응적인 FOV 렌더링 방법은 적응형 투영(Adaptive Projection) 시 이전 프레임과 현재 프레임 사이의 손실률(loss rate)(블랙엣지율, Black-Edge Rate) 및 모멘텀(Momentum) 간의 곱을 통해 렌더링 서버(130)가 전송할 레스터라이즈 이미지의 가변 FOV를 결정할 수 있다. 이를 통해, 해당 이미지를 받은 클라이언트(즉, HMD 단말)는 본래 기준 FOV로 출력함으로써 '이번 프레임의 회전값 - 이전 프레임의 회전값' 만큼의 오차에서 '이번 프레임의 회전변화량 - 이전 프레임의 회전변화량' 이하로 블랫엣지(Black-Edge)를 최소화하는 품질 향상을 꾀할 수 있다.
예를 들어, 균일하게 초당 10도의 수평 움직임이 발생하는 상황에서 본 발명에 따른 적응적인 FOV 렌더링 방법을 통해 적응형 투영을 수행하는 경우 '이번 프레임의 회전값 - 이전 프레임의 회전값' = 10.16degree - 10degree = 0.16degree에 해당하고, '이번 프레임의 회전변화량 - 이전 프레임의 회전변화량' = (약 10.16degree - 약 10degree) - (약 10degree - 약 9.84degree) = 약 0에 해당한다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: FOV 렌더링 시스템
110: HMD 단말 130: 렌더링 서버
210: 기준 FOV 결정부 220: 움직임 정보 수집부
230: 움직임 예측부 240: 가변 FOV 결정부
250: 영상 렌더링부 260: 영상 전송부
270: 영상 재생부
510: 뷰 평면 530: 초점 거리
550: FOV

Claims (6)

  1. 기본 출력에 사용될 기준 FOV를 결정하는 단계;
    HMD 단말로부터 제1 단위 시간 동안 사용자의 움직임 정보를 수집하는 단계;
    상기 움직임 정보를 기초로 상기 제1 단위 시간에 연속하는 제2 단위 시간 동안의 움직임 변화를 예측하는 단계;
    상기 기준 FOV와 상기 움직임 변화를 기초로 상기 제2 단위 시간 동안의 가변 FOV를 결정하는 단계;
    상기 가변 FOV에 따라 레스터라이즈 이미지를 렌더링하는 단계; 및
    상기 레스터라이즈 이미지를 인코딩하여 상기 HMD 단말에 전송하는 단계를 포함하는 적응적인 FOV 렌더링 방법.
  2. 제1항에 있어서, 상기 기준 FOV를 결정하는 단계는
    상기 기준 FOV를 60도로 결정하는 단계를 포함하는 것을 특징으로 하는 적응적인 FOV 렌더링 방법.
  3. 제1항에 있어서, 상기 움직임 정보를 수집하는 단계는
    상기 HMD 단말의 방향(orientation)에 관한 사원수(quaternion)를 상기 움직임 정보로서 수집하는 단계를 포함하는 것을 특징으로 하는 적응적인 FOV 렌더링 방법.
  4. 제3항에 있어서, 상기 움직임 변화를 예측하는 단계는
    상기 사원수를 기초로 상기 제1 단위 시간에 대한 사원수의 제1 차수를 산출하고 상기 제1 차수를 기초로 다음의 수학식을 통해 상기 제2 단위 시간에 대한 제2 차수를 산출하는 단계를 포함하는 것을 특징으로 하는 적응적인 FOV 렌더링 방법.
    [수학식]
    dn+1 = ((tn - tn-1) / ta) * dn

    (여기에서, dn+1은 틱 n+1의 사원수의 차수, tn은 n 프레임의 사원수가 수집된 시간, tn-1은 n-1 프레임의 사원수가 수집된 시간, ta는 평균 틱 사이의 시간차, dn은 틱 n의 사원수의 차수에 해당한다.)
  5. 제4항에 있어서, 상기 가변 FOV를 결정하는 단계는
    상기 제2 차수를 기초로 상기 움직임 변화에 관한 회전의 절대량을 결정하는 단계; 및
    상기 기준 FOV와 상기 절대량를 합산하여 상기 가변 FOV를 결정하는 단계를 포함하는 것을 특징으로 하는 적응적인 FOV 렌더링 방법.
  6. 제1항에 있어서,
    상기 HMD 단말을 통해 상기 레스터라이즈 이미지를 디코딩하고 기준 FOV에 따라 렌더링 이미지를 생성하여 재생하는 단계를 더 포함하는 것을 특징으로 하는 적응적인 FOV 렌더링 방법.
KR1020210062852A 2021-05-14 2021-05-14 적응적인 fov 렌더링 방법 KR102528175B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210062852A KR102528175B1 (ko) 2021-05-14 2021-05-14 적응적인 fov 렌더링 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210062852A KR102528175B1 (ko) 2021-05-14 2021-05-14 적응적인 fov 렌더링 방법

Publications (2)

Publication Number Publication Date
KR20220155071A true KR20220155071A (ko) 2022-11-22
KR102528175B1 KR102528175B1 (ko) 2023-05-04

Family

ID=84236381

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210062852A KR102528175B1 (ko) 2021-05-14 2021-05-14 적응적인 fov 렌더링 방법

Country Status (1)

Country Link
KR (1) KR102528175B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101591427B1 (ko) 2014-04-28 2016-02-15 (주)이지스 3차원 지형 영상 가시화에서의 적응형 렌더링 방법
KR20170034602A (ko) * 2015-09-21 2017-03-29 삼성전자주식회사 헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치
KR102166158B1 (ko) * 2018-12-19 2020-10-15 (주)이머시브캐스트 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101591427B1 (ko) 2014-04-28 2016-02-15 (주)이지스 3차원 지형 영상 가시화에서의 적응형 렌더링 방법
KR20170034602A (ko) * 2015-09-21 2017-03-29 삼성전자주식회사 헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치
KR102166158B1 (ko) * 2018-12-19 2020-10-15 (주)이머시브캐스트 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템

Also Published As

Publication number Publication date
KR102528175B1 (ko) 2023-05-04

Similar Documents

Publication Publication Date Title
CN112020858B (zh) 利用感兴趣区域的确定的异步时间和空间扭曲
Qian et al. Toward practical volumetric video streaming on commodity smartphones
CN112104879B (zh) 一种视频编码方法、装置、电子设备及存储介质
Gül et al. Low-latency cloud-based volumetric video streaming using head motion prediction
CN101622876B (zh) 用于提供个人视频服务的系统和方法
AU2021202099B2 (en) Systems and methods for encoder-guided adaptive-quality rendering
Gül et al. Kalman filter-based head motion prediction for cloud-based mixed reality
US11778199B2 (en) Systems and methods for deferred post-processes in video encoding
US20160360206A1 (en) Rate controller for real-time encoding and transmission
KR20200011000A (ko) 증강 현실 프리뷰 및 위치 추적을 위한 장치 및 방법
Gül et al. Cloud rendering-based volumetric video streaming system for mixed reality services
KR20190011212A (ko) 출력면을 제공하는 방법 및 데이터 처리 시스템
JP6066755B2 (ja) 描画処理装置および描画処理方法
KR102528175B1 (ko) 적응적인 fov 렌더링 방법
US20230360272A1 (en) Multi-plane image compression
US20220284681A1 (en) Cloud vr device for motion-to-photon (mtp) latency reduction
KR102460474B1 (ko) 화면 떨림 감소를 위한 클라우드 vr 장치
KR102374241B1 (ko) 화질 향상을 위한 적응적 영상 송신 방법 및 시스템
US20240144537A1 (en) Data processing method and system, and electronic device
JP4441865B2 (ja) 画像処理方法および画像処理装置、並びに、プログラムおよびプログラム記録媒体
CN112203073A (zh) 一种适用于vr实时渲染应用的异步帧外插管线方法和系统
WO2023217867A1 (en) Variable resolution variable frame rate video coding using neural networks
CN113597765A (zh) 用于编码伪像的帧叠层

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right