KR102476057B1

KR102476057B1 - 클라우드 가상 현실을 위한 imu 센서 데이터를 활용한 비디오 인코딩 및 디코딩 가속 방법 및 장치

Info

Publication number: KR102476057B1
Application number: KR1020227010529A
Authority: KR
Inventors: 손주형; 파탄 아디 프라나야; 곽진삼; 윤지훈
Original assignee: 주식회사 윌러스표준기술연구소; 서울과학기술대학교 산학협력단
Priority date: 2019-09-04
Filing date: 2020-09-03
Publication date: 2022-12-09
Also published as: KR20220044879A; US20220232209A1; WO2021045536A1; US11792392B2; US11546582B2; US20220182605A1

Abstract

클라우드 VR(Virtual Reality) 비디오의 인코딩 가속 방법은, 현재 프레임의 인코딩을 위한 참조 프레임 후보를 구성하는 단계; IMU(Inertial Measurement Unit)의 센서 데이터에 기초하여 상기 참조 프레임 후보 중 특정 참조 프레임을 선택하는 단계; 상기 특정 참조 프레임에 포함된 정보에 기초하여 상기 현재 프레임을 인코딩하기 위한 예측 모드를 선택하는 단계; 및 상기 선택된 예측 모드에 기초하여 상기 현재 프레임을 인코딩하는 단계를 포함한다.

Description

클라우드 가상 현실을 위한 IMU 센서 데이터를 활용한 비디오 인코딩 및 디코딩 가속 방법 및 장치

클라우드 가상 현실(Virtual Reality, VR) 시스템에서 VR 콘텐츠는 고해상도 영상이 필요하며 클라우드 VR에서 네트워크를 통해 전송되기 전에 인코딩되어야 한다. 인코딩 과정은 클라우드 VR에서 많은 연산 부담과 처리 시간이 소요되는 과정 중 하나이다. 따라서 클라우드 VR은 클라우드 VR 시스템의 총 지연시간을 최소화하기 위해 빠른 비디오 인코딩 방법 및 장치가 필요하다.

최근 몇 년 동안 많은 빅테크 회사들이 가상 현실 (Virtual Reality, VR)에서 큰 발전을 이루고 있다. 그러나 지금까지 이러한 모든 큰 발전들에도 불구하고 아직까지 VR 기기의 높은 가격으로 인해 사용자에 대한 접근성이 떨어지는 문제가 있다. 대중 사용자들 사이에서 VR을 대중화하는 데 있어 가장 큰 장애물 중 하나는 기기 비용이다.

오늘날 VR의 높은 가격을 해결할 수 있는 방법 중 하나로 클라우드 게임의 기술을 활용하는 방법이 있다. 클라우드 게임은 서버 측에서 게임 콘텐츠를 렌더링한 다음 렌더링 된 영상을 사용자의 원격 디스플레이에 직접 비디오 스트리밍하는 개념이다. 이를 적용한 기법이 클라우드 VR이다.

비디오 인코딩 또는 비디오 압축은 일반적으로 원하는 응용 프로그램 및 디스플레이 하드웨어와의 호환성 및 효율성을 위해 디지털 비디오 형식을 한 표준에서 다른 표준으로 변경하는 프로세스이다. 제한된 전송 대역폭으로 인해 비디오 압축은 클라우드 VR에서 매우 중요하다. VR 콘텐츠는 클라이언트로 전송되기 전에 최대한 효율적으로 압축해야 한다. 그러나 비디오 압축은 처리 시간을 필요로 한다. 압축 수준이 높을수록 더 많은 시간이 걸립니다. 비디오의 압축률에 영향을 미치는 프로세스 중 하나는 모션 추정 프로세스이다.

모션 추정(Motion Estimation, ME)은 현재 프레임의 블록에 대해 참조 프레임에서 가장 잘 일치하는 블록의 변위를 모션 벡터(Motion Vector, MV) 형태로 찾는 기법이다. 움직임 벡터 차이(MV와 주변 블록 MV 예측의 차이)와 예측 레지듀얼(현재 블록의 픽셀별 신호 값과 참조 블록의 픽셀별 신호 값과의 차이)만을 계산하여 인코딩함으로써 많은 비트를 절약할 수 있어 영상 압축률이 높아진다.

하드웨어 가속 비디오 인코더는 하드웨어 기반으로 가속된 비디오 인코딩 기능을 제공하는 특정 하드웨어 칩셋이다. 인코딩이 별도 하드웨어로 오프로드되면 CPU는 다른 작업에 사용될 수 있다. 비디오 인코딩을 위한 GPU 하드웨어 가속 엔진은 실시간 비디오 처리에서 매우 빠른 속도를 지원하므로 클라우드 VR 스트리밍 애플리케이션에 사용하기에 적합하다. Nvidia의 기존 하드웨어 가속 비디오 인코더 중 하나는 NVIDIA Video Codec SDK(구 NVENC)로 불린다.

본 발명은 IMU(Inertial Measurement Unit) 센서 데이터를 이용한 효율적인 비디오 인코딩/디코딩 방법을 제공한다.

본 발명은 다음과 같은 비디오 인코딩 가속 방법 및 인코딩 가속 장치를 제공한다.

먼저, 본 발명의 일 실시예에 따른 클라우드 VR(Virtual Reality) 영상의 인코딩 가속 방법에 있어서, 현재 프레임의 인코딩을 위한 참조 프레임 후보를 구성하는 단계; IMU(Inertial Measurement Unit)의 센서 데이터에 기초하여 상기 참조 프레임 후보 중 특정 참조 프레임을 선택하는 단계; 상기 특정 참조 프레임에 포함된 정보에 기초하여 상기 현재 프레임을 인코딩하기 위한 예측 모드를 선택하는 단계; 및 상기 선택된 예측 모드에 기초하여 상기 현재 프레임을 인코딩하는 단계를 포함한다.

상기 IMU에는 가속도계, 자이로스코프 및 자력계가 포함된다.

상기 참조 프레임 후보의 회전 방향과 상기 현재 프레임의 회전 방향이 동일하다.

상기 특정 참조 프레임은 상기 참조 프레임 후보 중 현재 프레임으로부터 최소 유클리드 거리를 갖는 프레임이다.

상기 특정 참조 프레임의 롤(Roll)과 상기 현재 프레임의 롤 간의 차이는 기 설정된 임계 값보다 작다.

상기 참조 프레임 후보는 탐색 영역 내의 중심점을 가지는 하나 이상의 프레임으로 구성되고, 상기 탐색 영역은 현재 프레임의 높이의 2배, 현재 프레임의 너비의 2배에 해당한다.

상기 특정 참조 프레임에 포함된 정보에 기초하여 상기 현재 프레임을 인코딩하기 위한 예측 모드를 선택하는 단계는, 상기 현재 프레임의 특정 현재 블록에 대응하는 상기 특정 참조 프레임의 특정 참조 블록을 선택하는 단계; 상기 특정 참조 블록의 움직임 벡터에 기초하여 상기 특정 현재 블록을 인코딩하는 단계를 포함한다.

상기 특정 참조 블록은 현재 프레임과 상기 특정 참조 프레임 사이의 중첩 영역의 블록들 중 하나이다.

상기 특정 참조 블록은 상기 중첩 영역의 블록들의 SAD (Sum of Absolute Difference) 중 가장 작은 SAD를 가지는 블록이고, 상기 SAD는 상기 중첩 영역의 블록들 중 왼쪽 상단 블록으로부터 계산된다.

클라우드 VR(Virtual Reality) 영상의 인코딩 가속 방법을 수행하는 인코딩 가속 장치에 있어서, 프로세서를 포함하고, 상기 프로세서는, 현재 프레임의 인코딩을 위한 참조 프레임 후보를 구성하고, IMU(Inertial Measurement Unit)의 센서 데이터에 기초하여 상기 참조 프레임 후보 중 특정 참조 프레임을 선택하고, 상기 특정 참조 프레임에 포함된 정보에 기초하여 상기 현재 프레임을 인코딩하기 위한 예측 모드를 선택하며, 상기 선택된 예측 모드에 기초하여 상기 현재 프레임을 인코딩한다.

상기 특정 참조 프레임은 상기 참조 프레임 후보 중 상기 현재 프레임으로부터 최소 유클리드 거리를 갖는 프레임이다.

상기 참조 프레임 후보는 탐색 영역 내의 중심점을 가지는 하나 이상의 프레임으로 구성되고, 상기 탐색 영역은 상기 현재 프레임의 높이의 2배, 상기 현재 프레임의 너비의 2배에 해당한다.

상기 프로세서는, 상기 현재 프레임의 특정 현재 블록에 대응하는 상기 특정 참조 프레임의 특정 참조 블록을 선택하고, 상기 특정 참조 블록의 움직임 벡터에 기초하여 상기 특정 현재 블록을 인코딩한다.

상기 특정 참조 블록은 상기 중첩 영역의 블록들의 SAD(Sum of Absolute Difference) 중 가장 작은 SAD를 가진 블록이고, 상기 SAD는 상기 중첩 영역의 블록들 중 왼쪽 상단 블록으로부터 계산된다.

제안된 솔루션은 클라우드 VR(Virtual Reality) 스트리밍을 위한 비디오 인코딩을 가속화 한다.

제안된 솔루션은 보다 정확한 비디오 프레임 예측을 통해 더 높은 비디오 품질과 압축률을 제공한다.

제안된 솔루션은 소프트웨어 기반 인코더의 속도를 높여 기존 HMD(Head Mounted Display)와 하위 호환성이 높아 클라우드 VR에 적용 가능하다.

제안된 솔루션은 하드웨어 가속 인코더에도 적용하여 성능을 향상시킬 수 있다.

제안된 솔루션은 비동기 타임워프의 결과로 화면의 "여백"을 줄일 수 있다.

제안된 솔루션은 클라이언트 측에서 수신한 비디오 프레임을 효율적으로 디코딩할 수 있다.

도 1은 클라우드 VR 시스템 아키텍처를 보여준다.
도 2는 비디오 인코딩에서의 움직임 탐색 과정을 보여준다.
도 3은 x264에 대한 NVENC 성능 향상을 보여준다.
도 4는 전체 솔루션 아키텍처를 보여준다.
도 5는 제안된 솔루션에 대한 세부 절차를 보여준다.
도 6은 Madgwick IMU 센서 융합 알고리즘을 보여준다.
도 7은 프레임 B의 방향이 프레임 A와의 정렬에서

축 주위의 각도 θ인 회전에 의해 달성되었음을 보여준다.
도 8은 (x, y, z 축)에서 가상 세계의 원점을 보여준다.
도 9는 IMU 데이터에 기초한 참조 픽처 선택을 나타낸다.
도 10은 탐색 영역과 롤 방향 요소 검증을 보여준다.
도 11은 피치 및 요 헤드 움직임 IMU 센서 추적 측정을 보여준다.
도 12는 인코딩 예측 프로세스의 3가지 조건을 나타낸다: (a) 완전한 인터 모드, (b) 부분적으로 인터 및 인트라 모드, (c) 완전한 인트라 모드.
도 13은 모션 탐색 시작점 결정 과정을 나타낸다.
도 14는 현재 처리된 프레임과 참조 프레임 사이의 중첩 영역을 나타낸다.
도 15는 인코딩 과정에서 움직임 벡터 탐색 방향을 나타낸다.
도 16은 x-성분을 나타낸다: (a)

(b)

.
도 17은 y-성분을 나타낸다: (a)

(b)

.
도 18은 움직임 탐색 알고리즘에서 탐색 창 크기를 나타낸다.
도 19는 탐색 윈도우 크기를 결정하는 예를 도시한다.
도 20은 높은 우선순위 블록과 낮은 우선순위 블록을 나타낸다.
도 21은 우선순위 기반 블록 전송 큐를 나타낸다.
도 22는 실제 시야(Field of view, FoV) 계산을 보여준다.
도 23은 참조 블록 재사용 제한을 보여준다.
도 24는 비디오 프레임에서 블록의 두 가지 범주를 보여준다.
도 25는 우선순위 기반 블록 복호화 및 비동기 시간 왜곡을 나타낸다.

클라우드 가상 현실(Virtual Reality, VR) 시스템에 클라우드 게임 기술을 적용하면 고급 PC 없이도 VR 콘텐츠를 체험하고 즐길 수 있다. 고성능 컴퓨터를 서버로 활용하여 VR 콘텐츠를 생성하고 씬 클라이언트에 스트리밍하는 클라우드 VR은 VR의 광범위한 도입을 위한 유망한 솔루션 중 하나이다. 도 1은 클라우드 VR 시스템 아키텍처를 보여준다.

그러나 이 클라우드 VR 솔루션에는 몇 가지 한계와 약점이 있다. 클라이언트/서버 기반 시스템이므로 콘텐츠 처리 및 전송을 위한 약간의 추가 지연시간(latency)이 있다. VR 시스템의 지연시간(모션-투-포톤 레이턴시(motion-to-photon latency))는 훌륭한 VR 경험과 사용자의 메스꺼움을 줄이기 위해 20ms 미만이어야 한다. 따라서 클라우드 VR에서는 전체 모션-투-포톤 레이턴시를 최소화하기 위해 실시간 컴퓨터 그래픽(Computer Graphic, CG) 렌더링 및 렌더링된 이미지의 인코딩(압축 부호화)을 극히 짧은 시간 내에 처리해야 한다.

비디오 인코딩 및 압축

일반적인 모션 추정(Motion Estimation, ME)은 모션 벡터 예측자(Motion Vector Predictor, MVP) 결정, 정수 화소 모션 탐색 및 분수 화소(하프 및 쿼터) 모션 탐색을 포함하는 세 가지 단계로 구성된다. 정수 픽셀 모션 탐색은 비디오 인코딩에서 가장 중요하고 시간이 많이 소요되는 부분이다. 탐색 범위 내의 모든 블록을 탐색하고 가장 잘 일치하는 정수 모션 벡터 위치를 찾는다. 이는 전체 인코딩 시간의 50% 이상을 차지한다. 정수 모션 탐색은 탐색 창 위치(탐색 시작점) 및 탐색 창 크기에 크게 영향을 받는다. 도 2는 비디오 인코딩에서 모션 탐색 프로세스를 보여준다.

기술적으로 탐색 창 배치는 MVP들이 얼마나 정확한지에 의해 영향을 받는다. MVP들은 움직임 추정 과정의 탐색 시작점 결정 중 하나로 사용된다. 또한 탐색 창 크기도 비디오 인코더의 성능에 큰 영향을 준다. 더 큰 창 크기로 인코딩 프로세스. 탐색 창이 큰 인코딩 프로세스는 압축률이 높지만 프로세스 시간이 오래 걸리고 CPU 작업 부하가 크며 그 반대의 경우도 마찬가지이다. 따라서 탐색 창 크기와 시작점의 결정은 움직임 추정 과정에서 인코더의 성능에 중요한 역할을 한다.

일반적인 모션 추정(ME)은 모션 벡터 예측자(MVP) 결정, 정수 화소 모션 탐색 및 분수 화소(하프 및 쿼터) 모션 탐색을 포함하는 세 가지 주요 단계로 구성된다. 정수 픽셀 모션 탐색은 비디오 인코딩에서 가장 중요하고 시간이 많이 소요되는 부분이다. 탐색 범위 내의 모든 블록을 탐색하고 가장 잘 일치하는 정수-펠 위치를 찾는다. 전체 인코딩 시간의 50% 이상을 차지한다. 정수-펠 탐색은 탐색 창 위치(탐색 시작점) 및 탐색 창 크기에 크게 영향을 받는다. 도 2는 비디오 인코딩에서 모션 탐색 프로세스를 보여준다.

기술적으로 탐색 창 배치는 MVP가 얼마나 정확한지에 의해 영향을 받는다. MVP는 움직임 추정 과정의 탐색 시작점 결정 중 하나로 사용된다. 또한 탐색 창 크기도 비디오 인코더의 성능에 큰 영향을 준다. 더 큰 창 크기로 인코딩 프로세스. 탐색 창이 큰 인코딩 프로세스는 압축률이 높지만 프로세스 시간이 오래 걸리고 CPU 작업 부하가 크며 그 반대의 경우도 마찬가지이다. 따라서 탐색 창 크기와 시작점의 결정은 움직임 추정 과정에서 인코더의 성능에 중요한 역할을 한다.

기술적으로 탐색 창 배치는 MVP가 얼마나 정확한지에 영향을 받는다. MVP는 움직임 추정 과정의 탐색 시작점 결정에 사용된다. 또한 탐색 창 크기도 비디오 인코더의 성능에 큰 영향을 준다. 큰 탐색 창을 사용하는 인코딩 프로세스는 압축률이 높지만 프로세스 시간이 오래 걸리고 CPU 작업 부하가 크다. 따라서 탐색 창 크기와 시작점의 결정은 움직임 추정 과정에서 인코더의 성능에 중요한 역할을 한다.

하드웨어 가속 비디오 인코더

다음은 소프트웨어 기반 인코더인 x264를 기반으로 한 NVENC의 성능 향상에 대해 설명한다. 도 3은 NVENC가 x264에 비해 더 나은 성능을 보여준다. 그래프는 NVENC 성능이 느린 사전 설정(Preset)보다 빠른 사전 설정(Preset)에서 개선되는 경향을 보여준다. 그러나 NVENC의 성능은 비디오 해상도가 높아짐에 따라 크게 떨어진다. 720p 해상도의 경우 NVENC는 800FPS 이상을 생성하지만 더 큰 해상도(1080p)에서는 성능이 약 350FPS로 두 배 이상 감소한다.

반면 가상현실은 초고해상도(4K)와 90FPS 이상의 높은 FPS를 요구한다. 그래프의 추세를 기반으로 예측하면 VR에 필요한 해상도에 대해 NVENC 성능이 약 60-70FPS로 감소한다. 따라서 이것은 하드웨어 가속 비디오 인코더가 VR의 높은 사용자 경험의 최소 요구 사항을 여전히 수용할 수 없음을 증명한다.

클라우드 VR 시스템에서 고해상도 비디오 VR 콘텐츠가 필요하며 클라우드 VR에서 네트워크를 통해 전송되기 전에 인코딩되어야 한다. 인코딩 과정은 클라우드 VR에서 많은 연산 부담과 처리 시간이 소요되는 과정 중 하나이다. 비디오 인코더의 속도와 성능은 클라우드 VR 시스템의 총 지연시간을 줄이는데 매우 중요하다. 현재 압축률이 큰 비디오 인코더 솔루션이 많이 있다. 그러나 이러한 솔루션들은 여전히 매우 짧은 시간에 매우 높은 해상도의 VR 콘텐츠를 처리할 수는 없다. 따라서 클라우드 VR은 시스템의 총 지연시간을 최소화하기 위해 여전히 빠른 비디오 인코딩이 필요하다.

비디오 인코더의 성능을 개선하기 위한 한 가지 솔루션은 VR 관련 정보를 인코딩 프로세스에 활용하는 것이다. VR에서 IMU는 사용자 머리의 회전을 추적하고, 피치(Pitch), 요(Yaw) 및 롤(Roll)의 회전 운동을 측정하는 역할을 한다. 이 회전 운동 측정의 결과는 가상 세계에서 3D 개체를 변환하는 데 사용된다. 이러한 회전 운동은 사용자가 HMD(Head Mounted Display)를 움직일 때 가상 세계에서의 변화나 움직임을 만든다.

그러나 현재 IMU는 가상 세계에서 3D 개체를 변환하는 데만 사용된다. IMU에 의해 생성된 회전 운동과 생성된 VR 장면 사이에는 상관관계가 있다. 생성된 VR 장면은 클라이언트로 전송되기 전에 인코딩 및 압축되어야 한다. 따라서 VR 장면과 이를 구성하는 IMU 데이터 간의 상관관계를 활용하여 IMU를 추가 정보로 사용하여 클라우드 VR 시스템에서 비디오 인코딩 성능을 향상시킬 수 있다.

위에서 설명한 것처럼 VR 인코딩 프로세스에서 성능을 향상시킬 수 있는 몇 가지 방법이 있을 수 있다. 방향 추적에만 주로 사용되는 IMU 데이터도 인코딩 프로세스의 성능을 향상시키는 데 활용할 수 있다. 일부 불필요한 프로세스를 제거하여 계산 비용을 줄일 수 있다. 클라이언트 측에서는 IMU 데이터를 활용하여 디코딩 프로세스의 성능을 향상시킬 수 있다. 디코딩 프로세스가 인코딩 프로세스만큼 시간이 오래 걸리지는 않지만 작은 개선이라도 여전히 전체 클라우드 VR 시스템에 주목할만한 영향을 준다.

VR HMD의 IMU 데이터를 활용하여 클라우드 VR에서 비디오 인코더 및 디코더의 성능을 최적화할 수 있는 솔루션을 제안한다. 도 4는 전체 솔루션 아키텍처를 보여준다.

클라이언트 측의 VR HMD는 IMU에서 읽은 센서 판독 값과 시선 추적 데이터를 서버로 전송한다. 서버 측에서 VR 렌더러는 IMU 데이터를 기반으로 가상 세계의 VR 이미지를 생성한다. 그 후, 렌더링된 VR 이미지는 클라이언트 측으로 전송되기 전에 비디오 인코더에 의해 인코딩되고 압축된다. 논의한 바와 같이 클라우드 VR 시스템의 총 지연시간을 줄이기 위해서는 인코딩 프로세스의 성능과 속도를 높이는 것이 매우 중요하다. 본 특허에서는 IMU 데이터를 추가 정보로 활용하여 인터 예측 프로세스에서 모션 탐색의 오버헤드를 줄여 클라우드 VR에서 비디오 인코딩 속도를 향상시키는 방안을 제안한다.

비디오 인코딩 프로세스를 위한 IMU 데이터 활용은 4가지 개선 부분으로 구성된다.

1. 프레임 간 참조 픽처 선택을 결정,

2. 예측 방법 결정 (인트라 예측 또는 인터 예측),

3. 모션 탐색 시작점을 결정,

4. 모션 탐색 창 크기를 결정한다.

클라이언트 측에서는 우선 순위에 따라 비디오 프레임 블록을 수신하고 디코딩한다. 각 블록의 우선 순위는 전송되기 전에 서버 측에서 결정된다. 블록의 우선 순위는 블록이 이전 비디오 프레임에서 인코딩되었는지 여부에 따라 결정된다. 이전 비디오 프레임에서 인코딩된 적이 없는 블록은 이전에 인코딩된 다른 블록보다 높은 우선 순위를 받는다.

클라이언트 측에서 IMU 데이터 활용은 2가지 개선 부분으로 구성된다.

1. 우선순위 기반 블록 전송 및 디코딩 프로세스,

2. 비동기식 타임워프 프로세스 향상.

이 섹션에서는 발명에 대한 자세한 절차를 설명한다. 도 5는 제안된 솔루션에 대한 세부 절차를 보여준다.

인코딩 향상

방향 추정 및 센서 융합

관성 측정 장치(Inertial Measurement Unit, IMU)는 가속도계, 자이로스코프 및 자력계로 구성된 전자 센서이다. 장치의 각속도, 가속도계 및 중력을 측정한다. VR에서 IMU는 HMD의 회전 추적을 수행하는 데 사용된다. 회전 운동과 피치, 요 및 롤의 방향을 측정한다. 이 정보는 가상 세계에서 3D 개체를 변환하는 기초로 사용된다.

IMU 센서 데이터를 가상 현실에서 사용하기 전에 방향 값으로 전처리해야 한다. 자이로스코프는 초기 조건이 알려진 경우 시간이 지남에 따라 통합되어 센서의 방향을 계산할 수 있는 각속도를 측정한다. 자이로스코프 측정 오류를 통합하면 계산된 방향에 누적 오류가 발생한다. 따라서 자이로스코프만으로는 절대 방향 측정을 제공할 수 없다.

가속도계와 자력계는 각각 지구의 중력장과 자기장을 측정하여 방향의 절대 기준을 제공한다. 그러나 높은 수준의 소음에 노출될 수 있다. 예를 들어, 움직임으로 인한 가속은 측정된 중력 방향을 손상시킨다. 방향 필터의 작업은 자이로스코프, 가속도계 및 자력계 측정의 최적 융합을 통해 방향의 단일 추정치를 계산하는 것이다.

칼만 필터는 대부분의 오리엔테이션 필터 알고리즘의 기본이 되었지만 칼만 기반 솔루션은 계산 부하 및 복잡성과 관련하여 여러 가지 단점이 있다. Sebastian Madgwick은 칼만 필터 기반 접근 방식과 관련된 계산 부하 및 복잡성 문제를 해결하는 효율적인 방향 필터 알고리즘을 개발했다. 전체 알고리즘 프로세스는 도 6에서 볼 수 있다. 일반적으로 알고리즘에는 세 가지 주요 프로세스가 있다. 첫 번째 프로세스는 자이로스코프 측정 결과의 각속도(

)를 활용하는 쿼터니언 미분 적분을 사용하여 방향을 계산한다. 두 번째 프로세스는 가속도계(

)와 자력계(

)의 측정 결과를 입력으로 결합하여 기울기 하강 알고리즘을 사용하여 방향을 추정한다. 첫 번째 및 두 번째 프로세스는 각각 지구 프레임에 대한 센서 프레임의 두 가지 방향 추정 (

,

)을 유도한다. 마지막으로 필터 융합 알고리즘을 사용하여 이전 두 프로세스에서 추정된 방향 결과의 융합을 통해 최적의 추정된 방향(

)을 계산한다.

Madgwick 알고리즘은 3차원에서 방향의 결합된 특성을 설명하기 위해 방향의 쿼터니언 표현을 사용한다. 쿼터니언은 3차원 공간에서 능선 또는 좌표 프레임의 방향을 나타내는 데 사용할 수 있는 4차원 복소수이다. 프레임 A에 대한 프레임 B의 특정 방향은 프레임 A에 정의된 축

을 중심으로 각도 θ의 회전을 통해 달성할 수 있다(도 7). 이 방향을 설명하는 쿼터니언

은 수학식 1로 정의된다.

오일러 각

, φ 및 ψ는 프레임 A와의 정렬에서 ψ주위

, θ주위

및

주위

의 순차적 회전에 의해 달성되는 프레임 B의 방향을 설명한다. 이 오일러 각 표현은 수학식 2, 3 및 4로 정의된다.

프레임 계산의 중심점

IMU 데이터는 각 VR 이미지의 식별자로 사용되며, 보다 구체적으로 VR 이미지의 중심점의 좌표 위치가 각 VR 이미지의 식별자로 사용된다. 첫째, 가상 세계의 원점을 (0, 0, r)으로 정의한다. 여기서 r은 사용자와 가상 세계 사이의 가상 거리이다. 이 원점은 도 8과 같이 설명할 수 있다.

다음 단계는 VR 이미지의 중심점을 계산하는 것이다. 이것은 수학식 5로 표현된 특정 VR 영상의 방향에서 파생된 회전 행렬로 원점 위치를 회전함으로써 수행될 수 있다. 회전 행렬

은 수학식 6으로 표현된 방향 정보

에서 파생될 수 있다.

원점에 적용되는 회전 행렬로

는 시간 t에서의 3D 좌표 위치 동안 원점에 대한 시간 t에서의 방향 정보이다.

,

참조 픽처 선택

비디오 인코딩 과정에서 일부 픽처는 다른 픽처를 인코딩할 때 참조 픽처로 사용될 수 있다. 이 참조 픽처는 높은 코딩 효율을 위해 비디오 신호 간의 중복성을 제거하는데 매우 중요하다. VR 이미지는 HMD의 IMU 데이터를 기반으로 렌더링된다. 렌더링된 VR 이미지와 IMU 데이터 간에 강력한 상관 관계가 있어야 한다. 이를 활용하여 본 특허에서는 비디오 인코딩의 정확도와 속도를 향상시키고자 한다.

비디오 인코딩의 주요 프로세스 중 하나는 참조 픽처 선택이다. 현재 처리된 비디오 프레임이 참조로 사용할 가장 적합한 인코딩된 비디오 프레임을 선택하는 과정이다. 먼저 렌더링된 VR 이미지는 생성에 사용된 IMU 데이터를 기반으로 고유한 식별자로 표현된다. 위에서 설명한 대로 VR 이미지의 중심점을 식별자로 선택한다. 그 후, VR 이미지 중심점을 기반으로 결정된 탐색 영역 내에서 주변 인코딩된 이미지의 n개의 가장 가까운 중심점을 탐색하여 탐색 프로세스를 보다 효율적으로 만든다. 기준 좌표계의 후보를 결정하기 전에 각 기준 좌표계에서 롤 방향 구성 요소를 검증해야 한다. 롤 방향 구성 요소 유효성 검사 후에는 현재 처리된 프레임과 동일한 회전 방향을 가진 참조 프레임 후보만 남게 된다. 마지막으로 현재 처리된 프레임과 참조 프레임 후보 사이의 최소 유클리드 거리를 찾아 IMU 데이터를 기반으로 최상의 참조 프레임을 결정한다. IMU 데이터를 기반으로 한 참조 픽처 선택의 전체 프로세스는 도 9와 같이 나타내어질 수 있다.

초기에는 이미 인코딩된 비디오 프레임이 여러 개 있을 수 있다. 각 비디오 프레임은 이미 가상 세계 좌표계의 중심점과 연결되어 있다. 처리 오버헤드를 최소화하기 위해 먼저 주변 인코딩된 프레임의 중심점이 탐색 영역 내에 있는지 확인한다. 탐색 영역은 비디오 프레임의 너비와 높이의 2배로 결정된다. 도 10에 나타내어진 바와 같이 프레임 A는 현재 처리된 프레임이고 프레임 B, 프레임 C, 프레임 D는 참조 프레임으로 사용할 수 있는 인코딩된 프레임이다.

참조 화상 선택을 위한 탐색 과정은 탐색 영역 내 중심점을 갖는 주변의 인코딩된 프레임만을 처리한다. 중심점이 탐색 영역 밖에 있는 프레임은 해당 프레임과 현재 프레임 사이에 교차/중첩 영역이 없기 때문에 추가 프로세스가 필요하지 않다. 예를 들어, 도 10에서 프레임 B는 프레임 A에 대한 적절한 참조 프레임이다. 프레임 D와 프레임 C는 스캔 영역 내에 있지 않는 반면 B는 스캔 영역 내에 있기 때문이다.

또한 프레임 D의 회전 방향이 프레임 A와 다르기 때문에 프레임 D도 A에 대한 좋은 참조 프레임이 아니다. 현재 인코딩 기술은 여전히 2D 공간(x-y 축)에서 비디오 프레임의 변환만 지원한다. 그러나 롤 축의 머리 이동 유형은 비디오 프레임의 회전을 유발한다. 따라서 참조 사진 선택 과정에서 롤 방향 성분의 검증이 필요하다.

머리의 움직임 유형은 각 방향 구성 요소 자체의 값에 따라 구분할 수 있다. 예를 들어, 피치 전용 움직임은 피치(

) 구성 요소만 크기만 있고 다른 구성 요소는 0이다. 이를 증명하기 위해 우리는 피치 전용 및 요 전용 움직임에 대한 방향 추적 측정을 수행하여 이러한 움직임에 롤 구성 요소 효과가 있는지 확인했다.

측정 결과인 도 11에 따르면, 피치 전용 및 요 전용 이동 모두에서 z축(롤 구성 요소)을 중심으로 작은 회전이 있음을 보여준다. 요만 움직일 때 평균 1.9도의 롤 성분이 있고 최대 14도의 회전이 발생한다. 또한 피치만 움직일 때도 z축을 중심으로 평균 4.18도 회전하며 최대 20도까지 회전한다. 이 측정의 결과는 한 방향에서 피치만 움직이는 것과 같은 머리 움직임 유형에서 다른 축에서 여전히 약간의 회전이 있음을 보여준다. 따라서 본 발명에서는 롤 구성요소에 대한 임계 값(

)으로 20도를 설정한다.

이 임계 값은 참조 프레임을 현재 처리된 프레임에 대한 참조로 사용해야 하는지 여부를 결정하는 데 사용된다. 먼저, 현재 처리된 프레임과 참조 프레임 사이의 롤 성분의 차이를 계산한다. 그 후 이 값은 지정된 임계 값과 비교된다. 값이 여전히 임계 값 미만인 경우 프레임은 여전히 참조 프레임의 후보로 사용될 수 있다. 그러나 구성 요소 롤의 차이가 임계 값을 초과하는 경우 참조 프레임 후보 목록에서 참조 프레임이 제외된다.

마지막으로, 다음을 충족하는 모든 인코딩 된 프레임에 대해:

1. 프레임의 중심점이 탐색 영역 내에 있고,

2. 롤 방향 성분의 차이가 임계값 미만이고,

현재 프레임의 중심점과 인코딩된 프레임 사이의 유클리드 거리를 계산한다. 결국 선택된 참조 프레임은 유클리드 거리가 가장 작은 프레임이다.

인터 또는 인트라 예측의 조기 결정

비디오 인코딩 프로세스는 분할, 예측, 변환/양자화 및 엔트로피 인코딩을 포함하는 4개 부분으로 나눌 수 있다. 예측은 더 높은 압축률을 가능하게 하는 인접 프레임 간의 공간적(인트라) 또는 시간적(인터) 중복성을 활용하여 더 높은 압축률을 가능하게 한다.

이전 프로세스인 참조 픽처 선택은 n개의 참조 픽처 프레임을 생성한다. 이를 통해 참조 프레임에 포함된 정보를 사용하여 현재 처리할 프레임을 인코딩할 수 있다. 도 12에 따르면 인코딩에는 세 가지 방법이 있다.

(a) 완전 인터 예측 모드,

(b) 부분적으로 인터 및 부분적으로 인트라 예측 모드 및

(c) 완전 인터 예측 모드.

첫 번째 조건 (a)는 현재 처리된 프레임의 모든 부분을 포함하는 n개의 참조 프레임이 있을 때 발생한다. 따라서 현재 프레임의 모든 정보는 인터 프레임 방식을 사용하여 참조 프레임의 정보로 표현될 수 있다. 이것은 비디오 인코딩의 결과가 더 높은 압축률을 가질 수 있는 최상의 조건이다.

두 번째 조건 (b)는 프레임이 다른 프레임 예측 방법인 인터 및 인트라 예측을 사용하도록 요구한다. 이것은 참조 픽처 선택 과정에서 지정된 참조 프레임이 현재 처리할 프레임의 모든 부분을 포함할 수 없기 때문에 발생한다. 따라서 이 조건에서 커버되지 않은 부분은 인트라 모드를 사용하여 처리되고 참조 프레임에 포함된 부분은 인터 모드를 사용하여 인코딩된다.

마지막 조건 (c)는 참조 픽처 선택 과정에서 현재 프레임이 참조로 사용할 수 있는 인코딩 된 프레임을 찾지 못하기 때문에 최악의 조건이다. 이는 탐색 영역 안에 중심점이 위치하는 인코딩 된 프레임이 없기 때문에 발생할 수 있다. 롤 방향 성분의 차이가 너무 커서 기준 좌표계를 찾지 못한 것이 원인이 될 수도 있다. 따라서 현재 프레임이 인트라 모드를 사용하여 완전히 처리되도록 하므로, 낮은 압축률을 초래한다.

그러나 (a), (b) 또는 (c) 어떤 조건이 발생하든 비디오 인코딩에 IMU 데이터를 사용하여 얻을 수 있는 긍정적인 점은 프레임이 어떤 예측을 수행할지 결정하는 데 필요한 시간을 줄일 수 있다는 것이다. 기존의 비디오 인코딩 솔루션은 비디오 인코딩에 사용할 예측 모드를 결정하는 데 상당히 오랜 시간이 걸리고 상당히 큰 계산 부하가 걸린다.

모션 탐색의 시작점 결정

모션 탐색 시작점의 결정은 참조 프레임에서 참조 블록의 시작 위치를 정확하게 선택하는 것을 목적으로 하는 비디오 인코딩 과정 중 하나이다. 현재 영상 인코딩 과정에서는 주변 블록의 정보를 기반으로 움직임 탐색의 시작점을 결정한다(AMVP). 이 경우 현재 처리된 참조 블록과 선택한 참조 블록 간에 큰 상관 관계가 없기 때문에 모션 탐색의 시작점이 덜 정확할 수 있다. 비효율적인 모션 벡터 탐색 프로세스로 인해 컴퓨팅 오버헤드와 지연시간이 발생한다. 본 특허에서는 IMU 데이터와 렌더링된 VR 이미지 간의 상관 관계는 모션 탐색 프로세스에서 시작점을 결정하는 효율성을 향상시키기 위해 사용된다.

IMU 기반의 움직임 탐색 시작점 결정 과정은 도 13과 같다. 이 과정은 이전 과정(참조 픽처 선택)에서 참조 프레임을 찾은 경우에만 실행된다. 움직임 탐색의 시작점을 결정하는 것은 도 14와 같이 예시될 수 있다. 도 14에서 현재 처리된 프레임 및 참조 프레임을 개시한다. 도 14를 기반으로 겹치는 영역도 존재함을 알 수 있다. 이 중첩 영역은 움직임 예측 과정에서 참조로 사용하기에 가장 좋은 후보이다. 따라서 현재 처리 중인 프레임과 참조 프레임 간의 중첩 영역 정보로부터 모션 탐색의 시작점을 결정할 수 있다.

모션 탐색 알고리즘은 도 15와 같이 탐색 영역의 왼쪽 상단에서 오른쪽 하단으로 탐색 프로세스를 시작한다. 결정된 탐색 범위 내의 모든 블록을 반복적으로 현재 처리된 블록과 모든 블록을 탐색 영역에 넣습니다. 최소 SAD(Sum of absolute Difference)를 갖는 블록은 현재 처리된 블록을 인코딩하기 위한 모션 벡터 예측자(Predictor)로 선택된다. 이를 바탕으로 우리가 제안하는 솔루션은 참조 프레임과 현재 처리 중인 프레임 간의 중첩 영역의 왼쪽 상단 지점을 계산하여 모션 탐색의 시작점을 결정한다.

중첩 영역의 왼쪽 위 위치를 계산할 때 x 및 y 축 구성 요소를 분리한다. 도 14에서 중첩 영역의 x 및 y 성분은 각각

및

로 표시된다. 현재 비디오 프레임의 중심점(

,

)과 참조 비디오 프레임의 중심점(

,

)도 중첩 영역의 왼쪽 상단 위치를 도출하는 데 사용된다. 현재 및 참조 프레임 위치 및 x-y 축 구성 요소를 기반으로 계산을 4가지 경우로 나눈다:

X축 구성요소

(1) 현재 좌표계가 참조 좌표계보다 오른쪽에 위치한다 (

).

예: 비디오 프레임의 너비가 1280이라고 가정한다. 현재 프레임과 참조 프레임의 중심점은 (800, Y)와 (0, Y)이다. 이 예는 도 16(a)와 같이 설명할 수 있다.

는

에서 비디오 프레임 너비의 절반을 뺀 값이다. 따라서 이 예에서는

=160(=800-640)이 된다.

(2) 현재 좌표계가 기준 좌표계보다 왼쪽에 위치한다 (

).

예: 비디오 프레임의 너비가 1280이라고 가정한다. 현재 프레임과 참조 프레임의 중심점은 (0, Y) 및 (800, Y)이다. 이 예는 도 16(b)와 같이 설명할 수 있다.

는

에서 비디오 프레임 너비의 절반을 뺀 값이다.

Y축 구성요소

(3) 현재 프레임이 참조 프레임보다 위쪽에 있다 (

).

예: 비디오 프레임의 높이가 640이라고 가정한다. 현재 프레임과 참조 프레임의 중심점은 (X,500)과 (X,0)이다. 이 예는 도 17(a)와 같이 설명할 수 있다.

는

에 비디오 프레임 높이의 절반을 더한 값이다. 따라서 이 예에서는

=320=(0+320)이 된다.

(4) 현재 좌표계는 기준 좌표계보다 아래에 있다 (

).

예: 비디오 프레임의 높이가 640이라고 가정한다. 현재 프레임과 참조 프레임의 중심점은 (X,0) 및 (X,500)이다. 이 예는 도 17(b)와 같이 설명할 수 있다.

는

에 비디오 프레임 높이의 절반을 더한 값이다.

설명한 바와 같이 모션 탐색 시작점은 참조 프레임과 현재 프레임이 겹치는 영역의 왼쪽 상단이다. 이전 예제를 기반으로 x축 및 y축에 대해 각각 수학식 7과 수학식 8을 사용하여 겹치는 영역의 왼쪽 상단 위치를 계산할 수 있다. 다음은 수학식 7과 수학식 8에 대한 설명이다.

-

및

: 현재 비디오 프레임 중심점의 좌표 위치

-

및

: 기준 비디오 프레임 중심점의 좌표 위치

- 너비: 비디오 프레임 크기의 너비

- 높이: 비디오 프레임 크기의 높이

-

및

: 모션 탐색 시작점의 좌표 위치

모션 탐색 창 크기 결정

모션 탐색 알고리즘은 도 18과 같이 모션 추정을 위해 일련의 디지털 비디오 프레임에서 일치하는 블록을 찾는 방법이다. 이것은 비디오 시퀀스에서 시간적 중복성을 발견하는 데 사용할 수 있어 프레임 간 비디오 압축의 효율성을 높일 수 있다. 이 알고리즘은 비디오의 현재 프레임을 블록으로 나누고 각 블록을 이전 프레임의 탐색 영역 내의 참조 블록들과 비교하는 작업을 포함한다. 탐색 영역이 클수록 잠재적인 모션과 좋은 일치를 찾을 가능성이 커진다. 그러나 모든 잠재적 블록에 대해 전체 탐색을 수행하는 것은 계산 비용이 많이 드는 작업이다.

더 큰 탐색 영역은 더 작은 탐색 영역에 비해 확실히 더 정확한 결과를 제공한다. 그러나 모든 경우에 넓은 탐색 영역이 필요한 것은 아니다. 프레임 간에 모션의 움직임이 큰 경우, 큰 탐색 영역이 필요할 수 있다. 그러나 반대로 큰 변화가 거의 없거나 전혀 없는 프레임의 경우 큰 탐색 영역을 필요로 하지 않는다. 가상 현실의 경우 큰 움직임은 더 나은 결과를 얻기 위해 더 큰 탐색 영역이 필요할 수 있지만 움직임이 작거나 없는 경우에는 계산 비용이 많이 드는 문제로 인해 큰 탐색 영역을 사용하지 않는 것이 좋습니다. 따라서 움직임 추정 과정에서 화면 변화에 따른 동적 탐색 범위를 활용하면 인코딩 과정을 보다 효율적으로 할 수 있다.

기본적으로 탐색 창 크기의 결정은 현재 처리된 프레임과 참조 프레임 사이의 중첩 영역을 기반으로 한다. 도 19에서 참조 프레임과 현재 프레임 사이의 중첩 영역의 크기는 x축과 y축에 대해 각각

와

로 표시됨을 알 수 있다. 이전 단계에서는 현재 프레임과 참조 프레임 간의 IMU 차이를 기반으로 시작점을 결정했다. 이를 기반으로 수학식 9 및 10과 같이 움직임 벡터 탐색 윈도우 크기(

및

)를 도출하여 결정할 수 있다. 도 19는 탐색 윈도우 크기를 결정하는 예이다. 그 예에는 다음과 같은 정보가 있다.

- 비디오 프레임의 크기(너비, 높이) = (1280, 720)

- 현재 프레임의 중심점(

,

) = (960, 360)

- 기준 좌표계의 중심점(

,

) = (0, 0)

- 모션 탐색 시작점 (

,

) = (320, 360)

이 정보에서 우리는 현재 프레임이 참조 프레임의 위쪽에 있고 더 오른쪽에 있다는 것을 압니다. 따라서

및

는 다음과 같이 계산할 수 있다.

현재 비디오 인코딩 표준은 정사각형 탐색 창 영역만 지원하므로

및

를 얻은 후 이 값 사이의 최대값을 취하여 탐색 창 크기를 결정한다. 따라서 위의 예에서 탐색 창 크기 값은 360이 된다.

디코딩 향상

앞서 언급했듯이 클라우드 VR에서는 비디오 압축이 중요하다. VR 콘텐츠는 클라이언트로 전송되기 전에 최대한 효율적으로 압축해야 한다. 비디오를 클라이언트로 보내기 전에 서버에서 압축하는 프로세스를 인코딩이라고 한다. 한편, 클라이언트 측에서 수신한 영상을 사용자에게 보여주기 전에 압축을 푸는 과정을 디코딩이라고 한다.

제한된 대역폭으로 인해 비디오 압축은 VR 시스템에서 매우 중요하다. 그것은 많은 컴퓨팅 리소스를 소비하고 서버와 클라이언트 모두에 매우 큰 컴퓨팅 부담을 준다. 따라서 VR 시스템을 개선하기 위해서는 비디오 압축의 개선과 향상이 필요하다.

이전 섹션에서 설명했듯이 VR 비디오 인코딩 프로세스에서 성능을 향상시키는 몇 가지 방법이 있다. 방향 추적에만 주로 사용되는 IMU 데이터도 인코딩 프로세스의 성능을 향상시키는 데 활용할 수 있다. 일부 불필요한 프로세스를 제거하여 계산 비용을 줄이다. 이 접근 방식을 기반으로 IMU 데이터를 활용하여 디코딩 프로세스의 성능을 향상시키는 것도 제안한다. 디코딩 프로세스가 인코딩 프로세스만큼 연산이 복잡하지는 않지만 작은 개선 방안들은 여전히 전체 VR 시스템 성능에 큰 영향을 미친다.

우선 순위 기반 블록 전송 큐잉

IMU를 사용하여 디코딩 프로세스를 향상시키기 위한 주요 아이디어는 우선 순위 기반 디코딩 방법이다. 그것은 단순히 이전에 인코딩된 적이 없는 비디오 프레임에 더 많은 우선 순위를 부여한다. 먼저 인접한 CTU(코딩 트리 유닛)를 블록이라는 그룹으로 클러스터링한다. 그 후 모든 블록은 우선 순위가 높은 블록 또는 우선 순위가 낮은 블록으로 분류된다. 높은 우선 순위 블록은 이전에 인코딩된 적이 없는 블록이다. 반대로, 낮은 우선순위 블록은 이전에 인코딩된 적이 있는 블록이며, 이는 현재 처리된 프레임과 이전 인코딩된 프레임 사이의 중첩 영역임을 의미한다.

블록을 분류하려면 이전에 접근 방식으로 현재 및 이전 인코딩 된 프레임 사이의 중첩 영역을 결정해야 한다. 그 결과 해당 프레임 사이에 겹치는 영역이 생긴다. 그런 다음 중첩 영역 내에 있는 블록은 낮은 우선 순위 블록으로 분류되고 외부 영역은 높은 우선 순위 블록으로 분류된다. 이 두 블록 범주의 차이점은 도 20에서 시각적으로 쉽게 설명할 수 있다.

블록을 분류한 후 우선 순위가 높은 블록은 우선 순위가 낮은 블록보다 먼저 클라이언트로 전송 및 디코딩될 수 있다. 따라서 비디오 프레임의 모든 블록은 도 21에 표시된 큐의 순서에 따라 클라이언트로 전송될 수 있다. 도 21의 위쪽 부분은 우선 순위가 높은 블록과 낮은 우선 순위 블록 간의 차이 영역을 보여준다. 그런 다음 디코딩을 위해 클라이언트에 보내기 전에 전송 큐에 매핑된다.

낮은 우선 순위 블록보다 높은 우선 순위 블록을 보내는 이유는 네트워크 대기 시간과 관련이 있다. 매우 나쁜 네트워크 상태에서 클라이언트는 렌더링할 모든 블록 정보를 수신하지 못할 수 있다. 이런 일이 발생하면 클라이언트 측에서 전혀 디코딩되지 않았던 우선 순위가 높은 블록을 손실하는 경우 매우 위험하다. 이는 클라이언트가 이 정보에 대한 별도의 단서가 없음을 의미한다. 높은 우선 순위 블록과 달리 낮은 우선 순위 블록은 이전에 이미 디코딩된 적이 있다. 블록이 렌더링 시간에 도착하지 않았더라도 디코더는 이전에 디코딩된 프레임을 사용하여 이 누락된 블록의 정보를 복구할 수 있다. 이 문제와 해결 방법에 대한 자세한 내용은 다음 장에서 설명한다.

실제 FoV 계산

클라우드 VR의 프로세스로 인한 지연시간(Dt)은 서버에서 비디오 프레임 인코딩을 처리하는 데 사용되는 모션 데이터(IMU_t-Dt)와 비디오 프레임이 사용자에게 표시될 때 모션 데이터(IMU_t) 간의 차이에 영향을 준다. 이러한 모션 데이터의 차이로 인해 VR HMD에 표시되어야 하는 시야(Field of View, FoV)가 이동한다. VR 사용자가 느끼는 멀미를 예방하거나 줄이기 위해 이러한 전환이 필요하다.

이러한 FoV 전환은 비디오 프레임에서 블록의 디코딩 우선 순위를 결정하기 위한 고려 사항으로 사용될 수 있다. 도 22를 기반으로, 프로세스 시작 시에 클라이언트는 IMU_t-Dt 정보 모션 데이터를 서버로 전송하여 VR 비디오 인코딩의 기반으로 사용할 수 있다. IMUt-Dt 데이터는 인코딩 된 전송되는 비디오 프레임과 연결된다. 클라이언트 측에서 비디오 프레임을 수신한 후 가장 먼저 하는 일은 비디오 프레임의 모션 데이터 값(IMU_t-Dt)과 현재 VR HMD에서 읽은 최신 모션 데이터(IMU_t)를 비교하는 것이다.

그런 다음 IMU_t-Dt와 IMU_t 간의 차이를 계산하여 서버 측 인코딩 결과의 원래 FoV_t-Dt와 현재 IMU 센서 판독 값의 실제 FoV_t 결과 사이의 중첩 영역을 찾는다. 중첩 영역의 결정은 비디오 프레임의 각 블록의 디코딩 우선 순위를 결정하기 위한 기초 역할을 한다. 중첩 영역 내부의 블록은 우선 순위가 높은 디코딩 블록으로 설정되고, 이 영역 외부의 블록은 낮은 우선 순위로 지정된다. 이 결정의 이유는 중첩 영역에 포함된 블록이 사용자에게 표시 및 렌더링되는 실제 FoV의 블록이기 때문이다.

이전에 디코딩된 블록 재사용 제한

오늘날의 디코더 알고리즘은 비디오의 시간적 중복성으로부터 엄청난 이점을 얻는다. 그러나 중복적인 참조 픽처를 지속적으로 사용하는 것도 좋은 방법이 아니다. 장기간 또는 상당히 동적인 비디오 시퀀스에서는 이 방법을 사용하는 것이 적절하지 않다.

예를 들어, 도 23에서 (t) 시점의 여러 비디오 프레임 블록은 (t-1)의 비디오 프레임에 포함된 블록의 시간적 중복성을 활용한다. (t)의 비디오 프레임의 블록 F, G, H는 (t-1)의 비디오 프레임에서 이전에 디코딩되지 않은 블록을 나타냅니다. 이전에 디코딩되지 않은 블록은 디코딩 프로세스가 이전 프레임의 시간적 중복성을 활용하지 않는 블록, 즉 독립 블록들이다. F, G, H 블록은 이전 비디오 프레임에 의존하지 않는 독립 블록들이기 때문에 이러한 경우는 허용된다.

한편, (t)의 비디오 프레임의 K, L, M 블록은 (t-1) 시점의 비디오 프레임의 K, L, M 블록을 참조하며, 여기서 블록은 이전의 (t-2) 시점의 K, L, M 블록도 참조한다. 짧은 시간 동안 이 방법의 효과는 그다지 눈에 띄지 않지만, 오랜 시간 동안 또는 매우 역동적인 변화가 있는 비디오 장면에서 이 방법은 변경되어야 하는 비디오 블록 영역의 비가용성에 영향을 미친다. 이것은 비디오 프레임의 블록이 여전히 이전 비디오 프레임의 동일한 정보를 사용하기 때문에 발생한다. 이것은 좋지 않은 사용자 경험을 초래한다.

이러한 사실을 바탕으로 본 명세서에서 제안하는 솔루션은 비디오 프레임에서 각 블록의 우선 순위 디코딩을 설정하여 시간적 중복성의 연속 사용을 제한하는 것이다. 도 23에서 블록은 높은 우선순위 블록과 낮은 우선순위 블록의 2가지 그룹으로 분류된다. 높은 우선 순위 블록은 특정 블록에 대한 참조로 사용할 수 있는 이전 비디오 프레임이 없기 때문에 미리 처리되도록 우선 순위가 지정된 블록이다. 낮은 우선 순위 블록은 이전에 디코딩된 비디오 프레임에 대한 참조 블록이 존재하는 블록이다.

(t) 시점의 비디오 프레임에서 F, G, H, 블록 및 K, L, M의 블록은 실제로 이전 비디오 프레임을 참조할 수 있는 블록이다. 따라서 이러한 블록은 우선 순위가 낮은 블록으로 분류될 수 있다. 그러나 K, L, M 블록을 보면 이 블록의 참조 (t-1의 비디오 프레임)도 이전 참조 블록 (t-2의 비디오 프레임)을 사용한다. 이 장의 시작 부분에서 설명한 것처럼 임시 중복성을 지속적으로 사용하는 것은 적절하지 않다. 따라서, (t)의 비디오 프레임의 블록 K, L, M은 높은 우선순위 블록으로 지정되어 이러한 블록이 이전에 디코딩된 비디오 프레임의 블록을 참조하는 것을 방지한다.

블록 기반 비동기 시간 왜곡

이상적으로 렌더링 엔진은 이미지가 화면에 표시되기 직전에 측정된 IMU 데이터를 사용하여 이미지를 렌더링한다. 그러나 렌더링 엔진의 연산에 시간이 걸리므로, 실제로 이미지가 화면에 표시되기 몇 밀리초 전에 발생한 포즈에 기반하여 렌더링이 된다. 이 몇 밀리초 동안 머리가 움직이면 실제 포즈 발생 시점보다 약간 지연되는 이미지가 표시된다.

시간 왜곡(Time Warping, TW)은 렌더 엔진이 머리 회전 판독을 수행한 시간과 시간 왜곡이 시작되는 시간 사이에 머리가 얼마나 더 회전했는지에 따라 이미지를 변환한다. 렌더 엔진이 이미지를 렌더링한 다음 렌더가 완료되면 결과 이미지에 시간 왜곡이 적용된다. 그러나 렌더 엔진이 프레임 간의 고정된 차이 시간보다 더 많은 렌더링 시간을 소요할 가능성이 있다. 이 문제는 비동기 시간 왜곡(Asynchronous Time Warping, ATW)라고 하는 다른 버전의 시간 왜곡으로 처리할 수 있다. ATW는 사용 가능한 마지막 프레임을 가져와서 시간 왜곡을 적용한다. 렌더러가 제 시간에 완료되지 않은 경우 ATW는 이전 프레임을 가져와서 시간 왜곡을 적용한 후 디스플레이 한다. 매우 이전의 프레임을 활용하면 그 사이 헤드가 더 많이 회전할 수 있으므로 더 큰 이동이 필요하다.

ATW에서는 이전 프레임에 포함되지 않은 화면의 일부가 비어 있을 가능성이 있다. 이것은 ATW가 실제 현재 이미지 프레임에 대한 추가 계산 없이 단순히 이전 화면을 이동만 하기 때문에 발생한다. 현재 실제 비디오 프레임의 정보를 사용하는 대신 ATW 시스템은 단순히 이를 버리고 이전 비디오 프레임을 사용하여 위치만을 변경하여 표시한다. 이 섹션에서는 우선 순위 기반 블록 디코딩 접근 방식을 사용하여 이 ATW의 파생 문제를 해결하려고 한다.

도 24에 도시된 바와 같이, 비디오 프레임은 우선순위가 높은 블록과 우선 순위가 낮은 블록의 두 가지 블록으로 구성된다. 이전 섹션에서 설명했듯이 이전에 디코딩된 프레임에 포함되지 않은 높은 우선순위 블록이 클라이언트 측에 더 빨리 도착하여 처리되도록 하는 비디오 전송 큐를 제안했다. 도착한 이 높은 우선 순위 블록은 ATW에서 화면의 빈 부분을 생성하는 데 사용할 수 있다.

도 25는 블록 기반 비동기 시간 왜곡 메커니즘이 작동하는 방식을 보여준다. Vsync(t-1) 이전에 모든 것이 정상이고 네트워크 상태가 양호하고 전송된 모든 비디오 프레임 블록이 클라이언트 측에서 잘 수신되고 처리되었다. 그러나 이후 원치 않는 이벤트가 발생한다 (Vsync(t)). 네트워크 품질이 저하되어 비디오 프레임의 블록 수신이 지연된다. 이 조건은 비디오 프레임을 디코딩하고 렌더링하는 과정에서 지연을 초래한다. 이 원치 않는 이벤트는 클라우드 VR 시스템의 서비스 품질을 유지하기 위해 수행될 비동기 시간 왜곡(ATW) 프로세스를 트리거한다.

사용자에게 아무 것도 표시하지 않는 대신 ATW는 현재 사용자 머리 자세 IMU 데이터를 기반으로 이전에 디코딩된 비디오 프레임을 활용하여 그 차이만큼 이동한다. 결과 이미지는 매우 짧은 시간 내에 클라이언트 VR 디스플레이에 즉시 렌더링된다. 사용자가 많이 움직이면 이전 비디오 프레임의 IMU 데이터와 현재 IMU 데이터의 차이가 매우 커서 이전 이미지로부터 더 큰 이동 작업이 필요하다. 이전 이미지에 대해 더 크게 이동하면 이전 이미지에 해당 정보가 포함되어 있지 않기 때문에 화면에 외곽에 일부 빈 공간이 생성된다. 본 특허의 블록 기반 ATW는 이러한 시나리오가 발생하지 않도록 한다.

일반 ATW와 달리 블록 기반 ATW는 우선 순위가 높은 블록을 먼저 수신하여 처리한다. 이러한 우선 순위가 높은 블록은 ATW의 공백 공간에 표시되어야 할 비디오 정보를 보유하고 있기 때문에 ATW를 개선하는 데 활용된다. 도 22에서 우선 순위가 높은 블록이 먼저 수신되고 처리되는 것을 볼 수 있다. 이 블록은 이전 비디오 프레임에 존재하지 않는 정보를 보유한다. 사용자에게 이미지를 표시하는 데 기준 시간이 초과되는 경우 ATW가 수행되고 ATW의 결과인 공백 자리는 수신된 우선 순위가 높은 블록을 구성하여 채워진다. 모든 높은 우선 순위 블록이 Vsync 시간에 도착하지 않았을 가능성이 있지만 ATW로 발생하는 공백 공간은 이미 도착한 우선 순의 블록들의 수만큼 줄어든다. 따라서 블록 기반 비동기 타임워프는 일반 ATW에 비해 성능과 이점이 더 좋다.

Claims

클라우드 VR(Virtual Reality) 영상의 인코딩 가속 방법에 있어서,
현재 프레임의 중심점을 상기 현재 프레임의 식별자로 획득하고, 상기 현재 프레임의 중심점은 IMU(Inertial Measurement Unit)의 센서 데이터에 따라 결정되고,
상기 현재 프레임의 중심점을 기초로 상기 현재 프레임의 인코딩을 위한 참조 프레임 후보를 구성하는 단계;
상기 참조 프레임 후보의 회전 방향과 상기 현재 프레임의 회전 방향을 기초로 상기 참조 프레임 후보 중 특정 참조 프레임을 선택하는 단계, 상기 현재 프레임의 회전 방향은 상기 IMU의 센서 데이터에 따라 결정되고;
상기 특정 참조 프레임에 포함된 정보에 기초하여 상기 현재 프레임을 인코딩하기 위한 예측 모드를 선택하는 단계; 및
상기 선택된 예측 모드에 기초하여 상기 현재 프레임을 인코딩하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 IMU는 가속도계, 자이로스코프 및 자력계를 포함하는 것을 특징으로 하는 방법.
삭제
제 1항에 있어서,
상기 특정 참조 프레임은 상기 참조 프레임 후보 중 상기 현재 프레임으로부터 최소 유클리드 거리를 갖는 프레임인 것을 특징으로 하는 방법.
제 4항에 있어서,
상기 특정 참조 프레임의 롤(Roll)과 상기 현재 프레임의 롤 간의 차이는 기 설정된 임계 값보다 작은 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 참조 프레임 후보는 탐색 영역 내의 중심점을 가지는 하나 이상의 프레임으로 구성되고,
상기 탐색 영역은 상기 현재 프레임의 높이의 2배 및 상기 현재 프레임의 너비의 2배에 해당하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 특정 참조 프레임에 포함된 정보에 기초하여 상기 현재 프레임을 인코딩하기 위한 예측 모드를 선택하는 단계는,
상기 현재 프레임의 특정 현재 블록에 대응하는 상기 특정 참조 프레임의 특정 참조 블록을 선택하는 단계;
상기 특정 참조 블록의 움직임 벡터에 기초하여 상기 특정 현재 블록을 인코딩하는 단계를 포함하는 것을 특징으로 하는 방법.
제 7항에 있어서,
상기 특정 참조 블록은 상기 현재 프레임과 상기 특정 참조 프레임 사이의 중첩 영역의 블록들 중 하나인 것을 특징으로 하는 방법.
제 8항에 있어서,
상기 특정 참조 블록은 상기 중첩 영역의 블록들의 SAD(Sum of Absolute Difference) 중 가장 작은 SAD를 가진 블록이고,
상기 SAD는 상기 중첩 영역의 블록들 중 왼쪽 상단 블록으로부터 계산되는 것을 특징으로 하는 방법.
클라우드 VR(Virtual Reality) 영상의 인코딩 가속 방법을 수행하는 인코딩 가속 장치에 있어서, 상기 가속 장치는,
프로세서를 포함하고,
상기 프로세서는,
현재 프레임의 중심점을 상기 현재 프레임의 식별자로 획득하고, 상기 현재 프레임의 중심점은 IMU(Inertial Measurement Unit)의 센서 데이터에 따라 결정되고,
상기 현재 프레임의 중심점을 기초로 상기 현재 프레임의 인코딩을 위한 참조 프레임 후보를 구성하고,
상기 참조 프레임 후보의 회전 방향과 상기 현재 프레임의 회전 방향을 기초로 상기 참조 프레임 후보 중 특정 참조 프레임을 선택하고, 상기 현재 프레임의 회전 방향은 상기 IMU의 센서 데이터에 따라 결정되고,
상기 특정 참조 프레임에 포함된 정보에 기초하여 상기 현재 프레임을 인코딩하기 위한 예측 모드를 선택하고,
상기 선택된 예측 모드에 기초하여 상기 현재 프레임을 인코딩하는 것을 특징으로 하는 장치.
제 10항에 있어서,
상기 IMU는 가속도계, 자이로스코프 및 자력계를 포함하는 것을 특징으로 하는 장치.
삭제
제 10항에 있어서,
상기 특정 참조 프레임은 상기 참조 프레임 후보 중 상기 현재 프레임으로부터 최소 유클리드 거리를 갖는 프레임인 것을 특징으로 하는 장치.
제 13항에 있어서,
상기 특정 참조 프레임의 롤(Roll)과 상기 현재 프레임의 롤 간의 차이는 기 설정된 임계 값보다 작은 것을 특징으로 하는 장치.
제 10항에 있어서,
상기 참조 프레임 후보는 탐색 영역 내의 중심점을 가지는 하나 이상의 프레임으로 구성되고,
상기 탐색 영역은 상기 현재 프레임의 높이의 2배 및 상기 현재 프레임의 너비의 2배에 해당하는 것을 특징으로 하는 장치.
제 10항에 있어서,
상기 프로세서는,
상기 현재 프레임의 특정 현재 블록에 대응하는 상기 특정 참조 프레임 특정 참조 블록을 선택하고,
상기 특정 참조 블록의 움직임 벡터에 기초하여 상기 특정 현재 블록을 인코딩하는 것을 특징으로 하는 장치.
제 16항에 있어서,
상기 특정 참조 블록은 상기 현재 프레임과 상기 특정 참조 프레임 사이의 중첩 영역의 블록들 중 하나인 것을 특징으로 하는 장치.
제 17항에 있어서,
상기 특정 참조 블록은 상기 중첩 영역의 블록들의 SAD(Sum of Absolute Difference)중 가장 작은 SAD를 가진 블록이고,
상기 SAD는 중첩 영역의 블록 중 왼쪽 상단 블록으로부터 계산되는 것을 특징으로 하는 장치.