KR20190003548A - 고효율 저딜레이 비디오 코딩을 위한 모션-적응적 인트라-리프레시 - Google Patents

고효율 저딜레이 비디오 코딩을 위한 모션-적응적 인트라-리프레시 Download PDF

Info

Publication number
KR20190003548A
KR20190003548A KR1020187031960A KR20187031960A KR20190003548A KR 20190003548 A KR20190003548 A KR 20190003548A KR 1020187031960 A KR1020187031960 A KR 1020187031960A KR 20187031960 A KR20187031960 A KR 20187031960A KR 20190003548 A KR20190003548 A KR 20190003548A
Authority
KR
South Korea
Prior art keywords
picture
global motion
refresh
intra
pictures
Prior art date
Application number
KR1020187031960A
Other languages
English (en)
Other versions
KR102239856B1 (ko
Inventor
웨펭 루
아이합 아메르
Original Assignee
에이티아이 테크놀로지스 유엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이티아이 테크놀로지스 유엘씨 filed Critical 에이티아이 테크놀로지스 유엘씨
Publication of KR20190003548A publication Critical patent/KR20190003548A/ko
Application granted granted Critical
Publication of KR102239856B1 publication Critical patent/KR102239856B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0015—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy
    • H04L1/0017—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy where the mode-switching is based on Quality of Service requirement
    • H04L1/0018—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy where the mode-switching is based on Quality of Service requirement based on latency requirement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/087—Jitter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Quality & Reliability (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

방법은 제1 세트와 연관된 전역 모션(120)이 특정 임계치를 초과하지 않는다는 결정에 응답하여, 픽처에 대한 리프레시 영역의 위치가 제1 세트의 이전 픽처에 대한 리프레시 영역의 위치에 대해 공간적으로 이동되도록 픽처의 제1 세트의 각각의 픽처를 인트라-리프레시 인코딩하는 단계(410)를 포함한다. 상기 방법은 제2 세트와 연관된 전역 모션이 특정 임계치를 초과한다는 결정에 응답하여 제2 세트의 각각의 픽처에 대한 리프레시 영역의 위치가 제2 세트와 연관된 전역 모션(120)의 방향에서 픽처 가장자리에 바로 인접하게 고정되도록 픽처의 제2 세트의 각각의 픽처를 인트라-리프레시 인코딩하는 단계(418)를 더 포함한다.

Description

고효율 저딜레이 비디오 코딩을 위한 모션-적응적 인트라-리프레시
관련 출원의 교차 참조
이 출원은 2016년04월29일자 출원된 미국 가특허출원 번호 62/329,602 및 2016년 06월 21일에 출원된 미국 특허 출원 번호 15/188,067로부터 우선권을 주장하며, 이들의 전체 내용이 본 명세서에 참조로서 포함된다.
블록-기반 비디오 코딩이 연속되는 픽처에서 비디오 블록들 간 공간 및 시간 리던던시를 이용하여 효율적인 비디오 인코딩을 제공할 수 있다. 일반적으로, 픽처의 스트림이 전체적으로 인트라-코딩된 픽처(I-픽처) 및 인터-코딩된 또는 예측 픽처, 가령, 순방향-예측 픽처(P-픽처) 및 양방향 예측 픽처(B-픽처)의 세트로서 인코딩된다. I-픽처는 전체적으로 인트라-코딩되고, 반면에 P-픽처 및 B-픽처는 적어도 부분적으로 예측 인터-코딩되기 때문에, I-픽처의 코딩이 P-픽처 및 B-픽처보다 상당히 더 많은 비트를 취하고 따라서 이들 인코딩된 픽처를 포함하는 송신된 비트 스트림의 비트율(bit rate), 지터(jitter), 및 레이턴시(latency)에 부정적인 영향을 미칠 수 있다. 레이턴시 및 지터를 개선하기 위한 한 가지 접근법이 픽처의 나머지 영역이 예측적으로 인터-인코딩되는 동안 픽처의 세트의 각각의 픽처의 영역이 인트라-코딩, 즉, "리프레시(refresh)"되도록 하는 인트라-리프레시 모드의 구현이다. 인트라-리프레시 모드에서, 픽처들 간 모션 예측이 이미 리프레시된 세트의 이전 픽처의 영역(이러한 영역은 일반적으로 "클린(clean)" 영역이라 지칭됨)으로 제한되고, 아직 리프레시되지 않은 이전 픽처의 영역(이들 영역은 일반적으로 "더티(dirty)" 영역이라고 지칭됨)을 이용하지 못하도록 막아진다. 종래의 인트라-리프레시 모드에서, 전체적으로 인트라-코딩된 영역(즉, "리프레시" 영역)은 고정 크기이고 픽처의 인트라-리프레시 세트의 연속되는 픽처들 간에 위치를 이동시킨다. 인트라-리프레시 기법의 목표가 최종 인코딩된 비트 스트림의 비트레이트를 평활화 하는 것이지만, "카메라"의 실질적인 모션이 렌더링된 픽처의 원근 시점을 나타내는 가상 현실(VR) 애플리케이션 또는 그 밖의 다른 애플리케이션에서 종종 발생하는 것처럼 디스플레이된 콘텐츠에 전역 모션(global motion)이 존재할 때, 종래의 인트라-리프레시 기법에서의 리프레시 영역의 위치 이동이 종종 상당한 비트 레이트 변동, 또는 지터를 야기할 수 있다.
첨부된 도면을 참조함으로써, 본 발명은 더 잘 이해되고, 이의 많은 특징 및 이점이 해당 분야의 통상의 기술자에게 자명해진다. 상이한 도면에서의 동일한 참조 부호의 사용이 유사하거나 동일한 아이템을 가리킨다.
도 1은 일부 실시예에 따라, 모션-적응적 인트라-리프레시 인코딩 기법 및 이 기법과 종래의 인트라-리프레시 인코딩 기법의 비교를 도시하는 도면이다.
도 2는 일부 실시예에 따라, 픽처와 연관된 전역 모션 추정치를 기초로 인코딩될 픽처의 리프레시 영역의 폭을 동적으로 설정하기 위한 기법을 도시하는 도면이다.
도 3은 일부 실시예에 따라 모션-적응적 인트라-리프레시 인코딩을 이용하는 비디오 프로세싱 시스템을 도시하는 블록도이다.
도 4는 일부 실시예에 따라 비디오 스트림의 이중-모드 인트라-리프레시 인코딩을 위한 방법을 도시하는 흐름도이다.
가상 현실(VR) 및 증강 현실(AR) 시스템이 두부 장착 디스플레이(HMD) 디바이스를 통해 VR 또는 AR 콘텐츠를 사용자에게 디스플레이할 때 "현존감(presence)" 감각을 이용하는 것이 일반적이다. 이러한 현존감을 제공하는 데 한 가지 중요한 요인은 VR 또는 AR 콘텐츠를 포함하는 픽처를 인코딩, 전송, 디코딩 및 디스플레이하는 데 관련되는 레이턴시 또는 지터이다. 따라서 인코딩된 비디오 스트림을 나타내는 비트 스트림의 전송 시 레이턴시 또는 지터의 감소가 비디오 처리 파이프라인에서 전체 레이턴시 및 지터의 대응하는 감소를 제공할 수 있고, 따라서 VR 및 AR 애플리케이션에서 개선된 "현존감"을 제공한다. 이를 위해, 이하에서 예를 들어 픽처가 렌더링되는 원근 시점을 나타내는 가상 카메라의 콘텐츠 또는 그 밖의 다른 모션을 디스플레이하는 데 사용되는 HMD 디바이스 내 모션으로 인한 디스플레이 콘텐츠에 존재하는 전역 모션을 고려하는 "모션-적응적 인트라-리프레시 모드(motion-adaptive intra-refresh mode)"를 채용하는 비디오 프로세싱 시스템이 기재된다. 적어도 하나의 실시예에서, 비디오 프로세싱 시스템은 하나의 픽처 또는 픽처 세트에 대한 전역 모션의 추정치를 결정한다. 이 전역 모션 추정치는, 예를 들어, HMD 디바이스 자체로부터의 또는 콘텐츠의 모션 또는 연속되는 픽처들 간 콘텐츠의 모션의 분석으로부터의 모션 센서 데이터로부터 결정된다.
전역 모션 추정치가 충분한 전역 모션을 나타내지 않는 경우, 비디오 프로세싱 시스템은 픽처의 인트라-리프레시 세트의 연속되는 픽처들 간에 리프레시 영역의 위치가 이동하는 종래의 인트라-리프레시 모드를 이용한다. 그러나 전역 모션 추정치가 충분한 전역 모션을 시그널링하는 경우, 비디오 프로세싱 시스템이 평활화된 비트 레이트를 갖고 따라서 감소된 전송 레이턴시를 갖는 비트 스트림의 최종 부분을 제공하도록 이 전역 모션을 설명하는 인트라-리프레시 모드를 구현한다. 이러한 모션-적응적 인트라-리프레시 모드에서, 비디오 프로세싱 시스템은 전역 모션 추정치의 방향에서의 픽처의 가장자리(또는 모션-적응적 인트라-리프레시 모드가 기본 방향(즉, 0, 90, 180, 및 270도)으로만 억제되는 실시예에서 이의 주 모션 성분)를 식별하고, 픽처의 인트라-리프레시 인코딩 시 픽처의 리프레시 영역(즉, 인트라-코딩된 영역)을 픽처의 식별된 가장자리에 바로 인접한 디스플레이의 영역이도록 고정 또는 강제한다. 더 상세히 기재되겠지만, 새로운 콘텐츠가 도입될 가능성이 가장 높은 픽처의 가장자리 영역으로 인코딩되는 픽처의 리프레시 영역을 고정함으로써, 인트라-리프레시 세트 내 다음 픽처에 대한 모션 벡터 검색 프로세스가 일반적으로 더 효율적이며, 따라서 개선된 평균 비트 레이트 및 비트 레이트의 개선된 평활화가 도출된다.
이하에서, 픽처가 수평으로 배열된 영역으로 분할되는 인트라-리프레시 모드의 구현예가 설명 편의를 위해 제공된다. 덧붙여, 사용자가 HMD 디바이스 또는 그 밖의 다른 VR-관련 디스플레이를 이용할 때의 전역 모션은 수직 평면에서보다 수평 평면에서 더 일반적이며, 따라서 이하의 예시에서 수평-배열된 영역이 원근 모션에 잘 부합된다. 그러나 본 명세서에 기재된 동일한 기법이 또한 픽처 내 수직으로-배열된 영역을 이용한 구현예에 적용될 수 있고 사정에 따라 픽처의 영역으로의 논리적 구획이 일부 픽처에 대한 수평-배열된 영역과 또 다른 픽처에 대한 수직-배열된 영역을 스위칭할 수 있음이 자명할 것이다.
도 1은 일부 실시예에 따르는 비디오 프로세싱 시스템(100)에서의 인트라-리프레시 인코딩에 대한 이러한 이중-모드 접근법을 도시한다. 도시된 예시에서, 비디오 프로세싱 시스템(100)은 사용자의 두부(104)에 장착되는 두부 장착형 디스플레이(HMD) 디바이스(102)에 의해 부분적으로 구현된다. 비디오 프로세싱 시스템(100)은 VR 또는 AR 비디오 스트림의 픽처를 렌더링하고 인코딩하는 비디오 인코딩 서브-시스템(도 1에 도시되지 않음)을 포함하며, 이때 최종 인코딩된 비트 스트림이 HMD 디바이스(102)로 전송된다. 상기 HMD 디바이스(102)는 인코딩된 비트 스트림을 디코딩하여 HMD 디바이스(102)에서 디스플레이되기 위한 픽처의 표현을 복원할 수 있다.
HMD 디바이스(102)가 사용자의 두부(104)에 장착될 때, HMD 디바이스(102)는 빈번하고 실질적인 운동, 가령, X, Y, 또는 Z 축 중 하나 이상을 중심으로 하는 회전 운동(즉, 롤(roll), 요(yaw) 및 피치(pitch))과 X, Y, 또는 Z 방향 중 하나 이상으로의 직선 운동을 겪을 수 있다. 일반적으로, HMD 디바이스(102)의 현재 포즈를 나타내는 가상 카메라의 관점(perspective)에서의 이미지 콘텐츠를 포함하도록 픽처를 렌더링하고 사용자가 움직일 때 HMD 디바이스(102)의 포즈가 변함에 따라 이 가상 카메라의 관점을 업데이트함으로써 비디오 프로세싱 시스템(100)은 이러한 운동을 사용자에게 표시되는 비디오 콘텐츠에 포함시킨다. HMD 디바이스(102)의 운동 및 이에 따른 이 운동을 렌더링된 디스플레이 콘텐츠로 포함시키는 것에 의해, 카메라 모션에 의해 야기되는 콘텐츠에 존재하는 대면적 모션 또는 운동인 "전역 모션"(이 경우, 사용자의 두부(104)의 포즈를 나타내는 "가상" 카메라의 모션과 따라서 사용자의 관점)이라고 지칭되는 것이 도출된다.
이 전역 모션의 결과가 종종 픽처의 연속체에 걸쳐, "새로운" 콘텐츠(즉, 이전 픽처에 존재하지 않는 콘텐츠)가 디스플레이 패널의 하나의 가장자리 또는 측부에 나타날 가능성이 높고 "기존(old)" 콘텐츠는 그 밖의 다른 가장자리 또는 측부에서 디스플레이 패널을 떠날 가능성이 높다는 것이다. 예를 들자면, 사용자의 두부(104)가 왼쪽에서 오른쪽으로 회전할 경우, 이 모션 동안 표시되는 픽처의 시퀀스가 (사용자의 관점이 오른쪽으로 이동함에 따라) 새로운 콘텐츠가 오른쪽에서 들어오고 이미 디스플레이된 콘텐츠가 왼쪽에서 시야로부터 슬라이드 아웃됨을 보일 것이다. 반대로, 사용자의 두부가 오른쪽에서 왼쪽으로 회전하려는 경우, 이 모션 동안 표시되는 픽처의 시퀀스가 (사용자의 관점이 왼쪽으로 이동함에 따라) 새로운 콘텐츠가 왼쪽으로부터 들어오고 이미 디스플레이된 콘텐츠가 오른쪽에서 시야로부터 슬라이드 아웃됨을 보일 것이다. 사용자의 두부(104)를 위아래로 회전하는 것이 마찬가지로, (사용자가 위를 보는지 또는 아래를 보는지에 따라) 상부 또는 하부 가장자리로 새로운 콘텐츠가 이동 또는 슬라이딩하고 반대 가장자리에서 기존 콘텐츠가 사라짐을 보일 것이다.
종래의 인트라-리프레시 인코딩 스킴에서, 전역 모션을 포함하는 픽처의 렌더링이 덜 효율적인 인코딩 및 따라서 최종 인코딩된 비트 스트림의 전송에서 더 높은 레이턴시를 초래하는 것이 일반적이다. 예를 들어, 도 1이 네 개의 픽처의 시퀀스에 대한 두 가지 종래의 인트라-리프레시 인코딩 시나리오, 즉, 워스트-케이스 시나리오(112) 및 베스트-케이스 시나리오(114)를 도시한다. 두 시나리오 모두에서, 네 개의 픽처의 이러한 세트에 대한 전역 모션 추정치가 왼쪽에서 오른쪽으로의 수평 방향에서 전역 모션 벡터(106)("MVG"라고도 표시됨)로서 나타난다(즉, 사용자의 관점에 대해 오른쪽 방향을 가짐)고 가정하자. 비디오 코덱 맥락에서 "모션 벡터"라는 용어는 일반적으로 현재 픽처 내 한 블록으로부터 참조 픽처 내 매칭 블록까지를 가리키는 벡터를 지칭하며, 용어 "전역 모션 벡터"는 본 명세서에서 사용될 때 전역 모션 내에서 나타나는 가상 카메라의 모션의 방향을 가리킨다. 도 1의 경우, 워스트-케이스 시나리오(112)가 픽처들 간 리프레시 영역의 이동 패턴이 전역 모션 벡터 MVG의 방향과 동일한 시나리오를 나타내며, 베스트-케이스 시나리오(112)는 리프레시 영역의 이동 방향이 전역 모션 벡터 MVG의 방향과 반대인 시나리오를 나타낸다.
앞서 설명한 바와 같이, 종래의 인트라-리프레시 인코딩 프로세스에서, 인트라-리프레시 세트의 각각의 연속되는 픽처에 대한 리프레시 영역의 위치가 인트라-리프레시 세트의 선행하는 픽처 내에서의 리프레시 영역의 위치에 대해 특정 이동 방향 또는 패턴으로 공간적으로 이동된다. 즉, 종래의 인트라-리프레시 모드에서, 픽처 내 리프레시 영역의 위치가 인트라-리프레시 세트 또는 사이클 내 상기 픽처의 위치만을 기초로 한다. 예를 들어, 네 개의 픽처의 인트라-리프레시 세트의 경우, 제1 픽처의 리프레시 영역이 하나의 가장자리에 인접할 수 있고 이동 방향으로 제1 픽처의 일사분면을 차지할 수 있으며, 세트의 제2 픽처에 대한 리프레시 영역은 이동 방향으로 제2 픽처의 이사분면을 차지할 수 있으며, 세트의 제3 픽처에 대한 리프레시 영역은 이동 방향으로 제3 픽처의 삼사분면을 차지할 수 있고, 세트의 제4 픽처에 대한 리프레시 영역은 이동 방향으로 제4 픽처의 마지막 사분면을 차지할 수 있다. 그 후 각각의 픽처의 나머지 영역이 "클린(clean)" 또는 "더티(dirty)"로 분류된다. 인코딩된 픽처의 각각의 영역을 리프레시(R) 영역, 클린(C) 영역, 또는 더티(D) 영역으로 분류하는 것은 영역이 인코딩 및 디코딩될 수 있는 방식을 나타낸다. 인트라-인코딩되는 리프레시 영역은 디코딩될 그 밖의 다른 임의의 픽처 또는 영역을 참조할 필요가 없다. 그러나 리프레시 영역을 인코딩하는 것은 대부분의 비트를 필요로 하며 따라서 리프레시 영역의 전송이 세 개의 영역의 가장 큰 비트 레이트를 필요로 한다. 픽처의 클린 영역을 인코딩할 때의 모션 벡터 검색 범위가 이전 픽처의 리프레시 영역 및 (존재하는 경우) 클린 영역(들)만으로 제한되어 인트라-리프레시된 영역으로의 인터-픽처 에러 전파가 피해질 수 있다. 이와 달리, 픽처의 더티 영역을 인코딩할 때의 모션 벡터 검색 범위는 비제한적(자유로움)이며 따라서 이전 픽처의 모든 영역을 포함할 수 있다. 따라서 이전 픽처 내 매칭 블록이 이전 픽처의 더티 영역에 있을 수 있으며 따라서 현재 픽처의 클린 영역 내 평가 대상 블록에 대한 모션 벡터 검색 범위 밖에 속하기 때문에, 그 후 블록 매칭이 실패하거나 최적이 아니기 때문에 평가 대상 블록은 인트라-인코딩되거나 인트라-코딩된 경우와 유사한 비트를 갖고 인터-코딩되어야 한다. 그러나 이러한 동일한 블록이 현재 픽처의 더티 영역 내에 위치하는 경우, 매칭 블록을 참조하는 것은 이전 픽처에서 어떠한 제한도 갖지 않을 것이며, 따라서 모션 벡터 및 잔차(residual)로서 인터-인코딩된다. 따라서 일반적으로 픽처의 더티 영역을 인코딩하기 위한 비트 레이트가 클린 영역을 인코딩하기 위한 비트 레이트 이하이다. 즉, 리프레시 영역을 인코딩하는 데 필요한 비트 레벨(즉, 비트의 수)을 나타내기 위해 "I"를 이용하고, 클린 또는 "제한된" 영역을 인코딩하는 데 필요한 비트 레벨을 나타내기 위해 "Pr"을 이용하며, 더티 또는 "자유" 영역을 인코딩하는 데 필요한 비트 레벨을 나타내기 위해 "Pf"를 이용하여, 이들 비트 레벨 간 관계가 다음과 같이 요약된다: I >> Pr >= Pf.
(초기 사이클이 아닌 다른 인트라-리프레시의 일반적인 전체 사이클을 나타내는) 워스트 케이스 시나리오(112)에서, 인트라-리프레시 세트는 픽처 1-4로 나타나는 네 개의 픽처를 포함한다. 이 세트에 네 개의 픽처가 존재하기 때문에, 각각의 픽처는 도 1의 예시에서 수평-배열된 영역으로 도시되는 네 개의 영역으로 논리적으로 분할된다. 알다시피, 워스트 케이스 시나리오(112)의 경우, 리프레시 영역(문자 "R"을 이용해 표시됨)의 이동 패턴이 픽처들 간 왼쪽에서 오른쪽으로 이도록 인트라-리프레시 인코딩 모드가 설정된다. 따라서 픽처 1을 인코딩할 때, 가장 왼쪽 영역이 리프레시 영역으로서 전체적으로 인트라-인코딩된다. 픽처 1의 나머지 세 개의 영역이 현재 리프레시되는 중도 아니고 이전에 리프레시된 인트라-리프레시 세트의 이전 픽처 내 영역에 공간적으로 대응하는 것도 아닌 영역을 나타내기 때문에, 픽처 1의 나머지 영역이 더티 영역(문자 "D"를 이용해 표시됨)으로 간주되고 따라서 인터-인코딩된다. 픽처 2를 인코딩할 때, 인트라-리프레시에 대한 위치가 오른쪽에서 중앙-왼쪽 영역으로 이동되며, 따라서 이는 리프레시 영역으로서 인트라-인코딩된다. 픽처 2의 가장 왼쪽 영역이 픽처 1의 리프레시 영역에 대응(즉, 픽처 2의 가장 왼쪽 영역이 이전 픽처의 리프레시됐던 영역에 대응)할 때, 픽처 2의 가장 왼쪽 영역이 클린 영역(문자 "C"를 이용해 표시됨)으로 식별되고 이렇게 인터-인코딩되며, 반면에 픽처 1 내 리프레시됐던 어떠한 영역으로도 검색이 제한되지 않기 때문에 픽처 2의 중앙-오른쪽 영역 및 가장 오른쪽 영역이 식별되고 더티 영역으로서 인터-인코딩된다.
픽처 3을 인코딩할 때, 리프레시 영역이 픽처 1 및 2에 대해 다시 오른쪽으로 이동되며, 따라서 픽처 3의 중앙-오른쪽 영역이 픽처 3에 대한 리프레시 영역으로서 전체적으로 인트라-인코딩되며, 반면에, 가장 왼쪽 영역 및 중앙-왼쪽 영역이 클린 영역으로서 인터-인코딩되며, 가장 오른쪽 영역이 더티 영역으로서 인터-코딩된다. 리프레시 영역이 픽처 1, 2 및 3에 비해 다시 오른쪽으로 이동되며, 따라서 픽처 4의 가장 오른쪽 영역이 리프레시 영역으로서 전체적으로 인트라-인코딩된다. 픽처 4의 가장 왼쪽, 중앙-왼쪽, 및 중앙-오른쪽 영역이 픽처 1-3에서 리프레시됐던 영역에 대응하며, 따라서 인터-인코딩되고 클린 영역으로서 마킹된다.
워스트 케이스 시나리오(112)의 픽처 1-4에서 또한 도시된 바와 같이, 픽처 1-4에 대응하는 시간 픽처에 대한 HMD 디바이스(102)의 전역 모션에 의해, (도 1에서 도약하는 재규어의 아이콘으로 나타나는) 새로운 콘텐츠가 픽처의 오른쪽 가장자리로부터 들어오고 반면에 기존 콘텐츠가 픽처의 왼쪽 가장자리로부터 나간다. (왼쪽에서 오른쪽으로의 전역 모션으로부터 도출된) 이러한 새로운 콘텐츠의 오른쪽에서 왼쪽으로의 방향이 픽처 1-4 내 리프레시 영역의 이동 방향에 반대이고 따라서 인코딩이 비효율적이다. 예를 들어, 픽처 1의 경우, 리프레시 영역 R이 인트라-코딩된다. 그러나 픽처 1의 가장 오른쪽 영역이 모두 새로운 콘텐츠를 갖기 때문에, 이의 코딩 효율은 기본적으로 완전 인트라-코딩된 경우와 동일하며, 비트 레벨 I를 갖는 2개의 인트라-코딩된 영역 및 비트 레벨 Pf를 갖는 2개의 더티 영역을 도출한다. 픽처 2에서, 중앙-왼쪽 영역이 리프레시 영역으로서 인트라-코딩된다. 그러나 모든 새로운 콘텐츠가 가장 오른쪽 영역에 다시 도입되었기 때문에, 픽처 2의 가장 오른쪽 영역이 인트라-코딩도 되어, 비트 레벨 I에서 인트라-코딩된 2개의 영역, 비트 레벨 Pr에서 인트라-코딩된 클린 영역, 및 비트 레벨 Pf에서 인트라-코딩된 더티 영역을 도출한다. 픽처 3을 인코딩하기 위한 상황이 더 악화된다. 이 픽처의 경우, 중앙-오른쪽 영역이 리프레시 영역으로서 인코딩되고 따라서 비트 레벨 I를 요구한다. 픽처 1 및 2와 같이, 새로운 콘텐츠가 전역 모션(MVG) 때문에 오른쪽 측부 상에서 들어가고 따라서 픽처 3의 가장 오른쪽 영역이 또한 비트 레벨 I에서 인트라-코딩되어야 한다. 또한, 픽처 3의 중앙-왼쪽 영역이 실질적으로 리프레시 영역 픽처 및 픽처 2의 클린 영역에서 발견되지 않은 콘텐츠로 구성되기 때문에, 픽처 3의 중앙-왼쪽 영역은 또한 비트 레벨 I에서 주로 인트라-코딩되어야 한다. 픽처 3의 가장 왼쪽 영역이 이전 픽처 내 더티 영역으로부터 새로운 콘텐츠를 포함하지 않기 때문에, 이 영역은 비트 레벨 Pr에서 인터-인코딩된다. 픽처 4의 경우, 픽처 4에 대한 리프레시 영역이 전역 모션 때문에 모든 새로운 콘텐츠가 도입된 영역과 매칭되고 그 밖의 다른 영역이 이전 픽처의 클린 영역 내에 이미 존재하는 콘텐츠를 포함하고, 따라서 픽처 4의 리프레시 영역을 제외한 모든 영역이 비트 레벨 Pr로 인터-인코딩될 수 있을 때 인코딩을 위한 필수 비트 수가 완화된다. 따라서 워스트-케이스 시나리오(112)에서 픽처 1-4를 인코딩하는 것이 각각 비트 레벨 I 영역으로 인코딩된 2개의 영역을 갖는 2개의 픽처 및 비트 레벨 I에서 인코딩되는 3개의 영역을 갖는 하나의 픽처를 도출하고, 따라서 상당히 변하는 비트 레이트로 인코딩된 비트 스트림 부분을 도출한다.
베스트 케이스 시나리오(114)에 대한 인트라-리프레시 세트가 또한 동일한 네 개의 수평-배열된 영역으로 논리적 분할된 픽처 1, 픽처 2, 픽처 3 및 픽처 4로 표시된 네 개의 픽처를 포함한다. 또한, 베스트 케이스 시나리오(114)의 경우, 리프레시 영역이 픽처들 간에 오른쪽에서 왼쪽으로 이동하도록 종래의 인트라-리프레시 인코딩 모드가 설정된다. 따라서 픽처 1을 인코딩할 때, 가장 오른쪽 영역이 리프레시 영역으로서 인트라-인코딩되며, 픽처 2를 인코딩할 때, 중앙-오른쪽 영역이 리프레시 영역으로서 인트라-인코딩되며, 픽처 3을 인코딩할 때, 중앙-왼쪽 영역이 리프레시 영역으로서 인트라-인코딩되고, 인코딩 픽처 4를 인코딩할 때, 가장 왼쪽 영역이 리프레시 영역으로서 인트라-인코딩된다. 그러나 워스트-케이스 시나리오(112)와 달리, 베스트-케이스 시나리오(114)에서, 리프레시 영역 이동의 방향은 새로운 콘텐츠가 디스플레이되도록 도입되는 방향을 따른다. 픽처 1-4의 각자의 영역을 인코딩하기 위한 최종 비트 레벨이 도 1에 도시된다. 따라서 도시된 바와 같이, 베스트 케이스 시나리오(112)는 비트 레벨 I에서 인코딩된 2개의 영역을 각각을 갖는 세 개의 픽처 및 비트 레벨 I에서 인코딩되는 하나의 영역을 갖는 하나의 픽처를 필요로 한다. 따라서 베스트 케이스 시나리오(114)가 워스트-케이스 시나리오(114)에 비교할 때 네 개의 픽처의 인코딩된 표현의 전송을 위한 더 평활화된 비트 레이트를 보이지만, 베스트-케이스 시나리오(114)의 비트 레이트는 상당히 지터성(jittery)이며, 따라서 최종 인코딩된 디스플레이 스트림의 레이턴시 또는 지터에 부정적일 영향을 미칠 수 있다.
본 명세서에 기재된 모션-적응적 인트라-리프레시 인코딩 기법으로 다시 돌아와서, 예시적 시나리오(116)가 시나리오(112, 114)에서 나타난 동일한 네 개의 픽처 세트에 이 프로세스를 적용한 것을 도시한다. 그러나 리프레시 영역의 위치가 인트라-리프레시 세트의 각각의 픽처들 간에 특정 방향으로 이동되는 시나리오(112, 114)로 나타내어지는 종래의 인트라-리프레시 인코딩 프로세스와 달리, 모션-적응적 인트라-리프레시 인코딩 프로세스가 픽처에 대한 리프레시 영역을 상기 픽처와 연관된 전역 모션의 방향에서 픽처 가장자리에 바로 인접한 영역이도록 선택한다. 앞서 언급된 바와 같이, 도 1의 예시에서, 전역 모션은 왼쪽에서 오른쪽으로이며, 따라서 오른쪽 가장자리가 전역 모션의 방향에서 디스플레이의 가장자리로서 식별될 것이다. 또한 이 예시에 대해, 전역 모션 벡터 MVG의 크기 및 방향이 모든 네 개의 픽처에 걸쳐 일정하다고 가정된다, 즉, 픽처 1-4 각각이 동일한 전역 모션 추정치를 가진다. 이러한 가정은 전역 모션이 픽처 그룹 동안 지속되면서, 비디오 시퀀스에서 거의 고립되어 등장하지 않는다는 사실에 기초한다.
오른쪽 가장자리가 전역 모션의 방향에서 가장자리로서 식별될 때, 각각의 픽처 1-4의 가장 오른쪽 영역(즉, 오른쪽 가장자리에 바로 인접한 영역)이 각각의 픽처에 대해 리프레시될 영역으로서 선택된다. 따라서 새로운 콘텐츠가 전역 모션으로 인하여 각각의 픽처 1-4의 가장 오른쪽 영역에 도입되고, 전역 모션을 고려하여 가장 오른쪽 영역이 각각의 픽처 1-4에 대한 리프레시 영역으로서 선택되기 때문에, 비트 레벨 I에서의 리프레시 영역으로서의 각각의 픽처 1-4의 가장 오른쪽 영역의 인트라-코딩이 이중 역할을 수행하는데 - 즉, 하나의 영역의 동일한 인트라-코딩이 리프레시 인트라-코딩 요건과 새로 도입된 콘텐츠를 인트라-코딩할 필요성 모두를 만족시키는 역할을 한다. 덧붙여, 리프레시 영역이 픽처들 간에 고정 위치에 있고, 이 고정된 위치가 새로운 콘텐츠가 발생하는 곳이기 때문에, 클린 영역이 픽처들 간에 새로운 콘텐츠와 동일한 방향으로 이동하며, 따라서 종래의 인트라 리프레싱 기법을 나타내는 시나리오(112, 114)에서 클린 영역들 중 일부를 인트라-코딩할 필요성에 비교할 때, 각각의 픽처의 클린 영역이 인터-인코딩될 수 있다. 최종 비트 레이트 인코딩 프로파일이 시나리오(116)에서 아래의 픽처 1-4로 나타난다. 나타난 바와 같이, 픽처 1-4 중 어느 것도 모션-적응적 인프라-리프레시 기법을 이용해 둘 이상의 영역이 인트라-코딩될 것을 요구하지 않기 때문에 종래의 방법에 비교하여 최종 인코딩된 비트 스트림에 대한 더 평활화된 비트 레이트를 제공한다.
시나리오(116)의 예시가 특정 픽처의 영역이 동일한 폭을 가지며 특정 영역 유형의 크기가 픽처 간에 일정하다고 가정하지만, 일반적으로 하나 이상의 인자를 기초로 리프레시 영역의 크기를 동적으로 조절하여, 동일한 인트라-리프레시 세트에서 연속되는 픽처에 대한 클린 영역 및 더티 영역에 대해 가변 크기를 도출하는 것이 바람직하다. 특히, 전역 모션으로 인해 픽처의 대응하는 가장자리로부터 도입되는 새로운 콘텐츠의 "폭"과 매칭되도록 상기 픽처에 대한 리프레시 영역의 폭을 선택하는 것이 리프레시 영역에 대한 최적의 설정을 제공할 수 있다. 예를 들어, 도입된 새로운 콘텐츠의 폭이 리프레시 영역의 폭보다 큰 경우, 상기 새로운 콘텐츠의 일부분이 리프레시 영역의 인트라-인코딩에 의해 커버되지 않을 것이고 따라서 인접 영역의 적어도 일부분이 새로운 콘텐츠의 일부분을 커버하기 위해 인트라-코딩될 필요가 있을 것이며, 따라서 좁은 리프레시 영역에는 어떠한 이점도 없다. 반대로, 리프레시 영역이 전역 모션으로 인한 픽처에 도입되는 새로운 콘텐츠의 폭보다 넓은 경우, 완전히 인트라-코딩될 픽처 콘텐츠의 크기가 반드시 클 필요는 없다. 또한, 하나의 픽처 내 C 영역이 이전 픽처에서 D 영역이었던 것의 일부분을 커버하도록 C 영역이 확장될 수 있다. 그 후 이전 픽처의 D 영역이 모션 벡터 검색에 사용될 수 없기 때문에 이는 C 영역의 코딩 효율에 영향을 미칠 것이다. 따라서, 새로운 콘텐츠가 리프레시 영역이 고정되는 픽처의 가장자리로부터 도입될 때의 레이트를 나타내는 전역 모션 추정치에 매칭될 때 리프레시 영역의 폭이 최적의 또는 개선된 인코딩 효율을 도출할 수 있다.
도 2는 픽처의 스트림의 모션-적응적 인트라-리프레시 인코딩 동안 리프레시 영역에 대한 이러한 동적 구성의 예시를 도시한다. 도시된 예시에서, 비디오 스트림은 픽처 1-6으로 표시된 6개의 픽처를 갖는 인트라-리프레시 세트를 포함한다. 차트(202)는 각각의 픽처에 대응하는 전역 모션 벡터 MVG의 크기를 도시한다. 각각의 픽처에 대한 특정 전역 모션 벡터 MVG가, 예를 들어, 픽처의 대응하는 시점에서의 HMD 디바이스(102)의 움직임으로부터 결정된다. 또한, 이 예시에서, 각각의 픽처 1-6에 대한 전역 모션 벡터 MVG가 왼쪽에서 오른쪽으로의 모션으로 결정된다. 따라서 본 명세서에 기재된 모션-적응적 인트라-리프레시 기법을 이용하여, 각각의 픽처 1-6에 대한 리프레시 영역이 오른쪽 가장자리에 바로 인접한 영역에 고정된다.
픽처 1을 인코딩할 때, 픽처의 오른쪽 가장자리에서의 리프레시 영역 R1이 상기 픽처에 대해 결정된 전역 모션 크기를 기초로 하는 W1의 폭으로 설정된다. 또한, 픽처 1이 이 인트라-리프레시 세트 내 첫 번째 픽처가기 때문에, 픽처 1의 나머지 영역이 더티 영역 D1이 된다. 픽처 2를 인코딩할 때, 이 픽처의 오른쪽 가장자리에서의 리프레시 영역 R2가 픽처에 대해 결정된 전역 모션 크기를 기초로 하는 폭 W2로 설정된다. 또한 픽처 1의 리프레시 영역 R1이 전역 모션으로 인한 왼쪽 방향으로의 위치 이동과 함께 픽처 2의 클린 영역 C1이 된다. 따라서 픽처 2의 나머지가 더티 영역(D2)이다. 픽처 3의 경우, 리프레시 영역 R3이 대응하는 전역 모션 크기를 기초로 하는 폭 W3으로 설정된다. 그 후 픽처 2의 리프레시 영역 R2 및 클린 영역 C1이 전역 모션으로 인해 왼쪽 방향으로 위치 이동하여 클린 영역 C2가 되고, 픽처 3의 나머지 부분이 더티 영역 D3이 된다. 동일한 프로세스가 도시된 폭 W4를 갖는 리프레시 영역 R4, 클린 영역 C2 및 리프레시 영역 R3으로부터 도출된 클린 영역 C3 및 픽처 4에 대한 더티 영역 D4, 폭 W5를 갖는 도시된 리프레시 영역 R5, 클린 영역 C3 및 리프레시 영역 R4로부터 도출된 클린 영역 C4 및 픽처 5에 대한 더티 영역 D5, 및 폭 W6을 갖는 도시된 리프레시 영역 R6 및 클린 영역 C4로부터 도출된 클린 영역 C5 및 픽처 6에 대한 리프레시 영역 R5를 도출한다.
도 3은 본 발명의 적어도 하나의 실시예에 따르는 비디오 프로세싱 시스템(100)의 예시적 구현예를 도시한다. 도시된 예시에서, 비디오 프로세싱 시스템(100)은, 가령, 유선 통신 링크, 무선 링크, 또는 이들의 조합을 포함하는 전송 링크(306)를 통해 연결된 비디오 생성 서브-시스템(302) 및 HMD 디바이스(304)(HMD 디바이스(102)의 하나의 실시예)를 포함한다. 유선 통신 링크의 예시로는, 이더넷 링크, USB(Universal Serial Bus) 링크, HDMI(High Definition Multimedia Interface) 링크 등이 있다. 무선 통신 링크의 예시로는 IEEE 802.11 로컬 영역 네트워크, 블루투쓰(TM) 개인 영역 네트워크 등이 있다. 비디오 생성 서브-시스템(302)은 비디오 소스(308), 전역 모션 추정 모듈(310), 모드 제어 모듈(312), 인코더(314) 및 링크 인터페이스(316)를 포함한다. HMD 디바이스(304)는 링크 인터페이스(318), 디코더(320), 디스플레이 제어기(322), 및 하나 이상의 디스플레이 패널, 가령, 좌안 디스플레이 패널(left-eye display panel)(324) 및 우안 디스플레이 패널(right-eye display panel)(326)을 포함한다. 또한 일부 실시예에서, HMD 디바이스(304)는 하나 이상의 모션-기반 센서, 가령, 하나 이상의 모션-기반 센서, 가령, 자이로스코프(330), 가속도계(332), 및 자력계(334)를 갖는 관성 측정 유닛(IMU)(328)을 포함한다. 그 밖의 다른 예시가 구조화된 광 센서, 레이저 센서 등을 포함한다.
일반적으로, 비디오 생성 서브-시스템(302)은 VR/AR 콘텐츠를 나타내는 픽처의 스트림을 렌더링하고, 픽처의 이 스트림(340)을 인코딩된 비트 스트림(342)으로 인코딩하며, 인코딩된 비트 스트림을 HMD 디바이스(304)로 전송하도록 동작하며, 이에 따라, HMD 디바이스(304)의 디코더(320)가 인코딩된 비트 스트림(342)을 디코딩하여 픽처의 스트림(340)(또는 이의 손실성 표현)을 획득할 수 있고, 이들은 디스플레이 제어기(322) 및 디스플레이 패널(324, 326)을 통해 사용자에게 디스플레이되도록 제공된다. 이러한 목적으로, 비디오 소스(308)는 픽처의 스트림을 렌더링하도록 동작한다. 따라서 비디오 소스(308)는 예를 들어 IMU(328) 또는 그 밖의 다른 두부-추적 메커니즘에 의해 측정되는 HMD 디바이스(304)의 모션 또는 자세를 적어도 부분적으로 기초로 하는 VR/AR 콘텐츠를 나타내는 픽처를 렌더링하는 VR/AR 애플리케이션을 실행하는 하나 이상의 프로세서를 포함한다. 인코더(314)는 픽처를 인코딩하여 전송 링크(306)를 통해 전송되도록 링크 인터페이스(316)로 제공되는 인코딩된 비트 스트림(342)을 생성하도록 동작한다.
인코딩 프로세스 동안, 인코더(314)는 인코더(314)가 리프레시 영역이 인트라-리프레시 세트의 픽처들 간에 위치를 이동하는 종래의 인트라-리프레시 코딩 모드 또는 본 명세서에 기재된 모션-적응적 인트라-리프레시 모드로 동작하도록 구성된 이중-모드 인코더를 포함할 수 있다. 이에 따라 인코더(314)를 구성하기 위해, 전역 모션 추정 모듈(310)이 업데이트된 전역 모션 추정치를 반복적으로 획득하고 각각의 업데이트된 전역 모션 추정치를 모드 제어 모듈(312)로 제공한다. 그 후 모드 제어 모듈(312)은 전역 모션 추정치로부터 종래의 인트라-리프레시 모드를 구현할지 또는 모션-적응적 인트라-리프레시 모드를 구현할지를 결정하고, 이에 따라 모드 설정 신호(344)를 통해 인코더(314)를 설정한다. 또한, 모션-적응적 인트라-리프레시 모드가 구현되는 경우, 모드 제어 모듈(312)이 인코딩될 현재 픽처에 대해 인코더(314)에 의해 구현될 리프레시 영역의 특성, 가령, 픽처의 어느 가장자리에 리프레시 영역이 인접하는지, 및 리프레시 영역의 폭을 더 결정하고, 그 후 인코더(314)가 리프레시 영역 설정 신호(346)를 통해 이들 파라미터를 인코더(314)로 시그널링할 수 있다.
도 4는 전역 모션 추정 모듈(310), 모드 제어 모듈(312) 및 인코더(314)의 동작 방법(400)을 상세히 도시한다. 픽처 인코딩을 시작하기 전에, 블록(402)에서 인코더(314), 모드 제어 모듈(312) 및 전역 모션 추정 모듈(310)이 관련 파라미터로 초기화된다. 예를 들어, 인코더(314)가, 일부 실시예에서, 인트라-리프레시 세트의 특정된 개수 N의 픽처를 구현하도록 설정되며, 모드 제어 모듈(312)은 전역 모션 추정치에 적용될 특정 임계치로 설정되고, 임시 변후 X가 일(1)로 설정된다. 초기화 후, 비디오 소스(308)가 스트림(340)에 대한 픽처를 렌더링하기 시작하며 블록(404)의 하나의 반복구간에서 각각의 렌더링된 픽처가 인코더(314)에서 수신된다.
픽처의 렌더링 및 수신과 동시에, 블록(404)에서 전역 모션 추정 모듈(310)이 현재의 픽처 반복구간 i에 대해 전역 모션 추정치 MVG(i)을 결정한다. 블록(405)에 의해 나타나는 바와 같이, 하나의 실시예에서, 전역 모션 추정 모듈(310)은 IMU(328)의 하나 이상의 모션-기반 센서로부터의 센서 데이터를 기초로 전역 모션 추정치 MVG(i)을 결정한다. 예를 들어, IMU(328)는 자이로스코프(330), 가속도계(332), 또는 자력계(334) 중 하나 이상을 주기적으로 샘플링하여 HMD 디바이스(304)의 현재 자세 및 HMD 디바이스(304)의 자세의 현재 변경을 결정할 수 있고 이 정보로부터 전역 모션 추정 모듈(310)이 예를 들어 디스플레이 패널(324, 326)의 디스플레이 공간에 대한 임의의 회전 운동의 대응하는 직선 운동으로의 변환을 포함하는 전역 모션 추정치 MVG(i)을 결정한다. 대안으로, 블록(407)에 의해 나타내지는 바와 같이, 전역 모션 추정 모듈(310)은 현재 픽처 및 하나 이상의 이전 픽처를 이용해 인코딩될 현재의 픽처의 모션-기반 분석을 채용하는 다양한 전역 모션 기법 중 임의의 기법을 이용해 전역 모션 추정치 MVG(i)을 결정한다.
본 명세서에 기재된 바와 같이, 모션-적응적 인트라-리프레시 모드가 인트라-리프레시-코딩된 픽처의 리프레시 영역을 상기 픽처에 대한 전역 모션의 방향에서 픽처 가장자리에 바로 인접한 영역에 "고정"한다. 그러나 전역 모션이 픽처의 4개의 가장자리를 나타내는 4개의 기본 방향과 평행하지 않는 방향을 가질 수 있음이 자명하다. 예를 들면, 도 1을 간략히 참조하면, 전역 모션 추정치 MVG(i)이 (사용자의 관점에 대해) 오른쪽과 하향 모두의 방향을 갖는 모션 벡터(120)에 의해 나타난다. 이러한 상황에서, 전역 모션 추정 모듈(310)은 전역 모션 추정치 MVG(i)의 주 방향 성분, 즉, 4개의 기본 축 중 하나와 평행하고 가장 큰 크기를 갖는 전역 모션 추정치 MVG(i)의 방향 성분을 이용한다. 예컨대, 모션 벡터(120)가 수평 방향 성분(122)과 수직 방향 성분(124)을 모두 가지며, 수평 방향 성분(122)의 크기가 더 크기 때문에, 수평 방향 성분(122)이 전역 모션 추정치 MVG(i)으로서 사용된다. 또는, 사용자가 수직 모션보다 수평 모션으로 인해 도입되는 콘텐츠에 더 민감할 가능성이 높기 때문에, 디폴트로서 전역 모션 추정치의 수평 방향 성분이 MVG(i)로서 사용된다.
블록(408)에서, 모드 제어 모듈(312)은 전역 모션 추정치 MVG(i)를 수신하고 전역 모션의 이러한 표현의 크기를 모드를 모션-적응적 인트라-리프레시 코딩 모드로 변경하기에 충분하다고 가정되는 최소 전역 모션을 나타내는 특정된 임계치에 비교한다. 임계치는 모델링, 실험 등을 통해 결정되고 일부 예시에서 피드백 또는 임계치에 대한 다양한 값의 영향의 그 밖의 다른 분석을 기초로 시간에 따라 변경된다. 전역 모션 추정치 MVG(i)의 크기가 이러한 임계치를 초과하지 않는 경우, 모드 제어 모듈(312)은 모드 설정 신호(344)를 통해 블록(404)에서 수신된 픽처를 인코딩하기 위해 종래의 인트라-리프레시 모드를 채용하도록 인코더(314)를 설정한다. 이렇게 설정함에 따라, 블록(410)에서 인코더(314)는 현재 인트라-리프레시 세트 내 픽처의 위치를 나타내는 변수 X에 의해 특정된 픽처 내 리프레시 영역의 위치로 픽처를 인트라-리프레시 인코딩한다. 블록(412)에서, 변수 X는 세트에 대해 다음 리프레시 위치로 이동한다(즉, X는 (X+1) MOD N로 설정됨).
다시 블록(408)으로 돌아와서, 전역 모션 추정치 MVG(i)의 크기가 임계치를 초과하는 경우, 모드 제어 모듈(312)은 모드 설정 신호(344)를 통해 픽처에 대해 모션-적응적 인트라-리프레시 모드를 채용하도록 인코더(314)를 설정한다. 이러한 목적으로, 블록(414)에서 모드 제어 모듈(312)은 전역 모션 추정치 MVG(i)의 방향에서(또는 전역 모션 추정치 MVG(i)의 주 성분의 방향에서) 픽처 가장자리를 식별한다. 예를 들어, 왼쪽에서 오른쪽으로의 전역 모션이 픽처의 오른쪽 가장자리의 선택을 도출할 것이며, 반면에 오른쪽에서 왼쪽으로의 전역 모션은 픽처의 왼쪽 가장자리의 선택을 도출할 것이다. 마찬가지로, 수직-배열된 리프레시 영역이 구현될 수 있으며, 상향 전역 모션이 픽처의 상부 가장자리의 선택을 도출할 것이며, 반면에 하향 전역 모션은 픽처의 하부 가장자리의 선택을 도출할 것이다. 또한, 이 모션-적응적 인트라-리프레시 기법은 기본 방향(즉, 순수하게 오른쪽에서 왼쪽으로의 방향, 또는 위에서 아래로의 방향)으로의 모션에 한정되지 않는다. 예를 들어, 이 동일한 접근법이 임의의 방향으로의 모션, 가령, 상부 왼쪽에서 하부 오른쪽으로의 방향, 하부 오른쪽에서 상부 왼쪽으로의 방향, 상부 오른쪽에서 하부 왼쪽으로의 방향, 하부 왼쪽에서 상부 오른쪽으로의 방향 등에 대해 사용될 수 있다. 블록(416)에서, 모드 제어 모듈(312)은 전역 모션 추정치 MVG(i)의 크기(또는 이의 주 방향 성분)를 기초로 픽처에 대해 인코딩될 리프레시 영역의 폭을 결정한다. 구체적으로, 전역 모션 추정치의 크기, 픽처 레이트, 및 픽처의 해상도의 함수로서 리프레시 영역 폭이 픽셀 수로 계산된다. 결정된 픽처 가장자리 및 리프레시 영역 폭으로, 모드 제어 모듈(312)은 리프레시 영역 설정 신호(346)를 통해 인코더(314)로 이들 파라미터를 시그널링한다.
블록(418)에서, 인코더(314)는 리프레시 영역 설정 파라미터를 이용해 픽처를 인트라-리프레시 인코딩하여, 최종 인코딩된 스트림을 나타내는 비트 스트림 부분을 생성할 수 있고, 이 비트 스트림 부분을 HMD 디바이스(304)로 전송되는 인코딩된 비트 스트림(342)으로 포함시킨다. 이 인코딩 프로세스에서, 인코더(314)는 식별된 픽처 가장자리 및 식별된 리프레시 영역 폭을 이용하여 식별된 픽처 가장자리에 바로 인접하며 지시된 리프레시 영역에 대응하는 폭을 갖는 영역을 인트라-코딩할 수 있다. 픽처의 나머지 부분은, 앞서 기재된 바와 같이, 더티 영역 및 클린 영역 중 하나 또는 둘 모두로 인코딩된다.
방법(400)이 각각의 픽처들 간 인트라-리프레시 모드가 변경되게 하는 하나의 구현예를 나타내지만, 그 밖의 다른 실시예에서 모드 변경이 인트라-리프레시 세트의 완료로 연결된다. 즉, 모드 변경이 하나의 인트라-리프레시 세트/사이클의 완료와 다음 인트라-리프레시 세트/사이클의 시작 사이에서만 발생하도록 제한될 수 있으며, 따라서 인트라-리프레시 세트에 대해 선택된 모드가 상기 세트에서 각각의 픽처에 적용된다.
일부 실시예에서, 앞서 기재된 기법의 특정 양태가 소프트웨어를 실행하는 프로세싱 시스템의 하나 이상의 프로세서에 의해 구현된다. 소프트웨어는 비-일시적 컴퓨터 판독 저장 매체 상에 저장되거나 그 밖의 다른 방식으로 유형으로(tangibly) 포함되는 실행 명령의 하나 이상의 세트를 포함한다. 소프트웨어는 하나 이상의 프로세서에 의해 실행될 때 앞서 기재된 기법의 하나 이상의 양태를 수행하도록 하나 이상의 프로세서를 조작하는 명령 및 특정 데이터를 포함할 수 있다. 비일시적 컴퓨터 판독형 저장 매체는 예를 들어 자기 또는 광학 디스크 저장 디바이스, 솔리드 스테이트 저장 디바이스, 가령, 플래시 메모리, 캐시, 랜덤 액세스 메모리(RAM) 또는 그 밖의 다른 비휘발성 메모리 디바이스 또는 디바이스들 등을 포함할 수 있다. 비일시적 컴퓨터 판독형 저장 매체에 소스 코드, 어셈블리어 코드, 객체 코드 또는 그 밖의 다른 명령 포맷으로 저장되는 실행 명령은 하나 이상의 프로세서에 의해 번역되거나 그 밖의 다른 방식으로 실행 가능하다.
앞서 포괄적인 설명에서 기재된 활동 또는 요소 모두가 요구되는 것은 아니며, 특정 활동 또는 디바이스의 일부분이 요구되지 않을 수 있고, 기재된 것에 추가로, 하나 이상의 추가 활동이 수행되거나 요소가 포함될 수 있다. 더 추가로, 활동이 나열된 순서가 반드시 이들이 수행되는 순서는 아니다. 또한 개념들은 특정 실시예를 참조하여 기재되었다. 그러나 해당 분야의 통상의 기술자라면 다양한 수정 및 변경이 이하의 청구항에서 제공되는 본 발명의 범위 내에서 이뤄질 수 있음이 자명하다. 따라서 발명의 설명 및 도면은 한정이 아니라 예시로서 간주될 것이며, 이러한 모든 변경이 본 발명의 범위 내에 포함되는 것으로 의도된다.
혜택, 그 밖의 다른 이점, 및 문제 해결책이 특정 실시예와 관련하여 앞서 기재되었다. 그러나 혜택, 이점, 문제 해결책 및 임의의 혜택, 이점 또는 해결책이 발생하거나 더 두드러지게 할 수 있는 임의의 특징이 임의의 또는 모든 청구항의 중요한, 요구되는, 또는 본질적인 특징으로서 간주되지 않는다. 덧붙여, 개시된 사항이 해당 업계의 통상의 기술자에게 자명한 상이한 그러나 균등한 방식으로 수정되고 실시될 수 있기 때문에 앞서 개시된 특정 실시예는 예시에 불과하다. 이하의 청구범위에 기재된 것 외에, 본 명세서에 도시된 구성 또는 설계의 상세사항에 어떠한 제한도 의도되지 않는다. 따라서 앞서 개시된 특정 실시예가 변경될 수 있음이 명백하고 이러한 모든 변형이 개시된 본 발명의 범위 내에 있는 것으로 간주된다. 따라서 본 명세서에서 추구하는 보호 범위는 이하의 청구범위에서 제공되는 바와 같다.

Claims (15)

  1. 비디오 프로세싱 시스템(302)에서의 방법으로서,
    렌더링될 제1 픽처에 대해 제1 전역 모션 추정치(120)를 결정하는 단계,
    제1 전역 모션 추정치의 방향에서 제1 픽처의 가장자리로서 제1 픽처의 가장자리를 식별하는 단계(414), 및
    제1 픽처의 가장자리를 식별한 것에 응답하여, 제1 픽처의 인트라-코딩된 리프레시 영역으로서 식별된 가장자리에 바로 인접한 제1 픽처의 영역(R1)을 인코딩함으로써 비디오 프로세싱 시스템의 인코더(314)에서 제1 픽처를 인트라-리프레시 인코딩하는 단계(418)
    를 포함하는, 방법.
  2. 제1항에 있어서,
    제1 전역 모션 추정치의 주 방향 성분(1220의 크기를 기초로 리프레시 영역의 폭(W1)을 설정하는 단계
    를 더 포함하는, 방법.
  3. 제1항에 있어서,
    제1 전역 모션 추정치를 임계치에 비교하는 단계(408)를 더 포함하며,
    제1 픽처의 가장자리를 식별하고 식별된 가장자리에 바로 인접한 제1 픽처의 영역을 인트라-코딩된 리프레시 영역으로서 인코딩하는 단계는 제1 전역 모션 추정치가 임계치를 초과하는 것에 응답하는, 방법.
  4. 제3항에 있어서,
    렌더링될 제2 픽처에 대해 제2 전역 모션 추정치를 결정하는 단계
    제2 전역 모션 추정치를 임계치에 비교하는 단계, 및
    제2 전역 모션 추정치가 임계치를 초과하지 않음에 응답하여, 인트라-코딩된 리프레시 영역의 위치가 픽처 세트의 연속되는 픽처들 간에 이동하는 리프레시 영역 패턴을 기초로 선택된 제2 픽처의 영역을 인코딩함으로써, 인코더에서 제2 픽처를 인트라-리프레시 인코딩하는 단계
    를 더 포함하는, 방법.
  5. 제1항에 있어서,
    두부 장착 디스플레이(HMD) 디바이스(304)로 인코딩된 비트 스트림을 전송하는 단계 - 상기 인코딩된 비트 스트림은 인코딩된 제1 픽처를 포함함 - 를 더 포함하며,
    제1 전역 모션 추정치를 결정하는 단계는 HMD 디바이스의 모션을 기초로 제1 전역 모션 추정치를 결정하는 단계(405)를 포함하는, 방법.
  6. 제1항에 있어서,
    제1 전역 모션 추정치를 결정하는 단계는 제1 픽처의 콘텐츠 및 적어도 하나의 이전 픽처의 콘텐츠의 모션 분석(407)을 기초로 제1 전역 모션 추정치를 결정하는 단계를 포함하는, 방법.
  7. 비디오 코딩 시스템(302)에서의 방법으로서,
    픽처의 제1 세트와 연관된 전역 모션(120)이 특정 임계치를 초과하지 않는다는 결정(408)에 응답하여, 픽처에 대한 리프레시 영역의 위치가 제1 세트의 이전 픽처에 대한 리프레시 영역의 위치에 비해 공간적으로 이동되도록 제1 세트의 각각의 픽처를 인트라-리프레시 인코딩(410)하는 단계, 및
    픽처의 제2 세트와 연관된 전역 모션(120)이 특정 임계치를 초과한다는 결정(410)에 응답하여, 제2 세트의 각각의 픽처에 대한 리프레시 영역의 위치가 픽처의 제2 세트와 연관된 전역 모션의 방향에서 픽처 가장자리에 바로 인접하게 고정되도록 제2 세트의 각각의 픽처를 인트라-리프레시 인코딩(416)하는 단계
    를 포함하는, 방법.
  8. 제7항에 있어서,
    픽처의 제1 세트에 대한 리프레시 영역은 동일한 폭을 가지며,
    픽처의 제2 세트와 연관된 전역 모션은 복수의 전역 모션 추정치를 포함하고, 각각의 전역 모션 추정치는 제2 세트의 대응하는 픽처와 연관되며,
    제2 세트의 픽처에 대한 리프레시 영역은 상기 픽처와 연관된 전역 모션 추정치를 기초로 하는, 방법.
  9. 제7항에 있어서,
    인코딩된 비트 스트림을 두부 장착형 디스플레이(HMD) 디바이스(304)로 전송하는 단계를 더 포함하며, 인코딩된 비트 스트림은 제1 세트 및 제2 세트의 픽처의 인트라-리프레시 인코딩된 표현을 포함하는, 방법.
  10. 제9항에 있어서,
    HMD 디바이스에서, 렌더링된 픽처의 세트를 생성하도록 인코딩된 비트 스트림을 디코딩하는 단계, 및
    HMD 디바이스의 디스플레이 패널(324, 326)에서 렌더링된 픽처의 세트를 디스플레이하는 단계
    를 더 포함하는, 방법.
  11. 시스템(302)으로서,
    픽처 스트림의 픽처를 인코딩하여 인코딩된 비트 스트림을 생성하기 위한 인코더(314),
    스트림의 제1 픽처와 연관된 제1 전역 모션 추정치(120)를 결정하기 위한 전역 모션 추정 모듈(310), 및
    제1 전역 모션 추정치의 방향에서 제1 픽처의 가장자리로서 제1 픽처의 가장자리를 식별하고 식별된 가장자리에 바로 인접한 제1 픽처의 영역이 제1 픽처의 인트라-코딩된 리프레시 영역으로서 인코딩되도록 제1 픽처를 인트라-리프레시 인코딩하도록 인코더를 설정하기 위한 모드 제어 모듈(312)
    을 포함하는, 시스템.
  12. 제11항에 있어서, 제1 전역 모션 추정치의 방향은 제1 전역 모션 추정치의 주 방향 성분(122)의 방향인, 시스템.
  13. 제11항에 있어서,
    모드 제어 모듈은 제1 픽처의 가장자리를 식별하고 제1 전역 모션 추정치가 특정 임계치를 초과함에 응답하여 제1 픽처를 인트라-리프레시 인코딩하도록 인코더를 설정하는, 시스템.
  14. 제13항에 있어서,
    전역 모션 추정 모듈은 스트림의 제2 픽처에 대한 제2 전역 모션 추정치를 더 결정하고,
    제2 전역 모션 추정치가 특정 임계치를 초과하지 않음에 응답하여, 모드 제어 모듈은 인트라-코딩된 영역이 픽처 세트의 연속되는 픽처들 간에 위치를 이동하는 리프레시 영역 패턴을 기초로 선택된 제2 픽처의 영역을 인코딩함으로써 제2 픽처를 인트라-리프레시 인코딩하도록 인코더를 더 설정하는, 시스템.
  15. 제11항에 있어서,
    인코딩된 비트 스트림을 수신하고, 인코딩된 비트 스트림을 디코딩하여 픽처의 디코딩된 스트림을 생성하며, 픽처의 디코딩된 스트림을 사용자에게 디스플레이하기 위한 두부 장착 디스플레이(HMD) 디바이스(304)를 더 포함하며,
    전역 모션 추정 모듈은 HMD 디바이스의 모션을 기초로 제1 전역 모션 추정치를 결정하는, 시스템.
KR1020187031960A 2016-04-29 2017-04-28 고효율 저딜레이 비디오 코딩을 위한 모션-적응적 인트라-리프레시 KR102239856B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662329602P 2016-04-29 2016-04-29
US62/329,602 2016-04-29
US15/188,067 2016-06-21
US15/188,067 US10652572B2 (en) 2016-04-29 2016-06-21 Motion-adaptive intra-refresh for high-efficiency, low-delay video coding
PCT/CA2017/050520 WO2017185187A1 (en) 2016-04-29 2017-04-28 Motion-adaptive intra-refresh for high-efficiency, low-delay video coding

Publications (2)

Publication Number Publication Date
KR20190003548A true KR20190003548A (ko) 2019-01-09
KR102239856B1 KR102239856B1 (ko) 2021-04-13

Family

ID=60158697

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187031960A KR102239856B1 (ko) 2016-04-29 2017-04-28 고효율 저딜레이 비디오 코딩을 위한 모션-적응적 인트라-리프레시

Country Status (6)

Country Link
US (1) US10652572B2 (ko)
EP (1) EP3449632A4 (ko)
JP (2) JP6867406B2 (ko)
KR (1) KR102239856B1 (ko)
CN (1) CN109076227A (ko)
WO (1) WO2017185187A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106488229B (zh) * 2015-09-01 2022-01-21 恩智浦美国有限公司 具有可调整帧内刷新率的视频编码器
CN109496431A (zh) * 2016-10-13 2019-03-19 富士通株式会社 图像编码/解码方法、装置以及图像处理设备
US20190156792A1 (en) * 2017-01-10 2019-05-23 Shenzhen Royole Technologies Co., Ltd. Method and system for adjusting display content and head-mounted display
GB2569107B (en) * 2017-11-29 2022-04-06 Displaylink Uk Ltd Managing display data
EP3522539A1 (en) * 2018-02-01 2019-08-07 Vrije Universiteit Brussel Method and apparatus for compensating motion for a holographic video stream
EP3657799B1 (en) * 2018-11-22 2020-11-04 Axis AB Method for intra refresh encoding of a plurality of image frames
WO2020188149A1 (en) * 2019-03-21 2020-09-24 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding
US11039149B2 (en) * 2019-08-01 2021-06-15 Qualcomm Incorporated Dynamic video insertion based on feedback information
EP3829169B1 (en) * 2019-11-29 2021-10-13 Axis AB Method for intra refresh encoding of a plurality of image frames using convex and concave distribution functions
CN114630122B (zh) 2021-03-19 2023-04-28 杭州海康威视数字技术股份有限公司 基于自适应帧内刷新机制的解码、编码方法及相关设备
CN112911294B (zh) * 2021-03-22 2024-10-15 杭州灵伴科技有限公司 一种使用imu数据的视频编码、解码方法，xr设备和计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0935396A2 (en) * 1998-02-09 1999-08-11 Matsushita Electric Industrial Co., Ltd. Video coding method and apparatus
US20060291558A1 (en) * 2005-06-23 2006-12-28 On Demand Microelectronics Method and arrangements for processing video signals
US20140072034A1 (en) * 2012-09-07 2014-03-13 Jason D. Tanner Motion and quality adaptive rolling intra refresh

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11289542A (ja) * 1998-02-09 1999-10-19 Matsushita Electric Ind Co Ltd 画像符号化装置、画像符号化方法、および画像符号化プログラムを記録した記録媒体
JP4851911B2 (ja) * 2006-10-23 2012-01-11 富士通株式会社 符号化装置、符号化プログラムおよび符号化方法
CN101621685B (zh) * 2008-07-04 2011-06-15 株式会社日立制作所 编码装置和编码方法
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US9930360B2 (en) * 2011-11-08 2018-03-27 Texas Instruments Incorporated Method, system and apparatus for intra-refresh in video signal processing
JP2013165340A (ja) * 2012-02-09 2013-08-22 Sony Corp 画像処理装置と画像処理方法
US20140294072A1 (en) * 2013-03-27 2014-10-02 Magnum Semiconductor, Inc. Apparatuses and methods for staggered-field intra-refresh
JP2015106747A (ja) 2013-11-28 2015-06-08 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US9529200B2 (en) 2014-03-10 2016-12-27 Ion Virtual Technology Corporation Method and system for reducing motion blur when experiencing virtual or augmented reality environments

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0935396A2 (en) * 1998-02-09 1999-08-11 Matsushita Electric Industrial Co., Ltd. Video coding method and apparatus
US20060291558A1 (en) * 2005-06-23 2006-12-28 On Demand Microelectronics Method and arrangements for processing video signals
US20140072034A1 (en) * 2012-09-07 2014-03-13 Jason D. Tanner Motion and quality adaptive rolling intra refresh

Also Published As

Publication number Publication date
EP3449632A4 (en) 2019-12-11
KR102239856B1 (ko) 2021-04-13
US20170318308A1 (en) 2017-11-02
US10652572B2 (en) 2020-05-12
JP6867406B2 (ja) 2021-04-28
WO2017185187A1 (en) 2017-11-02
JP2019519964A (ja) 2019-07-11
CN109076227A (zh) 2018-12-21
JP6908797B1 (ja) 2021-07-28
JP2021108483A (ja) 2021-07-29
EP3449632A1 (en) 2019-03-06

Similar Documents

Publication Publication Date Title
KR102239856B1 (ko) 고효율 저딜레이 비디오 코딩을 위한 모션-적응적 인트라-리프레시
US10404993B2 (en) Picture prediction method and related apparatus
JP6410918B2 (ja) パノラマ映像コンテンツの再生に使用するシステム及び方法
JP7008903B2 (ja) 適応イントラ予測による全方位映像符号化および復号のための方法および装置
KR102160564B1 (ko) 픽쳐 예측 방법 및 관련 장치
KR102248254B1 (ko) 이미지 예측 방법 및 관련 장치
JP6481912B2 (ja) ビデオ画像符号化方法、ビデオ画像復号方法、符号化デバイス、および復号デバイス
US20170302918A1 (en) Efficient streaming of virtual reality content
JP7544443B2 (ja) 映像処理方法及び符号化器
US9936217B2 (en) Method and encoder for video encoding of a sequence of frames
CN113194314B (zh) 视频处理方法、编码端及解码端
JP7415065B2 (ja) 動画像処理方法および装置
TWI831838B (zh) 運動候選列表的構建
JP2015514340A5 (ko)
JP2006191652A (ja) ダイレクトモード動きベクトルを誘導する方法
CN104243982A (zh) 一种视频编解码处理方法及装置
US11044477B2 (en) Motion adaptive encoding of video
TWI652934B (zh) 自適應視頻解碼方法及其裝置
KR20160068657A (ko) 실시간 인코딩을 위한 방법 및 디바이스
US20190014326A1 (en) Imu enhanced reference list management and encoding
CN110351560A (zh) 一种编码方法、系统及电子设备和存储介质
CN102318203B (zh) 用于编码包含光变的视频帧的方法及设备
KR20200053498A (ko) 전방위 비디오를 위한 움직임 벡터 예측기의 적응을 위한 방법 및 장치
JP6610115B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
US20170359575A1 (en) Non-Uniform Digital Image Fidelity and Video Coding

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant