KR102453512B1 - 투영 기반 프레임을 프로세싱하기 위한 방법 - Google Patents

투영 기반 프레임을 프로세싱하기 위한 방법 Download PDF

Info

Publication number
KR102453512B1
KR102453512B1 KR1020217010928A KR20217010928A KR102453512B1 KR 102453512 B1 KR102453512 B1 KR 102453512B1 KR 1020217010928 A KR1020217010928 A KR 1020217010928A KR 20217010928 A KR20217010928 A KR 20217010928A KR 102453512 B1 KR102453512 B1 KR 102453512B1
Authority
KR
South Korea
Prior art keywords
projection
padding
pixel
chroma
chroma sample
Prior art date
Application number
KR1020217010928A
Other languages
English (en)
Other versions
KR20210070299A (ko
Inventor
쳉-수안 시
야-수안 리
지안-리앙 린
Original Assignee
미디어텍 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미디어텍 인크. filed Critical 미디어텍 인크.
Publication of KR20210070299A publication Critical patent/KR20210070299A/ko
Application granted granted Critical
Publication of KR102453512B1 publication Critical patent/KR102453512B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence

Abstract

비디오 프로세싱 방법은, 비트스트림의 일부를 수신하는 단계; 360도 가상 현실(360-degree Virtual Reality; 360 VR) 투영의 투영 레이아웃에 패킹된(packed) 적어도 하나의 투영면 및 적어도 하나의 패딩 영역을 가진 재구성된 투영 기반 프레임을 생성하기 위해 비트스트림의 일부를 디코딩하는 단계; 비트스트림을 통해 시그널링되는 크로마 샘플링 위치 정보를 획득하는 단계; 및 적어도 하나의 투영면에서 제1 크로마 샘플 위치에 대해 획득된 제1 크로마 샘플 값과 적어도 하나의 패딩 영역에서 제2 크로마 샘플 위치에 대해 획득된 제2 크로마 샘플 값을 블렌딩함으로써 타겟 크로마 샘플 위치에서 블렌딩된 크로마 샘플 값을 생성하기 위한 블렌딩 프로세스를 수행하는 단계를 포함한다. 크로마 샘플링 위치 정보에 따라 타겟 크로마 샘플 위치, 제1 크로마 샘플 위치, 및 제2 크로마 샘플 위치 중 적어도 하나가 결정된다.

Description

투영 기반 프레임을 프로세싱하기 위한 방법
관련 출원에 대한 상호 참조
이 출원은 2019년 1월 2일에 출원되고 참조로 본 명세서에 통합되는, 미국 특허 가출원 제62/787,449호의 이익을 주장한다.
기술분야
본 발명은 전방향 이미지/비디오 콘텐츠(omnidirectional image/video content)를 프로세싱하는 것에 관한 것으로, 보다 구체적으로는 360도 가상 현실(360-degree virtual reality; 360 VR) 투영 레이아웃에 패킹된(packed) 적어도 하나의 투영면(projection faces)과 적어도 하나의 패딩 영역을 포함하는 투영 기반 프레임을 프로세싱하기 위한 방법에 관한 것이다.
HMD(헤드 마운트 디스플레이(head-mounted display; HMD)를 사용하는 가상 현실(VR)은 다양한 애플리케이션과 관련되어 있다. 사용자에게 넓은 시야 콘텐츠를 표시하는 기능을 사용하여 몰입형 시각적 경험을 제공할 수 있다. 실세계 환경은 모든 방향으로 캡처되어야 하므로 구체(sphere)에 해당하는 전방향 이미지/비디오 콘텐츠가 생성된다. 카메라 디바이스(camera rigs) 및 HMD의 발전으로 인해 이러한 360도 이미지/비디오 콘텐츠를 표현하는 데 필요한 높은 비트 전송률로 인해 VR 콘텐츠 전달이 곧 병목 현상이 될 수 있다. 전방향 비디오의 해상도가 4K 이상인 경우 데이터 압축/인코딩은 비트 전송률 감소에 중요한다.
일반적으로 구체에 해당하는 전방향 이미지/비디오 콘텐츠는 이미지 시퀀스로 변환되고 - 각각의 이미지는 360도 가상 현실(360 VR) 투영 레이아웃에 배열된 하나 이상의 투영면으로 표시되는 360도 이미지/비디오 콘텐츠를 가진 투영 기반 프레임임 -, 그런 다음, 투영 기반 프레임의 시퀀스는 전송을 위해 비트스트림으로 인코딩된다. 투영 기반 프레임은 레이아웃 경계 및/또는 면 에지(face edges)에서 이미지 콘텐츠 불연속성을 가질 수 있다. 결과적으로 압축 후 레이아웃 경계 및/또는 면 에지 주변의 이미지 품질이 떨어질 수 있다. 더욱이, 재구성된(reconstructed) 투영 기반 프레임의 투영 레이아웃 변환에 의해 아티팩트가 도입되어 변환된 프레임의 이미지 품질 저하로 이어질 수 있다.
청구된 발명의 목적 중 하나는 360도 가상 현실(360 VR) 투영 레이아웃에 패킹된 적어도 하나의 투영면 및 적어도 하나의 패딩 영역을 포함하는 투영 기반 프레임을 프로세싱하기 위한 방법을 제공하는 것이다.
본 발명의 제1 양상에 따르면, 예시적인 비디오 프로세싱 방법이 개시된다. 예시적인 비디오 프로세싱 방법은, 비트스트림의 일부를 수신하는 단계; 360도 가상 현실(360 VR) 투영의 투영 레이아웃에 패킹된 적어도 하나의 투영면 및 적어도 하나의 패딩 영역을 가진 재구성된 투영 기반 프레임을 생성하기 위해 비트스트림의 일부를 디코딩하는 단계; 비트스트림을 통해 시그널링되는 크로마 샘플링 위치 정보를 획득하는 단계; 및 재구성된 투영 기반 프레임의 상기 적어도 하나의 투영면에서 제1 크로마 샘플 위치에 대해 획득된 제1 크로마 샘플 값과 재구성된 투영 기반 프레임의 상기 적어도 하나의 패딩 영역에서 제2 크로마 샘플 위치에 대해 획득된 제2 크로마 샘플 값을 블렌딩(blending)함으로써 타겟 크로마 샘플 위치에서 블렌딩된 크로마 샘플 값을 생성하기 위한 블렌딩 프로세스를 수행하는 단계를 포함하고, 타겟 크로마 샘플 위치, 제1 크로마 샘플 위치, 및 제2 크로마 샘플 위치 중 적어도 하나는 크로마 샘플링 위치 정보에 따라 결정된다.
본 발명의 제2 양상에 따르면, 예시적인 비디오 프로세싱 방법이 개시된다. 예시적인 비디오 프로세싱 방법은, 비트스트림을 수신하는 단계; 360도 가상 현실(360 VR) 투영의 투영 레이아웃에 패킹된 적어도 하나의 투영면 및 적어도 하나의 패딩 영역을 가진 제1 재구성된 투영 기반 프레임을 생성하기 위해 비트스트림의 일부를 디코딩하는 단계; 제1 재구성된 투영 기반 프레임에 대해 블렌딩 프로세스를 수행하는 단계 - 블렌딩 프로세스를 수행하는 단계는, 제1 재구성된 투영 기반 프레임의 상기 적어도 하나의 투영면에서 제1 픽셀 위치에 대해 획득된 제1 픽셀 값과 제1 재구성된 투영 기반 프레임의 상기 적어도 하나의 패딩 영역에서 제2 픽셀 위치에 대해 획득된 제2 픽셀 값을 블렌딩함으로써 블렌딩된 픽셀 값을 생성하는 단계를 포함함 -; 및 제2 재구성된 투영 기반 프레임을 생성하기 위해 비트스트림의 또 다른 부분을 디코딩하는 단계를 포함하고, 블렌딩된 픽셀 값은 제2 재구성된 투영 기반 프레임의 생성에 수반되는 인터 예측(inter prediction)에 의해 사용된다.
본 발명의 제3 양상에 따르면, 예시적인 비디오 프로세싱 방법이 개시된다. 예시적인 비디오 프로세싱 방법은, 비트스트림을 수신하는 단계; 360도 가상 현실(360 VR) 투영의 투영 레이아웃에 패킹된 적어도 하나의 투영면 및 적어도 하나의 패딩 영역을 가진 제1 재구성된 투영 기반 프레임을 생성하기 위해 비트스트림의 일부를 디코딩하는 단계; 제1 재구성된 투영 기반 프레임에 대해 블렌딩 프로세스를 수행하는 단계 - 블렌딩 프로세스를 수행하는 단계는, 제1 재구성된 투영 기반 프레임의 상기 적어도 하나의 투영면에서 제1 픽셀 위치에 대해 획득된 제1 픽셀 값과 제1 재구성된 투영 기반 프레임의 상기 적어도 하나의 패딩 영역에서 제2 픽셀 위치에 대해 획득된 제2 픽셀 값을 블렌딩함으로써 블렌딩된 픽셀 값을 생성하는 단계를 포함함 -; 및 제2 재구성된 투영 기반 프레임을 생성하기 위해 비트스트림의 또 다른 부분을 디코딩하는 단계를 포함하고, 제1 재구성된 투영 기반 프레임은 인터 예측에 의해 사용되는 참조 프레임으로서의 역할을 하고, 블렌딩된 픽셀 값은 제2 재구성된 투영 기반 프레임의 생성에 수반되는 인터 예측에 의해 사용되지 않는다.
본 발명의 제4 양상에 따르면, 예시적인 비디오 프로세싱 방법이 개시된다. 예시적인 비디오 프로세싱 방법은, 비트스트림의 일부를 수신하는 단계; 360도 가상 현실(360 VR) 투영의 투영 레이아웃에 패킹된 적어도 하나의 투영면 및 적어도 하나의 패딩 영역을 가진 재구성된 투영 기반 프레임을 생성하기 위해 비트스트림의 일부를 디코딩하는 단계; 타겟 픽셀에 대해, 재구성된 투영 기반 프레임에서 복수의 대응 픽셀들을 찾는 단계 - 타겟 픽셀과 대응 픽셀들은 구체(sphere) 상의 동일한 포인트에 매핑되고, 대응 픽셀들은 제1 픽셀 및 제2 픽셀을 포함하고, 제1 픽셀은 재구성된 투영 기반 프레임의 상기 적어도 하나의 투영면 내에 위치하며, 제2 픽셀은 재구성된 투영 기반 프레임의 상기 적어도 하나의 패딩 영역 내에 위치함 -; 대응 픽셀들의 픽셀 값을 블렌딩함으로써 블렌딩된 픽셀 값을 생성하는 단계; 및 블렌딩된 픽셀 값에 의해 타겟 픽셀의 픽셀 값을 설정하는 단계를 포함한다.
본 발명의 이들 및 다른 목적들은 다양한 도면들 및 그림들에서 예시되는 바람직한 실시예들의 하기의 상세한 설명을 읽은 후에 당업자들에게 명백하게 된다는 것이 확실하다.
도 1은 본 발명의 실시예에 따른 제1 360도 가상 현실(360 VR) 시스템을 도시한 도면이다.
도 2는 구체의 큐브맵(cubemap) 투영으로부터 얻은 큐브맵 투영 레이아웃의 6개의 정사각형 투영면을 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 에지 패딩을 가진 큐브맵 투영 레이아웃을 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 경계 패딩 및 에지 패딩을 가진 큐브맵 투영 레이아웃을 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 경계 패딩 및 에지 패딩을 가진 다른 큐브맵 투영 레이아웃을 도시한 도면이다.
도 6은 투영면의 픽셀에서 패딩 영역의 대응 패딩 픽셀로 매핑하는 예를 도시한 도면이다.
도 7은 패딩 영역의 패딩 픽셀에서 투영면의 대응 픽셀로 매핑하는 예를 도시한 도면이다.
도 8은 본 발명의 실시예에 따른 인루프 블렌딩(in-loop blending)을 사용한 비디오 디코딩 회로를 도시한 도면이다.
도 9는 본 발명의 실시예에 따른 아웃-루프 블렌딩(out-loop blending)을 가진 비디오 디코딩 회로를 도시한 도면이다.
도 10은 본 발명의 실시예에 따른 제2 360 VR 시스템을 도시한 도면이다.
도 11은 동일한 소스 프레임에서 복수의 대응 픽셀을 블렌딩하여 타겟 픽셀을 유도하는 예를 도시한 도면이다.
도 12는 본 발명의 실시예에 따른 제3 360 VR 시스템을 도시한 도면이다.
도 13은 4:2:0 크로마 포맷과 4개의 크로마 샘플 위치 유형을 도시한 도면이다.
도 14는 투영면의 크로마 샘플에서 패딩 영역의 대응 크로마 샘플로 매핑하는 예를 도시한 도면이다.
도 15는 패딩 영역의 크로마 샘플에서 투영면의 대응 크로마 샘플로 매핑하는 예를 도시한 도면이다.
도 16은 렌더링 프로세스 또는 투영 포맷 변환 프로세스에 의해 요청된 타겟 크로마 샘플을 유도하기 위해 동일한 소스 프레임에서 다수의 대응 크로마 샘플을 블렌딩하는 예를 도시한 도면이다.
도 17은 크로마 포맷 변환 프로세스에서 크로마 샘플링 위치에 의해 블렌딩 프로세스에서 크로마 샘플링 위치를 설정하는 예를 도시한 도면이다.
도 18은 투영 포맷 변환 프로세스에서 크로마 샘플링 위치에 의해 블렌딩 프로세스에서 크로마 샘플링 위치를 설정하는 예를 도시한 도면이다.
특정 구성 요소를 지칭하는 특정 용어는 다음의 설명 및 청구항들 전체에서 사용된다. 당업자가 이해하는 바와 같이, 전자 장비 제조업체는 다른 명칭으로 구성 요소를 지칭할 수 있다. 이 문서는 명칭이 다르지만 기능이 다르지 않은 구성 요소를 구별하기 위한 것이 아니다. 다음의 설명 및 청구항들에서, 용어 "포함하다(include 및 comprise)"는 개방형 방식으로 사용되며, 따라서 "포함하지만 이에 제한되지 않는 ..."을 의미하는 것으로 해석되어야 한다. 또한 "결합한다(couple)"라는 용어는 간접 또는 직접 전기 접속을 의미하도록 의도된다. 따라서, 하나의 디바이스가 또 다른 디바이스에 결합된 경우, 그 접속은 직접 전기 접속을 통해 이루어지거나 다른 디바이스 및 접속을 통한 간접 전기 접속을 통해 이루어질 수 있다.
도 1은 본 발명의 실시예에 따른 제1 360도 가상 현실(360 VR) 시스템을 나타낸 도면이다. 360 VR 시스템(100)은 2개의 비디오 프로세싱 장치(예를 들어, 소스 전자 디바이스(102) 및 목적지 전자 디바이스(104))를 포함한다. 소스 전자 디바이스(102)는 비디오 캡처 디바이스(112), 변환 회로(114) 및 비디오 인코딩 회로(116)를 포함한다. 예를 들어, 비디오 캡처 디바이스(112)는 구체(sphere)에 대응하는 전방향 이미지/비디오 콘텐츠(예를 들어, 전체 주변을 커버(cover)하는 다수의 이미지)(S_IN)를 제공하기 위해 사용되는 카메라 세트일 수 있다. 변환 회로(114)는 비디오 캡처 디바이스(112)와 비디오 인코딩 회로(116) 사이에 결합된다. 변환 회로(114)는 전방향 이미지/비디오 콘텐츠(S_IN)에 따라 360도 가상 현실(360 VR) 투영 레이아웃(L_VR)을 가진 투영 기반 프레임(IMG)을 생성한다. 예를 들어, 투영 기반 프레임(IMG)은 변환 회로(114)에서 생성된 투영 기반 프레임의 시퀀스에 포함된 하나의 프레임일 수 있다.
본 발명의 일부 실시예에서, 변환 회로(114)는 크로마 포맷 변환 및 투영 포맷 변환을 지원할 수 있다. 예를 들어, 전방향 이미지/비디오 콘텐츠(S_IN)는 정방형 투영(equirectangular projection; ERP) 레이아웃과 같은 소스 투영 레이아웃으로 배열될 수 있고, 변환 회로(114)는 타겟 360 VR 투영 레이아웃(L_VR)을 가진 투영 기반 프레임(IMG)을 생성하기 위해 전방향 이미지/비디오 콘텐츠(S_IN)에 대해 투영 포맷 변환을 수행할 수 있다. 또 다른 예를 들어, 전방향 이미지/비디오 콘텐츠(S_IN)의 각 픽셀은 제1 크로마 포맷(예를 들어, 4:4:4)을 갖는 크로마 샘플을 포함할 수 있고, 변환 회로(114)는 전방향 이미지/비디오 콘텐츠(S_IN)에 대해 크로마 포맷 변환을 수행할 수 있어서, 투영 포맷 변환에 의해 프로세싱될 전방향 이미지/비디오 콘텐츠의 각 픽셀은 제2 크로마 포맷(예를 들어, 4:2:0 또는 4:2:2)을 갖는 크로마 샘플을 포함할 수 있다.
비디오 인코딩 회로(116)는 비디오 인코더 아키텍처에 기초하여 구축되고, 비트스트림(BS)의 일부를 생성하기 위해 투영 기반 프레임(IMG)을 인코딩/압축하는데 사용된다. 또한, 비디오 인코딩 회로(116)는 전송 수단(103)을 통해 목적지 전자 디바이스(104)에 비트스트림(BS)을 출력한다. 예를 들어, 투영 기반 프레임의 시퀀스는 비트스트림(BS)으로 인코딩될 수 있고, 전송 수단(103)은 유선/무선 통신 링크 또는 저장 매체일 수 있다.
목적지 전자 디바이스(104)는 헤드 마운트 디스플레이(HMD) 디바이스일 수 있다. 도 1에 도시된 바와 같이, 목적지 전자 디바이스(104)는 비디오 디코딩 회로(122), 그래픽 렌더링 회로(124) 및 디스플레이 스크린(126)을 포함한다. 비디오 디코딩 회로(122)는 비디오 디코더 아키텍처에 기초하여 구축된다. 따라서, 비디오 디코딩 회로(122)는 전송 수단(103)(예를 들어, 유/무선 통신 링크 또는 저장 매체)으로부터 비트스트림(BS)을 수신하고, 수신된 비트스트림(BS)의 일부를 디코딩하여 재구성된 투영 기반 프레임(디코딩된 프레임)(IMG')을 생성하기 위한 비디오 디코더 기능을 수행한다. 예를 들어, 비디오 디코딩 회로(122)는 수신된 비트스트림(BS)의 상이한 부분들을 디코딩함으로써 재구성된 프레임들의 시퀀스를 생성하고, 여기서 재구성된 투영 기반 프레임(IMG')은 재구성된 투영 기반 프레임들의 시퀀스에 포함된 하나의 프레임이다. 이 실시예에서, 인코더 측에서 비디오 인코딩 회로(116)에 의해 인코딩될 투영 기반 프레임(IMG)은 투영 레이아웃을 갖는 360 VR 투영 포맷을 갖는다. 따라서, 비트스트림(BS)이 디코더 측에서 디코딩 회로(122)에 의해 디코딩된 후, 재구성된 투영 기반 프레임(IMG')은 동일한 360 VR 투영 포맷 및 동일한 투영 레이아웃을 갖는 재구성된 프레임이다. 그래픽 렌더링 회로(124)는 비디오 디코딩 회로(122)와 디스플레이 스크린(126) 사이에 결합된다. 그래픽 렌더링 회로(124)는 재구성된 투영 기반 프레임(IMG')에 따라 출력 이미지 데이터를 렌더링하여 디스플레이 스크린(126)에 디스플레이한다. 예를 들어, 재구성된 투영 기반 프레임(IMG')에 의해 운반되는 360도 이미지/비디오 콘텐츠의 일부와 관련된 뷰포트 영역은 그래픽 렌더링 회로(124)를 통해 디스플레이 스크린(126)에 디스플레이될 수 있다.
전술한 바와 같이, 변환 회로(114)는 360 VR 투영 레이아웃(L_VR) 및 전방향 이미지/비디오 콘텐츠(S_IN)에 따라 투영 기반 프레임(IMG)을 생성한다. 360 VR 투영 레이아웃(L_VR)이 컴팩트 투영 레이아웃(compact projection layout)인 경우, 투영면의 패킹으로 인해 인접한 투영면들 사이의 이미지 콘텐츠 불연속 에지가 발생할 수 있다.
360 VR 투영 레이아웃(L_VR)이 패딩를 갖지 않은 큐브맵 투영(cubemap projection; CMP) 레이아웃에 의해 설정된 경우가 고려된다. 따라서, 변환 회로(114)는 구체의 전방향 이미지/비디오 콘텐츠(S_IN)로부터 정사각형 투영면을 획득한다. 즉, 구체의 전방향 이미지/비디오 콘텐츠는 큐브맵 투영을 통해 정사각형 투영면에 매핑된다. 도 2는 구체의 큐브맵 투영으로부터 얻은 CMP 레이아웃의 6개의 정사각형 투영면을 나타내는 도면이다. 구체(202)의 전방향 이미지/비디오 콘텐츠는 큐브(204)의 6개의 정사각형 투영면("L", "F", "R", "BK", "T" 및 "B"로 라벨 표기됨)에 매핑된다. 정사각형 투영면 "L"은 큐브(204)의 좌측면을 의미한다. 정사각형 투영면 "F"는 큐브(204)의 전면을 의미한다. 정사각형 투영면 "R"은 큐브(204)의 우측면을 의미한다. 정사각형 돌출면 "BK"는 큐브(204)의 후면을 의미한다. 정사각형 투영면 "T"는 큐브(204)의 상단면(top face)을 의미한다. 정사각형 투영면 "B"는 큐브(204)의 하단면(bottom face)을 의미한다. 도 2에 도시된 바와 같이, 정사각형 투영면 "L", "F", "R", "BK", "T" 및 "B"는 펼쳐진 큐브에 대응하는 CMP 레이아웃(206)으로 배열된다. 인코딩될 투영 기반 프레임(IMG)은 직사각형이어야 한다. CMP 레이아웃(206)이 투영 기반 프레임(IMG)을 생성하는 데 직접 사용되는 경우, 투영 기반 프레임(IMG)은 인코딩을 위한 직사각형 프레임을 형성하기 위해 더미 영역(예를 들어, 검은 색 영역, 회색 영역 또는 흰색 영역)으로 채워져야한다. 따라서 정사각형 투영면 "L", "F", "R", "BK", "T" 및 "B"는 패딩을 갖지 않은 또 다른 CMP 레이아웃, 예를 들어, 1x6 큐브 레이아웃, 6x1 큐브 레이아웃, 3x2 큐브 레이아웃, 또는 2x3 큐브 레이아웃에 패킹될 수 있다. 이러한 방식으로 코딩 효율성이 향상될 수 있다. 그러나 정사각형 투영면 "L", "F", "R", "BK", "T" 및 "B"가 패딩을 갖지 않은 컴팩트한 CMP 레이아웃으로 패킹될 때, 투영면의 패킹은 필연적으로 인접한 투영면들 사이의 이미지 콘텐츠 불연속 에지를 초래한다. 따라서, 360 VR 투영 레이아웃 L_VR이 패딩을 갖지 않은 컴팩트한 CMP 레이아웃으로 설정되면, 압축 후 투영면들 사이의 이미지 콘텐츠 불연속 에지 근처의 이미지 품질이 불량할(poor) 수 있고, 압축 후 레이아웃 경계(이미지 콘텐츠 불연속 에지로 간주될 수도 있음) 근처의 이미지 품질이 불량할 수 있다. 특히, 정사각형 투영면이 1x6 큐브 레이아웃, 6x1 큐브 레이아웃, 3x2 큐브 레이아웃 또는 2x3 큐브 레이아웃과 같이 패딩을 갖지 않은 CMP 레이아웃으로 패킹되면, 코딩 후 투영 기반 프레임(IMG)은 CMP 레이아웃의 불연속적인 레이아웃 경계 및/또는 CMP 레이아웃의 불연속적인 에지로 인해 아티팩트를 가질 수 있다. 예를 들어, 패딩이 없는 CMP 레이아웃은 상단 불연속 경계, 하단 불연속 경계, 좌측 불연속 경계 및 우측 불연속 경계를 가진다. 또한, 패딩을 갖지 않은 CMP 레이아웃에 패킹된 두 개의 인접한 정사각형 투영면들 사이에 적어도 하나의 이미지 콘텐츠 불연속 에지가 있다.
상기 문제를 해결하기 위해, 변환 회로(114)는 패딩 영역(들)을 생성하기 위한 패딩 회로(115)를 구비하고, 패딩을 가진 투영 레이아웃에 의해 설정된 360 VR 투영 레이아웃(L_VR)을 사용하도록 배열된다. 레이아웃 경계 및/또는 불연속 에지 주변에 픽셀 패딩에 의해 생성된 추가 패딩 영역을 삽입하여 이음새 아티팩트(seam artifacts)를 줄일 수 있다.
예를 들어, 픽셀 패딩은 불연속 에지에만 추가될 수 있다. 도 3은 본 발명의 실시예에 따른 에지 패딩을 가진 큐브맵 투영 레이아웃을 예시하는 도면이다. 도 3의 하위 도면(A)은 에지 패딩을 가진 3x2 큐브 레이아웃(302)을 예시한다. 패딩을 갖지 않은 일반적인 3x2 큐브 투영 레이아웃에서 정사각형 투영면 "L"의 하단면이 정사각형 투영면 "T"의 상단면과 접속되는 경우, 정사각형 투영면 "L"과 "T" 사이에 이미지 콘텐츠 불연속 에지가 존재한다. 패딩을 갖지 않은 일반적인 3x2 큐브 투영 레이아웃에서 정사각형 투영면 "F"의 하단면이 정사각형 투영면 "BK"의 상단면과 접속되는 경우, 이미지 콘텐츠 불연속 에지가 정사각형 투영면 "F"와 "BK" 사이에 존재한다. 패딩을 갖지 않은 일반적인 3x2 큐브 투영 레이아웃에서 정사각형 투영면 "R"의 하단면이 정사각형 투영면 "B"의 상단면과 접속되는 경우, 정사각형 투영면 "R"과 "B" 사이에 이미지 콘텐츠 불연속 에지가 존재한다. 패딩을 가진 3x2 큐브 투영 레이아웃(302)에 따라, 패딩 영역(PR_DE1)이 정사각형 투영면 "L"과 "T" 사이에 삽입되고, 패딩 영역(PR_DE2)이 정사각형 투영면 "F"와 "BK" 사이에 삽입되며, 패딩 영역(PR_DE3)은 정사각형 투영면 "R"과 "B" 사이에 삽입된다.
제1 패딩 영역(PR_DE1)은 정사각형 투영면 "L"로부터 연장된 패딩 픽셀과 정사각형 투영면 "T"로부터 연장된 패딩 픽셀을 포함하므로, 투영 레이아웃(302)에서 정사각형 투영면 "T"의 상단면으로부터 정사각형 투영면 "L"의 하단면을 분리한다(isolate). 제2 패딩 영역(PR_DE2)은 정사각형 투영면 "F"로부터 연장된 패딩 픽셀과 정사각형 투영면 "BK"로부터 연장된 패딩 픽셀을 포함하므로, 투영 레이아웃(302)에서 정사각형 투영면 "BK"의 상단면으로부터 정사각형 투영면 "F"의 하단면을 분리한다. 제3 패딩 영역(PR_DE3)은 정사각형 투영면 "R"로부터 연장된 패딩 픽셀과 정사각형 투영면 "B"로부터 연장된 패딩 픽셀을 포함하므로, 투영 레이아웃(302)에서 정사각형 투영면 "B"의 상단면으로부터 정사각형 투영면 "R"의 하단면을 분리한다. 하나의 정사각형 투영면에 대한 픽셀 패딩 크기는 SGB이다. 따라서 각 패딩 영역(PR_DE1/PR_DE2/PR_DE3)의 폭은 2 × SGB와 같다.
도 3의 하위 도면(B)은 에지 패딩을 가진 6x1 큐브 레이아웃(304)을 예시한다. 패딩을 갖지 않은 일반적인 6x1 큐브 투영 레이아웃에서 정사각형 투영면 "R"의 우측면이 정사각형 투영면 "T"의 좌측면과 접속되는 경우, 정사각형 투영면 "R"과 "T" 사이에 이미지 콘텐츠 불연속 에지가 존재한다. 패딩을 가진 6x1 큐브 투영 레이아웃(304)에 따라, 패딩 영역(PR_DE)이 정사각형 투영면 "R"과 "T" 사이에 삽입된다. 패딩 영역(PR_DE)은 정사각형 투영면 "R"로부터 연장된 패딩 픽셀과 정사각형 투영면 "T"로부터 확장된 패딩 픽셀을 포함하므로, 투영 레이아웃(304)에서 정사각형 투영면 "T"의 좌측면으로부터 정사각형 투영면 "R"의 우측면을 분리한다. 하나의 정사각형 투영면에 대한 픽셀 패딩 크기는 SGB이다. 따라서 패딩 영역(PR_DE)의 폭은 2×SGB와 같다.
또 다른 예로, 레이아웃 경계와 불연속 에지에 패딩이 추가될 수 있다. 도 4는 본 발명의 실시예에 따른 경계 패딩 및 에지 패딩을 가진 큐브맵 투영 레이아웃을 나타내는 도면이다. 도 4의 하위 도면(A)은 경계 패딩 및 에지 패딩을 가진 3x2 큐브 레이아웃(402)을 예시한다. 정사각형 투영면이 패딩을 갖지 않은 일반적인 3x2 큐브 투영 레이아웃으로 패킹된 경우, 정사각형 투영면 "L", "F" 및 "R"의 상단면은 상단 불연속 경계를 형성하고, 정사각형 투영면 "T", "BK" 및 "B"의 하단면은 하단 불연속 경계를 형성하고, 정사각형 투영면 "L 및 "T"의 좌측면은 좌측 불연속 경계를 형성하며, 정사각형 투영면 "R" 및 "B"의 우측면은 우측 불연속 경계를 형성한다. 경계 패딩 및 에지 패딩을 가진 3x2 큐브 레이아웃(402)은 경계 패딩을, 에지 패딩을 갖는 3x2 큐브 레이아웃(302)에 추가함으로써 유도될 수 있다. 따라서, 불연속 에지에서 패딩 영역(PR_DE1, PR_DE2, PR_DE3)에 추가하여, 경계 패딩 및 에지 패딩을 가진 3x2 큐브 레이아웃(402)은, 정사각형 투영면 "L", "F" 및 "R"의 상단면과 접속되는 상단 패딩 영역(PR_T), 정사각형 투영면 "T", "BK" 및 "B"의 하단면과 접속되는 하단 패딩 영역(PR_B), 정사각형 투영면 "L" 및 "T"의 좌측면과 접속되는 좌측 패딩 영역(PR_L), 및 정사각형 투영면 "R" 및 "B"의 우측면과 접속되는 우측 패딩 영역(PR_R)을 또한 가진다.
상단 패딩 영역(PR_T)은 정사각형 투영면 "L", "F" 및 "R"로부터 연장된 패딩 픽셀을 포함한다. 하단 패딩 영역(PR_B)은 정사각형 투영면 "T", "BK", "B"로부터 연장된 패딩 픽셀을 포함한다. 좌측 패딩 영역(PR_L)은 정사각형 투영면 "L" 및 "T"로부터 연장된 패딩 픽셀을 포함한다. 우측 패딩 영역(PR_R)은 정사각형 투영면 "R" 및 "B"로부터 연장된 패딩 픽셀을 포함한다. 하나의 정사각형 투영면에 대한 픽셀 패딩 크기는 SGB이다. 따라서 각 경계 패딩 영역(PR_T/PR_B/PR_L/PR_R)의 폭은 SGB와 동일하다.
도 4의 하위 도면(B)은 경계 패딩 및 에지 패딩을 가진 6x1 큐브 레이아웃(404)을 예시한다. 정사각형 투영면이 패딩을 갖지 않은 일반적인 6x1 큐브 투영 레이아웃에 패킹된 경우, 정사각형 투영면 "L", "F", "R", "T", "BK" 및 "B"의 상단면은 상단 불연속 경계를 형성하고, 정사각형 투영면 "L", "F", "R", "T", "BK" 및 "B"의 하단면은 하단 불연속 경계를 형성하고, 정사각형 투영면 "L"의 좌측면은 좌측 불연속 경계를 형성하며, 정사각형 투영면 "B"의 우측면은 우측 불연속 경계를 형성한다. 경계 패딩 및 에지 패딩을 가진 6x1 큐브 레이아웃(404)은 경계 패딩을, 에지 패딩을 가진 6x1 큐브 레이아웃(304)에 추가함으로써 유도될 수 있다. 따라서, 불연속 에지에서의 패딩 영역(PR_DE)에 추가하여, 경계 패딩 및 에지 패딩을 가진 6x1 큐브 레이아웃(404)은, 정사각형 투영면 "L", "F", "R", "T", "BK" 및 "B"의 상단면과 접속되는 상단 패딩 영역(PR_T), 정사각형 투영면 "L", "F", "R", "T", "BK" 및 "B"의 하단면과 접속되는 하단 패딩 영역(PR_B), 정사각형 투영면 "L"의 좌측면과 접속되는 좌측 패딩 영역(PR_L), 및 정사각형 투영면 "B"의 우측면과 접속되는 우측 패딩 영역(PR_R)을 또한 가진다.
상단 패딩 영역(PR_T)은 정사각형 투영면 "L", "F", "R", "T", "BK" 및 "B"로부터 연장된 패딩 픽셀을 포함한다. 하단 패딩 영역(PR_B)은 정사각형 투영면 "L", "F", "R", "T", "BK", "B"로부터 연장된 패딩 픽셀을 포함한다. 좌측 패딩 영역(PR_L)은 정사각형 투영면 "L"로부터 연장된 패딩 픽셀을 포함한다. 우측 패딩 영역(PR_R)은 정사각형 투영면 "B"로부터 연장된 패딩 픽셀을 포함한다. 하나의 정사각형 투영면에 대한 픽셀 패딩 크기는 SGB이다. 따라서 각 경계 패딩 영역(PR_T/PR_B/PR_L/PR_R)의 폭은 SGB와 동일하다.
또 다른 예를 들어, 레이아웃 경계, 불연속 에지, 및 연속 에지에 패딩이 추가될 수 있다. 도 5는 본 발명의 실시예에 따른 경계 패딩 및 에지 패딩을 가진 다른 큐브맵 투영 레이아웃을 예시하는 도면이다. 도 5의 하위 도면(A)은 경계 패딩 및 에지 패딩을 가진 또 다른 3x2 큐브 레이아웃(502)을 예시한다. 패딩을 갖지 않은 일반적인 3x2 큐브 투영 레이아웃에서 정사각형 투영면 "L"의 우측면이 정사각형 투영면 "F"의 좌측면과 접속되는 경우, 정사각형 투영면 "L"과 "F" 사이에 이미지 콘텐츠 연속성 에지가 존재한다. 패딩을 갖지 않은 일반적인 3x2 큐브 투영 레이아웃에서 정사각형 투영면 "F"의 우측면이 정사각형 투영면 "R"의 좌측면과 접속되는 경우, 이미지 콘텐츠 연속성 에지가 정사각형 투영면 "F"와 "R" 사이에 존재한다. 패딩을 갖지 않은 일반적인 3x2 큐브 투영 레이아웃에서 정사각형 투영면 "T"의 우측면이 정사각형 투영면 "BK"의 좌측면과 접속되면 정사각형 투영면 "T"와 "BK" 사이에 이미지 콘텐츠 연속성 에지가 존재한다. 패딩을 갖지 않은 일반적인 3x2 큐브 투영 레이아웃에서 정사각형 투영면 "BK"의 우측면이 정사각형 투영면 "B"의 좌측면과 접속되는 경우, 정사각형 투영면 "BK"와 "B" 사이에 이미지 콘텐츠 연속성 에지가 존재한다.
경계 패딩 및 에지 패딩을 가진 3x2 큐브 레이아웃(502)은 경계 패딩 및 에지 패딩을 갖는 3x2 큐브 레이아웃(402)에 더 많은 패딩을 추가함으로써 유도될 수 있다. 따라서, 불연속 에지의 패딩 영역(PR_DE1, PR_DE2, PR_DE3) 및 불연속 경계의 패딩 영역(PR_T, PR_B, PR_L, PR_R)에 추가하여, 경계 패딩 및 에지 패딩을 가진 3x2 큐브 레이아웃(502)은, 정사각형 투영면 "L"의 우측면과 정사각형 투영면 "F"의 좌측면과 접속되는 패딩 영역(PR_CE1), 정사각형 투영면의 "F" 우측면과 정사각형 투영면 "R"의 좌측면과 접속되는 패딩 영역(PR_CE2), 정사각형 투영면 "T"의 우측면과 정사각형 투영면 "BK"의 좌측면과 접속되는 패딩 영역(PR_CE3)과, 정사각형 투영면 "BK"의 우측면과 정사각형 투영면 "B"의 좌측면과 접속되는 패딩 영역(PR_CE4)을 더 가진다.
패딩 영역(PR_CE1)은 정사각형 투영면 "L" 및 "F"로부터 연장된 패딩 픽셀을 포함하므로, 투영 레이아웃(502)에서 정사각형 투영면 "F"의 좌측면으로부터 정사각형 투영면 "L"의 우측면을 분리한다. 패딩 영역(PR_CE2)은 정사각형 투영면 "F" 및 "R"로부터 연장된 패딩 픽셀을 포함하므로, 투영 레이아웃(502)에서 정사각형 투영면 "R"의 좌측면으로부터 정사각형 투영면 "F"의 우측면을 분리한다. 패딩 영역(PR_CE3)은 정사각형 투영면 "T" 및 "BK"로부터 연장된 패딩 픽셀을 포함하므로, 투영 레이아웃(502)에서 정사각형 투영면 "BK"의 좌측면으로부터 정사각형 투영면 "T"의 우측면을 분리한다. 패딩 영역(PR_CE4)은 정사각형 투영면 "BK" 및 "B"로부터 연장된 패딩 픽셀을 포함하므로, 투영 레이아웃(502)에서 정사각형 투영면 "B"의 좌측면으로부터 정사각형 투영면 "BK"의 우측면을 분리한다. 하나의 정사각형 투영면에 대한 픽셀 패딩 크기는 SGB이다. 따라서 각 패딩 영역(PR_CE1/PR_CE2/PR_CE3/PR_CE4)의 폭은 2 × SGB와 같다.
도 5의 하위 도면(B)은 경계 패딩 및 에지 패딩을 가진 또 다른 제안된 6x1 큐브 레이아웃(504)을 예시한다. 경계 패딩 및 에지 패딩을 가진 6x1 큐브 레이아웃(504)은 경계 패딩 및 에지 패딩을 가진 6x1 큐브 레이아웃(404)에 더 많은 패딩을 추가함으로써 유도될 수 있다. 따라서, 불연속 에지에서의 패딩 영역(PR_DE) 및 불연속 경계에서의 패딩 영역(PR_T, PR_B, PR_L, PR_R)에 추가하여, 경계 패딩 및 에지 패딩을 가진 6x1 큐브 레이아웃(504)은 4개의 패딩 영역(PR_CE1, PR_CE2, PR_CE3, 및 PR_CE4)을 더 갖는다. 하나의 정사각형 투영면에 대한 픽셀 패딩 크기는 SGB이다. 따라서 각 패딩 영역(PR_CE1/PR_CE2/PR_CE3/PR_CE4)의 폭은 2 * SGB와 같다.
패딩을 가진 전술한 CMP 레이아웃은 단지 예시를 위한 것이며 본 발명의 제한을 의미하지 않는다는 점에 유의해야 한다. 동일한 패딩 개념이 다른 투영 레이아웃에 적용될 수 있다. 즉, 패딩을 가진 360 VR 투영 레이아웃은 예를 들면, 정방형 투영(equirectangular projection; ERP) 레이아웃, 피라미드 투영 레이아웃, 잘린 정사각형 피라미드(truncated square pyramid; TSP) 투영 레이아웃, 구체 세그먼트화 투영(sphere　segmented　projection; SSP) 레이아웃, 사면체 투영 레이아웃, 사각형 석영 기반 투영 레이아웃, 이십면체 투영 레이아웃, 또는 육각형 석영 기반 투영 레이아웃과 같은, 다른 투영 포맷의 레이아웃에 패딩 영역(들)을 추가함으로써 획득될 수 있다. 간단히 말해 360 VR 투영 레이아웃(L_VR)은 패딩을 갖는 임의의 투영 레이아웃으로 설정될 수 있다.
제1 예시적인 패딩 설계에서, 패딩 회로(115)는 투영면과 접속되는 패딩 영역에 포함된 픽셀의 픽셀 값을 결정하기 위해 투영면에 기하학적 패딩을 적용한다. 구체 상의 영역의 콘텐츠는 패딩 영역에 매핑되며, 여기서 구체의 영역은 투영면이 얻어지는 영역에 인접한다.
제2 예시적인 패딩 설계에서, 패딩 회로(115)는, 패딩 영역과 접속되지 않는 다른 투영면에 포함된 픽셀들의 픽셀 값들을 복제하거나, 동일한 투영면의 반대측에 위치한 픽셀들의 픽셀 값들을 복제함으로써, 투영면의 일측에 접속된 패딩 영역에 포함된 픽셀들의 픽셀 값들을 설정한다.
제3 예시적인 패딩 설계에서, 패딩 회로(115)는 패딩 영역과 접속되는 투영면에 포함된 에지 픽셀의 픽셀 값을 복제하여 패딩 영역에 포함된 픽셀의 픽셀 값을 설정한다.
상술한 바와 같이, 목적지 전자 디바이스(104)의 비디오 디코딩 회로(122)는, 전송 수단(103)(예를 들어, 유/무선 통신 링크 또는 저장 매체)으로부터 비트스트림(BS)을 수신하고, 수신된 비트스트림(BS)의 일부를 디코딩하기 위한 비디오 디코더 기능을 수행하여 소스 전자 디바이스(102)의 변환 회로(114)에 의해 사용되는 동일한 360 VR 투영 레이아웃(L_VR)을 갖는 재구성되는 프레임인 재구성된 투영 기반 프레임(IMG')을 생성한다. 360 VR 투영 레이아웃(L_VR)이 패딩을 가진 투영 레이아웃(예를 들어, 경계 패딩을 가진 투영 레이아웃, 에지 패딩을 가진 투영 레이아웃, 또는 경계 패딩 및 에지 패딩을 가진 투영 레이아웃)에 의해 설정된 경우, 재구성된 투영 기반 프레임(IMG')은 레이아웃 경계 및/또는 투영 레이아웃의 면 에지(face edges)에 위치한 패딩 영역을 가진다. 일 실시예에서, 비디오 디코딩 회로(122)는 패딩 영역을 잘라내어(crop), 비-패딩 영역(예를 들어, 360 VR 투영으로부터 원래 획득된 투영면(들)에 표현된 전방향 이미지/비디오 콘텐츠)만이 재구성되도록 할 수 있다. 대안적인 설계에서, 비디오 디코딩 회로(122)는 패딩 영역의 패딩 픽셀 및 비 패딩 영역의 픽셀에 기초한 블렌딩(blending)을 수행하기위한 블렌딩 회로(123)를 가능하게할 수 있다.
예를 들어, 투영면의 픽셀의 픽셀 값은 투영면의 픽셀의 원래 픽셀 값을 패딩 영역의 대응하는 패딩 픽셀의 픽셀 값과 블렌딩함으로써 갱신될 수 있다. 패딩 픽셀을 생성하기 위해 패딩 회로(115)에 의해 기하학적 매핑이 사용되는 경우, 투영면의 픽셀로부터 패딩 영역의 대응하는 패딩 픽셀로의 매핑이 필요하다. 도 6은 투영면의 픽셀에서 패딩 영역의 대응하는 패딩 픽셀로 매핑하는 예를 나타내는 도면이다. 360 VR 투영 레이아웃(L_VR)이 도 4의 하위 도면(A)에 도시된 바와 같이 경계 패딩 및 에지 패딩을 가진 3x2 큐브 레이아웃(402)에 의해 설정된다고 가정하자. 투영면의 하나의 픽셀(A)은 먼저 구체(202)의 3D 포인트(C1)에 매핑된다. 다음으로, 구체(202) 상의 3D 포인트(C1)는 큐브 기반 투영을 통해 패딩 영역의 패딩 픽셀(A')에 매핑된다. 예를 들어, 픽셀(A)의 픽셀 값과 패딩 픽셀(A')의 픽셀 값은 거리 기반 가중치 함수(distance-based weighting function)에 의해 블렌딩되어, 픽셀(A)의 원래 픽셀 값을 갱신하는 데 사용되는 블렌딩 픽셀 값을 생성할 수 있다.
전술한 제1 예시적인 패딩 설계에 따라 투영면에 기하학 패딩을 적용하여 투영면의 패딩 영역이 획득되는 경우, 패딩 픽셀(A')은 패딩 영역에서 비정수(non-integer) 위치(즉, (x, y)이며, 여기서 x는 정수 위치가 아니고 그리고/또는 y는 정수 위치가 아님)에 위치할 수 있다. 구체적으로, 패딩 픽셀(A')의 2D 좌표는 기하학 매핑으로 인해 픽셀(A)의 2D 좌표로부터 변환된다. 즉, 투영면에서 정수 위치(즉, (X, Y), 여기서 X와 Y는 정수 위치임)에 위치한 픽셀(A)은 패딩 영역에서 비정수 위치(즉, (x, y), 여기서 x는 정수 위치가 아니고 그리고/또는 y는 정수 위치가 아님)에 위치한 패딩 픽셀(A')로 매핑될 수 있다. 비정수 위치에 위치한 패딩 픽셀(A')의 픽셀 값은 패딩 영역에서 직접 사용 가능하지 않기 때문에, 블렌딩 회로(123)는 정수 위치에 위치한 인접 패딩 픽셀들을 프로세싱하기 위해 보간 필터(미도시)를 사용하여 패딩 영역에서 비정수 위치에 위치한 패딩 픽셀(A')의 픽셀 값을 결정할 수 있다.
특정 애플리케이션의 경우, 변환 회로가 목적지 전자 디바이스에서 구현되어, 제1 360 VR 투영 포맷의 투영 레이아웃을 가진 재구성된 프레임을, 제1 360 VR 투영 포맷과는 다른, 제2 360 VR 투영 포맷의 투영 레이아웃을 가진 변환된 프레임으로 변환할 수 있다. 예를 들어, 디코딩 회로에서 생성된 재구성된 프레임은 패딩을 가진 큐브맵 투영 레이아웃에 패킹된 투영면과 패딩 영역을 가진 투영 기반 프레임일 수 있으며, 변환 회로에서 생성되고 후속 그래픽 렌더링 회로에 의해 사용되는 변환된 프레임은 패딩을 갖지 않은 일반적인 정방형 투영(ERP) 레이아웃으로 패킹된 투영면을 가진 투영 기반 프레임일 수 있다. 변환된 프레임에서 정수 위치(즉, (x, y), 여기서 x와 y는 정수 위치임)에 위치한 픽셀은 재구성된 프레임에서 비정수 위치(즉,(x', y'), 여기서 x'는 정수 위치가 아니고 그리고/또는 y'는 정수 위치가 아님)에 위치한 픽셀로 매핑될 수 있다. 즉, 투영 레이아웃 변환을 수행할 때, 변환 회로는 변환된 프레임에서 정수 위치에 있는 픽셀의 픽셀 값을 재구성된 프레임에서 비정수 위치에 위치한 픽셀의 픽셀 값으로 설정할 수 있다. 비정수 위치에 위치하는 픽셀의 픽셀 값은 디코딩된 프레임에서 직접 사용할 수 없으므로, 변환 회로는 재구성된 프레임에서 정수 위치에 위치한 픽셀을 프로세싱하기 위해 보간 필터를 사용하여 재구성된 프레임에서 비정수 위치에 위치한 픽셀의 픽셀 값을 결정할 수 있다. 비정수 위치의 픽셀이 재구성된 프레임에서 투영면의 에지에 있거나 그 근처에 있는 경우, 보간 필터에 의해 사용되는 픽셀은 투영면으로부터 선택된 적어도 하나의 픽셀 및 대응하는 패딩 영역으로부터 선택된 적어도 하나의 픽셀을 포함할 수 있다. 위에서 언급했듯이, 투영면에 있는 픽셀의 픽셀 값은 블렌딩(예를 들어, 거리 기반 가중치)에 의해 갱신된다. 그러나 대응하는 패딩 영역의 패딩 픽셀의 픽셀 값이 블렌딩(예를 들어, 거리 기반 가중치)에 의해 갱신되지 않는 경우, 투영면의 픽셀의 갱신된 픽셀 값 및 대응하는 패딩 영역의 패딩 픽셀의 원래 픽셀 값에 대해 수행된 보간으로 인해 아티팩트(artifacts)가 도입될 수 있다. 이 문제를 해결하기 위해, 블렌딩이 수행되어 투영면의 픽셀의 픽셀 값 및 대응하는 패딩 영역의 패딩 픽셀의 픽셀 값을 갱신할 수 있다.
패딩 영역의 패딩 픽셀의 픽셀 값은 패딩 영역의 패딩 픽셀의 원래 픽셀 값과 투영면의 대응 픽셀의 픽셀 값을 블렌딩하여 갱신될 수 있다. 패딩 픽셀을 생성하기 위해 패딩 회로(115)에 의해 기하학적 매핑이 사용되는 경우, 패딩 영역의 패딩 픽셀로부터 투영면의 대응 픽셀로의 매핑이 필요하다. 도 7은 패딩 영역의 패딩 픽셀에서 투영면의 대응 픽셀로 매핑하는 예를 나타내는 도면이다. 360 VR 투영 레이아웃(L_VR)이 도 4의 하위 도면(A)에 도시된 바와 같이 경계 패딩 및 에지 패딩을 가진 3x2 큐브 레이아웃(402)에 의해 설정된다고 가정하자. 패딩 영역의 하나의 패딩 픽셀(B')은 먼저 구체(202)의 3D 포인트(C2)에 매핑된다. 다음으로, 구체(202) 상의 3D 포인트(C2)는 큐브 기반 투영을 통해 투영면의 픽셀(B)에 매핑된다. 픽셀(B)의 픽셀 값과 패딩 픽셀(B')의 픽셀 값은 예를 들어, 거리 기반 가중치 함수에 의해 블렌딩되어, 픽셀(B')의 원래 픽셀 값을 갱신하는 데 사용되는 블렌딩 픽셀 값을 생성할 수 있다.
전술한 제1 예시적인 패딩 설계에 따라 투영면에 기하학 패딩을 적용하여 투영면의 패딩 영역이 획득되는 경우, 픽셀(B)는 투영면에서 비정수 위치(즉, (X, Y)이며, 여기서 X는 정수 위치가 아니고 그리고/또는 Y는 정수 위치가 아님)에 위치할 수 있다. 특히, 픽셀(B)의 2D 좌표는 기하학 매핑으로 인해 패딩 픽셀(B')의 2D 좌표로부터 변환된다. 즉, 패딩 영역에서 정수 위치(즉, (x, y), 여기서 x와 y는 정수 위치임)에 위치한 패딩 픽셀(B')은 투영 영역에서 비정수 위치(즉, (X, Y), 여기서 X는 정수 위치가 아니고 그리고/또는 Y는 정수 위치가 아님)에 위치한 픽셀(B)로 매핑될 수 있다. 비정수 위치에 위치한 픽셀(B)의 픽셀 값은 투영면에서 직접 사용 가능하지 않기 때문에, 블렌딩 회로(123)는 정수 위치에 위치한 인접 픽셀들을 프로세싱하기 위해 보간 필터(미도시)를 사용하여 투영면에서 비정수 위치에 위치한 픽셀(B)의 픽셀 값을 결정할 수 있다.
도 1에 도시된 실시예에서, 블렌딩 회로(123)는 비디오 디코딩 회로(122)의 일부이다. 블렌딩 회로(123)에 의해 수행되는 블렌딩 프로세스는 실제 설계 고려 사항에 따라 인루프(in-loop) 또는 아웃루프(out-loop) 방식일 수 있다.
도 8은 본 발명의 실시예에 따른 인루프 블렌딩을 사용한 비디오 디코딩 회로를 도시한 도면이다. 도 1에 도시된 비디오 디코딩 회로(122)는 도 8에 도시된 비디오 디코딩 회로(800)를 사용하여 구현될 수 있다. 이 실시예에서, 비디오 디코딩 회로(800)는 입력 비트스트림으로서 비트스트림(BS)을 수신하고 수신된 비트스트림(BS)의 일부를 디코딩하여 다음 단계(예를 들어, 도 1에 도시된 그래픽 렌더링 회로(124))에 공급되는 재구성된 투영 기반 프레임(디코딩된 프레임)(IMG')을 생성하도록 배열된다. 도 8에 도시된 비디오 디코더 아키텍처는 단지 예시를 위한 것이며 본 발명의 제한을 의미하지 않는다는 점에 유의해야 한다. 도 8에 도시된 바와 같이, 비디오 디코딩 회로(800)는, 엔트로피 디코딩 회로(예를 들어, 가변 길이 디코더)(802), 역양자화 회로("IQ"로 표시)(804), 역변환 회로("IT"로 표시)(806), 재구성 회로(808), 모션 벡터 계산 회로("MV 계산"으로 표시)(810), 모션 보상 회로("MC"로 표시)(813), 인트라 예측 회로("IP"로 표시)(814), 인트라/인터 모드 선택 스위치(816), 적어도 하나의 인루프 필터(818), 블렌딩 회로(819), 및 참조 프레임 버퍼(820)를 포함한다. 도 1에 도시된 블렌딩 회로(123)는 도 8에 도시된 인루프 블렌딩 회로(819)에 의해 구현될 수 있다.
블록이 인터 코딩될 때, 모션 벡터 계산 회로(810)는 엔트로피 디코딩 회로(802)에 의해 비트스트림(BS)으로부터 파싱된 정보를 참조하여, 디코딩되고 있는 프레임의 현재 블록과, 재구성된 프레임이고 참조 프레임 버퍼(820)에 저장된 참조 프레임의 예측 블록 사이의 모션 벡터를 결정한다. 모션 보상 회로(813)는 모션 벡터에 따라 예측 블록을 생성하기 위해 보간 필터링을 수행할 수 있다. 예측 블록은 인트라/인터 모드 선택 스위치(816)에 공급된다. 블록이 인터 코딩되기 때문에 인트라/인터 모드 선택 스위치(816)는 모션 보상 회로(813)에서 생성된 예측 블록을 재구성 회로(808)로 출력한다. 블록이 인트라 코딩될 때, 인트라 예측 회로(814)는 인트라/인터 모드 선택 스위치(816)에 예측된 블록을 생성한다. 블록이 인트라 코딩되기 때문에, 인트라/인터 모드 선택 스위치(816)는 인트라 예측 회로(814)로부터 생성된 예측 블록을 재구성 회로(808)로 출력한다.
또한, 블록의 디코딩된 잔차는 엔트로피 디코딩 회로(802), 역양자화 회로(804) 및 역변환 회로(806)를 통해 획득된다. 재구성 회로(808)는 재구성된 블록을 생성하기 위해 디코딩된 잔차 및 예측 블록을 결합한다. 재구성된 블록은 다음 블록을 디코딩하는 데 사용될 수 있는 참조 프레임(재구성된 프레임)의 일부가 되도록 참조 프레임 버퍼(820)에 저장될 수 있다. 특히, 참조 프레임 버퍼(820)에 저장된 각 참조 프레임은 인터 예측에 의해 사용될 수 있다. 재구성된 블록이 참조 프레임 버퍼(820)에 저장되기 전에, 인루프 필터(들)(818)는 재구성된 블록에 대해 지정된 인루프 필터링을 수행할 수 있다. 예를 들어, 인루프 필터(들)(818)는 디블로킹 필터를 포함할 수 있다. 또한, 재구성된 블록이 참조 프레임 버퍼(820)에 저장되기 전에, 블렌딩 회로(819)는 재구성된 블록에 대해 지정된 블렌딩을 수행한다. 구체적으로, 블렌딩 회로(819)는 (인루프 필터(들)(818)의 출력인) 제1 재구성된 투영 기반 프레임(IMG_R)에 대해 블렌딩 프로세스를 수행하고, 블렌딩된 참조 프레임을 참조 프레임 버퍼(820)에 저장하며, 블렌딩 회로(819)의 출력은 또한 다음 단계(예를 들어, 도 1에 도시된 그래픽 렌더링 회로(124))에 공급되는 재구성된 투영 기반 프레임(디코딩된 프레임)(IMG')으로서의 역할을 한다. 블렌딩된 참조 프레임은, 재구성된 투영 기반 프레임(IMG_R)의 하나의 투영면에서 제1 픽셀 위치에 대해 획득된 제1 픽셀 값과 재구성된 투영 기반 프레임(IMG_R)의 하나의 패딩 영역에서 제2 픽셀 위치에 대해 획득된 제2 픽셀 값을 블렌딩하여 생성되는 블렌딩 픽셀 값을 포함한다. 비디오 디코딩 회로(800)가 비트스트림(BS)의 또 다른 부분을 디코딩하여 (인루프 필터(들)(818)의 출력인) 제2 재구성된 투영 기반 프레임을 생성할 때, 블렌딩된 참조 프레임(제1 재구성된 투영 기반 프레임(IMG_R)으로부터 유도됨)은 인터 예측에 의해 사용되어, 블렌딩된 픽셀 값은 제2 재구성된 투영 기반 프레임의 생성에 수반되는 인터 예측에 의해 사용된다. 블렌딩 회로(819)는 비트스트림(BS)으로부터 파싱된 제어 정보(INF_CTRL)에 의해 제어될 수 있다. 예를 들어, 제어 정보(INF_CTRL)는 크로마 샘플링 위치 정보를 나타내는 플래그를 포함할 수 있다.
도 9는 본 발명의 실시예에 따른 아웃-루프 블렌딩(out-loop blending)을 갖는 비디오 디코딩 회로를 도시한 도면이다. 도 1에 도시된 비디오 디코딩 회로(122)는 도 9에 도시된 비디오 디코딩 회로(900)를 사용하여 구현될 수 있다. 이 실시예에서, 비디오 디코딩 회로(900)는 입력 비트스트림으로서 비트스트림(BS)을 수신하고, 수신된 비트스트림(BS)의 일부를 디코딩하여, 후속 단계(예를 들어, 도 1에 도시된 그래픽 렌더링 회로(124))에 공급되는 재구성된 투영 기반 프레임(디코딩된 프레임)(IMG')을 생성하도록 배열된다. 도 9에 도시된 비디오 디코더 아키텍처는 단지 예시를 위한 것이며 본 발명의 제한을 의미하지 않는다는 점에 유의해야 한다. 비디오 디코딩 회로들(800 및 900) 사이의 주요 차이점은 비디오 디코딩 회로(900)가 그 출력을 참조 프레임 버퍼(820)에 저장하지 않는 블렌딩 회로(919)를 갖는다는 것이다. 도 1에 도시된 블렌딩 회로(123)는 도 9에 도시된 아웃루프 블렌딩 회로(919)에 의해 구현될 수 있다.
재구성 회로(808)는 재구성된 블록을 생성하기 위해 디코딩된 잔차 및 예측 블록을 결합한다. 재구성된 블록은 후속 블록을 디코딩하는 데 사용될 수 있는 참조 프레임(재구성된 프레임)의 일부가 되도록 참조 프레임 버퍼(820)에 저장될 수 있다. 특히, 참조 프레임 버퍼(820)에 저장된 각 참조 프레임은 인터 예측에 의해 사용될 수 있다. 재구성된 블록이 참조 프레임 버퍼(820)에 저장되기 전에, 인루프 필터(들)(818)는 재구성된 블록에 대해 지정된 인루프 필터링을 수행할 수 있다. 예를 들어, 인루프 필터(들)(818)는 디블로킹 필터를 포함할 수 있다. 블렌딩 회로(919)는 재구성된 블록에 대해 지정된 블렌딩을 수행한다. 구체적으로, 블렌딩 회로(919)는 (인루프 필터(들)(818)의 출력인) 제1 재구성된 투영 기반 프레임(IMG_R)에 대해 블렌딩 프로세스를 수행하고, 재구성된 투영 기반 프레임(디코딩된 프레임)(IMG')을 생성하며, 이는 후속 단계(예를 들어, 도 1에 도시된 그래픽 렌더링 회로(124))에 공급된다. 재구성된 투영 기반 프레임(IMG')은, 제1 재구성된 투영 기반 프레임(IMG_R)의 하나의 투영면에서 제1 픽셀 위치에 대해 획득된 제1 픽셀 값과, 제1 재구성된 투영 기반 프레임(IMG_R)의 하나의 패딩 영역 내의 제2 픽셀 위치에 대해 획득된 제2 픽셀 값을 블렌딩하여 생성된 블렌딩된 픽셀 값을 포함하는 블렌딩된 프레임이다. 비디오 디코딩 회로(900)가 비트스트림(BS)의 또 다른 부분을 디코딩하여 (인루프 필터(들)(818)의 출력인) 제2 재구성된 투영 기반 프레임을 생성할 때, 제1 재구성된 투영 기반 프레임(IMG_R)은 참조 프레임 버퍼(820)에 저장되고 인터 예측에 의해 사용되는 참조 프레임이고, 블렌딩 회로(919)로부터 출력된 블렌딩된 픽셀 값은 제2 재구성된 투영 기반 프레임의 생성에 수반되는 인터 예측에 사용되지 않는다. 블렌딩 회로(919)는 비트스트림(BS)으로부터 파싱된 제어 정보(INF_CTRL)에 의해 제어될 수 있다. 예를 들어, 제어 정보(INF_CTRL)는 크로마 샘플링 위치 정보를 나타내는 플래그를 포함할 수 있다.
위의 실시예에서, 블렌딩 회로(123)는 비디오 디코딩 회로(122)의 일부이다. 대안적으로, 블렌딩 프로세스는 목적지 전자 디바이스에서 구현된 다른 기능 블록에 의해 수행될 수 있다.
도 10은 본 발명의 실시예에 따른 제2 360 VR 시스템을 도시한 도면이다. 360 VR 시스템들(100 및 1000) 간의 주요 차이점은 목적지 전자 디바이스(1004)가 블렌딩 회로를 갖지 않은 비디오 디코딩 회로(1012) 및 블렌딩 회로(1015)를 갖는 변환 회로(1014)를 갖는다는 것이다. 블렌딩 회로(1015)는 투영 포맷 변환 프로세스 동안 타겟 투영 레이아웃에서 타겟 픽셀을 유도하기 위해 사용된다. 블렌딩 회로(1015)는 비트스트림(BS)으로부터 파싱된 제어 정보(INF_CTRL)에 의해 제어될 수 있다. 예를 들어, 제어 정보(INF_CTRL)는 크로마 샘플링 위치 정보를 나타내는 플래그를 포함할 수 있다. 이 실시예에서, 변환 회로(1014)는 목적지 전자 디바이스(1004)에서 구현되어 제1 360 VR 투영 포맷의 투영 레이아웃을 갖는 재구성된 프레임을, 제1 360 VR 투영 포맷과는 상이한 제2 360 VR 투영 포맷의 투영 레이아웃을 갖는 변환된 프레임으로 변환한다. 예를 들어, 비디오 디코딩 회로(1012)로부터 생성된 재구성된 투영 기반 프레임(디코딩된 프레임)(IMG')은 패딩을 가진 큐브맵 투영 레이아웃에 패킹된 투영면과 패딩 영역을 가질 수 있고, 변환 회로(1014)로부터 생성되고 후속 그래픽 렌더링 회로(124)에 의해 사용되는 변환된 프레임(IMG")은 패딩을 갖지 않은 일반적인 정방형 투영(ERP) 레이아웃으로 패킹된 투영면을 가진 투영 기반 프레임일 수 있다.
도 11은 동일한 소스 프레임에서 복수의 대응 픽셀을 블렌딩하여 타겟 픽셀을 유도하는 예를 도시한 도면이다. 360 VR 투영 레이아웃(L_VR)이 도 4의 하위 도면(A)에 도시된 바와 같이 경계 패딩 및 에지 패딩을 가진 3x2 큐브 레이아웃(402)으로 설정되고, 변환 회로(1014)에서 생성될 변환된 프레임(IMG")이 패딩을 갖지 않은 ERP 레이아웃에 있다고 가정한다. 변환된 프레임(IMG") 내의 타겟 픽셀(PT)에 대해, 블렌딩 회로(1015)는 비디오 디코딩 회로(1012)로부터 생성된 재구성된 투영 기반 프레임(IMG')에서 복수의 대응 픽셀(P 및 P')을 찾는다. 타겟 픽셀(PT) 및 대응 픽셀(P 및 P')은 구체(202) 상의 동일한 3D 포인트(C3)에 매핑되며, 여기서 하나의 대응 픽셀(P)은 재구성된 투영 기반 프레임(IMG')의 하나의 투영면 내에 위치하며, 다른 대응하는 픽셀(P')은 재구성된 투영 기반 프레임(IMG')의 하나의 패딩 영역 내에 위치한다. 구체적으로, 변환된 프레임(IMG")의 타겟 픽셀(PT)은 먼저 구체(202) 상의 3D 포인트(C3)에 매핑된 다음, 구체(202) 상의 3D 포인트(C3)가 재구성된 투영 기반 프레임(IMG')에서 두 개의 대응하는 픽셀(P 및 P')에 매핑된다. 블렌딩 회로(1015)는 대응하는 픽셀(P, P')의 픽셀 값을 블렌딩하여 블렌딩된 픽셀 값을 생성하고, 블렌딩된 픽셀 값에 의해 타겟 픽셀(PT)의 픽셀 값을 설정한다.
변환된 프레임(IMG")에서 정수 위치(즉, (x, y), 여기서 x와 y는 정수 위치임)에 위치한 픽셀은 재구성된 투영 기반 프레임(디코딩된 프레임)(IMG')에서 비정수 위치(즉, (x', y'), 여기서 x'는 정수 위치가 아니고 그리고/또는 y'는 정수 위치가 아님)에 위치한 픽셀로 매핑될 수 있다. 즉, 투영 레이아웃 변환을 수행할 때, 변환 회로는 재구성된 투영 기반 프레임(IMG')에서 비정수 위치에 위치한 픽셀의 픽셀 값에 부분적으로 기초하는 블렌딩 프로세스에 의해, 변환된 프레임(IMG")에서 정수 위치에 위치한 픽셀의 픽셀 값을 설정할 수 있다. 비정수 위치에 위치하는 픽셀의 픽셀 값은 재구성된 투영 기반 프레임(IMG')에서 직접 사용할 수 없으므로, 변환 회로(1015)는 재구성된 투영 기반 프레임(IMG')에서 정수 위치에 위치한 인접 픽셀들을 프로세싱하기 위해 보간 필터(미도시됨)를 사용함으로써 재구성된 투영 기반 프레임(IMG')에서 비정수 위치에 위치한 픽셀의 픽셀 값을 결정할 수 있다.
도 12는 본 발명의 실시예에 따른 제3 360 VR 시스템을 나타낸 도면이다. 360 VR 시스템들(1000 및 1200) 간의 주요 차이점은 목적지 전자 디바이스(1204)가 블렌딩 회로(1015)와 함께 그래픽 렌더링 회로(1224)를 갖는다는 것이다. 이 실시예에서, 블렌딩 회로(1015)는 렌더링 프로세스 동안 디스플레이 스크린(126) 상에 디스플레이될 타겟 픽셀을 유도하기 위해 사용된다. 블렌딩 회로(1015)는 비트스트림(BS)으로부터 파싱된 제어 정보(INF_CTRL)에 의해 제어될 수 있다. 예를 들어, 제어 정보(INF_CTRL)는 크로마 샘플링 위치 정보를 나타내는 플래그를 포함할 수 있다. 이미지 콘텐츠는 360 VR 투영 레이아웃(L_VR)에 따라 재구성된 투영 기반 프레임(디코딩된 프레임)(IMG')에 표시된다. 재구성된 투영 기반 프레임(IMG')은 적어도 하나의 투영면과 그 안에 패킹된 적어도 하나의 패딩 영역을 가지고 있기 때문에, 블렌딩 회로(1015)는 하나의 투영면 내의 대응 픽셀과 하나의 패딩 영역 내의 대응 픽셀을 블렌딩하여, 디스플레이 스크린(126)에 디스플레이될 타겟 픽셀을 유도하는 데 사용될 수 있다.
도 11과 함께도 12가 참조된다. 타겟 픽셀(PT)이 디스플레이 스크린(126) 상에 디스플레이될 픽셀이라고 가정한다. 블렌딩 회로(1015)는 비디오 디코딩 회로(1012)로부터 생성된 재구성된 투영 기반 프레임(IMG')에서 복수의 대응 픽셀(P 및 P')을 찾는다. 타겟 픽셀(PT) 및 대응 픽셀(P, P')은 구체(202) 상의 동일한 3D 포인트(C3)에 매핑되고, 여기서 하나의 대응 픽셀(P)은 재구성된 투영 기반 프레임(IMG')의 하나의 투영면 내에 위치하며, 다른 대응하는 픽셀(P')은 재구성된 투영 기반 프레임(IMG')의 하나의 패딩 영역 내에 위치한다. 구체적으로, 디스플레이 스크린(126) 상에 디스플레이될 타겟 픽셀(PT)은 먼저 구체(202) 상의 3D 포인트(C3)에 매핑되고, 이어서 구체(202) 상의 3D 포인트(C3)는 재구성된 투영 기반 프레임(IMG') 내의 두 개의 대응 픽셀(P 및 P')에 매핑된다. 블렌딩 회로(1015)는 대응하는 픽셀(P, P')의 픽셀 값을 블렌딩하여 블렌딩된 픽셀 값을 생성하고, 블렌딩된 픽셀 값에 의해 타겟 픽셀(PT)의 픽셀 값을 설정한다.
디스플레이 스크린(126)에서 정수 위치(즉, (x, y), 여기서 x와 y는 정수 위치임)에 위치한 픽셀은 재구성된 투영 기반 프레임(디코딩된 프레임)(IMG')에서 비정수 위치(즉, (x', y'), 여기서 x'는 정수 위치가 아니고 그리고/또는 y'는 정수 위치가 아님)에 위치한 픽셀로 매핑될 수 있다. 즉, 픽셀 렌더링을 수행할 때, 변환 회로(1015)는 디스플레이 스크린(126) 내의 정수 위치에 위치한 픽셀 위치의 픽셀 값을, 재구성된 투영 기반 프레임(IMG')에서 비정수 위치에 위치한 픽셀의 픽셀 값으로 설정할 수 있다. 비정수 위치에 위치하는 픽셀의 픽셀 값은 재구성된 투영 기반 프레임(IMG')에서 직접 사용할 수 없으므로, 변환 회로(1015)는 재구성된 투영 기반 프레임(IMG')에서 정수 위치에 위치한 인접 픽셀들을 프로세싱하기 위해 보간 필터(미도시됨)를 사용함으로써 재구성된 투영 기반 프레임(IMG')에서 비정수 위치에 위치한 픽셀의 픽셀 값을 결정할 수 있다.
4:4:4, 4:2:2 및 4:2:0과 같은 상이한 크로마 포맷들은 비디오 시퀀스를 인코딩할 때 일반적으로 사용된다. 4:2:0 크로마 포맷에서 크로마 평면(Cb, Cr)은 도 13의 하위 도면(A)에 도시된 대로 루마 평면(Y)과 비교하여 수평 방향 및 수직 방향 둘 다로 계수 2로 다운 샘플링된다. 크로마 샘플 위치 유형 0, 1, 2 및 3은 도 13의 하위 도면(B)에 도시된 바와 같이 루마 샘플에 대한 크로마 샘플의 샘플링 위치를 나타낸다. 상이한 크로마 샘플 위치 유형들은 크로마 샘플의 상이한 샘플링 위치들을 채택한다. 블렌딩 회로(123, 819, 919, 1015)에 의해 프로세싱될 재구성된 투영 기반 프레임의 각 픽셀이 YCbCr 컬러 공간에서 하나의 루마 샘플(Y)과 두 개의 크로마 샘플(Cb, Cr)로 구성될 때, 본 발명은 블렌딩 프로세스가 정확한 크로마 샘플 위치에서 블렌딩된 크로마 샘플 값을 생성할 수 있도록 블렌딩 회로(123, 819, 919, 1015)에 크로마 샘플링 위치 정보를 알리는 것을 제안한다. 변환 회로(114)는 또한 플래그(FL)를 비디오 인코딩 회로(116)에 출력하도록 배열되며, 여기서 플래그(FL)는 크로마 샘플링 위치 정보(예를 들어, 크로마 샘플 유형)를 나타낸다. 비디오 인코더 회로(116)는 또한 플래그(FL)를 비트스트림(BS)으로 인코딩하도록 배열되어, 플래그(FL)가 소스 전자 디바이스(102)로부터 비트스트림(BS)을 통해 목적지 전자 디바이스(104, 1004, 1204)로 시그널링된다. 비디오 디코딩 회로(122, 1012)는 비트스트림(BS)으로부터 플래그(FL)를 파싱하고, 블렌딩 회로(123, 819, 919, 1015)의 제어 정보(INF_CTRL)를 설정한다. 구체적으로, 블렌딩 회로는, 재구성된 프로젝션 기반 프레임의 하나의 투영면에서 제1 크로마 샘플 위치에 대해 획득된 제1 크로마 샘플 값과 재구성된 투영 기반 프레임의 하나의 패딩 영역에서 제2 크로마 샘플 위치에 대해 획득된 제2 크로마 샘플 값을 블렌딩함으로써 타겟 크로마 샘플 위치에서 블렌딩된 크로마 샘플 값을 생성하기 위한 블렌딩 프로세스를 수행하고, 타겟 크로마 샘플 위치, 제1 크로마 샘플 위치, 및 제2 크로마 샘플 위치 중 적어도 하나는, 비트스트림을 통해 비디오 인코딩 회로로부터 시그널링되고 비디오 디코딩 회로에서 비트스트림으로부터 파싱되는 크로마 샘플링 위치 정보에 따라 결정된다.
제1 크로마 샘플링 위치 시그널링 설계에서, 비트스트림(BS)을 통해 시그널링되고 블렌딩 프로세스에 의해 참조되는 크로마 샘플링 위치 정보는 블렌딩 프로세스의 플래그(FL)이다. 즉, 비트스트림(BS) 내로 인코딩된 플래그(FL)는 특히 디코더 측 블렌딩 프로세스를 위해 설정된다. 따라서 블렌딩 프로세스에서 크로마 샘플링 위치가 명시적으로 표시된다.
도 14는 투영면의 크로마 샘플에서 패딩 영역의 대응하는 크로마 샘플로 매핑하는 예를 나타내는 도면이다. 360 VR 투영 레이아웃(L_VR)이 도 4의 하위 도면(A)에 도시된 바와 같이 경계 패딩 및 에지 패딩을 가진 3x2 큐브 레이아웃(402)에 의해 설정된다고 가정하자. 투영면에서 하나의 크로마 샘플(A_Cb/Cr)은 먼저 구체(202) 상의 3D 포인트(C1_Cb/Cr)에 매핑되며, 여기서 크로마 샘플(A_Cb/Cr)은 비트스트림으로부터 파싱되는 블렌딩 프로세스의 플래그(FL)(예를 들어, 크로마 샘플 유형)에 의해 명시적으로 표시된 크로마 샘플 위치에 위치한다. 다음으로, 구체(202) 상의 3D 포인트(C1_Cb/Cr)는 큐브 기반 투영을 통해 패딩 영역의 크로마 샘플 위치에서 크로마 샘플(A'_Cb/Cr)에 매핑된다. 크로마 샘플(A_Cb/Cr)의 크로마 샘플 값과 크로마 샘플(A'_Cb/Cr)의 크로마 샘플 값은 예를 들어, 거리 기반 가중치 함수에 의해 블렌딩되어, 크로마 샘플(A_Cb/Cr)의 원래 크로마 샘플 값을 갱신하기 위해 사용되는 블렌딩된 크로마 샘플 값을 생성한다.
크로마 샘플 유형(플래그(FL)로 명시적으로 표시됨)에 의해 정의된 크로마 샘플 위치에서 벗어난 크로마 샘플 위치로 인해 크로마 샘플(A'_Cb/Cr)이 패딩 영역에서 직접 사용 가능하지 않은 경우, 블렌딩 회로(123, 819, 919)는 패딩 영역 및/또는 인접 패딩 영역(들)에서 직접 사용 가능한 인접한 크로마 샘플들을 프로세싱하기 위해 보간 필터(미도시)를 사용하여 크로마 샘플(A'_Cb/Cr)의 크로마 샘플 값을 결정할 수 있다.
도 15는 패딩 영역의 크로마 샘플에서 투영면의 대응하는 크로마 샘플로 매핑하는 예를 나타내는 도면이다. 360 VR 투영 레이아웃(L_VR)이 도 4의 하위 도면(A)에 도시된 바와 같이 경계 패딩 및 에지 패딩을 가진 3x2 큐브 레이아웃(402)에 의해 설정된다고 가정하자. 패딩 영역에서 하나의 크로마 샘플(B'_Cb/Cr)은 먼저 구체(202) 상의 3D 포인트(C2_Cb/Cr)에 매핑되며, 여기서 크로마 샘플(B'_Cb/Cr)은 비트스트림으로부터 파싱되는 블렌딩 프로세스의 플래그(FL)(예를 들어, 크로마 샘플 유형)에 의해 명시적으로 표시된 크로마 샘플 위치에 위치한다. 다음으로, 구체(202) 상의 3D 포인트(C2_Cb/Cr)는 큐브 기반 투영을 통해 투영면의 크로마 샘플(B_Cb/Cr)에 매핑된다. 크로마 샘플(B_Cb/Cr)의 크로마 샘플 값과 크로마 샘플(B'_Cb/Cr)의 크로마 샘플 값은 예를 들어, 거리 기반 가중치 함수에 의해 블렌딩되어, 크로마 샘플(B'_Cb/Cr)의 원래 크로마 샘플 값을 갱신하기 위해 사용되는 블렌딩된 크로마 샘플 값을 생성한다.
크로마 샘플 유형(플래그(FL)에 의해 명시적으로 표시됨)에 의해 정의된 크로마 샘플 위치에서 벗어난 크로마 샘플 위치로 인해 크로마 샘플(B_Cb/Cr)이 투영면에서 직접 사용 가능하지 않은 경우, 블렌딩 회로(123, 819, 919)는 보간 필터(미도시)를 사용하여 크로마 샘플(B_Cb/Cr)의 크로마 샘플 값을 결정하여, 투영면 및/또는 인접 패딩 영역(들)에서 직접 사용 가능한 인접 크로마 샘플을 프로세싱할 수 있다.
도 16은 렌더링 프로세스 또는 투영 포맷 변환 프로세스에 의해 요청된 타겟 크로마 샘플을 유도하기 위해 동일한 소스 프레임에서 다수의 대응하는 크로마 샘플을 블렌딩하는 예를 예시하는 도면이다. 360 VR 투영 레이아웃(L_VR)이 도 4의 하위 도면(A)에 도시된 바와 같이 경계 패딩 및 에지 패딩을 가진 3x2 큐브 레이아웃(402)에 의해 설정된다고 가정하자. 변환된 프레임(IMG")의 타겟 크로마 샘플(PT_Cb/Cr) 또는 디스플레이 스크린(126)에 대해, 블렌딩 회로(1015)는 비디오 디코딩 회로(1012)로부터 생성된 재구성된 투영 기반 프레임(IMG')에서 복수의 대응하는 크로마 샘플(P_Cb/Cr 및 P'_Cb/Cr)을 찾는다. 타겟 크로마 샘플(PT_Cb/Cr)은 비트스트림으로부터 파싱되는, 블렌딩 프로세스의 플래그(FL)(예를 들어, 크로마 샘플 유형)에 의해 명시적으로 표시된 크로마 샘플 위치에 위치한다. 타겟 크로마 샘플(PT_Cb/Cr) 및 대응하는 크로마 샘플(P_Cb/Cr 및 P'_Cb/Cr)은 구체(202) 상의 동일한 3D 포인트(C3_Cb/Cr)에 매핑되고, 여기서 하나의 대응하는 크로마 샘플(P_Cb/Cr)은 재구성된 투영 기반 프레임(IMG')의 하나의 투영면 내에 위치하며, 다른 대응하는 크로마 샘플(P'_Cb/Cr)은 재구성된 투명 기반 프레임(IMG')의 하나의 패딩 영역 내에 위치한다. 구체적으로, 타겟 크로마 샘플(PT_Cb/Cr)은 먼저 구체(202) 상의 3D 포인트(C3_Cb/Cr)에 매핑된 다음, 구체(202) 상의 3D 포인트(C3_Cb/Cr)는 재구성된 투영 기반 프레임(IMG')의 두 개의 대응하는 크로마 샘플(P_Cb/Cr 및 P'_Cb/Cr)에 매핑된다. 블렌딩 회로(1015)는 대응하는 크로마 샘플(P_Cb/Cr 및 P'_Cb/Cr)의 크로마 샘플 값을 블렌딩하여 블렌딩된 크로마 샘플 값을 생성하고, 블렌딩된 크로마 샘플 값에 의해 타겟 크로마 샘플(PT_Cb/Cr)의 크로마 샘플 값을 설정한다.
대응하는 크로마 샘플(P_Cb/Cr 및 P'_Cb/Cr)이 (플래그(FL)로 명시적으로 표시되는) 크로마 샘플 유형에 의해 정의된 크로마 샘플 위치에서 벗어난 크로마 샘플 위치로 인해 재구성된 투영 기반 프레임(IMG')에서 직접 사용할 수 없는 경우, 블렌딩 회로(1015)는 재구성된 투영 기반 프레임(IMG')에서 직접 사용 가능한 인접 크로마 샘플을 프로세싱하기 위해 보간 필터(미도시)를 사용하여 대응하는 크로마 샘플(P_Cb/Cr(또는 P'_Cb/Cr))의 크로마 샘플 값을 결정할 수 있다.
제2 크로마 샘플링 위치 시그널링 설계에서, 비트스트림(BS)을 통해 시그널링되고 블렌딩 프로세스에 의해 참조되는 크로마 샘플링 위치 정보는 변환 회로(114)에서 수행되는 크로마 포맷 변환 프로세스(예를 들어, 4:4:4 내지 4:2:0)의 플래그(FL)이다. 즉, 디코더 측 블렌딩 프로세스의 크로마 샘플링 위치는 인코더 측 크로마 포맷 변환 프로세스의 크로마 샘플링 위치와 일치한다(consistent). 도 17은 크로마 포맷 변환 프로세스에서 크로마 샘플링 위치에 의해 블렌딩 프로세스에서 크로마 샘플링 위치를 설정하는 예를 나타낸 도면이다. 비디오 캡처 디바이스(112)에 의해 제공되는 전방향 이미지/비디오 콘텐츠(S_IN)는 4:4:4 포맷(YCbCr 또는 RGB)일 수 있다. 변환 회로(114)는 전방향 이미지/비디오 콘텐츠를 4:2:0 포맷(YCbCr)으로 제공하기 위해 전방향 이미지/비디오 콘텐츠(S_IN)에 대해 크로마 포맷 변환 프로세스를 수행할 수 있다. 다음으로, 변환 회로(114)는 크로마 포맷 변환 프로세스의 출력에 따라 360 VR 투영 레이아웃(L_VR)을 갖는 투영 기반 프레임(IMG)을 생성한다. 플래그(FL)는 크로마 포맷 변환 프로세스에 의해 채택된 크로마 샘플링 위치(예를 들어, 크로마 샘플 유형 0)를 나타내도록 설정되고 비트스트림(BS)으로 인코딩된다. 비디오 디코딩 회로(122)가 비트스트림(BS)으로부터 크로마 포맷 변환 프로세스의 플래그(FL)를 파싱한 후, 블렌딩 회로(123, 819, 919, 1015)의 제어 정보(INF_CTRL)가 플래그(FL)에 의해 설정되어, 디코더 측 블렌딩 프로세스의 크로마 샘플링 위치가 인코더 측 크로마 포맷 변환 프로세스의 크로마 샘플링 위치와 일치한다.
제3 크로마 샘플링 위치 시그널링 설계에서, 비트스트림(BS)을 통해 시그널링되고 블렌딩 프로세스에 의해 참조되는 크로마 샘플링 위치 정보는 변환 회로(114)에서 수행되는 투영 포맷 변환 프로세스의 플래그(FL)이다. 즉, 디코더 측 블렌딩 프로세스의 크로마 샘플링 위치는 인코더 측 투영 포맷 변환 프로세스의 크로마 샘플링 위치와 일치한다. 도 18은 투영 포맷 변환 프로세스에서 크로마 샘플링 위치로 블렌딩 프로세스에서 크로마 샘플링 위치를 설정하는 예를 나타내는 도면이다. 비디오 캡처 디바이스(112)에 의해 제공되는 전방향 이미지/비디오 콘텐츠(S_IN)는 ERP 레이아웃과 같은 소스 투영 레이아웃으로 배열될 수 있다. 변환 회로(114)는 소스 투영 레이아웃과는 다른 타겟 투영 레이아웃에서 투영 기반 프레임(IMG)을 생성하기 위해 전방향 이미지/비디오 콘텐츠(S_IN)에 대해 투영 포맷 변환 프로세스를 수행할 수 있다. 예를 들어, 타겟 투영 레이아웃(즉, L_VR)은 도 4의 하위 도면(A)에 도시된 바와 같이 경계 패딩 및 에지 패딩을 가진 큐브맵 투영 레이아웃일 수 있다. 플래그(FL)는 투영 포맷 변환 프로세스에 의해 채택된 크로마 샘플링 위치(예를 들어, 크로마 샘플 유형 0)를 나타내도록 설정되고 비트스트림(BS) 내로 인코딩된다. 비디오 디코딩 회로(122)가 비트스트림(BS)으로부터 투영 포맷 변환 프로세스의 플래그(FL)를 파싱한 후, 블렌딩 회로(123, 819, 919, 1015)의 제어 정보(INF_CTRL)가 플래그(FL)에 의해 설정되어, 디코더 측 블렌딩 프로세스의 크로마 샘플링 위치가 인코더 측 투영 포맷 변환 프로세스의 크로마 샘플링 위치와 일치한다.
당업자들은 디바이스 및 방법의 다수의 변형들 및 변경들이 본 발명의 교시를 유지하면서 수행될 수 있다는 것을 쉽게 관찰할 것이다. 이에 따라, 위의 개시는 첨부된 청구항들의 한계들 및 범위들에 의해서만 제한되는 것으로서 해석되어야 한다.

Claims (12)

  1. 비디오 프로세싱 방법에 있어서,
    비트스트림의 일부를 수신하는 단계;
    360도 가상 현실(360-degree Virtual Reality; 360 VR) 투영의 투영 레이아웃에 패킹된(packed) 적어도 하나의 투영면 및 적어도 하나의 패딩 영역을 가진 재구성된 투영 기반 프레임을 생성하기 위해 상기 비트스트림의 상기 일부를 디코딩하는 단계;
    상기 비트스트림을 통해 시그널링되는 크로마 샘플링(chroma sampling) 위치 정보를 획득하는 단계; 및
    블렌딩 회로에 의해, 상기 재구성된 투영 기반 프레임의 상기 적어도 하나의 투영면에서 제1 크로마 샘플 위치에 대해 획득된 제1 크로마 샘플 값과 상기 재구성된 투영 기반 프레임의 상기 적어도 하나의 패딩 영역에서 제2 크로마 샘플 위치에 대해 획득된 제2 크로마 샘플 값을 블렌딩(blending)함으로써 타겟 크로마 샘플 위치에서 블렌딩된 크로마 샘플 값을 생성하기 위한 블렌딩 프로세스를 수행하는 단계
    를 포함하며,
    상기 타겟 크로마 샘플 위치, 상기 제1 크로마 샘플 위치, 및 상기 제2 크로마 샘플 위치 중 적어도 하나는 상기 크로마 샘플링 위치 정보에 따라 결정되는 것인, 비디오 프로세싱 방법.
  2. 제1항에 있어서,
    상기 비트스트림을 통해 시그널링되고 상기 블렌딩 프로세스에 의해 참조되는 상기 크로마 샘플링 위치 정보는 상기 블렌딩 프로세스의 플래그인 것인, 비디오 프로세싱 방법.
  3. 제1항에 있어서,
    상기 비트스트림을 통해 시그널링되고 상기 블렌딩 프로세스에 의해 참조되는 상기 크로마 샘플링 위치 정보는 크로마 포맷 변환 프로세스의 플래그인 것인, 비디오 프로세싱 방법.
  4. 제1항에 있어서,
    상기 비트스트림을 통해 시그널링되고 상기 블렌딩 프로세스에 의해 참조되는 상기 크로마 샘플링 위치 정보는 투영 포맷 변환 프로세스의 플래그인 것인, 비디오 프로세싱 방법.
  5. 제1항에 있어서,
    상기 타겟 크로마 샘플 위치는 상기 제1 크로마 샘플 위치와 동일하고, 상기 블렌딩 프로세스는 상기 제1 크로마 샘플 값을 상기 블렌딩된 크로마 샘플 값에 의해 갱신하는 것인, 비디오 프로세싱 방법.
  6. 제1항에 있어서,
    상기 타겟 크로마 샘플 위치는 상기 제2 크로마 샘플 위치와 동일하고, 상기 블렌딩 프로세스는 상기 제2 크로마 샘플 값을 상기 블렌딩된 크로마 샘플 값에 의해 갱신하는 것인, 비디오 프로세싱 방법.
  7. 제1항에 있어서,
    상기 타겟 크로마 샘플 위치는 상기 제1 크로마 샘플 위치 및 상기 제2 크로마 샘플 위치와는 다른 것인, 비디오 프로세싱 방법.
  8. 삭제
  9. 비디오 프로세싱 방법에 있어서,
    비트스트림을 수신하는 단계;
    360도 가상 현실(360-degree Virtual Reality; 360 VR) 투영의 투영 레이아웃에 패킹된 적어도 하나의 투영면 및 적어도 하나의 패딩 영역을 가진 제1 재구성된 투영 기반 프레임을 생성하기 위해 상기 비트스트림의 일부를 디코딩하는 단계;
    블렌딩 회로에 의해, 상기 제1 재구성된 투영 기반 프레임에 대해 블렌딩 프로세스를 수행하는 단계 - 상기 블렌딩 프로세스를 수행하는 단계는,
    상기 제1 재구성된 투영 기반 프레임의 상기 적어도 하나의 투영면에서 제1 픽셀 위치에 대해 획득된 제1 픽셀 값과 상기 제1 재구성된 투영 기반 프레임의 상기 적어도 하나의 패딩 영역에서 제2 픽셀 위치에 대해 획득된 제2 픽셀 값을 블렌딩함으로써 블렌딩된 픽셀 값을 생성하는 단계를 포함함 -; 및
    제2 재구성된 투영 기반 프레임을 생성하기 위해 상기 비트스트림의 또 다른 부분을 디코딩하는 단계
    를 포함하며,
    상기 제1 재구성된 투영 기반 프레임은 인터 예측에 의해 사용되는 참조 프레임으로서의 역할을 하고, 상기 블렌딩된 픽셀 값은 상기 제2 재구성된 투영 기반 프레임의 생성에 수반되는 인터 예측에 의해 사용되지 않는 것인, 비디오 프로세싱 방법.
  10. 비디오 프로세싱 방법에 있어서,
    비트스트림의 일부를 수신하는 단계;
    360도 가상 현실(360-degree Virtual Reality; 360 VR) 투영의 투영 레이아웃에 패킹된 적어도 하나의 투영면 및 적어도 하나의 패딩 영역을 가진 재구성된 투영 기반 프레임을 생성하기 위해 상기 비트스트림의 상기 일부를 디코딩하는 단계;
    타겟 픽셀에 대해, 상기 재구성된 투영 기반 프레임에서 복수의 대응 픽셀들을 찾는 단계 - 상기 타겟 픽셀과 상기 대응 픽셀들은 구체(sphere) 상의 동일한 포인트에 매핑되고, 상기 대응 픽셀들은 제1 픽셀 및 제2 픽셀을 포함하고, 상기 제1 픽셀은 상기 재구성된 투영 기반 프레임의 상기 적어도 하나의 투영면 내에 위치하며, 상기 제2 픽셀은 상기 재구성된 투영 기반 프레임의 상기 적어도 하나의 패딩 영역 내에 위치함 -;
    상기 대응 픽셀들의 픽셀 값들을 블렌딩함으로써 블렌딩된 픽셀 값을 생성하는 단계; 및
    상기 블렌딩된 픽셀 값에 의해 상기 타겟 픽셀의 픽셀 값을 설정하는 단계
    를 포함하고,
    상기 블렌딩된 픽셀 값은, 상기 비트스트림의 또 다른 부분의 디코딩으로부터 획득되는 또 다른 재구성된 투영 기반 프레임의 생성에 수반되는 인터 예측에 의해 사용되지 않는 것인, 비디오 프로세싱 방법.
  11. 제10항에 있어서,
    상기 타겟 픽셀은 렌더링 프로세스에 의해 요청되는 것인, 비디오 프로세싱 방법.
  12. 제10항에 있어서,
    상기 타겟 픽셀은 투영 포맷 변환 프로세스에 의해 요청되는 것인, 비디오 프로세싱 방법.
KR1020217010928A 2019-01-02 2019-12-31 투영 기반 프레임을 프로세싱하기 위한 방법 KR102453512B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962787449P 2019-01-02 2019-01-02
US62/787,449 2019-01-02
US16/729,514 US20200213570A1 (en) 2019-01-02 2019-12-30 Method for processing projection-based frame that includes at least one projection face and at least one padding region packed in 360-degree virtual reality projection layout
US16/729,514 2019-12-30
PCT/CN2019/130478 WO2020140892A1 (en) 2019-01-02 2019-12-31 Method for processing projection-based frame

Publications (2)

Publication Number Publication Date
KR20210070299A KR20210070299A (ko) 2021-06-14
KR102453512B1 true KR102453512B1 (ko) 2022-10-11

Family

ID=71121835

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217010928A KR102453512B1 (ko) 2019-01-02 2019-12-31 투영 기반 프레임을 프로세싱하기 위한 방법

Country Status (6)

Country Link
US (1) US20200213570A1 (ko)
KR (1) KR102453512B1 (ko)
CN (1) CN112868237B (ko)
DE (1) DE112019004696T5 (ko)
TW (1) TWI728633B (ko)
WO (1) WO2020140892A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
CN113747179B (zh) * 2019-03-07 2023-08-08 Oppo广东移动通信有限公司 环路滤波实现方法、装置及计算机存储介质
WO2021051047A1 (en) 2019-09-14 2021-03-18 Bytedance Inc. Chroma quantization parameter in video coding
CN114651442A (zh) 2019-10-09 2022-06-21 字节跳动有限公司 视频编解码中的跨分量适应性回路滤波
KR20220073746A (ko) 2019-10-14 2022-06-03 바이트댄스 아이엔씨 비디오 처리에서 크로마 양자화 파라미터 사용
CN114788279A (zh) 2019-12-09 2022-07-22 字节跳动有限公司 视频编解码中使用的量化组
WO2021138293A1 (en) 2019-12-31 2021-07-08 Bytedance Inc. Adaptive color transform in video coding
KR20220115951A (ko) * 2020-01-01 2022-08-19 바이트댄스 아이엔씨 비디오 코딩을 위한 크로스 컴포넌트 적응형 루프 필터링
CN113163184B (zh) * 2021-03-25 2022-11-18 复旦大学 一种面向vr自适应传输的投影算法
WO2023200249A1 (ko) * 2022-04-12 2023-10-19 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017222301A1 (ko) 2016-06-21 2017-12-28 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
WO2018156403A1 (en) 2017-02-27 2018-08-30 Apple Inc. Video coding techniques for multi-view video

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160373740A1 (en) * 2014-03-05 2016-12-22 Sony Corporation Image encoding device and method
EP3190780A1 (en) * 2016-01-05 2017-07-12 Giroptic Two-lens spherical camera
US10249019B2 (en) * 2016-05-06 2019-04-02 Mediatek Inc. Method and apparatus for mapping omnidirectional image to a layout output format
WO2017205648A1 (en) * 2016-05-26 2017-11-30 Vid Scale, Inc. Geometric conversion for 360-degree video coding
KR20180000279A (ko) * 2016-06-21 2018-01-02 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
US10462484B2 (en) * 2016-10-07 2019-10-29 Mediatek Inc. Video encoding method and apparatus with syntax element signaling of employed projection layout and associated video decoding method and apparatus
US11057643B2 (en) * 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
US10957044B2 (en) * 2017-03-22 2021-03-23 Qualcomm Incorporated Sphere pole projections for efficient compression of 360-degree video
US10593012B2 (en) * 2017-03-22 2020-03-17 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented in projection faces packed in segmented sphere projection layout
US11532128B2 (en) * 2017-03-23 2022-12-20 Qualcomm Incorporated Advanced signaling of regions of interest in omnidirectional visual media
CN110574069B (zh) * 2017-04-27 2023-02-03 联发科技股份有限公司 用于将虚拟现实图像映射成分段球面投影格式的方法以及装置
GB2563944B (en) * 2017-06-30 2021-11-03 Canon Kk 360-Degree video encoding with block-based extension of the boundary of projected parts

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017222301A1 (ko) 2016-06-21 2017-12-28 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
WO2018156403A1 (en) 2017-02-27 2018-08-30 Apple Inc. Video coding techniques for multi-view video
US20180249164A1 (en) 2017-02-27 2018-08-30 Apple Inc. Video Coding Techniques for Multi-View Video

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yan Ye et al, Algorithm descriptions of projection format conversion and video quality metrics in 360Lib Version 8, JVET of ITU-T and ISO/IEC, JVET-L1004 (2018.11.10.) 1부.*

Also Published As

Publication number Publication date
TWI728633B (zh) 2021-05-21
CN112868237B (zh) 2023-06-13
CN112868237A (zh) 2021-05-28
KR20210070299A (ko) 2021-06-14
TW202029741A (zh) 2020-08-01
US20200213570A1 (en) 2020-07-02
DE112019004696T5 (de) 2021-06-10
WO2020140892A1 (en) 2020-07-09

Similar Documents

Publication Publication Date Title
KR102453512B1 (ko) 투영 기반 프레임을 프로세싱하기 위한 방법
US11528414B2 (en) Method and apparatus for reconstructing 360-degree image according to projection format
US11962744B2 (en) Image data encoding/decoding method and apparatus
US10986371B2 (en) Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US20190281273A1 (en) Adaptive loop filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US20180192074A1 (en) Video processing method for processing projection-based frame with 360-degree content represented by projection faces packed in 360-degree virtual reality projection layout
US10659780B2 (en) De-blocking method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
WO2019166008A1 (en) Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
US11477490B2 (en) Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus
WO2019179489A1 (en) Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant