KR102273199B1 - 곡선 뷰 비디오 인코딩/디코딩에서 효율성 향상을 위한 시스템 및 방법 - Google Patents

곡선 뷰 비디오 인코딩/디코딩에서 효율성 향상을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR102273199B1
KR102273199B1 KR1020197005757A KR20197005757A KR102273199B1 KR 102273199 B1 KR102273199 B1 KR 102273199B1 KR 1020197005757 A KR1020197005757 A KR 1020197005757A KR 20197005757 A KR20197005757 A KR 20197005757A KR 102273199 B1 KR102273199 B1 KR 102273199B1
Authority
KR
South Korea
Prior art keywords
image
padding
pixels
delete delete
frame
Prior art date
Application number
KR1020197005757A
Other languages
English (en)
Other versions
KR20190029735A (ko
Inventor
원준 자오
샤오전 정
Original Assignee
에스지 디제이아이 테크놀러지 코., 엘티디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스지 디제이아이 테크놀러지 코., 엘티디 filed Critical 에스지 디제이아이 테크놀러지 코., 엘티디
Publication of KR20190029735A publication Critical patent/KR20190029735A/ko
Application granted granted Critical
Publication of KR102273199B1 publication Critical patent/KR102273199B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/563Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/55Motion estimation with spatial constraints, e.g. at image or region borders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

시스템 및 방법은 곡선 뷰 비디오를 디코딩할 수 있다. 디코더는 곡선 뷰의 적어도 일부분에 디코딩된 이미지 프레임 내의 이미지 영역의 세트에 대응하는 맵핑을 획득할 수 있고, 맵핑에 기초하여 디코딩된 이미지 프레임을 위한 패딩 방식을 결정할 수 있다. 그 다음, 디코더는 패딩 방식에 따라 디코딩된 이미지 프레임에 대한 확장된 이미지를 구성할 수 있으며, 상기 확장된 이미지는 하나 이상의 패딩 픽셀을 포함하고, 다른 디코딩된 이미지 프레임을 획득하기 위해 기준 프레임으로서 확장된 이미지를 사용한다.

Description

곡선 뷰 비디오 인코딩/디코딩에서 효율성 향상을 위한 시스템 및 방법
이 특허 문서의 개시 부분에는 저작권 보호 대상인 자료를 포함한다. 저작권자는 특허청의 특허 파일 또는 기록에 나타나 있는 대로 특허 문서 또는 특허 개시를 팩스로 복제하는 것에 대해 이의를 제기하지 않지만, 그렇지 않은 행위에 대해서는 저작권이 있다.
개시된 실시예는 일반적으로 비디오 처리에 관한 것으로, 특히, 비디오 인코딩 및 디코딩에 관한 것이지만, 이에 한정되는 것은 아니다.
비디오 컨텐츠의 소비는 최근 다양한 유형의 휴대용, 핸드헬드(handheld) 또는 웨어러블 디바이스의 보급으로 인해 급속하게 증가하고 있다. 예를 들어, 가상 현실(VR) 또는 증강 현실(AR) 능력을 다른 헤드 마운트 디바이스(HMDs)에 통합할 수 있다. 비디오 컨텐츠의 형태가 더욱 정교해짐에 따라, 비디오 컨텐츠의 저장 및 전송은 점점 더 어려워지고 있다. 예를 들어, 비디오 저장 및 전송을 위한 대역폭을 감소시킬 필요가 있다. 이는 본 발명의 실시예가 다루고자 하는 일반적인 영역이다.
여기서 곡선 뷰 비디오를 디코딩할 수 있는 시스템 및 방법이 설명된다. 디코더는 디코딩된 이미지 프레임 내의 이미지 영역의 세트를 곡선 뷰의 적어도 일부분에 대응하는 맵핑을 획득할 수 있고, 맵핑에 기초하여 디코딩된 이미지 프레임에 대한 패딩 방식을 결정할 수 있다. 그 다음, 디코더는 패딩 방식에 따라 디코딩된 이미지 프레임에 대한 확장된 이미지를 구성할 수 있으며, 상기 확장된 이미지는 하나 이상의 패딩 픽셀을 포함하고, 확장된 이미지를 기준 프레임으로서 사용하여 다른 디코딩된 이미지 프레임을 획득한다.
또한, 여기서 곡선 뷰 비디오를 인코딩할 수 있는 시스템 및 방법이 설명된다. 인코더는 인코딩 이미지 프레임 내의 이미지 영역의 세트를 곡선 뷰의 적어도 일부분에 대응하는 맵핑에 기초하여 패딩 방식을 규정할 수 있다. 또한, 인코더는 하나 이상의 패딩 픽셀로 이미지 영역의 세트를 확장하기 위한 패딩 방식을 사용할 수 있다. 그 다음, 인코더는 인코딩 이미지 프레임을 인코딩하기 위해 하나 이상의 패딩 픽셀을 가지고 확장된 인코딩 이미지를 사용하여 사용할 수 있다.
도 1은 본 발명의 다양한 실시예에 따라, 곡선 뷰 비디오를 코딩/압축하는 것을 도시한다.
도 2는 본 발명의 다양한 실시예에 따라, 3차원 구형 뷰를 2차원 평면에 맵핑할 수 있는 예시적인 등장방형 투영법(equirectangular projection)을 도시한다.
도 3은 본 발명의 다양한 실시예에 따라, 3차원 구형 뷰를 2차원 레이아웃으로 맵핑하는 예시적인 정육면체면 투영법을 도시한다.
도 4a-b는 본 발명의 다양한 실시예에 따라, 상이한 맵핑이 적용될 때, 다양한 정육면체면에 대한 상이한 연속성 관계를 도시한다.
도 5는 본 발명의 다양한 실시예에 따라, 곡선 뷰를 2차원(2D) 이미지로 맵핑하는 것을 도시한다.
도 6은 본 발명의 다양한 실시예에 따라, 코딩 효율성을 향상시키기 위해 추가 연속성을 제공하기 위한 패딩 방식을 사용하는 것을 도시한다.
도 7-10은 본 발명의 다양한 실시예에 따라, 다양한 정육면체면 레이아웃에 대한 예시적인 패딩 방식을 도시한다.
도 11은 본 발명의 다양한 실시예에 따라, 비디오 인코딩에서 효율성을 향상시키기 위한 패딩 방식을 사용하는 것을 도시한다.
도 12는 본 발명의 다양한 실시예에 따라, 곡선 뷰 비디오 인코딩의 효율성을 향상시키기 위한 패딩 방식을 사용하기 위한 흐름도를 도시한다.
도 13은 본 발명의 다양한 실시예에 따라, 곡선 뷰 비디오 디코딩의 효율성을 향상시키기 위한 패딩 방식을 사용하는 것을 도시한다.
도 14는 본 발명의 다양한 실시예에 따라, 곡선 뷰 비디오 디코딩의 효율성을 향상시키기 위한 패딩 방식을 사용하기 위한 흐름도를 도시한다.
본 발명은 유사한 참조가 유사한 요소를 나타내는 첨부 도면의 도면에 제한으로서가 아니라 예로서 도시된다. 본 개시의 "한", "하나의" 또는 "일부의" 실시예에 대한 참조는 반드시 동일한 실시예일 필요는 없으며, 그러한 참조는 적어도 하나를 의미함을 알아야 한다.
본 발명의 다양한 실시예에 따라, 시스템은 곡선 뷰 비디오를 저장하고 전송하기 위한 대역폭 요구사항을 감소시킬 수 있다. 예를 들어, 곡선 뷰는 구면 또는 타원체형면과 같은 임의의 매끄러운 표면에 투영된 뷰일 수 있다. 곡선 뷰 비디오(또는 다르게는 360º 파노라말 뷰 비디오라고 지칭될 수 있음)는 다수의 방향의 뷰가 동시에 캡쳐되는 복수의 이미지 프레임을 포함할 수 있다. 따라서, 곡선 뷰 비디오는 넓은 시야(FOV: field of view)를 커버할 수 있다. 예를 들어, 구형 뷰 비디오(또는 360도 파노라말 뷰 비디오)는 3차원(3D) 구형 FOV를 커버하는 프레임의 시퀀스를 포함할 수 있다. 일부 실시예에서, 구형 뷰 비디오는 360도 수평 시야(FOV) 및 180도 수직 FOV를 가질 수 있다.일부 실시예에서, 구형 뷰 비디오는 360도 수평 FOV 및 360도 수직 FOV를 가질 수 있다. 이하와 같은 본 발명의 설명은 곡선 뷰의 예로서 구형 뷰를 사용한다.통상의 기술자에게는 다른 유형의 곡선 뷰가 제한없이 사용될 수 있음이 명백할 것이다.
도 1은 본 발명의 다양한 실시예에 따라 곡선 뷰 비디오를 코딩/압축하는 것을 도시한다. 도 1에 나타난 바와 같이, 곡선 뷰 비디오의 코딩/압축은 맵핑(101), 예측(102), 변환(103), 양자화(104) 및 엔트로피 인코딩(105)과 같은 다수의 단계를 포함할 수 있다.
다양한 실시예에 따라, 맵핑 단계(101)에서, 시스템은 다양한 비디오 코딩/압축 기술을 활용하기 위해 2차원(2D) 평면 상의 비디오 시퀀스에서 3차원(3D) 곡선 뷰를 투영시킬 수 있다. 시스템은 곡선 뷰 비디오(예를 들어, 구형 뷰 비디오)를 저장하고 전송하기 위해 2차원 직사각형 이미지 포맷을 사용할 수 있다. 또한, 시스템은 디지털 이미지 처리를 지원하고 코덱 동작을 수행하기 위해 2차원 직사각형 이미지 포맷을 사용할 수 있다.
구형 뷰와 같은 곡선 뷰를 직사각형 이미지에 맵핑하기 위해 상이한 접근법이 사용될 수 있다. 예를 들어, 구형 뷰는 등장방형 투영법에 기초하여 직사각형 이미지에 맵핑될 수 있다. 일부 실시예에서, 등장방형 투영법은 경선을 일정 간격의 수직 직선으로 맵핑할 수 있고, 위도의 원을 일정 간격의 수평 직선으로 맵핑할 수 있다. 다르게는, 구형 뷰는 정육면체면 투영법에 기초하여 직사각형 이미지에 맵핑될 수 있다. 정육면체면 투영법은 외접 정육면체를 기반으로 3D 구면을 근사시킬 수 있다. 정육면체의 6면 상의 3D 구면의 투영법은 각 개별 투영법의 상대 위치와 방향과 같은 정육면체면 배열을 정의하는 상이한 정육면체면 레이아웃을 사용하여 2D 이미지로 배열될 수 있다. 전술한 등직사각형 투영법 및 정육면체면 투영법 외에, 3D 곡선 뷰를 2D 비디오에 맵핑하기 위해 다른 투영법 메커니즘을 사용할 수 있다. HEVC / H.265, H.264 / AVC, AVS1-P2, AVS2-P2, VP8, VP9와 같이 일반적으로 사용되는 비디오 코덱 표준을 기반으로 2D 비디오가 압축, 인코딩 및 디코딩될 수 있다.
다양한 실시예에 따라, 예측 단계(102)는 이미지 중복 정보를 감소시키는 데 사용될 수 있다. 예측 단계(102)는 프레임 내 예측 및 프레임 간 예측을 포함할 수 있다. 프레임 내 예측은 비디오 시퀀스 내의 다른 프레임과 독립적으로, 현재 프레임 내에 포함된 정보에만 기초하여 수행될 수 있다. 프레임 간 예측은 기준 프레임 예를 들어, 이전에 처리된 프레임에 기초하여 현재 프레임의 중복을 제거함으로써 수행될 수 있다.
예를 들어, 프레임 간 예측을 위한 모션 추정을 수행하기 위해, 프레임은 복수의 이미지 블록으로 나뉠 수 있다. 각 이미지 블록은 기준 프레임 내의 블록, 예를 들어, 블록 매칭 알고리즘에 기초하여 매칭될 수 있다. 일부 실시예에서, 현재 프레임 내의 이미지 블록의 좌표로부터 기준 프레임 내의 매칭된 이미지 블록의 좌표까지의 오프셋을 나타내는 모션 벡터가 계산될 수 있다. 또한, 나머지, 즉 현재 프레임 내의 각 이미지 블록과 기준 프레임 내의 매칭된 블록 간의 차이가 계산되고 그룹화될 수 있다.
또한, 프레임의 중복은 변환 단계(103)를 적용함으로써 제거될 수 있다. 변환 단계(103)에서, 시스템은 코딩 효율성을 향상시키기 위해 나머지를 처리할 수 있다. 예를 들어, 변환 계수는 그룹화된 나머지에 변환 행렬 및 그 전치 행렬을 적용함으로써 생성될 수 있다. 이어서, 변환 계수는 양자화 단계(104)에서 양자화되고 엔트로피 인코딩 단계(105)에서 코딩될 수 있다. 그 다음, 엔트로피 인코딩 단계(105)로부터 생성된 정보를 포함하는 비트 스트림 뿐만 아니라 다른 인코딩 정보(예를 들어, 프레임 내 예측 모드, 모션 벡터)가 저장되어 디코더에 전송될 수 있다.
수신 측에서, 디코더는 수신된 비트 스트림에 대해(예를 들어, 엔트로피 디코딩, 역양자화 및 역변환) 역 프로세스를 수행하여 나머지를 획득할 수 있다. 따라서, 이미지 프레임은 나머지 및 다른 수신된 디코딩 정보에 기초하여 디코딩될 수 있다. 그 다음, 디코딩된 이미지는 곡선 뷰 비디오를 디스플레이하기 위해 사용될 수 있다.
도 2는 본 발명의 다양한 실시예에 따라, 3차원 구형 뷰를 2차원 평면에 맵핑할 수 있는 예시적인 등직사각형 투영법을 도시한다. 도 2에 나타난 바와 같이, 등직사각형 투영법을 사용하여, 구형 뷰(201)는 2차원 직사각형 이미지(202)에 맵핑될 수 있다. 한편, 2차원 직사각형 이미지(202)는 역으로 구형 뷰(201)로 다시 맵핑될 수 있다.
일부 실시예에서, 맵핑은 이하의 수식에 기초하여 정의될 수 있다.
Figure 112019020094852-pct00001
Figure 112019020094852-pct00002
(수식1)
Figure 112019020094852-pct00003
Figure 112019020094852-pct00004
(수식2)
여기서, x는 2D 평면 좌표계에서의 수평 좌표를 나타내고, y는 2D 평면 좌표계(101)에서의 수직 좌표를 나타낸다.
Figure 112019020094852-pct00005
는 구(100)의 경도를 나타내고,
Figure 112019020094852-pct00006
는 구면의 위도를 나타낸다.
Figure 112019020094852-pct00007
Figure 112019020094852-pct00008
는 투영법의 스케일이 참인 표준 평행선을 나타낸다. 일부 실시예에서,
Figure 112019020094852-pct00009
Figure 112019020094852-pct00010
는 0으로 설정될 수 있고, 좌표계(101)의 점(0,0)은 중심에 위치될 수 있다.
도 3은 본 발명의 다양한 실시예에 따라, 3차원 구형 뷰를 2차원 레이아웃으로 맵핑하는 예시적인 정육면체면 투영법을 도시한다. 도 3에 나타난 바와 같이, 정육면체면 투영법을 사용하여, 구 뷰(301)는 2차원 레이아웃(302)에 맵핑될 수 있다. 한편, 2차원 레이아웃(302)은 역으로 구 뷰(301)에 다시 맵핑될 수 있다.
다양한 실시예에 따라, 구면(301)에 대한 정육면체면 투영법은 정육면체(301), 예를 들어, 구(301)의 외접 정육면체에 기초할 수 있다. 맵핑 관계를 확인하기 위해, 구면과 정육면체면 각각에서 교차점 쌍의 수를 획득하기 위해 구의 중심에서 광선 투사(ray casting)를 수행할 수 있다.
도 3에 나타난 바와 같이, 구형 뷰를 저장하고 전송하기 위한 이미지 프레임은 정육면체(310)의 6개의 정육면체면, 예를 들어, 상측 정육면체면, 하측 정육면체면, 좌측 정육면체면, 우측 정육면체면, 앞쪽 정육면체면 및 뒤쪽 정육면체면을 포함할 수 있다. 이 6개의 정육면체면은 2D 평면에서 확장(또는 투영)될 수 있다.
정육면체면 투영법에 기초하여 구형 뷰 또는 타원체형 뷰와 같은 곡선 뷰의 투영법은 설명의 목적으로 제공되며, 본 개시의 범위를 제한하려는 의도가 아니라는 점을 알아야 한다. 통상의 기술자의 경우, 현재 개시의 가르침에 따라 다양한 수정 및 변형을 수행할 수 있다. 공개 개시와 관련된 투영법에 대한 투영 포맷의 예외적인 실시예는 8면체(octahedron), 12면체(dodecahedron), 20면체(icosahedrons) 또는 임의의 다면체(polyhedron)를 포함할 수 있다. 예를 들어, 8개 면에 대한 투영법은 8면체에 기반한 근사치에 대해 생성될 수 있으며, 이들 8개 면에 대한 투영법은 2D 평면으로 확장 및/또는 투영될 수 있다. 다른 예에서, 12개 면에 대한 투영법은 12면체에 기반한 근사치에 대해 생성될 수 있으며, 이들 12개 면에 대한 투영법은 2D 평면에 확장 및/또는 투영될 수 있다. 또 다른 예에서, 20개 면에 대한 투영법은 20면체에 기반한 근사치에 대해 생성될 수 있으며, 이들 20개 면에 대한 투영법은 2D 평면에 확장 및/또는 투영될 수 있다. 또 다른 예에서, 다면체의 다양한 면에 대해 타원체 뷰의 투영법이 타원체 뷰의 근사치를 위해 생성될 수 있으며, 이들 20개 면에 대한 투영법이 2D 평면에 확장 및/또는 투영될 수 있다.
도 3에 도시된 정육면체면 레이아웃, 상이한 정육면체면은 상측 정육면체면, 하측 정육면체면, 좌측 정육면체면, 우측 정육면체면, 앞쪽 정육면체면, 뒤쪽 정육면체면과 같은 상대적 위치를 사용하여 묘사될 수 있다는 것을 알아야 한다. 이러한 묘사는 설명의 목적으로만 제공되며, 본 개시의 범위를 제한하기 위한 것이 아니다. 통상의 기술자의 경우, 다양한 수정 및 변형은 본 개시의 가르침에 따라 수행될 수 있다.
다양한 구현에 따라, 각 정육면체면의 방향이나 상대적 위치에 따라, 다양한 정육면체면 사이의 연속적인 관계는 상이한 연속성 관계를 사용하여 나타낼 수 있다.
도 4a-b는 본 발명의 다양한 실시예에 따라 상이한 맵핑이 적용될 때 다양한 정육면체면에 대한 상이한 연속성 관계를 도시한다. 도 4a-b에 나타난 바와 같이, 상측 정육면체면의 방향이 변경될 때, 상이한 연속성 관계(400a 및 400b)가 다양한 정육면체면 사이의 상이한 연속성 관계를 나타내기 위해 사용될 수 있다.
도 4a를 참조하면, 이하 연속성 관계를 관찰할 수 있다. 좌측 정육면체면의 왼쪽 부분은 뒤쪽 정육면체면의 오른쪽 부분으로 연속되고, 좌측 정육면체면의 오른쪽 부분은 앞쪽 정육면체면의 왼쪽 부분으로 연속되고, 앞쪽 정육면체면의 오른쪽 부분은 우측 정육면체면의 왼쪽 부분으로 연속되며, 앞쪽 정육면체면의 위쪽 부분은 상측 정육면체면의 위쪽 부분으로 연속되고, 앞쪽 정육면체면의 아래 부분은 하측 정육면체면의 아래 부분으로 연속되며, 우측 정육면체면의 오른쪽 부분은 뒤쪽 정육면체면의 왼쪽 부분으로 연속되고, 상측 정육면체면의 왼쪽 부분은 좌측 정육면체면의 위쪽 부분으로 연속되며, 상측 정육면체면의 오른쪽 부분은 우측 정육면체면의 위쪽 부분으로 연속되고, 상측 정육면체면의 위쪽 부분은 뒤쪽 정육면체면의 위쪽 부분으로 연속되고, 하측 정육면체면의 왼쪽 부분은 좌측 정육면체면의 아래 부분으로 연속되고, 하측 정육면체면의 오른쪽 부분은 우측 정육면체면의 아래 부분으로 연속되고, 하측 정육면체면의 아래 부분은 뒤쪽 정육면체면의 아래 부분으로 연속된다.
도 4b를 참조하면, 앞쪽 정육면체면이 다르게 배향될 때, 이하 연속성 관계를 관찰할 수 있다. 좌측 정육면체면의 왼쪽 부분은 뒤쪽 정육면체면의 오른쪽 부분으로 연속되고, 좌측 정육면체면의 오른쪽 부분은 앞쪽 정육면체면의 왼쪽 부분으로 연속되며, 앞쪽 정육면체면의 오른쪽 부분은 우측 정육면체면의 왼쪽 부분으로 연속되고, 앞쪽 정육면체면의 위쪽 부분은 상측 정육면체면의 위쪽 부분으로 연속되며, 앞쪽 정육면체면의 아래 부분은 하측 정육면체면의 위쪽 부분으로 연속되고, 우측 정육면체면의 오른쪽 부분은 뒤쪽 정육면체면의 왼쪽 부분으로 연속되고, 상측 정육면체면의 왼쪽 부분은 우측 정육면체면의 위쪽 부분으로 연속되고, 상측 정육면체면의 오른쪽 부분은 좌측 정육면체면의 위쪽 부분으로 연속되고, 상측 정육면체면의 아래 부분은 뒤쪽 정육면체면의 위쪽 부분으로 연속되고, 하측 정육면체면의 왼쪽 부분은 좌측 정육면체면의 아래 부분으로 연속되고, 하측 정육면체면의 오른쪽 부분은 우측 정육면체면의 아래 부분으로 연속되며, 하측 정육면체면의 아래 부분은 뒤쪽 정육면체면의 아래 부분으로 연속된다.
도 5는 본 발명의 다양한 실시예에 따라, 곡선 뷰를 2차원(2D) 이미지로 맵핑하는 것을 도시한다. 도 5에 나타난 바와 같이, 맵핑(501)은 곡선 뷰(503)를 2D 이미지(504)에 대응시키기 위해 사용된다. 2D 이미지(504)는 다면체(예를 들어, 정육면체)의 면 상에 투영된 곡선 뷰(503)의 일부분을 각각 포함하는 이미지 영역(511-512)의 세트를 포함할 수 있다.
다양한 실시예에 따라, 이미지 영역의 세트는 다면체 상의 복수의 면에 곡선 뷰의 적어도 일부분을 투영시킴으로써 획득될 수 있다. 예를 들어, 구형 뷰(503)는 구면 또는 구면의 일부분으로부터 정육면체면의 세트에 투영될 수 있다. 유사한 방식으로, 곡선 뷰는 타원체형면 또는 타원체형면의 일부분으로부터 직사각형 정육면체면의 세트로 투영될 수 있다.
또한, 곡선 뷰, 예를 들어 구형 뷰(503)는 상이한 레이아웃에 기초하여 2차원 직사각형 이미지(504)에 맵핑될 수 있다. 도 5에 나타난 바와 같이, 이미지 영역(511-512)의 세트는 2-D 이미지 내의 이미지 영역(511-512)의 위치 및 방향과 같은 상대적 위치 정보를 정의하는 레이아웃(502)에 기초하여 2-D 이미지(504)에 배열될 수 있다.
도 5에 나타난 바와 같이, 구형 뷰(503)는 모든 방향으로 연속된다. 다양한 실시예에 따라, 이미지 영역(511-512)의 세트는 다면체 상의 복수의 면에 곡선 뷰(503)의 적어도 일부분을 투영시킴으로써 획득될 수 있다. 연속 관계는 특정 맵핑(501) 및 레이아웃(502)과 관련된 연속성 관계를 사용하여 표현될 수 있다. 기하학적 제한으로 인해, 2차원 이미지(504)는 구형 뷰(503)에서 연속성을 완전히 보존하지 못할 수 있다.
다양한 실시예에 따라, 시스템은 구형 뷰 비디오의 인코딩/디코딩에서 효율성을 향상시키기 위해, 이미지 영역(511-512)의 세트 사이의 연속성을 제공하거나 유지하기 위한 패딩 방식을 사용할 수 있다.
도 6은 본 발명의 다양한 실시예에 따라, 코딩 효율성을 향상시키기 위해 추가 연속성을 제공하기 위한 패딩 방식을 사용하는 것을 도시한다. 도 6에 나타난 바와 같이, 2-D 이미지(601)는 이미지 영역(611-612)과 같은 이미지 영역의 세트를 포함할 수 있다. 2-D 이미지(601)는 곡선 뷰의 적어도 일부분에 대응하고, 이미지 영역(611-612)의 세트는 연속성 관계(620)에 기초하여 서로 관련될 수 있다.
다양한 실시예에 따라, 패딩 방식(601)은 이미지 영역의 세트 사이의 연속성을 제공하거나 보존하기 위해 사용될 수 있다. 예를 들어, 이미지 영역(611-612)의 레이아웃으로 인해, 연속성은 이미지 영역(611)의 상측 경계 및 이미지 영역(612)의 하측 경계에서 손실될 수 있다. 이러한 연속성을 유지하기 위해, 도 6에 나타난 바와 같이, 패딩 영역(621)은 이미지 영역(611)을 그의 상측 경계에서 확장시키는 데 사용될 수 있다. 예를 들어, 시스템은 이미지 영역(612) 내의 기준 픽셀(602)을 식별할 수 있고, 이미지 영역(611)에 대한 패딩 영역(621) 내의 패딩 픽셀(603)에 기준 픽셀의 값을 할당할 수 있다. 유사하게, 패딩 영역(622)은 그 하측 경계에서 이미지 영역(612)을 확장시키는 데 사용될 수 있다.
다양한 실시예에 따라, 패딩 픽셀은 2-D 이미지 프레임(601)에서 그룹으로서 이미지 영역의 세트를 둘러싸도록 배열될 수 있다. 다르게는, 패딩 픽셀은 이미지 프레임(601) 내의 이미지 영역(611-612)의 개별 또는 서브세트를 둘러싸는 영역에 배열될 수 있다. 또한, 패딩 픽셀은 그 조합인 방식으로 배열될 수 있다.
도 7-10은 본 발명의 다양한 실시예에 따라, 다양한 정육면체면 레이아웃에 대한 예시적인 패딩 방식을 도시한다.
도 7a에 나타난 바와 같이, 구형 뷰에 대응하는 2차원 이미지(701)는 6개의 정육면체면을 가질 수 있으며, 이는 2개의 행으로 배열될 수 있으며, "좌측", "앞쪽" 및 "우측" 면은 한 행이고, "상측", "뒤쪽" 및 "하측"면은 다른 행(700)이다. 코딩 효율성을 향상시키기 위해, 패딩 방식(700)은 도 4b에서 나타난 바와 같이 연속성 관계에 기초하여 2차원 이미지(701)에 적용될 수 있다.
도 7b에 나타난 바와 같이, 패딩 픽셀(702)은 좌측 정육면체면의 왼쪽 경계 및 위쪽 경계; 앞쪽 정육면체면의 위쪽 경계; 우측 정육면체면의 위쪽 경계 및 오른쪽 경계; 상측 정육면체면의 왼쪽 경계 및 아래 경계; 뒤쪽 정육면체면의 아래 경계; 및 하측 정육면체면의 오른쪽 경계 및 아래 경계에 부착될 수 있다(또는 확장될 수 있다). 각 상이한 패딩 영역에 대한 패딩 픽셀(702)의 수는 상이할 수 있다. 예를 들어, 정육면체면의 일부 또는 전체 이미지면이 패딩 용도로 사용될 수 있다.
일부 실시예에서, 비디오 내의 구 뷰를 근사시키기 위한 패딩 방식(700)에 기초하여 다양한 패딩 동작이 수행될 수 있다. 예를 들어, 패딩 동작은 기준 영역(예를 들어, 제1 정육면체면)의 픽셀을 패딩 영역(예를 들어, 제2 정육면체면의 경계)에 복사 또는 스티칭하는 것을 포함할 수 있다. 상기 및 이하에 설명된 패딩 방식은 단지 설명의 목적으로 제공되며, 본 개시의 범위를 제한하려는 의도가 아니라는 것을 알아야 한다.
예를 들어, 도 4b에 나타난 바와 같이 연속성 관계에 기초하여, 뒤쪽 정육면체면의 오른쪽 부분 내의 픽셀은 좌측 정육면체면의 왼쪽 경계에 복사되고 스티칭될 수 있다. 앞쪽 정육면체면의 왼쪽 부분 내의 픽셀은 좌측 정육면체면의 오른쪽 경계에 복사되고 스티칭될 수 있다. 우측 정육면체면의 왼쪽 부분 내의 픽셀은 앞쪽 정육면체면의 오른쪽 경계에 복사되고 스티칭될 수 있다. 상측 정육면체면의 위쪽 부분 내의 픽셀은 앞쪽 정육면체면의 위쪽 경계에 복사되고 스티칭될 수 있다. 하측 정육면체면의 위쪽 부분 내의 픽셀은 앞쪽 정육면체면의 아래 경계에 복사되고 스티칭될 수 있다. 뒤쪽 정육면체면의 왼쪽 부분 내의 픽셀은 우측 정육면체면의 오른쪽 경계에 복사되고 스티칭될 수 있다. 우측 정육면체면의 위쪽 부분 내의 픽셀은 상측 정육면체면의 왼쪽 경계에 복사되고 스티칭될 수 있다. 좌측 정육면체면의 위쪽 부분 내의 픽셀은 상측 정육면체면의 오른쪽 경계에 복사되고 스티칭될 수 있다. 뒤쪽 정육면체면의 위쪽 부분 내의 픽셀은 상측 정육면체면의 아래 부분에 복사되고 스티칭될 수 있다. 좌측 정육면체면의 아래 부분 내의 픽셀은 하측 정육면체면의 왼쪽 경계에 복사되고 스티칭될 수 있다. 우측 정육면체면의 아래 부분 내의 픽셀은 하측 정육면체면의 오른쪽 경계에 복사되고 스티칭될 수 있다. 뒤쪽 정육면체면의 아래 부분 내의 픽셀은 하측 정육면체면의 아래 부분에 복사되고 스티칭될 수 있다.
또한, 도 7b에 나타난 바와 같이, 패딩 방식(700)은 (패딩 픽셀(702)과 함께) 확장된 이미지의 직사각형 포맷을 유지하는 데 사용될 수 있는 코너 픽셀(703)과 같은 추가 패딩 픽셀을 포함할 수 있다. 다양한 실시예에 따라, 다양한 방식이 코너 픽셀(703)에 값을 할당하기 위해 사용될 수 있다. 시스템은 확장된 이미지 내의 각 코너 픽셀(703)에 미리 결정된 값을 할당할 수 있다. 예를 들어, 미리 결정된 값은 0,
Figure 112019020094852-pct00011
, 또는
Figure 112019020094852-pct00012
(이미지의 비트 깊이로서 N을 가짐)의 값 또는 인코더 및 디코더 신택스(syntax)에 기술된 미리 설정된 값에 기초할 수 있다. 또한, 미리 결정된 값은 2차원 이미지(701) 내의 대응하는 픽셀의 복제된 값일 수 있다. 예를 들어, 대응하는 코너 픽셀은 연속성 관계(즉, 상이한 코너 픽셀은 상이한 연속성 관계가 적용될 때 선택될 수 있음)에 기초하여 결정된 코너 픽셀일 수 있다.
도 4b에 나타난 바와 같이 연속성 관계에 기초하여, 확장된 이미지의 상측 좌측 코너 영역 내의 패딩 픽셀은 좌측 정육면체면의 상측 왼쪽 코너에서 기준 픽셀의 값, 뒤쪽 정육면체면의 상측 오른쪽 코너의 기준 픽셀의 값 또는 이미지(701) 내의 상측 정육면체면의 상측 오른쪽 코너에서의 기준 픽셀의 값으로 할당될 수 있고; 확장된 이미지의 상측 오른쪽 코너 영역 내의 패딩 픽셀은 우측 정육면체면의 상측 오른쪽 코너에서의 기준 픽셀, 뒤쪽 정육면체면의 상측 왼쪽 코너에서의 기준 픽셀의 값 또는 이미지(701) 내의 상측 정육면체면의 상측 왼쪽 코너에서의 기준 픽셀의 값으로 할당될 수 있으며; 확장된 이미지의 하측 왼쪽 코너 영역 내의 패딩 픽셀은 상측 정육면체면의 하측 왼쪽 코너에서의 기준 픽셀의 값, 우측 정육면체면의 상측 오른쪽 코너에서의 기준 픽셀의 값 또는 이미지(701) 내의 뒤쪽 정육면체면의 상측 왼쪽 코너에서의 기준 픽셀의 값으로 할당될 수 있고; 확장된 이미지의 하측 오른쪽 코너 영역 내의 패딩 픽셀은 하측 정육면체면의 하측 오른쪽 코너에서의 기준 픽셀의 값, 우측 정육면체면의 하측 오른쪽 코너에서의 기준 픽셀의 값 또는 이미지(701) 내의 하측 정육면체면의 하측 왼쪽 코너에서의 기준 픽셀의 값으로 할당될 수 있다.
도 8a에 나타난 바와 같이, 구형 뷰에 대응하는 2차원 이미지(801)는 수직 열(800)에 배열될 수 있는 6개의 정육면체면을 가질 수 있다. 도 8b에 나타난 바와 같이, 패딩은 좌측 정육면체면의 왼쪽 경계, 오른쪽 경계 및 상측 경계, 앞쪽 정육면체면의 왼쪽 경계 및 오른쪽 경계, 우측 정육면체면의 왼쪽 경계 및 오른쪽 경계, 상측 정육면체면의 왼쪽 경계 및 오른쪽 경계, 뒤쪽 정육면체면의 왼쪽 경계 및 오른쪽 경계, 하측 정육면체면의 왼쪽 경계, 오른쪽 경계 및 아래 경계 상에 수행될 수 있다.
도 9a에 나타난 바와 같이, 구형 뷰에 대응하는 2차원 이미지(901)는 2개의 열(900)에 배열될 수 있는 6개의 정육면체면을 가질 수 있다. 도 9b에 나타난 바와 같이, 패딩은 좌측 정육면체면의 왼쪽 경계 및 상측 경계, 상측 정육면체면의 위쪽 경계 및 오른쪽 경계, 앞쪽 정육면체면의 왼쪽 경계, 뒤쪽 정육면체면의 오른쪽 경계, 우측 정육면체면의 왼쪽 경계 및 아래 경계, 하측 정육면체면의 오른쪽 경계 및 아래 경계 상에 수행될 수 있다.
도 10a에 나타난 바와 같이, 구형 뷰에 대응하는 2차원 이미지(1001)는 6개의 정육면체면을 가질 수 있으며, 이는 수평선(1000)에 배열될 수 있다. 도 10b에 나타난 바와 같이, 패딩은 좌측 정육면체면의 왼쪽 경계, 위쪽 경계 및 아래 경계, 앞쪽 정육면체면의 위쪽 경계 및 아래 경계, 우측 정육면체면의 위쪽 경계 및 아래 경계, 상측 정육면체면의 위쪽 경계 및 아래 경계, 뒤쪽 정육면체면의 위쪽 경계 및 아래 경계, 하측 정육면체면의 오른쪽 경계, 위쪽 경계 및 아래 경계 상에 수행될 수 있다.
또한, 도 8b-10b에 나타난 바와 같이, 패딩 방식(800-1000)은 패딩 픽셀(802-1002)과 함께 확장된 이미지의 직사각형 포맷을 유지하기 위해 사용될 수 있는 코너 픽셀(803-1003)과 같은 추가 패딩 픽셀을 포함할 수 있다. 다양한 실시예에 따라, 다양한 방식이 코너 픽셀(803-1003)에 값을 할당하기 위해 사용될 수 있다. 예를 들어, 시스템은 도 7b에서 전술한 것과 유사한 방식으로 확장된 이미지 내의 각 코너 픽셀(803-1003)에 미리 결정된 값을 할당할 수 있다.
도 11은 본 발명의 다양한 실시예에 따라, 비디오 인코딩의 효율성을 향상시키기 위한 패딩 방식을 사용하는 것을 도시한다. 도 11에 나타난 바와 같이, 인코더는 인코딩 이미지 프레임(1101) 내의 이미지 영역(1111-1112)의 세트를 곡선 뷰(1102)의 적어도 일부분에 대응하는 맵핑(1103)에 기초하여 패딩 방식(1110)을 규정할 수 있다. 인코딩 이미지 프레임(1101)은 직사각형 이미지일 수 있다. 또한, 정육면체면 투영법을 사용하여, 각 개별 이미지 영역(1111-1112)은 또한 직사각형 영역일 수 있다. 그렇지 않으면, 개별 이미지 영역(1111-1112)은 상이한 유형의 투영법이 사용될 때 상이한 형상일 수 있다.
다양한 실시예에 따라, 인코더는 하나 이상의 패딩 픽셀(즉, 확장된 인코딩 이미지(1104)를 구성함)로 인코딩 이미지 프레임(1101) 내의 이미지 영역(1111-1112)의 세트를 확장하기 위한 패딩 방식(1110)을 사용할 수 있다. 인코더는 패딩 방식(1110)에 기초하여 인코딩 이미지 프레임(1101) 내의 이미지 영역(1111-1112)의 세트 내의 하나 이상의 기준 픽셀을 결정할 수 있다. 그 다음, 인코더는 상기 하나 이상의 패딩 픽셀에 이미지 영역(1111-1112)의 세트 내의 하나 이상의 기준 픽셀의 값을 할당할 수 있다. 또한, 인코더는 확장된 인코딩 이미지(1104) 내의 하나 이상의 패딩 픽셀에 하나 이상의 미리 결정된 값을 할당할 수 있다. 예를 들어, 추가 패딩 픽셀은 상기 도 7b-10b에 나타난 바와 같이 확장된 이미지(702, 802, 902, 1002) 내의 코어 픽셀(703, 803, 903 및 1003)과 같은 확장된 인코딩 이미지(1104)의 코너 영역에 배열될 수 있다. 따라서, 인코더는 추가 연속성을 제공하거나 보존할 수 있으며, 이는 인코딩 프로세스에서 프레임 내 예측 및 프레임 간 예측을 수행하는 데 유익할 수 있다.
다양한 실시예에 따라, 인코더는 화상 버퍼에 확장된 이미지를 저장할 수 있다. 예를 들어, 확장된 인코딩 이미지(1104)는 기준 화상 버퍼 및/또는 디코딩된 화상 버퍼(DPB)에 저장될 수 있다. 따라서, 확장된 인코딩 이미지(1104)는 프레임 내 예측 및 프레임 간 예측 모두에 이용될 수 있다.
다양한 실시예에 따라, 인코더는 인코딩 이미지 프레임(1101)을 인코딩하기 위해 패딩 픽셀로 확장된 인코딩 이미지(1104)를 사용할 수 있다. 예를 들어, 인코더는 인코딩 이미지 프레임(1101)을 인코딩하기 위해 프레임 내 예측을 수행하기 위해 패딩 픽셀을 사용할 수 있다. 또한, 인코더는 비디오 시퀀스 내의 다른 인코딩 이미지 프레임을 인코딩하기 위해 프레임 내 예측을 수행하기 위해 확장된 인코딩 이미지(1104)를 사용할 수 있다. 일부 실시예에서, 각 상이한 인코딩 이미지 프레임은 상이한 곡선 뷰의 적어도 일부분에 대응하는 상이한 이미지 영역의 세트를 포함할 수 있다. 또한, 인코더는 확장된 인코딩 이미지(1104) 내의 패딩 픽셀을 인코딩하는 것을 방지할 수 있거나; 또는 패딩 방식(1110)에 기초하여 확장된 인코딩 이미지(1104)로부터 패딩 픽셀을 클리핑 오프할 수 있다.
다양한 실시예에 따라, 인코딩된 데이터를 디코더에 전송하기 위해, 인코더는 인코딩 정보, 즉 인코딩 이미지(1101)와 연관된 인코딩 모드 정보에서 맵핑을 제공할 수 있다. 또한, 시스템은 인코딩 이미지(1101)와 연관된 인코딩 정보 내의 이미지 영역(1111-1112)의 세트의 레이아웃을 제공할 수 있다. 따라서, 패딩 방식(1110)은 수신 측에서 인코딩 이미지 내의 이미지 영역의 세트의 맵핑 및 레이아웃에 기초하여 결정될 수 있다.
이하 표 1은 상세한 패딩 정보를 제공하기 위해 인코딩된 비트 스트림과 연관된 헤더 섹션에 저장될 수 있는 예시적인 신택스이다.
신택스
reference_frame_extension_syntax {
num_of_layout_face_minus1; 5
num_of_boundary_each_face_minus1; 3
for(i=0;i<= num_of_layout_face_minus1;i++) {
for(j=0;j<= num_of_boundary_each_face_minus1;j++) {
need_extension; 0/1
if (need_extension==1) {
index_of_layout_face; 0~5
index_of_ boundary; 0~3
}
}
}
}
예를 들어, 인코딩 정보는 인코딩 이미지 프레임 내의 각 상기 이미지 영역의 각 경계에 대한 표시자(예: 플래그)를 포함할 수 있다. 표시자는 이미지 영역의 경계가 하나 이상의 패딩 픽셀로 패딩되는지 여부를 나타낸다. 또한, 인코딩 정보는 인코딩 이미지(1101) 내의 픽셀의 값이 확장된 인코딩 이미지(1104) 내의 패딩 픽셀에 복사되거나 스티칭되는 것과 같은 패딩 방식(1110)에 따라 패딩 동작을 수행하기 위한 다른 상세한 정보를 포함할 수 있다.
또한, 인코딩 정보는 패딩 픽셀 수를 포함할 수 있으며, 이는 또한 전송된 비트 스트림에 대한 헤더 섹션에 기록될 수 있다. 다르게는, 인코딩 정보는 확장 될 이미지 영역의 각 경계에서 패딩 픽셀의 행 수 및/또는 열 수와 같은 다른 정보를 포함할 수 있다. 본 개시에 속하는 예시적인 실시예는 시퀀스 헤더, 화상 헤더, 슬라이스 헤더, 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS) 또는 화상 파라미터 세트(PPS) 등을 포함할 수 있다.
종래의 2차원 비디오 인코딩 프로세스에서, 이미지 버퍼(예: DPB)에 유지되는 기준 이미지는 인코딩 이미지 또는 입력 이미지와 동일하거나 실질적으로 유사할 수 있다.
종래의 2차원 비디오 인코딩 프로세스와 달리, 곡선 뷰 비디오를 인코딩하기 위해, 패딩을 가지는 인코딩 이미지(즉, 확장된 인코딩 이미지)는 비디오 내의 하나 이상의 후속 이미지를 인코딩하기 위한 기준 이미지로서 사용될 수 있다. 이러한 경우, 확장된 인코딩 이미지는 이미지 버퍼(예: DPB)에서 유지될 수 있다. 그 다음, 패딩을 제거하기 위해 확장된 인코딩 이미지에 클립 동작이 적용될 수 있다. 한편, 인코딩 이미지가 기준 이미지로서 사용되지 않을 때, 인코딩 이미지를 패딩할 필요가 없다. 따라서, 인코딩 이미지는 패딩과 같은 추가 수정없이 인코딩될 수 있다.
도 12는 본 발명의 다양한 실시예에 따라, 곡선 뷰 비디오 인코딩의 효율성을 향상시키기 위한 패딩 방식을 사용하기 위한 흐름도를 도시한다.
도 12에 나타난 바와 같이, 단계 1201에서, 시스템은 곡선 뷰의 적어도 일부분에 인코딩 이미지 프레임 내의 이미지 영역의 세트를 대응하는 맵핑에 기초하여 패딩 방식을 규정할 수 있다. 그 다음, 단계 1202에서, 시스템은 하나 이상의 패딩 픽셀로 이미지 영역의 세트를 확장하기 위한 패딩 방식을 사용할 수 있다. 또한, 단계 1203에서, 시스템은 인코딩 이미지 프레임을 인코딩하기 위해 하나 이상의 패딩 픽셀을 갖는 확장된 인코딩 이미지를 사용하여 사용할 수 있다.
도 13은 본 발명의 다양한 실시예에 따라, 곡선 뷰 비디오를 디코딩하는 효율성을 향상시키기 위한 패딩 방식을 사용하는 것을 도시한다. 도 13에 나타난 바와 같이, 디코더는 곡선 뷰(1302)의 적어도 일부분에 디코딩된 이미지(1301) 내의 이미지 영역(1311-1312)의 세트에 대응하는 맵핑(1303)을 획득할 수 있다.
다양한 실시예에 따라, 맵핑(1303)은 디코딩된 이미지(1301)와 연관된 디코딩 정보로부터 검색될 수 있다. 또한, 디코더는 디코딩된 이미지와 연관된 디코딩 정보로부터 디코딩된 이미지(1301) 내의 이미지 영역(1311)의 세트의 레이아웃을 획득할 수 있다. 따라서, 디코더는 맵핑(1303)에 기초하여 디코딩된 이미지 프레임에 대한 패딩 방식(1310)을 결정할 수 있다.
패딩 방식(1310)은 디코딩된 이미지(1301) 내의 이미지 영역(1311-1312)의 세트의 레이아웃에 기초하여 정의될 수 있다. 예를 들어, 패딩 방식(1310)은 디코딩된 이미지 프레임 내의 각 상기 이미지 영역의 각 경계에 대한 표시자(예: 플래그)를 포함할 수 있으며, 상기 표시자는 이미지 영역의 경계가 하나 이상의 패딩 픽셀로 패딩되는지 여부를 나타낸다.
다양한 실시예에 따라, 디코딩 정보는 인코더로부터 수신된 비트 스트림 내의 헤더 섹션에 저장될 수 있다. 디코더는 상세한 패딩 정보를 제공하기 위한 신택스(예: 표 1)를 수신하도록 구성될 수 있다. 따라서, 디코더는 인코딩을 위해 인코더에 의해 사용되는 패딩 방식을 인식할 수 있다.
다양한 실시예에 따라, 디코더는 하나 이상의 패딩 픽셀(즉, 확장된 디코딩된 이미지(1304)를 구성하는)로 디코딩된 이미지(1301) 내의 이미지 영역(1311-1312)의 세트를 확장하기 위한 패딩 방식(1310)을 사용할 수 있다. 디코더는 패딩 방식(1310)에 기초하여 디코딩된 이미지(1301) 내의 이미지 영역(1111-1112)의 세트 내의 하나 이상의 기준 픽셀을 결정할 수 있다. 그 다음, 디코더는 패딩 픽셀에 이미지 영역(1311-1312)의 세트 내의 하나 이상의 기준 픽셀의 값을 할당할 수 있다.
다양한 실시예에 따라, 패딩 픽셀은 디코딩된 이미지(1301)의 하나 이상의 경계에; 또는 하나 이상의 상기 이미지 영역(1311-1312)을 둘러싸는 영역 내에; 또는 이들의 조합으로 배열될 수 있다. 또한, 디코더는 하나 이상의 미리 결정된 값을 확장된 디코딩된 이미지(1304) 내의 하나 이상의 추가 패딩 픽셀에 할당할 수 있다. 예를 들어, 추가 패딩 픽셀은 상기 도 7b-10b에 나타난 바와 같이 확장된 이미지(702, 802, 902 및 1002) 내의 코너 픽셀(703, 803, 903 및 1003)과 같은 확장된 디코딩된 이미지(1304)의 코너 영역에 배열될 수 있다. 따라서, 시스템은 추가 연속성을 제공하거나 유지할 수 있으며, 이는 인코딩 프로세스에서 프레임 내 예측 및 프레임 간 예측을 수행하는 데 유익할 수 있다.
다양한 실시예에 따라, 시스템은 다면체의 복수의 면으로부터 곡면으로 이미지 영역(1311-1312)의 세트를 투영시킴으로써 곡선 뷰의 적어도 일부분을 렌더링할 수 있다. 예를 들어, 시스템은 복수의 정육면체면으로부터 구면(즉, 곡면은 구면이고 다면체는 정육면체임)으로의 이미지 영역(1311-1312)의 세트를 투영시킴으로써 구형 뷰를 렌더링할 수 있다. 다른 예에서, 시스템은 복수의 직사각형 정육면체면으로부터 타원체형면(즉, 곡면은 타원체형면이며 다면체는 직사각형 정육면체임)으로의 이미지 영역(1311-1312)의 세트를 투영시킴으로써 타원체형 뷰를 렌더링할 수 있다.
다양한 실시예에 따라, 디코더는 프레임 내 예측을 수행하기 위해 하나 이상의 패딩 픽셀을 사용할 수 있다. 예를 들어, 하나 이상의 디코딩된 픽셀의 값은 다른 픽셀을 디코딩하기 위해 패딩 픽셀을 할당할 수 있다.
다양한 실시예에 따라, 디코더는 화상 버퍼에 확장된 이미지(1304)를 저장할 수 있다. 따라서, 확장된 이미지(1304)는 프레임 내 예측을 수행하기 위해 기준 이미지로서 사용될 수 있다. 또한, 시스템은 상기 패딩 방식에 기초하여 상기 확장된 이미지로부터 상기 하나 이상의 패딩 픽셀을 클리핑 오프함으로써 상기 디코딩된 이미지 프레임을 획득할 수 있다. 그 다음, 시스템은 디스플레이를 위해 상기 디코딩된 이미지를 출력할 수 있다.
종래의 2차원 비디오 디코딩 프로세스에서, 이미지 버퍼(예: DPB)에 유지되는 기준 이미지는 디코딩된 이미지 또는 출력 이미지와 동일하거나 실질적으로 유사할 수 있다.
종래의 2차원 비디오 디코딩 프로세스와 달리, 곡선 뷰 비디오를 디코딩하기 위해, 패딩을 갖는 디코딩된 이미지(즉, 확장된 디코딩된 이미지)는 비디오 내의 하나 이상의 후속 이미지를 디코딩하기 위한 기준 이미지로서 사용될 수 있다. 이러한 경우, 확장된 디코딩된 이미지는 이미지 버퍼(예: DPB)에서 유지될 수 있다. 그 다음, 패딩을 제거하고 디스플레이 또는 저장을 위한 출력 이미지를 획득하기 위해 확장된 디코딩된 이미지에 클립 동작이 적용될 수 있다. 한편, 디코딩된 이미지가 기준 이미지로서 사용되지 않을 때, 디코딩된 이미지를 패딩할 필요가 없다. 따라서, 디코딩된 이미지는 패딩과 같은 추가 수정없이 디스플레이 또는 저장을 위해 출력될 수 있다.
다양한 실시예에 따라, 곡선 뷰 비디오는 곡선 뷰의 시퀀스에 대응하는 이미지의 시퀀스를 포함할 수 있다. 또한, 시퀀스 내의 각 상이한 이미지는 상이한 곡선 뷰의 적어도 일부분과 연관된 이미지 영역의 세트를 포함할 수 있다
도 14는 본 발명의 다양한 실시예에 따라, 곡선 뷰 비디오 디코딩의 효율성을 향상시키기 위한 패딩 방식을 사용하기 위한 흐름도를 도시한다. 도 14에 나타난 바와 같이, 단계 1401에서, 시스템은 디코딩된 이미지 프레임 내의 이미지 영역의 세트를 곡선 뷰의 적어도 일부분에 대응하는 맵핑을 획득할 수 있다. 그 다음, 단계 1202에서, 시스템은 맵핑에 기초하여 디코딩된 이미지 프레임에 대한 패딩 방식을 결정할 수 있다. 또한, 단계 1403에서, 시스템은 패딩 방식에 따라 디코딩된 이미지 프레임에 대한 확장된 이미지를 구성할 수 있으며, 확장된 이미지는 하나 이상의 패딩 픽셀을 포함한다. 또한, 단계 1404에서, 시스템은 다른 디코딩된 이미지 프레임을 획득하기 위해 기준 프레임으로서 확장된 이미지를 사용할 수 있다.
본 발명의 많은 특징은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합을 사용하여 수행될 수 있다. 결과적으로, 본 발명의 특징은 처리 시스템(예를 들어, 하나 이상의 프로세서를 포함)을 사용하여 구현될 수 있다. 예시적인 프로세서는 제한 없이, 하나 이상의 범용 마이크로프로세서(예를 들어, 단일 또는 멀티 코어 프로세서), 응용 주문형 집적 회로, 응용 주문형 명령 세트 프로세서, 그래픽 처리 유닛, 물리 처리 장치, 디지털 신호 처리 유닛, 코프로세서, 네트워크 처리 유닛, 오디오 처리 유닛, 암호화 처리 유닛 등을 포함할 수 있다.
본 발명의 특징은 여기서 표현된 임의의 특징을 수행하기 위해 처리 시스템을 프로그래밍하는 데 사용될 수 있는 명령이 저장된 저장 매체(미디어) 또는 컴퓨터 판독 가능 매체(미디어)인 컴퓨터 프로그램 제품을 사용하여 구현될 수 있다. 저장 매체는 플로피 디스크, 광 디스크, DVD, CD-ROM, 마이크로드라이브 및 광 자기 디스크, ROM, RAM, EPROM, EEPROM, DRAM, VRAM, 플래시 메모리 디바이스, 자기 또는 광학 카드, 나노시스템(분자 메모리 IC 포함) 또는 명령 및/또는 데이터를 저장하기에 적합한 임의의 유형의 미디어 또는 디바이스를 포함하는 임의의 유형의 디스크를 포함할 수 있지만 이에 제한되지 않는다.
기계 판독 가능 매체(미디어) 중 임의의 하나에 저장되는 본 발명의 특징은 처리 시스템의 하드웨어를 제어하고, 처리 시스템이 본 발명의 결과를 이용하는 다른 메커니즘과 상호작용할 수 있게하는 소프트웨어 및/또는 펌웨어에 통합될 수 있다. 이러한 소프트웨어 또는 펌웨어는 응용 코드, 디바이스 드라이버, 운영 체제 및 실행 환경/컨테이너를 포함할 수 있지만 이에 제한되지 않는다.
또한, 본 발명의 특징은 예를 들어, 주문형 집적 회로(ASICs) 및 필드 프로그래머블 게이트 어레이(FPGA) 디바이스와 같은 하드웨어 구성요소를 사용하여 하드웨어로 구현될 수 있다. 여기서 설명된 기능을 수행하기 위한 하드웨어 상태 기계의 구현은 통상의 기술자에게 명백할 것이다.
또한, 본 발명은 하나 이상의 프로세서, 메모리 및/또는 본 개시의 가르침에 따라 프로그래밍되는 컴퓨터 판독 가능 저장 매체를 포함하는 하나 이상의 종래의 범용 또는 특수 디지털 컴퓨터, 컴퓨팅 디바이스, 기계 또는 마이크로프로세서를 사용하여 편리하게 구현될 수 있다. 적절한 소프트웨어 코딩은 소프트웨어 분야의 통상의 기술자에게 명백한 바와 같이, 본 개시의 가르침에 기초하여 숙련된 프로그래머에 의해 용이하게 준비될 수 있다.
본 발명의 다양한 실시예가 상기에 설명되었지만, 이들 예는 제한이 아닌 예로서 제시된 것임을 이해해야 한다. 본 발명의 사상 및 범위를 벗어나지 않으면서 형태 및 상세한 설명에서의 다양한 변화가 이루어질 수 있음은 통상의 기술자에게 명백할 것이다.
본 발명은 특정 기능의 수행 및 그 관계를 도시하는 기능적 빌딩 블록의 도움으로 상기에 설명되었다. 이들 기능적 빌딩 블록의 경계는 설명의 편의를 위해 여기서 종종 임의로 정의되었다. 특정 기능과 그 관계가 적절히 수행되는 한, 다른 경계를 정의할 수 있다. 따라서, 그러한 임의의 다른 경계는 본 발명의 범위 및 사상 내에 있다.
본 발명의 상기 설명은 예시 및 설명의 목적으로 제공되었다. 이는 철저하게 또는 개시된 정확한 형태로 발명을 제한하고자 하는 것은 아니다. 본 발명의 폭 및 범위는 전술한 예시적인 실시예 중 임의의 것에 의해 제한되어서는 안된다. 많은 수정 및 변형은 통상의 기술자에게 명백할 것이다. 수정 및 변형은 개시된 특징의 임의의 관련 조합을 포함한다. 실시예는 본 발명의 원리 및 그 실제 응용을 가장 잘 설명하고, 통상의 기술자가 다양한 실시예에 대해 그리고 의도된 특정 용도에 적합한 다양한 수정을 통해 본 발명을 이해할 수 있게하기 위해 선택되고 설명되었다. 본 발명의 범위는 이하의 청구항 및 그 등가물에 의해 정의되는 것으로 의도된다.

Claims (40)

  1. 비디오를 디코딩하는 방법으로서,
    다면체(polyhedron)의 면에 투영된 곡선 뷰(curved view)의 적어도 일부분에 대한 디코딩된 이미지 프레임 내의 이미지 영역의 세트의 각각의 이미지 영역에 대응하는 맵핑을 수신하는 단계 - 상기 곡선 뷰는 구형 뷰(spherical view)임 - ;
    상기 맵핑에 기초하여 상기 디코딩된 이미지 프레임에 대한 패딩(padding) 방식을 결정하는 단계;
    상기 패딩 방식에 따라 상기 디코딩된 이미지 프레임에 대한 확장된 이미지를 구성하는 단계 - 상기 확장된 이미지는 상기 이미지 영역의 세트를 포함하는 직사각형 이미지이고, 상기 확장된 이미지는 하나 이상의 패딩 픽셀을 포함함 -; 및
    다른 디코딩된 이미지 프레임을 획득하기 위해 기준 프레임으로서 상기 확장된 이미지를 사용하는 단계
    를 포함하고,
    상기 비디오를 디코딩하는 방법은,
    상기 디코딩된 이미지와 연관된 디코딩 정보로부터 상기 디코딩된 이미지 내의 이미지 영역의 세트의 레이아웃을 획득하는 단계를 더 포함하고,
    상기 패딩 방식은 상기 디코딩된 이미지 내의 이미지 영역의 세트의 레이아웃에 기초하여 정의되고,
    상기 패딩 방식은 상기 디코딩된 이미지 프레임 내의 각 이미지 영역의 각 경계에 대한 표시자를 사용하며, 상기 표시자는 이미지 영역의 경계가 하나 이상의 패딩 픽셀로 패딩되었는지 여부를 나타내는,
    비디오를 디코딩하는 방법.
  2. 제1항에 있어서,
    상기 다른 디코딩된 이미지 프레임은 다른 곡선 뷰의 적어도 일부분과 연관된 이미지 영역의 다른 세트를 포함하는, 비디오를 디코딩하는 방법.
  3. 제1항에 있어서,
    상기 패딩 방식에 기초하여 상기 확장된 이미지로부터 상기 하나 이상의 패딩 픽셀을 클리핑 오프(clipping off)하여 상기 디코딩된 이미지 프레임을 획득하는 단계를 더 포함하는 비디오를 디코딩하는 방법.
  4. 제1항에 있어서,
    상기 패딩 방식에 기초하여 상기 디코딩된 이미지 내의 하나 이상의 기준 픽셀을 식별하는 단계;
    상기 하나 이상의 패딩 픽셀에 상기 하나 이상의 기준 픽셀의 하나 이상의 값을 할당하는 단계를 더 포함하는, 비디오를 디코딩하는 방법.
  5. 제1항에 있어서,
    상기 하나 이상의 패딩 픽셀은 상기 직사각형 이미지의 하나 이상의 경계에; 또는 상기 직사각형 이미지 내의 상기 하나 이상의 이미지 영역을 둘러싸는 영역 내에; 또는 이들의 조합에 배열되는, 비디오를 디코딩하는 방법.
  6. 제1항에 있어서,
    하나 이상의 미리 결정된 값을 하나 이상의 추가 패딩 픽셀에 할당하는 단계를 더 포함하고,
    상기 하나 이상의 추가 패딩 픽셀은 상기 확장된 이미지의 하나 이상의 코너 영역에 배열되는, 비디오를 디코딩하는 방법.
  7. 비디오를 디코딩하는 시스템으로서,
    하나 이상의 마이크로프로세서;
    상기 하나 이상의 마이크로프로세서 상에서 동작하는 디코더
    를 포함하며,
    상기 디코더는
    다면체(polyhedron)의 면에 투영된 곡선 뷰(curved view)의 적어도 일부분에 대한 디코딩된 이미지 프레임 내의 이미지 영역의 세트의 각각의 이미지 영역에 대응하는 맵핑을 수신하고 - 상기 곡선 뷰는 구형 뷰(spherical view)임 - ;
    상기 맵핑에 기초하여 상기 디코딩된 이미지 프레임에 대한 패딩 방식을 결정하며;
    상기 패딩 방식에 따라 상기 디코딩된 이미지 프레임에 대한 확장된 이미지를 구성하고 - 상기 확장된 이미지는 상기 이미지 영역의 세트를 포함하는 직사각형 이미지이고, 상기 확장된 이미지는 하나 이상의 패딩 픽셀을 포함함 -; 및
    다른 디코딩된 이미지 프레임을 획득하기 위해 상기 확장된 이미지를 기준 프레임으로서 사용하도록
    동작하고,
    상기 디코더는
    상기 디코딩된 이미지와 연관된 디코딩 정보로부터 상기 디코딩된 이미지 내의 이미지 영역의 세트의 레이아웃을 획득하도록 추가로 구성되고,
    상기 패딩 방식은 상기 디코딩된 이미지 내의 이미지 영역의 세트의 레이아웃에 기초하여 정의되고,
    상기 패딩 방식은 상기 디코딩된 이미지 프레임 내의 각 이미지 영역의 각 경계에 대한 표시자를 사용하며, 상기 표시자는 이미지 영역의 경계가 하나 이상의 패딩 픽셀로 패딩되었는지 여부를 나타내는,
    비디오를 디코딩하는 시스템.
  8. 비디오를 인코딩하는 방법으로서,
    다면체(polyhedron)의 면에 투영된 곡선 뷰(curved view)의 적어도 일부분에 대한 인코딩 이미지 프레임 내의 이미지 영역의 세트의 각각의 이미지 영역에 대응하는 맵핑에 기초하여 패딩 방식을 결정하는 단계 - 상기 곡선 뷰는 구형 뷰(spherical view)임 - ;
    상기 패딩 방식을 사용하여 하나 이상의 픽셀로 상기 이미지 영역의 세트를 확장하여 확장된 인코딩 이미지를 획득하는 단계 - 상기 확장된 인코딩 이미지는 상기 이미지 영역의 세트를 포함하는 직사각형 이미지임 - ; 및
    상기 하나 이상의 패딩 픽셀을 갖는 상기 확장된 인코딩 이미지를 사용하여 상기 인코딩 이미지 프레임을 인코딩하는 단계
    를 포함하고,
    상기 비디오를 인코딩하는 방법은,
    상기 인코딩 이미지와 연관된 인코딩 정보에서 상기 인코딩 이미지 내의 이미지 영역의 세트의 레이아웃을 제공하는 단계를 더 포함하고,
    상기 패딩 방식은 상기 인코딩 이미지 내의 이미지 영역의 세트의 레이아웃에 기초하여 정의되고,
    상기 패딩 방식은 상기 인코딩 이미지 프레임 내의 각 이미지 영역의 각 경계에 대한 표시자를 사용하며, 상기 표시자는 이미지 영역의 경계가 하나 이상의 패딩 픽셀로 패딩되었는지 여부를 나타내는,
    비디오를 인코딩하는 방법.
  9. 제8항에 있어서,
    상기 패딩 방식에 기초하여 상기 인코딩 이미지 프레임 내의 이미지 영역의 세트 내의 하나 이상의 기준 픽셀을 결정하는 단계;
    상기 이미지 영역의 세트 내의 하나 이상의 기준 픽셀의 값을 상기 하나 이상의 패딩 픽셀에 할당하는 단계; 및
    상기 하나 이상의 패딩 픽셀을 사용하여, 상기 인코딩 이미지 프레임을 인코딩하기 위해 프레임 내 예측을 수행하거나, 상기 확장된 인코딩 이미지를 사용하여, 다른 인코딩 이미지 프레임을 인코딩하기 위해 프레임 간 예측을 수행하는 단계를 더 포함하고,
    상기 다른 인코딩 이미지 프레임은 다른 곡선 뷰의 적어도 일부분에 대응하는 이미지 영역의 다른 세트를 포함하는, 비디오를 인코딩하는 방법.
  10. 제8항에 있어서,
    상기 하나 이상의 패딩 픽셀은
    상기 인코딩 이미지 프레임을 감싸도록; 또는
    상기 인코딩 이미지 프레임 내의 하나 이상의 이미지 영역을 둘러싸는 영역 내에; 또는
    이들의 조합으로
    배열되는,
    비디오를 인코딩하는 방법.
  11. 제8항에 있어서,
    상기 확장된 인코딩 이미지 내의 하나 이상의 패딩 픽셀을 인코딩하는 것을 회피하는 단계; 또는
    상기 패딩 방식에 기초하여 상기 확장된 인코딩 이미지로부터 상기 하나 이상의 패딩 픽셀을 클리핑 오프(clipping off)하는 단계
    를 더 포함하는,
    비디오를 인코딩하는 방법.
  12. 비디오를 인코딩하는 시스템으로서,
    하나 이상의 마이크로프로세서;
    상기 하나 이상의 마이크로프로세서 상에서 동작하는 인코더
    를 포함하고,
    상기 인코더는
    곡선 뷰의 적어도 일부분에 대한 인코딩 이미지 프레임 내의 이미지 영역의 세트에 대응하는 맵핑에 기초하여 패딩 방식을 규정하고;
    상기 패딩 방식을 사용하여 하나 이상의 픽셀로 상기 이미지 영역의 세트를 확장하여 확장된 인코딩 이미지를 획득하며 - 상기 확장된 인코딩 이미지는 상기 이미지 영역의 세트를 포함하는 직사각형 이미지임 - ; 및
    상기 하나 이상의 패딩 픽셀로 확장된 인코딩 이미지를 사용하여, 상기 인코딩 이미지 프레임을 인코딩하도록 동작하고,
    상기 인코더는
    상기 인코딩 이미지와 연관된 인코딩 정보에서 상기 인코딩 이미지 내의 이미지 영역의 세트의 레이아웃을 제공하도록 추가로 동작하고,
    상기 패딩 방식은 상기 인코딩 이미지 내의 이미지 영역의 세트의 레이아웃에 기초하여 정의되고,
    상기 패딩 방식은 상기 인코딩 이미지 프레임 내의 각 이미지 영역의 각 경계에 대한 표시자를 사용하며, 상기 표시자는 이미지 영역의 경계가 하나 이상의 패딩 픽셀로 패딩되었는지 여부를 나타내는,
    비디오를 인코딩하는 시스템.
  13. 명령이 저장된 비 일시적 컴퓨터 판독 가능 매체로서,
    상기 명령은, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제1항, 제2항, 제3항, 제4항, 제5항, 제6항, 제8항, 제9항, 제10항, 및 제11항 중 어느 하나의 항에 따른 방법을 수행하게 하는,
    비 일시적 컴퓨터 판독 가능 매체.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
KR1020197005757A 2016-08-23 2016-08-23 곡선 뷰 비디오 인코딩/디코딩에서 효율성 향상을 위한 시스템 및 방법 KR102273199B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/096434 WO2018035721A1 (en) 2016-08-23 2016-08-23 System and method for improving efficiency in encoding/decoding a curved view video

Publications (2)

Publication Number Publication Date
KR20190029735A KR20190029735A (ko) 2019-03-20
KR102273199B1 true KR102273199B1 (ko) 2021-07-02

Family

ID=61246680

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197005757A KR102273199B1 (ko) 2016-08-23 2016-08-23 곡선 뷰 비디오 인코딩/디코딩에서 효율성 향상을 위한 시스템 및 방법

Country Status (5)

Country Link
US (1) US20190191170A1 (ko)
EP (1) EP3378229A4 (ko)
KR (1) KR102273199B1 (ko)
CN (1) CN109076215A (ko)
WO (1) WO2018035721A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10979663B2 (en) * 2017-03-30 2021-04-13 Yerba Buena Vr, Inc. Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10922783B2 (en) 2018-03-02 2021-02-16 Mediatek Inc. Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis
TWI690728B (zh) * 2018-03-02 2020-04-11 聯發科技股份有限公司 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法
US10715832B2 (en) 2018-03-16 2020-07-14 Mediatek Inc. Method and apparatus of block partition for VR360 video coding
EP3804332A1 (en) * 2018-06-29 2021-04-14 Huawei Technologies Co., Ltd. Apparatuses and methods for encoding and decoding a video signal
US20220038737A1 (en) * 2018-09-14 2022-02-03 Vid Scale, Inc. Methods and apparatus for flexible grid regions
US11252434B2 (en) * 2018-12-31 2022-02-15 Tencent America LLC Method for wrap-around padding for omnidirectional media coding
US11570439B2 (en) 2019-05-15 2023-01-31 Hyundai Motor Company Inverse quantization device and method used in video decoding device
WO2020231219A1 (ko) * 2019-05-15 2020-11-19 현대자동차주식회사 영상 부호화 및 복호화 방법 및 장치
US11659206B2 (en) * 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
US11190768B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
US11190801B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
CN112738525B (zh) * 2020-12-11 2023-06-27 深圳万兴软件有限公司 视频处理方法、装置及计算机可读存储介质
CN113542805B (zh) * 2021-07-14 2023-01-24 杭州海康威视数字技术股份有限公司 视频传输方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006014174A (ja) * 2004-06-29 2006-01-12 Canon Inc 画像符号化装置及び方法、画像復号化装置及び方法
US20060034529A1 (en) * 2004-08-13 2006-02-16 Samsung Electronics Co., Ltd. Method and device for motion estimation and compensation for panorama image

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466254B1 (en) * 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
KR100677142B1 (ko) * 2004-08-13 2007-02-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
GB2524249B (en) * 2014-03-17 2021-01-20 Sony Interactive Entertainment Inc Image Processing
EP3210379B1 (en) * 2014-10-20 2021-02-17 Google LLC Continuous prediction domain
US20170353737A1 (en) * 2016-06-07 2017-12-07 Mediatek Inc. Method and Apparatus of Boundary Padding for VR Video Processing
WO2017222301A1 (ko) * 2016-06-21 2017-12-28 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
JP6983862B2 (ja) * 2016-07-08 2021-12-17 ヴィド スケール インコーポレイテッド ジオメトリ投影を使用する360度ビデオ符号化

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006014174A (ja) * 2004-06-29 2006-01-12 Canon Inc 画像符号化装置及び方法、画像復号化装置及び方法
US20060034529A1 (en) * 2004-08-13 2006-02-16 Samsung Electronics Co., Ltd. Method and device for motion estimation and compensation for panorama image

Also Published As

Publication number Publication date
CN109076215A (zh) 2018-12-21
WO2018035721A1 (en) 2018-03-01
US20190191170A1 (en) 2019-06-20
KR20190029735A (ko) 2019-03-20
EP3378229A1 (en) 2018-09-26
EP3378229A4 (en) 2018-12-26

Similar Documents

Publication Publication Date Title
KR102273199B1 (ko) 곡선 뷰 비디오 인코딩/디코딩에서 효율성 향상을 위한 시스템 및 방법
US11949846B1 (en) Image data encoding/decoding method and apparatus
TWI666914B (zh) 3d視訊壓縮中參考圖像產生及管理之編解碼方法及裝置
US20240007653A1 (en) Method and apparatus for reconstructing 360-degree image according to projection format
TWI650996B (zh) 視頻編碼或解碼方法及裝置
CN107454468B (zh) 对沉浸式视频进行格式化的方法、装置和流
US11539979B2 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
TW201916685A (zh) 用於處理360°vr幀序列的方法及裝置
US11138460B2 (en) Image processing method and apparatus
US10863198B2 (en) Intra-prediction method and device in image coding system for 360-degree video
US11069026B2 (en) Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
KR20200009119A (ko) 360도 비디오에 대한 영상 코딩 시스템에서 프로젝션 타입 기반 양자화 파라미터를 사용한 영상 디코딩 방법 및 장치
US11948268B2 (en) Immersive video bitstream processing
US11743502B2 (en) Compact description of region-wise packing information
WO2019127100A1 (zh) 视频编码的方法、装置和计算机系统
US20200374558A1 (en) Image decoding method and device using rotation parameters in image coding system for 360-degree video
CN109496429B (zh) 视频编码方法、视频解码方法及相关装置
WO2020042185A1 (zh) 视频处理方法及相关装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant