KR102210274B1 - 비디오 신호를 인코딩 및 디코딩하기 위한 장치들, 방법들 및, 컴퓨터 판독 가능 매체 - Google Patents

비디오 신호를 인코딩 및 디코딩하기 위한 장치들, 방법들 및, 컴퓨터 판독 가능 매체 Download PDF

Info

Publication number
KR102210274B1
KR102210274B1 KR1020197009457A KR20197009457A KR102210274B1 KR 102210274 B1 KR102210274 B1 KR 102210274B1 KR 1020197009457 A KR1020197009457 A KR 1020197009457A KR 20197009457 A KR20197009457 A KR 20197009457A KR 102210274 B1 KR102210274 B1 KR 102210274B1
Authority
KR
South Korea
Prior art keywords
segment
pixel
reference frame
image plane
extended
Prior art date
Application number
KR1020197009457A
Other languages
English (en)
Other versions
KR20190043597A (ko
Inventor
즈지에 자오
요하네스 사우어
마티아스 빈
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20190043597A publication Critical patent/KR20190043597A/ko
Application granted granted Critical
Publication of KR102210274B1 publication Critical patent/KR102210274B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 신호를 인코딩하기 위한 장치 및 방법이 개시된다. 참조 프레임의 세그먼트 및 다른 세그먼트로부터 생성되는 확장 영역이 인터 예측에 의해 현재 프레임을 인코딩하기 위해 사용된다. 디코딩하기 위한 장치 및 방법이 또한 개시된다.

Description

비디오 신호를 인코딩 및 디코딩하기 위한 장치들, 방법들 및, 컴퓨터 판독 가능 매체
일반적으로, 본 발명은 비디오 코딩의 분야에 관한 것이다. 보다 구체적으로, 본 발명은 비디오 신호의 비디오 코딩 블록을 인코딩 및 디코딩하기 위한 장치들 및 방법들에 관한 것이다.
360도 파노라마 비디오 신호는 단일 뷰 포인트 주위의 모든 방향들에서 장면을 캡처하는 시퀀스를 포함한다. 이것은 일반적으로 서로 가까이 그리고 상이한 뷰 방향들로 배열되는 다수의 카메라들을 사용하여 달성된다. 캡처된 콘텐츠는 다음으로 함께 스티칭되고, 그것 상의 텍스처가 있는 뷰 포인트 주위의 구면체로서 간주될 수 있으며, 이는 특정 시점에서 360도 장면 또는 파노라마 비디오 신호를 나타낸다. 그러나, 이러한 구면체는, 장면의 평평한 (2D) 직사각형 이미지를 일반적으로 요구하는, 현재 비디오 코덱들을 사용하여 직접 처리될 수 없다. 따라서, 현재 비디오 코덱들을 사용하여 파노라마 비디오 신호를 처리하기 위해, 구면체는 이러한 2D 포맷으로 변환되어야 한다.
구면체를 하나 이상의 세그먼트를 포함하는 2D 포맷으로 변환하기 위해 다음의 투영들 중 하나가 사용될 수 있다.
등각 투영은 지구의 지구본으로부터 세계 지도를 생성하는 것과 유사한 직사각형으로의 투영을 정의한다. 샘플 밀도는 상이한 "높이들(heights)"로 상이하다. 극단적인 경우는 구면체의 극들이고, 이들은 라인들에 매핑된다. 기하학적 왜곡들은 결과 이미지 전부에 걸쳐 확산된다.
정육면체에 기초하는 투영에서, 구면체는 정육면체의 면들 또는 세그먼트들에 매핑된다. 각각의 세그먼트는 가시적인 기하학적 왜곡들이 없는 일반적인 2D 이미지처럼 보인다. 그러나, 세그먼트들의 경계 영역들에 강한 기하학적 왜곡들이 존재한다. 직사각형 포맷으로 세그먼트들을 배열하는 다수의 방식들이 존재한다.
20면체에 기초하는 투영에서 구면체는 20면체의 면들 또는 세그먼트들에 매핑된다. 각각의 세그먼트는 가시적인 기하학적 왜곡들이 없는 일반적인 2D 이미지처럼 보인다. 또한 이러한 경우에 20면체의 세그먼트들의 경계 영역들에 강한 기하학적 왜곡들이 존재한다. 그러나, 이러한 왜곡들은 정육면체 포맷에 기초하는 투영의 경우에서 만큼 강하지 않은데, 그 이유는 이웃 면들 사이의 각도가 더 작기 때문이다. 직사각형 포맷으로 20면체 면들을 배열하는 다수의 방식들이 존재한다.
정육면체 및 20면체 포맷 양자 모두는, 동일한 카메라 중심 및 에지들을 공유하는, 왜곡되지 않은 세그먼트들로 구성된다.
복수의 세그먼트들을 포함하는 파노라마 비디오 신호들의 인코딩 및 디코딩에서 다음의 문제점이 발생할 수 있다. 동일한 카메라 중심을 갖고 경계를 공유하는 2개의 면들 또는 세그먼트들, 즉, 면 A 및 면 B가 존재한다고 하자. 면 A 및 B의 이미지들은 시간에 따라 기록되고 파노라마 비디오 신호의 후속 프레임들에 배열된다. 다음으로 이러한 파노라마 비디오 신호가 인코딩된다.
면 A 및 B의 이미지들이 시퀀스에서 서로 다음에 배열되지 않으면, 모션 보상은 그들의 공유 경계에 걸쳐 수행될 수 없다. 그러나, 이들이 3D 공간에서 공유하는 바와 같이 파노라마 비디오 신호에서 동일한 경계를 공유하도록 배열되더라도, 파노라마 비디오 신호에서의 그들의 공통 경계에 걸쳐 기하학적 왜곡이 존재한다. 이것은 파노라마 비디오 신호의 면 A 및 B의 이미지들의 경계 영역들에서 모션 보상의 성능을 저하시킨다.
따라서, 상이한 이미지 평면들에 대응하는 2개 이상의 세그먼트들을 포함하는 비디오 신호(예를 들어, 파노라마 비디오 신호)를 인코딩 및 디코딩하기 위한 향상된 장치들 및 방법들이 필요하다.
본 발명의 목적은 비디오 신호를 인코딩 및 디코딩하기 위한 향상된 장치들 및 방법들을 제공하는 것이다.
전술한 그리고 다른 목적들은 독립 청구항들의 주제에 의해 달성된다. 추가의 구현 형태들은 종속 청구항들, 설명 및 도면들로부터 명백하다.
본 명세서에서 사용되는 바와 같이, 비디오 신호 또는 비디오 시퀀스는 모션 픽처를 제시하는 후속 프레임들의 세트이다. 다시 말해서, 비디오 신호 또는 비디오 시퀀스는 복수의 프레임들(픽처들 또는 이미지들이라고 또한 지칭됨)로 구성된다.
본 명세서에서 사용되는 바와 같이, CTU(coding tree unit)는, 프레임의 일부(예를 들어, 64x64 픽셀들)를 포함하는, 미리 정의된 크기의 비디오 시퀀스의 코딩 구조의 루트를 나타낸다. CTU는 몇 개의 CU들(coding units)로 분할될 수 있다.
본 명세서에서 사용되는 바와 같이, CU(coding unit)는, CTU에 속하는, 프레임의 일부를 포함하는, 미리 정의된 크기의 비디오 시퀀스의 기본 코딩 구조를 나타낸다. CU는 추가의 CU들로 분할될 수 있다.
본 명세서에서 사용되는 바와 같이, PU(prediction unit)는, CU를 분할하는 결과인, 코딩 구조를 나타낸다.
본 명세서에서 사용되는 바와 같이, 블록은 픽셀들의 그룹을 나타낸다. 블록은 임의의 형상, 특히 정사각형 또는 직사각형을 가질 수 있다.
본 명세서에서 설명되는 디바이스들 및 방법들은 자연 비디오 시퀀스들의 시간적 중복성을 이용하기 위해 픽처들 사이의 인터 예측에 사용될 수 있다. 현재 픽처와 참조 픽처 사이에서 관찰되는 정보의 변경은 이미지 평면 내의 병진 이동, 예를 들어, 선형 이동에 의해 종종 근사화될 수 있다. 블록 기반 모션 보상은 이러한 패러다임의 지배적인 실현이며, 여기서 참조 픽처는 직사각형 블록들로 분할되고, 블록 내의 각각의 픽셀은 동일한 모션을 드러낸다. 따라서, 예측 블록이라 불리는, 전체 블록의 이동은 단일 모션 벡터에 의해 설명될 수 있다. 전체 참조 픽처에 걸친 모션 벡터들의 세트는, 모션 벡터 필드라고 나타나는, 벡터 필드를 정의한다.
제1 양태에 따르면 본 발명은 비디오 신호를 인코딩하기 위한 장치에 관한 것이고, 이러한 비디오 신호는 제1 이미지 평면의 비디오 콘텐츠 및 제2 이미지 평면의 비디오 콘텐츠를 포함하는 비디오 콘텐츠를 포함하고, 이러한 비디오 콘텐츠는 복수의 연속 프레임들의 형태로 제공되고, 복수의 연속 프레임들의 각각의 프레임은 제1 이미지 평면의 이미지 콘텐츠를 포함하는 제1 세그먼트 및 제2 이미지 평면의 이미지 콘텐츠를 포함하는 제2 세그먼트를 포함하고, 제1 세그먼트 및 제2 세그먼트는 각각 복수의 픽셀들을 포함하고, 각각의 픽셀은 픽셀 값과 연관되고, 이러한 장치는,
참조 프레임의 제1 세그먼트의 확장 영역을 생성하도록 구성되는 세그먼트 확장 유닛- 확장 영역은 복수의 확장 픽셀들을 포함하고, 각각의 확장 픽셀에 대해 세그먼트 확장 유닛은 참조 프레임의 제2 세그먼트의 픽셀의 픽셀 값에 기초하여 확장 픽셀의 픽셀 값을 결정하도록 구성됨 -; 및
후보 참조 블록들의 세트 중에서 참조 블록을 선택하도록- 후보 참조 블록들의 세트는 참조 프레임의 제1 세그먼트의 확장 영역에 전체적으로 또는 부분적으로 위치되는 후보 참조 블록을 포함함 -, 그리고 현재 프레임의 제1 세그먼트의 비디오 코딩 블록의 픽셀들의 픽셀 값들을 비디오 코딩 블록의 픽셀들의 픽셀 값들 및 선택된 참조 블록의 픽셀들의 픽셀 값들에 기초하여 인코딩하도록 구성되는 인터 예측 인코딩 유닛을 포함한다.
따라서, 비디오 신호를 인코딩하기 위한 향상된 장치가 제공된다. 보다 구체적으로, 제1 양태에 따른 인코딩 장치는 그들의 공통 에지들에 걸친 기하학적 왜곡이 보상되는 방식으로 자신의 인접 세그먼트들에 기초하여 참조 프레임의 제1 세그먼트를 확장하는 것을 허용한다. 현재 프레임의 제1 세그먼트에서의 블록들에 대한 모션 보상은 참조 프레임에서의 제1 세그먼트 및 자신의 확장 영역들에 기초하여 수행될 수 있다. 기하학적 왜곡의 보상이 어떻게 수행되어야 하는지가 시퀀스 프레임에서의 공간 위치로부터 도출될 수 있기 때문에, 어떠한 추가적인 시그널링도 필요하지 않다. 본 발명의 실시예들은, 에지들을 공유하고 동일한 카메라 중심을 공유하는, 많은 왜곡되지 않은 면들로 구성되는, 정육면체, 20면체 또는 다른 포맷들로 360도 시퀀스들의 모션 보상을 위해 용이하게 사용될 수 있다. 본 발명의 실시예들은, 예를 들어, 장면에 카메라 이동 또는 이동하는 오브젝트들이 존재하면, 코딩 성능을 증가시키는 것을 허용한다.
참조 프레임은 재구성된 프레임일 수 있다. 이것은 복수의 연속 프레임들의 프레임을 인코딩하고, 다음으로 인코딩된 프레임을 디코딩하는 것에 의해 획득될 수 있다.
제1 이미지 평면 및 제2 이미지 평면은 평면간 각도(예를 들어, 1도 내지 90도 사이의)만큼 서로에 대해 각도를 이룰 수 있다.
일 구현 형태에서, 프레임은 일련의 서브프레임들을 포함하고, 각각의 서브프레임은 모든 세그먼트들의 서브세트만(예를 들어, 단 하나의 세그먼트)을 포함한다. 각각의 서브프레임은 세그먼트들의 각각의 서브세트를 업데이트하는데 사용될 수 있다.
제1 세그먼트 및 제2 세그먼트는 이웃 세그먼트들일 수 있다. 특히, 이들은 인접하는 세그먼트들일 수 있다.
이와 같이 제1 양태에 따른 인코딩 장치의 제1 가능한 구현 형태에서, 각각의 확장 픽셀에 대해 세그먼트 확장 유닛은 매핑을 사용하여 참조 프레임의 제2 세그먼트의 픽셀의 픽셀 값에 기초하여 확장 픽셀의 픽셀 값을 결정하도록 구성되거나
- 참조 프레임의 제2 세그먼트의 픽셀을 제1 이미지 평면에 매핑하도록 구성되거나(제1 변형);
또는
- 확장 픽셀을 제2 이미지 평면에 매핑하도록 구성된다(제2 변형).
이것의 제1 변형에서 확장 픽셀은 참조 프레임의 제2 세그먼트의 픽셀로부터 결정된다. 제2 변형에서, 제2 세그먼트의 픽셀은 (예를 들어, 제1 변형과 연관된 기하학적 변환에 대해 역인 기하학적 변환을 사용하여) 확장 픽셀로부터 결정된다.
매핑에서, 하나의 이미지 평면으로부터의 픽셀은 다른 이미지 평면에서의 하나의 픽셀 상에 정확하지 않게 놓일 수 있다는 점이 추가로 주목된다. 오히려, 이것은 다른 평면의 2개 이상의 이웃 픽셀들 사이에 위치되는 다른 이미지 평면의 기하학적 포인트에 놓이게 될 수 있다. 이러한 이유로, 세그먼트 확장 유닛은, 예를 들어, 제2 세그먼트의 픽셀이 매핑되는 제1 이미지 평면에서의 기하학적 포인트 근처에 위치되는 픽셀들(예를 들어, 2개, 3개, 또는 4개의 픽셀들)의 그룹의 픽셀 값들에 기초하여 확장 픽셀의 픽셀 값을 결정하도록 구성될 수 있다.
제1 양태의 제1 구현 형태에 따른 인코딩 장치의 제2 가능한 구현 형태에서, 이러한 매핑은, 참조 프레임의 제2 세그먼트의 픽셀
Figure 112019033695819-pct00001
를 3차원 공간에서의 포인트
Figure 112019033695819-pct00002
에 투영하는 단계- 이러한 포인트
Figure 112019033695819-pct00003
는 참조 프레임의 제2 세그먼트의 픽셀
Figure 112019033695819-pct00004
를 카메라 위치
Figure 112019033695819-pct00005
와 연결하는 라인 상에 놓임 -; 참조 프레임의 제2 세그먼트의 이미지 평면을 참조 프레임의 제1 세그먼트의 이미지 평면에 대해 평행 배향으로 회전시키기 위한 회전을 수행하는 단계; 및 참조 프레임의 제1 세그먼트의 이미지 평면에서의 포인트
Figure 112019033695819-pct00006
에 이러한 포인트
Figure 112019033695819-pct00007
를 투영하는 단계- 참조 프레임의 제1 세그먼트의 이미지 평면에서의 포인트
Figure 112019033695819-pct00008
는 확장 픽셀을 정의함 -를 포함하거나 또는 이들과 동등하다.
제1 양태의 제1 또는 제2 구현 형태에 따른 인코딩 장치의 제3 가능한 구현 형태에서, 매핑은 다음의 호모그래피 행렬
Figure 112019033695819-pct00009
에 기초하고:
Figure 112019033695819-pct00010
여기서
Figure 112019033695819-pct00011
및
Figure 112019033695819-pct00012
는 참조 프레임의 제1 세그먼트 및 제2 세그먼트에 대한 카메라 캘리브레이션 행렬들을 나타내고,
Figure 112019033695819-pct00013
는 참조 프레임의 제1 세그먼트의 이미지 평면과 제2 세그먼트의 이미지 평면 사이의 각도를 나타내고,
Figure 112019033695819-pct00014
은 회전을 나타내고,
Figure 112019033695819-pct00015
는 카메라 위치
Figure 112019033695819-pct00016
로부터의 거리를 나타낸다. 호모그래피 행렬은, 예를 들어, 제2 이미지 평면의 xy 좌표들에, 또는 픽셀 좌표들 상에 직접 적용될 수 있다.
이와 같이 제1 양태에 따른 인코딩 장치의 제4 가능한 구현 형태 또는 그 구현 형태들 중 어느 하나에서, 인코딩 장치는 참조 프레임의 제1 세그먼트를 참조 프레임의 제1 세그먼트의 확장 영역과 함께 저장하도록 구성되는 참조 프레임 버퍼를 추가로 포함한다.
이와 같이 제1 양태에 따른 인코딩 장치의 제5 가능한 구현 형태 또는 그 구현 형태들 중 어느 하나에서, 제1 세그먼트는 정육면체 또는 20면체의 제1 면에 대응하고, 제2 세그먼트는 정육면체 또는 20면체의 상이한 면들에 대응한다. 이러한 면들은 외부 또는 내부 면들일 수 있다.
제2 양태에 따르면 본 발명은 인코딩된 비디오 신호를 디코딩하기 위한 장치에 관한 것이고, 이러한 인코딩된 비디오 신호는 제1 이미지 평면의 비디오 콘텐츠 및 제2 이미지 평면의 비디오 콘텐츠를 포함하는 비디오 콘텐츠를 포함하고(예를 들어, 평면간 각도만큼 서로에 대해 각도를 이루고; 예를 들어, 1도와 90도 사이), 이러한 비디오 콘텐츠는 복수의 연속 프레임들의 인코딩된 형태로 제공되고, 복수의 연속 프레임들의 각각의 프레임은 제1 이미지 평면의 이미지 콘텐츠를 포함하는 제1 세그먼트 및 제2 평면의 이미지 콘텐츠를 포함하는 제2 세그먼트를 포함하고, 제1 세그먼트 및 제2 세그먼트는 각각 복수의 픽셀들을 포함하고, 각각의 픽셀은 픽셀 값과 연관되고, 이러한 장치는,
참조 프레임의 제1 세그먼트의 확장 영역을 생성하도록 구성되는 세그먼트 확장 유닛- 확장 영역은 복수의 확장 픽셀들을 포함하고, 각각의 확장 픽셀에 대해 세그먼트 확장 유닛은 참조 프레임의 제2 세그먼트의 픽셀의 픽셀 값에 기초하여 확장 픽셀의 픽셀 값을 결정하도록 구성됨 -; 및
현재 프레임의 제1 세그먼트의 인코딩된 비디오 코딩 블록과 참조 블록의 픽셀들의 픽셀 값들에 기초하여 현재 프레임의 제1 세그먼트의 비디오 코딩 블록의 픽셀들의 픽셀 값들을 재구성하도록 구성되는 인터 예측 재구성 유닛- 참조 블록은 참조 프레임의 제1 세그먼트에 전체적으로 또는 부분적으로 또는 참조 프레임의 제1 세그먼트의 확장 영역에 전체적으로 또는 부분적으로 위치됨 -을 포함한다.
이와 같이 제2 양태에 따른 디코딩 장치의 제1 가능한 구현 형태에서, 각각의 확장 픽셀에 대해 세그먼트 확장 유닛은 매핑을 사용하여 참조 프레임의 제2 세그먼트의 픽셀의 픽셀 값에 기초하여 확장 픽셀의 픽셀 값을 결정하도록 구성되거나
- 참조 프레임의 제2 세그먼트의 픽셀을 참조 프레임의 제1 세그먼트의 이미지 평면에 매핑하도록 구성되거나,
또는
- 확장 픽셀을 제2 이미지 평면에 매핑하도록 구성된다.
제2 양태의 제1 구현 형태에 따른 디코딩 장치의 제2 가능한 구현 형태에서, 이러한 매핑은, 참조 프레임의 제2 세그먼트의 픽셀
Figure 112019033695819-pct00017
를 3차원 공간에서의 포인트
Figure 112019033695819-pct00018
에 투영하는 단계- 이러한 포인트
Figure 112019033695819-pct00019
는 참조 프레임의 제2 세그먼트의 픽셀
Figure 112019033695819-pct00020
를 카메라 위치
Figure 112019033695819-pct00021
와 연결하는 라인 상에 놓임 -; 참조 프레임의 제2 세그먼트의 이미지 평면을 참조 프레임의 제1 세그먼트의 이미지 평면에 대해 평행 배향으로 회전시키기 위한 회전을 수행하는 단계; 및 참조 프레임의 제1 세그먼트의 이미지 평면에서의 포인트
Figure 112019033695819-pct00022
에 이러한 포인트
Figure 112019033695819-pct00023
를 투영하는 단계- 참조 프레임의 제1 세그먼트의 이미지 평면에서의 포인트
Figure 112019033695819-pct00024
는 확장 픽셀을 정의함 -를 포함한다.
제2 양태의 제1 또는 제2 구현 형태에 따른 디코딩 장치의 제3 가능한 구현 형태에서, 이러한 매핑은 다음의 호모그래피 행렬
Figure 112019033695819-pct00025
에 기초하고:
Figure 112019033695819-pct00026
여기서
Figure 112019033695819-pct00027
및
Figure 112019033695819-pct00028
는 참조 프레임의 제1 세그먼트 및 제2 세그먼트에 대한 카메라 캘리브레이션 행렬들을 나타내고,
Figure 112019033695819-pct00029
는 참조 프레임의 제1 세그먼트의 이미지 평면과 제2 세그먼트의 이미지 평면 사이의 각도를 나타내고,
Figure 112019033695819-pct00030
은 회전을 나타내고,
Figure 112019033695819-pct00031
는 카메라 위치
Figure 112019033695819-pct00032
로부터의 거리를 나타낸다.
이와 같이 제2 양태에 따른 디코딩 장치의 제4 가능한 구현 형태 또는 그 구현 형태들 중 어느 하나에서, 디코딩 장치는 참조 프레임의 제1 세그먼트를 참조 프레임의 제1 세그먼트의 확장 영역과 함께 저장하도록 구성되는 참조 프레임 버퍼를 추가로 포함한다.
디코딩 장치의 제6 가능한 구현 형태에서, 세그먼트 확장 유닛은 플래그/정보에 기초하여 각각의 비디오 코딩 블록에 대한 블록 레벨에서, 프레임 레벨에서, GOP(group of pictures) 레벨에서, PPS(picture parameter set) 레벨에서 또는 SPS(sequence parameter set) 레벨에서 세그먼트 확장을 수행하도록 구성된다. 플래그의 상태에 기초하여, 세그먼트 확장 동작이 인에이블되거나 또는 디스에이블될 수 있다.
이와 같이 제2 양태에 따른 디코딩 장치의 제5 가능한 구현 형태 또는 그 구현 형태들 중 어느 하나에서, 제1 세그먼트 및 제2 세그먼트는 정육면체 또는 20면체의 상이한 면들에 대응한다.
제3 양태에 따르면 본 발명은 비디오 신호를 인코딩하기 위한 방법에 관한 것으로, 이러한 비디오 신호는 제1 이미지 평면의 비디오 콘텐츠 및 제2 이미지 평면의 비디오 콘텐츠를 포함하는 비디오 콘텐츠를 포함하고, 이러한 비디오 콘텐츠는 복수의 연속 프레임들의 형태로 제공되고, 복수의 연속 프레임들의 각각의 프레임은 제1 이미지 평면의 이미지 콘텐츠를 포함하는 제1 세그먼트 및 제2 이미지 평면의 이미지 콘텐츠를 포함하는 제2 세그먼트를 포함하고, 제1 세그먼트 및 제2 세그먼트는 각각 복수의 픽셀들을 포함하고, 각각의 픽셀은 픽셀 값과 연관되고, 이러한 방법은,
참조 프레임의 제1 세그먼트의 확장 영역을 생성하는 단계- 확장 영역은 복수의 확장 픽셀들을 포함하고, 확장 영역을 생성하는 단계는, 각각의 확장 픽셀에 대해, 참조 프레임의 제2 세그먼트의 픽셀의 픽셀 값에 기초하여 확장 픽셀의 픽셀 값을 결정하는 단계를 포함함 -;
후보 참조 블록들의 세트 중에서 참조 블록을 선택하는 단계- 후보 참조 블록들의 세트는 참조 프레임의 제1 세그먼트의 확장 영역에 전체적으로 또는 부분적으로 위치되는 후보 참조 블록을 포함함 -; 및
현재 프레임의 제1 세그먼트의 비디오 코딩 블록의 픽셀들의 픽셀 값들을 비디오 코딩 블록의 픽셀들의 픽셀 값들 및 선택된 참조 블록의 픽셀들의 픽셀 값들에 기초하여 인코딩하는 단계를 포함한다.
다시, 제1 이미지 평면 및 제2 이미지 평면은 평면간 각도(예를 들어, 1도 내지 90도)만큼 서로에 대해 각도를 이룰 수 있다.
제4 양태에 따르면 본 발명은 인코딩된 비디오 신호를 디코딩하기 위한 방법에 관한 것이고, 이러한 인코딩된 비디오 신호는 제1 이미지 평면의 비디오 콘텐츠 및 제2 이미지 평면의 비디오 콘텐츠를 포함하는 비디오 콘텐츠를 포함하고, 이러한 비디오 콘텐츠는 복수의 연속 프레임들의 인코딩된 형태로 제공되고, 복수의 연속 프레임들의 각각의 프레임은 제1 이미지 평면의 이미지 콘텐츠를 포함하는 제1 세그먼트 및 제2 평면의 이미지 콘텐츠를 포함하는 제2 세그먼트를 포함하고, 제1 세그먼트 및 제2 세그먼트는 각각 복수의 픽셀들을 포함하고, 각각의 픽셀은 픽셀 값과 연관되고, 이러한 방법은,
참조 프레임의 제1 세그먼트의 확장 영역을 생성하는 단계- 확장 영역은 복수의 확장 픽셀들을 포함하고, 확장 영역을 생성하는 단계는, 각각의 확장 픽셀에 대해, 참조 프레임의 제2 세그먼트의 픽셀의 픽셀 값에 기초하여 확장 픽셀의 픽셀 값을 결정하는 단계를 포함함 -; 및
현재 프레임의 제1 세그먼트의 인코딩된 비디오 코딩 블록과 참조 블록의 픽셀들의 픽셀 값들에 기초하여 현재 프레임의 제1 세그먼트의 비디오 코딩 블록의 픽셀들의 픽셀 값들을 재구성하는 단계- 참조 블록은 참조 프레임의 제1 세그먼트에 전체적으로 또는 부분적으로 또는 참조 프레임의 제1 세그먼트의 확장 영역에 전체적으로 또는 부분적으로 위치됨 -를 포함한다.
본 발명의 제4 양태에 따른 디코딩 방법은 본 발명의 제2 양태에 따른 디코딩 장치에 의해 수행될 수 있다. 본 발명의 제4 양태에 따른 디코딩 방법의 추가적인 특징들은 본 발명의 제2 양태 및 그 상이한 구현 형태들에 따른 디코딩 장치의 기능성으로부터 직접 초래된다.
본 발명의 제4 양태에 따른 디코딩 방법의 일 구현 형태에서 또는 본 발명의 제2 양태에 따른 디코딩 장치에서, 세그먼트 확장 유닛은 플래그/정보에 기초하여 각각의 비디오 코딩 블록에 대한 블록 레벨에서, 프레임 레벨에서, GOP(group of pictures) 레벨에서, PPS(picture parameter set) 레벨에서, 또는 SPS(sequence parameter set) 레벨에서 세그먼트 확장을 수행하도록 구성된다. 플래그의 상태에 기초하여, 세그먼트 확장 동작이 인에이블되거나 또는 디스에이블될 수 있다.
제5 양태에 따르면 본 발명은 컴퓨터 상에서 실행될 때 제3 양태에 따른 인코딩 방법 또는 제4 양태에 따른 디코딩 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램에 관한 것이다.
본 발명은 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
본 발명의 추가의 실시예들이 다음의 도면들에 대해 설명될 것이다.
도 1은 실시예에 따른 비디오 신호를 인코딩하기 위한 장치를 도시하는 개략도를 도시한다.
도 2는 실시예에 따른 비디오 신호를 디코딩하기 위한 장치를 도시하는 개략도를 도시한다.
도 3은 실시예에 따른 인코딩 장치 및 디코딩 장치에서 구현되는 확장 영역을 생성하기 위한 기하학적 변환을 도시하는 개략도를 도시한다.
도 4는 실시예에 따른 인코딩 장치 및 디코딩 장치에 의해 처리될 수 있는 비디오 신호의 프레임을 도시하는 개략도를 도시한다.
도 5는 실시예에 따른 인코딩 장치 및 디코딩 장치에 의해 처리될 수 있는 비디오 신호의 프레임의 세그먼트들의 기하학적 관계를 도시하는 개략도를 도시한다.
도 6은 실시예에 따른 인코딩 장치 및 디코딩 장치에 의해 생성되는 자신의 확장 영역들을 포함하는 비디오 신호의 세그먼트를 도시하는 개략도를 도시한다.
도 7은 실시예에 따른 인코딩 장치 및 디코딩 장치에 의해 생성되는 프레임 내의 확장 영역들을 포함하는 비디오 신호의 세그먼트를 도시하는 개략도를 도시한다.
도 8은 실시예에 따른 비디오 신호를 인코딩하기 위한 방법을 도시하는 개략도를 도시한다.
도 9는 실시예에 따른 비디오 신호를 디코딩하기 위한 방법을 도시하는 개략도를 도시한다.
다양한 도면들에서, 동일한 참조 부호들은 동일한 또는 적어도 기능적으로 동등한 특징들에 대해 사용될 것이다.
다음의 상세한 설명에서, 본 개시 내용의 일부를 형성하고, 본 발명이 배치될 수 있는 구체적인 양태들이, 도시의 방식으로, 도시되는 첨부 도면들에 대한 참조가 이루어진다. 본 발명의 범위로부터 벗어나지 않고 다른 양태들이 이용될 수 있고 구조적 또는 논리적 변경들이 이루어질 수 있다는 점이 이해된다. 본 발명의 범위가 첨부된 청구항들에 의해 정의되므로, 다음의 상세한 설명은, 따라서, 제한적인 의미로 취해져서는 안 된다.
예를 들어, 설명되는 방법과 관련된 개시 내용은 해당 방법을 수행하도록 구성되는 대응하는 디바이스 또는 시스템에 대해 또한 유효할 수 있고 그 반대의 경우도 마찬가지라는 점이 이해된다. 예를 들어, 구체적인 방법 단계가 설명되면, 대응하는 디바이스는 설명되는 방법 단계를 수행하기 위한 유닛을 포함할 수 있고, 이는 이러한 유닛이 도면들에 명시적으로 설명 또는 도시되지 않더라도 그러하다. 추가로, 구체적으로 달리 언급되지 않는 한, 본 명세서에서 설명되는 다양한 예시적인 양태들의 특징들은 서로 조합될 수 있다는 점이 이해된다.
도 1은 실시예에 따른 비디오 신호의 비디오 코딩 블록을 인코딩하기 위한 장치(100)를 도시하는 개략도를 도시하고, 이러한 비디오 신호는 복수의 프레임들을 포함하고 각각의 프레임은 제1 세그먼트 및 제2 세그먼트를 포함하는 복수의 세그먼트들을 포함한다. 각각의 세그먼트는 상이한 이미지 평면과 연관되고 복수의 비디오 코딩 블록들로 분할될 수 있고, 각각의 비디오 코딩 블록은 복수의 픽셀들을 포함하고 각각의 픽셀은 픽셀 값과 연관된다. 실시예에서, 비디오 코딩 블록들은 매크로 블록들, 코딩 트리 유닛들, 코딩 유닛들, 예측 유닛들 및/또는 예측 블록들일 수 있다.
인코딩 장치(100)는, 이하에서 보다 상세히 설명될 바와 같이, 복수의 확장 픽셀들을 포함하는 참조 프레임의 제1 세그먼트의 확장 영역을 생성하도록 구성되는 세그먼트 확장 유닛(111a, 111b)을 포함한다. 각각의 확장 픽셀에 대해 세그먼트 확장 유닛(111a, 111b)은 참조 프레임의 제2 세그먼트의 픽셀의 픽셀 값에 기초하여 확장 픽셀의 픽셀 값을 결정하도록 구성된다.
인코딩 장치(100)는 현재 처리된 프레임의 제1 세그먼트의 비디오 코딩 블록의 모션 보상을 수행하도록, 즉, 참조 프레임의 제1 세그먼트의 픽셀들 및 참조 프레임의 확장 영역의 확장 픽셀들에 기초하여, 참조 프레임에서의 공동 위치된 비디오 코딩 블록에 기초하여 예측되는 비디오 코딩 블록을 생성하도록 구성되는 인터 예측 유닛(113, 115) 뿐만 아니라 예측된 비디오 코딩 블록에 기초하여 인코딩된 비디오 코딩 블록을 생성하도록 구성되는 인코딩 유닛(101, 119)을 추가로 포함한다. 이하에서 추가로 보다 상세히 설명될 바와 같이, 인코딩 유닛(101, 119)은 변환 및 양자화 유닛(101) 및/또는 엔트로피 코딩 유닛(119)을 포함할 수 있다.
도 1에 도시되는 인코딩 장치(100)의 실시예는 다음의 방식으로 동작한다. 3x2 정육면체 세그먼트들과 같은, 복수의 세그먼트들을 포함하는, 비디오 신호의 프레임은 복수의 비-중첩 비디오 코딩 블록들로 분할된다. 각각의 현재 처리된 비디오 코딩 블록에 대해 예측기 블록, 즉, 예측된 현재 비디오 코딩 블록은 나머지 비디오 코딩 블록을 제공하는 감산 유닛(102)에 의해 감산된다. 다음으로, 나머지 비디오 코딩 블록은 도 1에 도시되는 변환 및 양자화 유닛(101)에 의해 변환 및 양자화되고 엔트로피 코딩 유닛(119)에 의해 엔트로피 인코딩된다. 이미 인코딩된 비디오 코딩 블록들은 참조 디코더(120)에 의해 이용 가능하게 된다. 참조 디코더(120)는, 변환 및 양자화 유닛(101)의 동작을 반전시키는(여기서, 양자화 에러가 도입될 수 있음), 역 변환 및 양자화 유닛(103)을 포함한다. 가산 유닛(105)은 나머지 비디오 코딩 블록을 예측기 블록과 조합하여 재구성된 비디오 코딩 블록을 획득하고, 이는 인트라 예측 유닛(117)을 사용하여 동일한 프레임의 다른 비디오 코딩 블록들의 인트라 예측에 이용 가능하게 된다.
재구성된 비디오 코딩 블록은 가능하게는 루프 필터 유닛(107)에 의해 필터링되고(선택은 인코딩 장치(100)의 제어 유닛에 의해 이루어질 수 있음) 참조 프레임 버퍼(109)에 저장된다. 이러한 단계에서 재구성된 비디오 코딩 블록은 다른 프레임들의 비디오 코딩 블록들의 인터 예측에 또한 이용 가능하다. 참조 프레임 버퍼(109)가 액세스되면, 세그먼트 확장 유닛(111a, 111b)은, 위에 이미 언급된 바와 같이 그리고 이하에서 보다 상세히 설명될 바와 같이, 현재 비디오 코딩 블록을 포함하는 세그먼트의 확장 영역을 제공할 수 있다. 도 1에는 도시의 목적으로 2개의 세그먼트 확장 유닛들(111a, 111b)이 도시되더라도, 도 1에 도시되는 2개의 세그먼트 확장 유닛들(111a, 111b)이 물론 단일 유닛의 형태로 구현될 수 있다는 점이 용이하게 이해될 것이다.
위에 이미 언급된 바와 같이, 세그먼트 확장 유닛(111a, 111b)에 의해 제공되는 데이터는 모션 보상을 수행하기 위해 인터 예측 유닛(115)에 의해 사용된다. 이러한 목적으로, 도 1에 도시되는 인코딩 장치(100)는 모션 추정 유닛(113)을 추가로 포함한다. 다른 실시예들에서, 모션 추정 유닛(113)은 인터 예측 유닛(115)의 일부로서 구현될 수 있다. 일반적으로, 인코딩 장치(100)의 제어 유닛(도 1에 도시되지 않음)은 현재 처리된 비디오 코딩 블록 및, 현재 처리된 비디오 코딩 블록을 예측하기 위한 예측 모드, 즉, 인트라 또는 인터 예측을 선택한다. 이러한 정보는 도 2에 도시되는 디코딩 장치(200)에 의해 또한 요구되고 따라서 엔트로피 코딩 유닛(119)에 의해 비트스트림으로 또한 엔트로피 코딩된다.
도 2는 실시예에 따른 비디오 신호의 인코딩된 비디오 코딩 블록을 디코딩하기 위한 장치(200)를 도시하는 개략도를 도시하고, 이러한 비디오 신호는 복수의 프레임들을 포함하고 각각의 프레임은 제1 세그먼트 및 제2 세그먼트를 포함하는 복수의 세그먼트들을 포함한다. 각각의 세그먼트는 상이한 이미지 평면과 연관되고 복수의 비디오 코딩 블록들로 분할될 수 있고, 각각의 비디오 코딩 블록은 복수의 픽셀들을 포함하고 각각의 픽셀은 픽셀 값과 연관된다.
디코딩 장치(200)는 나머지 비디오 코딩 블록을 제공하기 위해 현재 프레임의 제1 세그먼트의 비디오 코딩 블록을 디코딩하도록 구성되는 디코딩 유닛(203, 219)을 포함한다. 이하에서 보다 상세히 설명될 바와 같이, 디코딩 유닛(203, 219)은 역 변환 및 양자화 유닛(203) 및/또는 엔트로피 코딩 유닛(219)을 포함할 수 있다.
디코딩 장치(200)는 복수의 확장 픽셀들을 포함하는 참조 프레임의 제1 세그먼트의 확장 영역을 생성하도록 구성되는 세그먼트 확장 유닛(211)을 추가로 포함하고, 각각의 확장 픽셀에 대해 세그먼트 확장 유닛(211)은, 이하에서 보다 상세히 설명될 바와 같이, 참조 프레임의 제2 세그먼트의 픽셀의 픽셀 값에 기초하여 확장 픽셀의 픽셀 값을 결정하도록 구성된다.
디코딩 장치(200)는 현재 프레임의 제1 세그먼트의 비디오 코딩 블록의 모션 보상을 수행하도록, 즉, 참조 프레임의 제1 세그먼트의 픽셀들 및 참조 프레임의 확장 영역의 확장 픽셀들에 기초하여, 참조 프레임에서의 공동 위치된 비디오 코딩 블록에 기초하여 예측되는 비디오 코딩 블록을 생성하도록 구성되는 인터 예측 유닛(215)을 추가로 포함한다.
디코딩 장치(200)는 예측된 비디오 코딩 블록 및 나머지 비디오 코딩 블록에 기초하여 현재 프레임의 비디오 코딩 블록을 재구성하도록 구성되는 재구성 유닛(209)을 추가로 포함한다.
도 2에 도시되는 디코딩 장치(200)의 실시예는 다음의 방식으로 동작한다. 비디오 신호의 현재 프레임은 복수의 비-중첩 비디오 코딩 블록들로 분할된다. 현재 처리된 비디오 코딩 블록의 나머지들, 즉, 나머지 비디오 코딩 블록은, 인터 및 인트라 예측을 위한 대응하는 파라미터들과 함께 엔트로피 코딩 유닛(219)에 의해 디코딩된다. 나머지 비디오 코딩 블록은 역 변환 및 양자화 유닛(203)에 의해 처리되고, 재구성된 비디오 코딩 블록을 생성하기 위해 예측된 비디오 코딩 블록에 추가 유닛(205)에 의해 추가된다. 재구성된 비디오 코딩 블록은 동일한 프레임의 다른 비디오 코딩 블록들의 인트라 예측을 위해 인트라 예측 유닛(217)에 제공된다. 더욱이, 재구성된 비디오 코딩 블록은 루프 필터(207)에 의해 루프 필터링되고(선택은 디코딩 장치(200)의 제어 유닛에 의해 이루어질 수 있음) 참조 프레임 버퍼(209)에 저장될 수 있다. 이러한 단계에서 재구성된 비디오 코딩 블록은 다른 프레임들의 비디오 코딩 블록들의 인터 예측에 또한 이용 가능하다. 참조 프레임 버퍼(209)가 액세스되면, 세그먼트 확장 유닛(211)은, 위에 이미 언급된 바와 같이 그리고 이하에서 보다 상세히 설명될 바와 같이, 참조 프레임에서의 세그먼트의 확장 영역을 제공할 수 있다. 참조 프레임 버퍼(209)는 처리된 프레임들을 출력 순서로 출력하도록 구성된다.
위에 설명된 인코딩 장치(100) 및 디코딩 장치(200)의 알려진 유닛들 중 일부에 관한 보다 상세한 사항들에 대해, 본 명세서에 참조로 완전히 원용되는 문헌 ["High Efficiency Video Coding", Mathias Wien, first edition, Springer-Verlag Berlin Heidelberg 2015]에 대한 참조가 이루어진다.
실시예에서, 인코딩 장치(100)의 세그먼트 확장 유닛(111a, 111b) 및 디코딩 장치(200)의 세그먼트 확장 유닛(211)은 참조 프레임의 제1 세그먼트의 확장 영역의 각각의 확장 픽셀에 대해 참조 프레임의 제2 세그먼트의 픽셀을 그들의 공통 에지에 걸친 기하학적 왜곡이 보상되는 방식으로 참조 프레임의 제1 세그먼트의 이미지 평면에 매핑하도록 구성되는 매핑을 사용하여 참조 프레임의 제2 세그먼트의 픽셀의 픽셀 값에 기초하여 확장 픽셀의 픽셀 값을 결정하도록 구성된다.
도 3은 참조 프레임의 제1 세그먼트 및 인접 제2 세그먼트의 공통 에지에 걸친 기하학적 왜곡의 보상을 허용하는 디코딩 장치(200)의 세그먼트 확장 유닛(211) 및 인코딩 장치(100)의 세그먼트 확장 유닛(111a, 111b)에서 구현되는 매핑 또는 기하학적 변환을 도시한다. 여기서 제1 세그먼트(이미지 평면 A와 연관되는 세그먼트 A라고 또한 지칭됨) 및 제2 세그먼트(이미지 평면 B와 연관되는 세그먼트 B라고 또한 지칭됨)는 동일한 카메라 위치 또는 카메라 중심 C를 갖고 경계를 공유한다고 가정된다.
도 3으로부터 취해질 수 있는 바와 같이, 3D 공간에서의 포인트
Figure 112019033695819-pct00033
는, 이미지 평면 A와 이미지 평면 B를 교차하는, 카메라 중심 C를 통하는 선 상에 놓인다. 결과적으로, 이미지 평면 B에서의 포인트
Figure 112019033695819-pct00034
는 이미지 평면 A에서의 포인트
Figure 112019033695819-pct00035
에 투영되거나 또는 매핑될 수 있다. 이러한 동작에 대해 카메라 중심 C로부터의 3D 포인트
Figure 112019033695819-pct00036
의 거리에 대한 어떠한 지식도 요구되지 않는다.
수학적으로, 이것은 다음의 방식으로 표현될 수 있다. 이러한 포인트
Figure 112019033695819-pct00037
는 3D 공간에서 벡터로서 표현될 수 있다, 즉
Figure 112019033695819-pct00038
이다. 이러한 포인트
Figure 112019033695819-pct00039
의 동종 표현
Figure 112019033695819-pct00040
는
Figure 112019033695819-pct00041
로서 표현될 수 있다.
Figure 112019033695819-pct00042
로서 나타나는, 이미지 평면 B 상으로의 동종 표현
Figure 112019033695819-pct00043
의 투영은 다음과 같이 표현될 수 있다:
Figure 112019033695819-pct00044
여기서
Figure 112019033695819-pct00045
는 이미지 평면 B와 연관된 카메라의 캘리브레이션 행렬이다. 위 식은 다음의 형태로 다소 상이하게 표현될 수 있다.
Figure 112019033695819-pct00046
동종 좌표들이 스케일까지만 정의되기 때문에, 정규화된 동종 이미지 좌표들
Figure 112019033695819-pct00047
를 제공하기 위해 스케일링 인자
Figure 112019033695819-pct00048
가 생략될 수 있다. 이러한 정규화된 형태는 또한 다음의 방식으로 직접 획득될 수 있다:
Figure 112019033695819-pct00049
카메라로부터의 포인트의 거리가 알려지면, 투영은 다음의 방식으로 반전될 수 있다:
Figure 112019033695819-pct00050
또한 이러한 경우에 스케일 인자
Figure 112019033695819-pct00051
는 빠질 수 있다. 위에 설명된 방식으로 획득되는 포인트는 다음으로 이미지 평면 A 상에 투영될 수 있다. 그러나, 이미지 평면 A는 이미지 평면 B와는 상이한 배향을 갖기 때문에, 이미지 평면 A를 이미지 평면 B와 정렬하기 위해 카메라 중심 C 주위의 제1 회전
Figure 112019033695819-pct00052
이 수행되어야 한다. 이러한 회전
Figure 112019033695819-pct00053
은 이미지 평면 A와 이미지 평면 B 사이의 각도
Figure 112019033695819-pct00054
에 의해 정의되고 각각의 좌표 축들에 관한 회전들의 조합으로서 또한 표현될 수 있다, 즉:
Figure 112019033695819-pct00055
이러한 회전은 다음과 같이 동종 좌표들로 또한 표현될 수 있다:
Figure 112019033695819-pct00056
따라서, 이미지 평면 B에서의 포인트
Figure 112019033695819-pct00057
는 이미지 평면 A에서의 대응하는 포인트
Figure 112019033695819-pct00058
에 투영되거나 또는 매핑될 수 있다.
Figure 112019033695819-pct00059
따라서, 이미지 평면 B로부터 이미지 평면 B로 포인트를 전달하기 위한 호모그래피 행렬
Figure 112019033695819-pct00060
는 다음과 같이 표현될 수 있다:
Figure 112019033695819-pct00061
호모그래피 행렬
Figure 112019033695819-pct00062
를 결정하기 위한 위의 식으로부터 알 수 있듯이, 카메라 C로부터의 거리
Figure 112019033695819-pct00063
는, 이러한 정보가 호모그래피를 수행하는데 필요하지 않기 때문에, 이러한 식에서 빠진다.
위에서 설명된 변환들에 관한 보다 상세한 사항들에 대해 본 명세서에서 참조로 완전히 원용되는 문헌 ["Multiple View Geometry in Computer Vision", Richard Harley and Andrew Zisserman, second edition, Cambridge University Press, 2003]에 대한 참조가 이루어진다.
따라서, 실시예에서, 인코딩 장치(100)의 세그먼트 확장 유닛(111a, 111b) 및 디코딩 장치(200)의 세그먼트 확장 유닛(211)에서 구현되는 매핑 또는 기하학적 변환은, 참조 프레임의 제2 세그먼트의 픽셀 또는 포인트
Figure 112019033695819-pct00064
를 3차원 공간에서의 포인트
Figure 112019033695819-pct00065
에 투영하는 단계- 이러한 포인트
Figure 112019033695819-pct00066
는 참조 프레임의 제2 세그먼트의 픽셀
Figure 112019033695819-pct00067
를 카메라 위치
Figure 112019033695819-pct00068
와 연결하는 라인 상에 놓임 -; 참조 프레임의 제2 세그먼트의 이미지 평면 B를 참조 프레임의 제1 세그먼트의 이미지 평면 A와 평행한 배향으로 회전시키기 위한 회전을 수행하는 단계; 및 포인트
Figure 112019033695819-pct00069
를 참조 프레임의 제1 세그먼트의 이미지 평면 A에서의 포인트
Figure 112019033695819-pct00070
에 투영하는 단계- 참조 프레임의 제1 세그먼트의 이미지 평면 A에서의 포인트
Figure 112019033695819-pct00071
는 확장 픽셀을 정의함 -를 포함한다.
추가의 실시예에서, 인코딩 장치(100)의 세그먼트 확장 유닛(111a, 111b) 및 디코딩 장치(200)의 세그먼트 확장 유닛(211)에서 구현되는 매핑 또는 기하학적 변환은 다음의 호모그래피 행렬
Figure 112019033695819-pct00072
에 기초한다:
Figure 112019033695819-pct00073
다음에서 위 접근법은 360도 비디오 신호의 맥락에서 설명될 것이고, 세그먼트들은 정육면체의 6개의 면들이다, 즉, 360도 비디오 신호는 정육면체를 정의하는 6개의 세그먼트들에 매핑되었다. 정육면체의 면들 또는 세그먼트들은 프레임 내에 배열된다. 프레임(400)의 하나의 가능한 배열이 도 4에 도시되고, 이는 정육면체 세그먼트들(401-1, ... , 401-6) 및 패딩된 이미지 경계(403)를 포함한다. 모든 정육면체 세그먼트들(401-1, ... , 401-6)은, 도 5에 도시되는 바와 같이, 4개의 인접하거나 또는 이웃하는 세그먼트들을 갖는 주 면 또는 세그먼트가 되도록 정의될 수 있으며, 여기서는 정육면체 세그먼트(401-1)가 주 면으로서 선택되었다. 청구되는 발명에 의해 제공되는 기하학적 정정들이 없으면, 도 5에 도시되는 세그먼트들의 경계들에 걸쳐 기하학적 왜곡들이 존재할 것이다.
단순성을 위해 상이한 정육면체 세그먼트들의 해상도는 동일하다고 가정된다. 더욱이, 좌표들이
Figure 112019033695819-pct00074
인 각각의 주요 포인트들이 각각의 정육면체 세그먼트들의 중심에 놓여 있다고 가정된다. 이러한 실시예에서, 캘리브레이션 행렬들
Figure 112019033695819-pct00075
및
Figure 112019033695819-pct00076
는 다음의 방식으로 표현될 수 있다:
Figure 112019033695819-pct00077
및
Figure 112019033695819-pct00078
여기서
Figure 112019033695819-pct00079
는, 기하학적 고려 사항들을 사용하여 결정될 수 있는, 초점 길이가
Figure 112019033695819-pct00080
와 동일하다는 것을 나타내고, 여기서
Figure 112019033695819-pct00081
는 정육면체 세그먼트의 폭을 픽셀들로 나타낸다.
이러한 실시예에 대해 제1 세그먼트의 이미지 평면 A는 데카르트 좌표계의 x-y 평면과 일치하고, 한편 제2 세그먼트의 이미지 평면 B는 그것의 y-z 평면에 놓여 있다고 가정된다. 이러한 실시예에서, 이미지 평면 A를 이미지 평면 B와 정렬하기 위한 회전은 y축에 대한 90도만큼 회전이다. 이러한 경우, 호모그래피 행렬
Figure 112019033695819-pct00082
는 다음의 방식으로 표현될 수 있다:
Figure 112019033695819-pct00083
다시, 또한 여기서 스케일링 인자
Figure 112019033695819-pct00084
가 빠질 수 있다.
따라서, 실시예에서, 인코딩 장치(100)의 세그먼트 확장 유닛(111a, 111b) 및 디코딩 장치(200)의 세그먼트 확장 유닛(211)에서 구현되는 매핑 또는 기하학적 변환은 다음의 호모그래피 행렬
Figure 112019033695819-pct00085
에 기초한다:
Figure 112019033695819-pct00086
실시예에서, 도 4에 도시되는 6개의 정육면체 세그먼트들(401-1, ... , 401-6) 각각은 각각의 인접 세그먼트들의 픽셀들의 픽셀 값들에 기초하여 확장될 수 있다. 도 6에서 이것은, 자신의 좌측 이웃 세그먼트(401-2)에 기초하는 확장 영역(401-1a), 자신의 상측 이웃 세그먼트(401-4)에 기초하는 확장 영역(401-1b), 자신의 우측 이웃 세그먼트(401-3)에 기초하는 확장 영역(401-1c), 및 자신의 하측 이웃 세그먼트(401-5)에 기초하는 확장 영역(401-1d)를 가질 수 있는, 정육면체 세그먼트(401-1)에 대해 도시된다.
실시예에서, 이러한 확장 영역들은 인터 프레임 예측을 위해 인코딩 장치(100)의 세그먼트 확장 유닛(111a, 111b) 및 디코딩 장치(200)의 세그먼트 확장 유닛(211)에 의해 항상 제공될 수 있다. 그러나, 보상된 블록이 원래의 블록과 반드시 상이하지는 않다는 점을 이해할 것이다. 예를 들어, 모션 보상이 수행되어야 하는 블록은 면(도 5에서의 주 면)의 에지에 놓인다. 모션 보상이 수행되는 영역은 예측될 블록의 위치에 기초하여 확장된다. 4개의 이웃 세그먼트들은 확장된 세그먼트, 즉, 주 세그먼트 및 자신의 확장 영역들을 생성하기 위해 주 세그먼트와 함께 사용될 수 있다. 주 세그먼트의 영역이 이에 의해 수정되는 것은 아니다. 주 세그먼트 주위의 영역만이 수정되고, 이것은 다른 세그먼트들로부터 생성된다. 모션 보상이 주 세그먼트(401-1) 내부에서 동작하는 한, 이러한 거동은 본 발명의 실시예들에 의해 제공되는 세그먼트 확장이 없는 것과 동일하다. 모션 보상이 주 세그먼트의 에지를 넘어서 탐색하고 있을 때 이러한 거동이 상이하고, 여기서 확장 영역들로부터의 정보가 사용된다.
유사한 호모그래피들이 다른 세그먼트들에 대해 적용된다. 각각의 정육면체 세그먼트는 위에 설명된 방식으로 확장될 수 있다. 그러나, 이것은 확장된 영역들이 서로 중첩하는 효과를 가질 수 있다. 따라서, 실시예에서, 확장 영역들은, 도 7에 도시되는 바와 같이, 개별 추가적인 참조 픽처들 또는 프레임들에 저장될 수 있다. 인코딩 및 디코딩 동안 사용되어야 하는 참조 픽처는 현재 처리되는 블록의 공간 위치에 기초하여 도출된다. 따라서, 어떠한 추가적인 시그널링도 필요하지 않다(참조 픽처 리스트들에서의 픽처들의 수가 변경되지 않음). 보다 구체적으로, 도 7에 도시되는 예에서 6개의 참조 픽처들이 이제 하나 대신에 이용 가능한 것으로 고려될 수 있더라도, 실시예에서, 블록이 단일 세그먼트 및 그 대응하는 확장 영역들(이는, 결국, 블록의 위치에 의해 결정됨)에 할당될 수 있는 바와 같이, 주어진 예측 블록에 대해서는 하나만이 사용된다. 실시예에서, 이것은 인코딩 장치(100)에 의해 사용되는 참조 픽처를 처리되는 블록의 위치에 기초하여 대응하는 추가적인 참조 픽처로 투명하게 대체하는 것에 의해 행해질 수 있다. 인코딩 장치(100) 및 디코딩 장치(200)는 더 많은 참조 픽처들이 존재한다는 점을 "인지(aware)"하지 않는다. 이러한 대체는 실제 YUV 버퍼가 액세스될 때에만 발생한다. 예측될 픽처의 참조 픽처 리스트에서의 과거 및 미래 참조 픽처들에 대해 이러한 대체가 수행될 수 있다.
따라서, 본 발명의 실시예들은 계산 복잡도를 약간만 증가시킨다. 추가적으로 요구되는 동작들은 확장 영역의 생성에 달한다. 6개의 픽처들이 하나 대신에 저장됨에 따라, 메모리 요건이 증가할 수 있다. 그러나 이것은 특정 구현의 쟁점이다. 보다 효율적인 실시예들은 추가적인 6개의 픽처들 모두를 저장할 필요가 없을 수 있고, 각각의 세그먼트 주위의 작은 영역들에 요구되는 데이터만을 저장할 수 있다. 다른 대안적인 실시예는 각각의 블록 및 탐색 위치에 대한 확장을 적용하는 것으로 구성된다. 이것은 어떠한 추가적인 저장도 요구하지 않을 것이고, 그러나 이것은, 보상이 각각의 탐색된 위치에 대해 수행되어야 하므로, 추가적인 계산 복잡도를 초래할 것이다.
본 발명의 실시예들은 또한 360도 비디오 신호의 "랩핑 어라운드(wrapping around)"를 설명한다. 각각의 세그먼트 경계는 자신의 이웃들로부터의 정보로 확장될 수 있다. 이것은 또한 360도 이미지의 경계들과 일치하는 세그먼트 경계들에 대해 유효하다. 도 7에서 볼 수 있는 바와 같이, 확장된 세그먼트(401-1)는 어떠한 패딩도 요구하지 않는다. 대신에, 패딩 영역은 다른 정육면체 세그먼트의 콘텐츠로 채워질 수 있다. 확장 영역의 크기는 모션 보상 동안 인코딩 장치(100)에 의해 사용되는 탐색 범위로부터 도출될 수 있으므로 그 크기는 픽처 경계 패딩의 크기와 매칭된다.
도 8은 실시예에 따른 비디오 신호를 인코딩하기 위한 방법(800)을 도시하는 개략도를 도시하고, 이러한 비디오 신호는 복수의 프레임들을 포함하고 각각의 프레임은 제1 세그먼트 및 제2 세그먼트를 포함하는 복수의 세그먼트들을 포함한다. 각각의 세그먼트는 상이한 이미지 평면과 연관되고 복수의 비디오 코딩 블록들로 분할될 수 있고, 각각의 비디오 코딩 블록은 복수의 픽셀들을 포함하고 각각의 픽셀은 픽셀 값과 연관된다.
인코딩 방법(800)은, 참조 프레임에서의 제2 세그먼트의 픽셀의 픽셀 값에 기초하여 확장 픽셀의 픽셀 값을 결정하는 것에 의해 복수의 확장 픽셀들을 포함하는 참조 프레임에서의 제1 세그먼트의 확장 영역을 생성하는 단계(801); 참조 프레임에서의 제1 세그먼트의 픽셀들 및 참조 프레임에서의 확장 영역의 확장 픽셀들에 기초하여 현재 프레임에서의 제1 세그먼트의 비디오 코딩 블록의 모션 보상을 수행하는 단계(803); 및 예측된 비디오 코딩 블록에 기초하여 현재 프레임에서의 인코딩된 비디오 코딩 블록을 생성하는 단계(805)를 포함한다.
요약하면, 참조 프레임의 세그먼트와 참조 프레임의 다른 세그먼트로부터 생성되는 확장 영역이 인터 예측에 의해 현재 프레임을 인코딩하기 위해 사용된다.
도 9는 실시예에 따른 비디오 신호를 디코딩하기 위한 방법(900)을 도시하는 개략도를 도시하고, 이러한 비디오 신호는 복수의 프레임들을 포함하고 각각의 프레임은 제1 세그먼트 및 제2 세그먼트를 포함하는 복수의 세그먼트들을 포함한다. 각각의 세그먼트는 상이한 이미지 평면과 연관되고 복수의 비디오 코딩 블록들로 분할될 수 있고, 각각의 비디오 코딩 블록은 복수의 픽셀들을 포함하고 각각의 픽셀은 픽셀 값과 연관된다.
디코딩 방법(900)은, 나머지 비디오 코딩 블록을 제공하기 위해 현재 프레임에서의 제1 세그먼트의 비디오 코딩 블록을 디코딩하는 단계(901); 참조 프레임에서의 제2 세그먼트의 픽셀의 픽셀 값에 기초하여 확장 픽셀의 픽셀 값을 결정하는 것에 의해 복수의 확장 픽셀들을 포함하는 참조 프레임에서의 제1 세그먼트의 확장 영역을 생성하는 단계(903); 참조 프레임에서의 제1 세그먼트의 픽셀들 및 참조 프레임에서의 확장 영역의 확장 픽셀들에 기초하여 현재 프레임에서의 제1 세그먼트의 비디오 코딩 블록의 모션 보상을 수행하는 단계(905); 및 예측된 비디오 코딩 블록 및 나머지 비디오 코딩 블록에 기초하여 현재 프레임에서의 비디오 코딩 블록을 재구성하는 단계(907)를 포함한다.
제안된 기술은 본 명세서에서 주로 2개의 세그먼트를 참조하여 설명되었지만, 2개보다 많은 세그먼트들의 비디오 콘텐츠가 있는 비디오 신호에 용이하게 적응될 수 있다. 구체적으로, 세그먼트는 몇몇 다른 세그먼트들로부터의 이미지 콘텐츠를 사용하여 확장될 수 있다.
본 개시 내용의 특정 특징 또는 양태가 몇몇 구현들 또는 실시예들 중 하나에 대해서만 개시되었을 수 있지만, 이러한 특징 또는 양태는, 임의의 주어진 또는 특정 적용을 위해 요구되고 유리할 수 있는 바와 같이 다른 구현들 또는 실시예들의 하나 이상의 다른 특징들 또는 양태들과 조합될 수 있다. 더욱이, "포함하다(include)", "갖다(have)", "함께(with)"라는 용어들, 또는 이들의 다른 변형들이 상세한 설명 또는 청구항들 중 어느 하나에서 사용되는 정도까지, 이러한 용어들은 용어 "포함하다(comprise)"와 유사한 방식으로 포괄적인 것으로 의도된다. 또한, "예시적인(exemplary)", "예를 들어(for example)" 및 "예를 들어(e.g.)"라는 용어들은, 최상 또는 최적보다는 오히려, 단지 예로서 의미를 갖는다. "결합된(coupled)" 및 "연결된(connected)"이라는 용어들이, 파생어들과 함께 사용되었을 수 있다. 이러한 용어들은 2개의 엘리먼트들이 직접 물리적 또는 전기적으로 접촉하고 있는지, 또는 이들이 서로 직접 접촉하고 있지 않은지에 상관없이 이들이 서로 협력 또는 상호 작용한다는 것을 표시하는데 사용되었을 수 있다는 점이 이해되어야 한다.
본 명세서에서 구체적인 양태들이 도시 및 설명되었더라도, 본 개시 내용의 범위로부터 벗어나지 않고 도시 및 설명된 구체적인 양태들에 대해 다양한 대안적인 및/또는 동등한 구현들이 대체될 수 있다는 점이 해당 분야에서의 통상의 기술자에 의해 이해될 것이다. 본 출원은 본 명세서에서 논의되는 구체적인 양태들의 임의의 적응들 또는 변형들을 커버하도록 의도된다.
다음의 청구항들에서의 엘리먼트들은 대응하는 라벨링이 있는 특정 시퀀스로 나열되더라도, 청구항 나열들이 이러한 엘리먼트들의 일부 또는 전부를 구현하기 위한 특정 시퀀스를 달리 암시하지 않는 한, 이러한 엘리먼트들이 반드시 해당 특정 시퀀스로 구현되는 것으로 제한되도록 의도되는 것은 아니다.
위 교시 사항들에 비추어 많은 대안들, 수정들, 및 변형들이 해당 분야에서의 기술자들에게 명백할 것이다. 물론, 해당 분야에서의 기술자들은 본 명세서에서 설명되는 것들 이상으로 본 발명의 수많은 적용들이 존재한다는 것을 용이하게 이해한다. 본 발명이 하나 이상의 특정 실시예를 참조하여 설명되었더라도, 해당 분야에서의 기술자들은 본 발명의 범위로부터 벗어나지 않고 많은 변경들이 이루어질 수 있다는 점을 인식한다. 따라서, 첨부된 청구항들 및 그 등가물들의 범위 내에서, 본 발명은 본 명세서에서 구체적으로 설명되는 것과는 다르게 실시될 수 있다는 점이 이해되어야 한다.

Claims (17)

  1. 비디오 신호를 인코딩하기 위한 장치로서,
    상기 비디오 신호는 제1 이미지 평면의 비디오 콘텐츠 및 제2 이미지 평면의 비디오 콘텐츠를 포함하는 비디오 콘텐츠를 포함하고, 상기 비디오 콘텐츠는 복수의 연속 프레임들의 형태로 제공되고, 상기 복수의 연속 프레임들의 각각의 프레임은 상기 제1 이미지 평면의 이미지 콘텐츠를 포함하는 제1 세그먼트 및 상기 제2 이미지 평면의 이미지 콘텐츠를 포함하는 제2 세그먼트를 포함하고, 상기 제1 세그먼트 및 상기 제2 세그먼트는 각각 복수의 픽셀들을 포함하고, 각각의 픽셀은 픽셀 값과 연관되고, 상기 장치는,
    참조 프레임의 제1 세그먼트의 확장 영역을 생성하도록 구성되는 세그먼트 확장 유닛- 상기 확장 영역은 복수의 확장 픽셀들을 포함하고, 각각의 확장 픽셀에 대해 상기 세그먼트 확장 유닛은 상기 참조 프레임의 제2 세그먼트의 픽셀의 픽셀 값에 기초하여 상기 확장 픽셀의 픽셀 값을 결정하도록 구성됨 -; 및
    후보 참조 블록들의 세트 중에서 참조 블록을 선택하도록- 상기 후보 참조 블록들의 세트는 상기 참조 프레임의 제1 세그먼트의 확장 영역에 전체적으로 또는 부분적으로 위치되는 후보 참조 블록을 포함함 -, 그리고 현재 프레임의 제1 세그먼트의 비디오 코딩 블록의 픽셀들의 픽셀 값들을 상기 비디오 코딩 블록의 픽셀들의 픽셀 값들 및 상기 선택된 참조 블록의 픽셀들의 픽셀 값들에 기초하여 인코딩하도록 구성되는 인터 예측 인코딩 유닛을 포함하고,
    각각의 확장 픽셀에 대해 상기 세그먼트 확장 유닛은 매핑을 사용하여 상기 참조 프레임의 제2 세그먼트의 픽셀의 픽셀 값에 기초하여 상기 확장 픽셀의 픽셀 값을 결정하도록 구성되거나
    - 상기 참조 프레임의 제2 세그먼트의 픽셀을 상기 제1 이미지 평면에 매핑하도록 구성되거나,
    또는
    - 상기 확장 픽셀을 상기 제2 이미지 평면에 매핑하도록 구성되고,
    상기 매핑은, 상기 참조 프레임의 제2 세그먼트의 픽셀
    Figure 112020063387610-pct00160
    를 3차원 공간에서의 포인트
    Figure 112020063387610-pct00161
    에 투영하는 단계- 상기 포인트
    Figure 112020063387610-pct00162
    는 상기 참조 프레임의 제2 세그먼트의 픽셀
    Figure 112020063387610-pct00163
    를 카메라 위치
    Figure 112020063387610-pct00164
    와 연결하는 라인 상에 놓임 -; 상기 참조 프레임의 제2 세그먼트의 이미지 평면을 상기 참조 프레임의 제1 세그먼트의 이미지 평면에 대해 평행 배향으로 회전시키기 위한 회전을 수행하는 단계; 및 상기 참조 프레임의 제1 세그먼트의 이미지 평면에서의 포인트
    Figure 112020063387610-pct00165
    에 상기 포인트
    Figure 112020063387610-pct00166
    를 투영하는 단계- 상기 참조 프레임의 제1 세그먼트의 이미지 평면에서의 포인트
    Figure 112020063387610-pct00167
    는 확장 픽셀을 정의함 -를 포함하거나 또는 이들과 동등하고,
    상기 매핑은 다음의 호모그래피 행렬
    Figure 112020063387610-pct00168
    에 기초하고,

    Figure 112020063387610-pct00169

    여기서
    Figure 112020063387610-pct00170
    및
    Figure 112020063387610-pct00171
    는 상기 참조 프레임의 제1 세그먼트 및 제2 세그먼트에 대한 카메라 캘리브레이션 행렬들을 나타내고,
    Figure 112020063387610-pct00172
    는 상기 참조 프레임의 제1 세그먼트의 이미지 평면과 제2 세그먼트의 이미지 평면 사이의 각도를 나타내고,
    Figure 112020063387610-pct00173
    는 회전을 나타내고,
    Figure 112020063387610-pct00174
    는 카메라 위치
    Figure 112020063387610-pct00175
    로부터의 거리를 나타내는 인코딩 장치.
  2. 제1항에 있어서,
    상기 인코딩 장치는 상기 참조 프레임의 제1 세그먼트를 상기 참조 프레임의 제1 세그먼트의 확장 영역과 함께 저장하도록 구성되는 참조 프레임 버퍼(109)를 추가로 포함하는 인코딩 장치.
  3. 제1항에 있어서,
    상기 제1 세그먼트는 정육면체 또는 20면체의 제1 면에 대응하고 상기 제2 세그먼트는 정육면체 또는 20면체의 상이한 면들에 대응하는 인코딩 장치.
  4. 인코딩된 비디오 신호를 디코딩하기 위한 장치로서,
    상기 인코딩된 비디오 신호는 제1 이미지 평면의 비디오 콘텐츠 및 제2 이미지 평면의 비디오 콘텐츠를 포함하는 비디오 콘텐츠를 포함하고, 상기 비디오 콘텐츠는 복수의 연속 프레임들의 인코딩된 형태로 제공되고, 상기 복수의 연속 프레임들의 각각의 프레임은 상기 제1 이미지 평면의 이미지 콘텐츠를 포함하는 제1 세그먼트 및 상기 제2 이미지 평면의 이미지 콘텐츠를 포함하는 제2 세그먼트를 포함하고, 상기 제1 세그먼트 및 상기 제2 세그먼트는 각각 복수의 픽셀들을 포함하고, 각각의 픽셀은 픽셀 값과 연관되고, 상기 장치는,
    참조 프레임의 제1 세그먼트의 확장 영역을 생성하도록 구성되는 세그먼트 확장 유닛- 상기 확장 영역은 복수의 확장 픽셀들을 포함하고, 각각의 확장 픽셀에 대해 상기 세그먼트 확장 유닛은 상기 참조 프레임의 제2 세그먼트의 픽셀의 픽셀 값에 기초하여 상기 확장 픽셀의 픽셀 값을 결정하도록 구성됨 -; 및
    현재 프레임의 제1 세그먼트의 인코딩된 비디오 코딩 블록과 참조 블록의 픽셀들의 픽셀 값들에 기초하여 상기 현재 프레임의 제1 세그먼트의 비디오 코딩 블록의 픽셀들의 픽셀 값들을 재구성하도록 구성되는 인터 예측 재구성 유닛- 상기 참조 블록은 상기 참조 프레임의 제1 세그먼트에 전체적으로 또는 부분적으로 또는 상기 참조 프레임의 제1 세그먼트의 확장 영역에 전체적으로 또는 부분적으로 위치됨 -을 포함하고,
    각각의 확장 픽셀에 대해 상기 세그먼트 확장 유닛은 매핑을 사용하여 상기 참조 프레임의 제2 세그먼트의 픽셀의 픽셀 값에 기초하여 상기 확장 픽셀의 픽셀 값을 결정하도록 구성되거나
    -상기 참조 프레임의 제2 세그먼트의 픽셀을 상기 참조 프레임의 제1 세그먼트의 이미지 평면에 매핑하도록 구성되거나,
    또는
    -상기 확장 픽셀을 상기 제2 이미지 평면에 매핑하도록 구성되고,
    상기 매핑은, 상기 참조 프레임의 제2 세그먼트의 픽셀
    Figure 112021500260707-pct00176
    를 3차원 공간에서의 포인트
    Figure 112021500260707-pct00177
    에 투영하는 단계- 상기 포인트
    Figure 112021500260707-pct00178
    는 상기 참조 프레임의 제2 세그먼트의 픽셀
    Figure 112021500260707-pct00179
    를 카메라 위치
    Figure 112021500260707-pct00180
    와 연결하는 라인 상에 놓임 -; 상기 참조 프레임의 제2 세그먼트의 이미지 평면을 상기 참조 프레임의 제1 세그먼트의 이미지 평면에 대해 평행 배향으로 회전시키기 위한 회전을 수행하는 단계; 및 상기 참조 프레임의 제1 세그먼트의 이미지 평면에서의 포인트
    Figure 112021500260707-pct00181
    에 상기 포인트
    Figure 112021500260707-pct00182
    를 투영하는 단계- 상기 참조 프레임의 제1 세그먼트의 이미지 평면에서의 포인트
    Figure 112021500260707-pct00183
    는 확장 픽셀을 정의함 -를 포함하고,
    상기 매핑은 다음의 호모그래피 행렬
    Figure 112021500260707-pct00184
    에 기초하고,

    Figure 112021500260707-pct00185

    여기서
    Figure 112021500260707-pct00186
    및
    Figure 112021500260707-pct00187
    는 상기 참조 프레임의 제1 세그먼트 및 제2 세그먼트에 대한 카메라 캘리브레이션 행렬들을 나타내고,
    Figure 112021500260707-pct00188
    는 상기 참조 프레임의 제1 세그먼트의 이미지 평면과 제2 세그먼트의 이미지 평면 사이의 각도를 나타내고,
    Figure 112021500260707-pct00189
    는 회전을 나타내고,
    Figure 112021500260707-pct00190
    는 카메라 위치
    Figure 112021500260707-pct00191
    로부터의 거리를 나타내는 디코딩 장치.
  5. 제4항에 있어서,
    상기 디코딩 장치는 상기 참조 프레임의 제1 세그먼트를 상기 참조 프레임의 제1 세그먼트의 확장 영역과 함께 저장하도록 구성되는 참조 프레임 버퍼(209)를 추가로 포함하는 디코딩 장치.
  6. 제4항에 있어서,
    상기 제1 세그먼트 및 상기 제2 세그먼트는 정육면체 또는 20면체의 상이한 면들에 대응하는 디코딩 장치.
  7. 제4항에 있어서,
    상기 세그먼트 확장 유닛은 플래그/정보에 기초하여 각각의 비디오 코딩 블록에 대한 블록 레벨에서, 프레임 레벨에서, GOP(group of pictures) 레벨에서, PPS(picture parameter set) 레벨에서 또는 SPS(sequence parameter set) 레벨에서 세그먼트 확장을 수행하도록 구성되는- 상기 플래그의 상태에 기초하여, 세그먼트 확장 동작이 인에이블되거나 또는 디스에이블될 수 있음 - 디코딩 장치.
  8. 비디오 신호를 인코딩하기 위한 방법으로서,
    상기 비디오 신호는 제1 이미지 평면의 비디오 콘텐츠 및 제2 이미지 평면의 비디오 콘텐츠를 포함하는 비디오 콘텐츠를 포함하고, 상기 비디오 콘텐츠는 복수의 연속 프레임들의 형태로 제공되고, 상기 복수의 연속 프레임들의 각각의 프레임은 상기 제1 이미지 평면의 이미지 콘텐츠를 포함하는 제1 세그먼트 및 상기 제2 이미지 평면의 이미지 콘텐츠를 포함하는 제2 세그먼트를 포함하고, 상기 제1 세그먼트 및 상기 제2 세그먼트는 각각 복수의 픽셀들을 포함하고, 각각의 픽셀은 픽셀 값과 연관되고, 상기 방법은,
    참조 프레임의 제1 세그먼트의 확장 영역을 생성하는 단계- 상기 확장 영역은 복수의 확장 픽셀들을 포함하고, 상기 확장 영역을 생성하는 단계는, 각각의 확장 픽셀에 대해, 상기 참조 프레임의 제2 세그먼트의 픽셀의 픽셀 값에 기초하여 상기 확장 픽셀의 픽셀 값을 결정하는 단계를 포함함 -;
    후보 참조 블록들의 세트 중에서 참조 블록을 선택하는 단계- 상기 후보 참조 블록들의 세트는 상기 참조 프레임의 제1 세그먼트의 확장 영역에 전체적으로 또는 부분적으로 위치되는 후보 참조 블록을 포함함 -;
    현재 프레임의 제1 세그먼트의 비디오 코딩 블록의 픽셀들의 픽셀 값들을 상기 비디오 코딩 블록의 픽셀들의 픽셀 값들 및 상기 선택된 참조 블록의 픽셀들의 픽셀 값들에 기초하여 인코딩하는 단계; 및
    매핑을 사용하여 상기 참조 프레임의 제2 세그먼트의 픽셀의 픽셀 값에 기초하여 상기 확장 픽셀의 픽셀 값을 결정하거나
    - 상기 참조 프레임의 제2 세그먼트의 픽셀을 상기 제1 이미지 평면에 매핑하거나,
    또는
    - 상기 확장 픽셀을 상기 제2 이미지 평면에 매핑하는 단계를 포함하고,
    상기 매핑은, 상기 참조 프레임의 제2 세그먼트의 픽셀
    Figure 112020063387610-pct00192
    를 3차원 공간에서의 포인트
    Figure 112020063387610-pct00193
    에 투영하는 단계- 상기 포인트
    Figure 112020063387610-pct00194
    는 상기 참조 프레임의 제2 세그먼트의 픽셀
    Figure 112020063387610-pct00195
    를 카메라 위치
    Figure 112020063387610-pct00196
    와 연결하는 라인 상에 놓임 -; 상기 참조 프레임의 제2 세그먼트의 이미지 평면을 상기 참조 프레임의 제1 세그먼트의 이미지 평면에 대해 평행 배향으로 회전시키기 위한 회전을 수행하는 단계; 및 상기 참조 프레임의 제1 세그먼트의 이미지 평면에서의 포인트
    Figure 112020063387610-pct00197
    에 상기 포인트
    Figure 112020063387610-pct00198
    를 투영하는 단계- 상기 참조 프레임의 제1 세그먼트의 이미지 평면에서의 포인트
    Figure 112020063387610-pct00199
    는 확장 픽셀을 정의함 -를 포함하거나 또는 이들과 동등하고,
    상기 매핑은 다음의 호모그래피 행렬
    Figure 112020063387610-pct00200
    에 기초하고,

    Figure 112020063387610-pct00201

    여기서
    Figure 112020063387610-pct00202
    및
    Figure 112020063387610-pct00203
    는 상기 참조 프레임의 제1 세그먼트 및 제2 세그먼트에 대한 카메라 캘리브레이션 행렬들을 나타내고,
    Figure 112020063387610-pct00204
    는 상기 참조 프레임의 제1 세그먼트의 이미지 평면과 제2 세그먼트의 이미지 평면 사이의 각도를 나타내고,
    Figure 112020063387610-pct00205
    는 회전을 나타내고,
    Figure 112020063387610-pct00206
    는 카메라 위치
    Figure 112020063387610-pct00207
    로부터의 거리를 나타내는 방법.
  9. 인코딩된 비디오 신호를 디코딩하기 위한 방법으로서,
    상기 인코딩된 비디오 신호는 제1 이미지 평면의 비디오 콘텐츠 및 제2 이미지 평면의 비디오 콘텐츠를 포함하는 비디오 콘텐츠를 포함하고, 상기 비디오 콘텐츠는 복수의 연속 프레임들의 인코딩된 형태로 제공되고, 상기 복수의 연속 프레임들의 각각의 프레임은 상기 제1 이미지 평면의 이미지 콘텐츠를 포함하는 제1 세그먼트 및 상기 제2 이미지 평면의 이미지 콘텐츠를 포함하는 제2 세그먼트를 포함하고, 상기 제1 세그먼트 및 상기 제2 세그먼트는 각각 복수의 픽셀들을 포함하고, 각각의 픽셀은 픽셀 값과 연관되고, 상기 방법은,
    참조 프레임의 제1 세그먼트의 확장 영역을 생성하는 단계- 상기 확장 영역은 복수의 확장 픽셀들을 포함하고, 상기 확장 영역을 생성하는 단계는, 각각의 확장 픽셀에 대해, 상기 참조 프레임의 제2 세그먼트의 픽셀의 픽셀 값에 기초하여 상기 확장 픽셀의 픽셀 값을 결정하는 단계를 포함함 -;
    현재 프레임의 제1 세그먼트의 인코딩된 비디오 코딩 블록과 참조 블록의 픽셀들의 픽셀 값들에 기초하여 상기 현재 프레임의 제1 세그먼트의 비디오 코딩 블록의 픽셀들의 픽셀 값들을 재구성하는 단계- 상기 참조 블록은 상기 참조 프레임의 제1 세그먼트에 전체적으로 또는 부분적으로 또는 상기 참조 프레임의 제1 세그먼트의 확장 영역에 전체적으로 또는 부분적으로 위치됨 -; 및
    매핑을 사용하여 상기 참조 프레임의 제2 세그먼트의 픽셀의 픽셀 값에 기초하여 상기 확장 픽셀의 픽셀 값을 결정하거나
    -상기 참조 프레임의 제2 세그먼트의 픽셀을 상기 참조 프레임의 제1 세그먼트의 이미지 평면에 매핑하거나,
    또는
    -상기 확장 픽셀을 상기 제2 이미지 평면에 매핑하는 단계를 포함하고,
    상기 매핑은, 상기 참조 프레임의 제2 세그먼트의 픽셀
    Figure 112021500260707-pct00208
    를 3차원 공간에서의 포인트
    Figure 112021500260707-pct00209
    에 투영하는 단계- 상기 포인트
    Figure 112021500260707-pct00210
    는 상기 참조 프레임의 제2 세그먼트의 픽셀
    Figure 112021500260707-pct00211
    를 카메라 위치
    Figure 112021500260707-pct00212
    와 연결하는 라인 상에 놓임 -; 상기 참조 프레임의 제2 세그먼트의 이미지 평면을 상기 참조 프레임의 제1 세그먼트의 이미지 평면에 대해 평행 배향으로 회전시키기 위한 회전을 수행하는 단계; 및 상기 참조 프레임의 제1 세그먼트의 이미지 평면에서의 포인트
    Figure 112021500260707-pct00213
    에 상기 포인트
    Figure 112021500260707-pct00214
    를 투영하는 단계- 상기 참조 프레임의 제1 세그먼트의 이미지 평면에서의 포인트
    Figure 112021500260707-pct00215
    는 확장 픽셀을 정의함 -를 포함하고,
    상기 매핑은 다음의 호모그래피 행렬
    Figure 112021500260707-pct00216
    에 기초하고,

    Figure 112021500260707-pct00217

    여기서
    Figure 112021500260707-pct00218
    및
    Figure 112021500260707-pct00219
    는 상기 참조 프레임의 제1 세그먼트 및 제2 세그먼트에 대한 카메라 캘리브레이션 행렬들을 나타내고,
    Figure 112021500260707-pct00220
    는 상기 참조 프레임의 제1 세그먼트의 이미지 평면과 제2 세그먼트의 이미지 평면 사이의 각도를 나타내고,
    Figure 112021500260707-pct00221
    는 회전을 나타내고,
    Figure 112021500260707-pct00222
    는 카메라 위치
    Figure 112021500260707-pct00223
    로부터의 거리를 나타내는 방법.
  10. 비-일시적 컴퓨터 판독 가능 매체로서,
    컴퓨터로 하여금 상기 컴퓨터 상에서 실행될 때 제8항 또는 제9항의 방법을 수행하게 하기 위한 프로그램 코드를 포함하는 비-일시적 컴퓨터 판독 가능 매체.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
KR1020197009457A 2016-09-30 2016-09-30 비디오 신호를 인코딩 및 디코딩하기 위한 장치들, 방법들 및, 컴퓨터 판독 가능 매체 KR102210274B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2016/001625 WO2018059654A1 (en) 2016-09-30 2016-09-30 Apparatuses and methods for encoding and decoding a panoramic video signal

Publications (2)

Publication Number Publication Date
KR20190043597A KR20190043597A (ko) 2019-04-26
KR102210274B1 true KR102210274B1 (ko) 2021-02-01

Family

ID=57068032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197009457A KR102210274B1 (ko) 2016-09-30 2016-09-30 비디오 신호를 인코딩 및 디코딩하기 위한 장치들, 방법들 및, 컴퓨터 판독 가능 매체

Country Status (13)

Country Link
US (1) US10848771B2 (ko)
EP (1) EP3513561A1 (ko)
JP (1) JP6835397B2 (ko)
KR (1) KR102210274B1 (ko)
CN (1) CN109804631B (ko)
AU (1) AU2016424515B2 (ko)
BR (1) BR112019005213B1 (ko)
CA (1) CA3037398C (ko)
IL (1) IL265458B2 (ko)
MX (1) MX2019003557A (ko)
MY (1) MY194445A (ko)
RU (1) RU2729966C1 (ko)
WO (1) WO2018059654A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) * 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
EP3741126A1 (en) 2018-03-02 2020-11-25 Huawei Technologies Co., Ltd. Apparatus and method for picture coding with selective loop-filtering
WO2020001790A1 (en) * 2018-06-29 2020-01-02 Huawei Technologies Co., Ltd. Apparatuses and methods for encoding and decoding a video signal

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5235419A (en) 1991-10-24 1993-08-10 General Instrument Corporation Adaptive motion compensation using a plurality of motion compensators
US5376968A (en) 1993-03-11 1994-12-27 General Instrument Corporation Adaptive compression of digital video data using different modes such as PCM and DPCM
US6005980A (en) 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
US20030099294A1 (en) 2001-11-27 2003-05-29 Limin Wang Picture level adaptive frame/field coding for digital video content
US6980596B2 (en) 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
US7162094B2 (en) 2001-11-27 2007-01-09 General Instrument Corporation Frequency coefficient scanning paths for coding digital video content
US7184609B2 (en) 2002-06-28 2007-02-27 Microsoft Corp. System and method for head size equalization in 360 degree panoramic images
JP2005159824A (ja) * 2003-11-27 2005-06-16 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそれらの記録媒体
US7999842B1 (en) * 2004-05-28 2011-08-16 Ricoh Co., Ltd. Continuously rotating video camera, method and user interface for using the same
KR100700218B1 (ko) 2004-08-13 2007-03-27 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상을 위해 가상 영상영역을 생성하는 방법 및 장치
US7627194B2 (en) * 2004-08-13 2009-12-01 Samsung Electronics Co., Ltd. Method and device for making virtual image region for motion estimation and compensation of panorama image
EP2081386A1 (en) * 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
JP5544361B2 (ja) * 2008-08-26 2014-07-09 コーニンクレッカ フィリップス エヌ ヴェ 三次元ビデオ信号を符号化するための方法及びシステム、三次元ビデオ信号を符号化するための符号器、三次元ビデオ信号を復号するための方法及びシステム、三次元ビデオ信号を復号するための復号器、およびコンピュータ・プログラム
US9277122B1 (en) 2015-08-13 2016-03-01 Legend3D, Inc. System and method for removing camera rotation from a panoramic video
CN109417632B (zh) * 2016-07-08 2023-08-04 Vid拓展公司 使用几何图形投影的360度视频编码

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Bernhard Geiger et. al., "Panoramic Views for Virtual Endoscopy", Medical Image Computing and Computer-Assisted Intervention - MICCAI 2005: 8th International Conference, Palm Springs, CA, USA, October 26-29, 2005, Proceedings, Part I (pp.662-9), 2005.02.28.*
Ke Chen et. al., "Expanding Line Search for Panorama Motion Estimation", 2009 11th IEEE International Symposium on Multimedia, 2009.12.14.*
Kehua Jiang et. al., "Compression of cubic-panorama datasets with spatially consistent representation", 2006 IEEE International Workshop on Haptic Audio Visual Environments and their Applications (HAVE 2006), 2006.11.04.*

Also Published As

Publication number Publication date
US20190230368A1 (en) 2019-07-25
BR112019005213B1 (pt) 2024-01-09
RU2729966C1 (ru) 2020-08-13
KR20190043597A (ko) 2019-04-26
IL265458A (en) 2019-05-30
EP3513561A1 (en) 2019-07-24
AU2016424515A1 (en) 2019-04-04
AU2016424515B2 (en) 2022-06-16
CA3037398A1 (en) 2018-04-05
WO2018059654A1 (en) 2018-04-05
CN109804631A (zh) 2019-05-24
JP6835397B2 (ja) 2021-02-24
JP2019534603A (ja) 2019-11-28
CN109804631B (zh) 2021-09-14
IL265458B2 (en) 2023-08-01
CA3037398C (en) 2022-08-16
US10848771B2 (en) 2020-11-24
BR112019005213A2 (pt) 2019-06-11
IL265458B1 (en) 2023-04-01
MX2019003557A (es) 2019-08-12
MY194445A (en) 2022-11-30

Similar Documents

Publication Publication Date Title
US11706531B2 (en) Image data encoding/decoding method and apparatus
WO2017157259A1 (en) Method and apparatus of video coding with affine motion compensation
US20240187647A1 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
KR102210274B1 (ko) 비디오 신호를 인코딩 및 디코딩하기 위한 장치들, 방법들 및, 컴퓨터 판독 가능 매체
US11831914B2 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
US11330268B2 (en) Apparatus and methods for encoding and decoding a video signal

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant