KR20200045012A

KR20200045012A - 상호작용성을 위한 모션-구속된 타일 세트들 sei 메시지의 확장들

Info

Publication number: KR20200045012A
Application number: KR1020207011788A
Authority: KR
Inventors: 쳉 아우옝; 쳉 아우?; 준 슈; 알리 타바타바이
Original assignee: 소니 주식회사
Priority date: 2013-07-15
Filing date: 2014-07-15
Publication date: 2020-04-29
Also published as: CN109862373A; JP6350717B2; EP3008896A4; CN109862373B; WO2015009676A1; US20210021839A1; CN105359512B; EP3008896A1; JP6610705B2; US10841592B2; JP2017184258A; KR20170129975A; US20150016504A1; EP3008896B1; CN105359512A; KR102107270B1; KR102107286B1; KR20200045013A; US20190246116A1; KR20160019091A

Abstract

모션-구속된 타일 세트들 SEI 메시지에 대한 확장은 모든 타일들이 독립적으로 디코딩 가능함을 시그널링하고 ROI당 하나 초과의 타일들을 가질 수 있는 ROI들을 시그널링하기 위한 기능성을 제공한다. 이 확장으로, 사용자 상호작용성에 기초하여 코딩 트리 유닛 레벨에서 CVS 내의 임의의 독립적으로 디코딩 가능한 관심 영역을 재정의하기 위한 기능성이 가능해진다. 확장은 예컨대 상호작용형 울트라 고화질 텔레비전(UHDTV), 동적 고품질 줌-인 애플리케이션, 상호작용형 주문, e-학습, 스마트 감시, 및 많은 다른 애플리케이션들 등의 다양한 애플리케이션들에 활용되는 상호작용성을 지원한다. 부가적으로, 일시적 MCTS SEI 메시지는 디코더가 단지 ROI를 디스플레이할 필요가 있음을 디코더에 명시적으로 시그널링하기 위해 타일형 스트리밍을 위한 인코더에 의해 이용될 수 있다.

Description

상호작용성을 위한 모션-구속된 타일 세트들 SEI 메시지의 확장들{EXTENSIONS OF MOTION-CONSTRAINED TILE SETS SEI MESSAGE FOR INTERACTIVITY}

관련 출원(들)에 대한 상호 참조

이 출원은 2013년 7월 15일 출원되고 제목이 "EXTENSION OF MOTION-CONSTRAINED TILE SETS SEI MESSAGE FOR INTERACTIVITY"인 미국 특허 가출원 일련 번호 제61/846,555호, 2013년 7월 29일 출원되고 제목이 "EXTENSIONS OF MOTION-CONSTRAINED TILE SETS SEI MESSAGE FOR INTERACTIVITY"인 미국 특허 가출원 일련 번호 제61/859,347호, 2014년 1월 3일 출원되고 제목이 "HLS: EXTENSION TO TEMPORAL MOTION CONSTRAINED TILE SETS SEI MESSAGE FOR NO DISPLAY"인 미국 특허 가출원 일련 번호 제61/923,351호, 2014년 1월 16일 출원되고 제목이 "HLS: EXTENSION TO TEMPORAL MOTION CONSTRAINED TILE SETS SEI MESSAGE FOR NO DISPLAY"인 미국 특허 가출원 일련 번호 제61/928,107호의 우선권을 35 U.S.C.§119(e) 규정에 따라 주장하고, 이들은 모두 그 전체 내용들이 모든 목적들을 위해 본 명세서에 참조되어 포함된다.

본 발명은 영상(imaging)의 분야에 관한 것이다. 더 구체적으로, 본 발명은 비디오 코딩에 관한 것이다.

범위 확장들 텍스트 명세서, 초안 3의 모션-구속된 타일 세트들은 모든 타일들이 독립적으로 디코딩 가능함을 시그널링하기 위한 그리고 ROI당 하나 초과의 타일을 가질 수 있는 관심 영역들(Regions of Interest, ROI)을 시그널링하기 위한 기능성을 갖고 있지 않다.

모션-구속된 타일 세트들 SEI 메시지에 대한 확장은 모든 타일들이 독립적으로 디코딩 가능함을 시그널링하고 ROI당 하나 초과의 타일을 가질 수 있는 ROI들을 시그널링하기 위한 기능성을 제공한다. 이러한 확장에 의해, 사용자 상호작용성에 기초하여 코딩 트리 유닛 레벨에서 CVS 내의 임의의 독립적으로 디코딩 가능한 관심 영역을 재정의하는 기능성이 가능해진다. 확장은 예컨대 상호작용형 울트라 고화질 텔레비전(UHDTV), 동적 고품질 줌-인 애플리케이션, 상호작용형 주문, e-학습, 스마트 감시, 및 많은 다른 애플리케이션들 등의 다양한 애플리케이션들에 활용되는 상호작용성을 지원한다. 부가적으로, 일시적 MCTS SEI 메시지는 디코더가 단지 ROI를 디스플레이할 필요가 있음을 디코더에 명시적으로 시그널링하기 위해 타일형 스트리밍을 위한 인코더에 의해 이용될 수 있다.

일 양태에서, 디바이스의 비일시적 메모리에 프로그래밍된 방법은, 비디오의 비트스트림을 수신하는 단계 - 상기 비트스트림은 보충적 보강 정보 메시지를 포함하고, 추가로, 상기 보충적 정보 메시지는 모든 타일들이 독립적으로 디코딩 가능하고 관심 영역들이 관심 영역당 하나 초과의 타일을 가질 수 있음을 시그널링함 -; 및 상기 디바이스에서 상기 비트스트림을 디코딩하는 단계를 포함한다. 상기 비디오의 기저 층의 모든 타일들은 독립적으로 디코딩 가능하다. 상기 비디오의 보강 층의 모든 타일들은 독립적으로 디코딩 가능하다. 디코딩하는 단계는 보강 층 내의 관심 영역을 기저 층 내의 관심 영역에 맵핑하는 것을 제공하는 단계를 포함한다. 디코딩하는 단계는 기저 층 내의 관심 영역을 보강 층 내의 관심 영역에 맵핑하는 것을 제공하는 단계를 포함한다. 상기 비디오의 관심 영역이 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 상기 디바이스 상에 제시된다. 상기 비디오의 관심 영역은 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 제2 디바이스 상에 제시된다. 상기 비디오의 관심 영역은 디렉터에 의해 선택되고, 상기 디렉터에 의해 선택되는 상기 관심 영역은 사용자의 상기 디바이스 상에 제시된다. 상기 비디오는 독립적으로 디코딩 가능한 타일들로 그리고 하나 이상의 해상도 층들에서 인코딩되고, 서버 상에 저장된다. 상이한 사용자들이 상기 비디오의 상이한 해상도 층들을 요청한다. 상이한 디렉터들이 상기 비디오의 상이한 해상도 층들을 요청한다. 상기 보충적 보강 정보 메시지는 선택되는 관심 영역의 외부의 코딩 트리 블록들을 지시하고, 상기 선택되는 관심 영역의 외부의 코딩 트리 블록들은 디스플레이되지 않는다. 상기 보충적 보강 정보 메시지는 선택되는 관심 영역의 외부의 코딩 트리 블록들을 지시하고, 상기 선택되는 관심 영역 외부의 코딩 트리 블록들은 비트레이트를 감소시키기 위해 그레이 타일들로서 인코딩된다.

다른 양태에서, 시스템은, 애플리케이션을 저장하도록 구성된 비일시적 메모리 - 상기 애플리케이션은 비디오의 비트스트림을 수신하고 - 상기 비트스트림은 보충적 보강 정보 메시지를 포함하고, 추가로, 상기 보충적 정보 메시지는 모든 타일들이 독립적으로 디코딩 가능하고 관심 영역들이 관심 영역당 하나 초과의 타일을 가질 수 있음을 시그널링함 -; 상기 비트스트림을 디코딩하도록 구성됨 -; 및 디코딩된 상기 비트스트림을 디스플레이하도록 구성된 디스플레이를 포함한다. 상기 비디오의 기저 층의 모든 타일들은 독립적으로 디코딩 가능하다. 상기 비디오의 보강 층의 모든 타일들은 독립적으로 디코딩 가능하다. 디코딩은 보강 층 내의 관심 영역을 기저 층 내의 관심 영역에 맵핑하는 것을 제공하는 것을 포함한다. 디코딩은 기저 층 내의 관심 영역을 보강 층 내의 관심 영역에 맵핑하는 것을 제공하는 것을 포함한다. 상기 비디오의 관심 영역이 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 디바이스 상에 제시된다. 상기 비디오의 관심 영역은 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 제2 디바이스 상에 제시된다. 상기 비디오의 관심 영역은 디렉터에 의해 선택되고, 상기 디렉터에 의해 선택되는 상기 관심 영역은 사용자의 디바이스 상에 제시된다. 상기 비디오는 독립적으로 디코딩 가능한 타일들로 그리고 하나 이상의 해상도 층들에서 인코딩되고, 서버 상에 저장된다. 상이한 사용자들이 상기 비디오의 상이한 해상도 층들을 요청한다. 상이한 디렉터들이 상기 비디오의 상이한 해상도 층들을 요청한다. 상기 보충적 보강 정보 메시지는 선택되는 관심 영역의 외부의 코딩 트리 블록들을 지시하고, 상기 선택되는 관심 영역의 외부의 코딩 트리 블록들은 디스플레이되지 않는다. 상기 보충적 보강 정보 메시지는 선택되는 관심 영역의 외부의 코딩 트리 블록들을 지시하고, 상기 선택되는 관심 영역 외부의 코딩 트리 블록들은 비트레이트를 감소시키기 위해 그레이 타일들로서 인코딩된다.

다른 양태에서, 장치는, 애플리케이션을 저장하는 비일시적 메모리 - 상기 애플리케이션은 비디오의 비트스트림을 수신하고 - 상기 비트스트림은 보충적 보강 정보 메시지를 포함하고, 추가로, 상기 보충적 정보 메시지는 모든 타일들이 독립적으로 디코딩 가능하고 관심 영역들이 관심 영역당 하나 초과의 타일을 가질 수 있음을 시그널링함 -; 상기 비트스트림을 디코딩하도록 구성됨 -; 및 상기 메모리에 연결된 처리 컴포넌트를 포함하고, 상기 처리 컴포넌트는 상기 애플리케이션을 처리하도록 구성된다. 상기 비디오의 기저 층의 모든 타일들은 독립적으로 디코딩 가능하다. 상기 비디오의 보강 층의 모든 타일들은 독립적으로 디코딩 가능하다. 디코딩은 보강 층 내의 관심 영역을 기저 층 내의 관심 영역에 맵핑하는 것을 제공하는 것을 포함한다. 디코딩은 기저 층 내의 관심 영역을 보강 층 내의 관심 영역에 맵핑하는 것을 제공하는 것을 포함한다. 상기 비디오의 관심 영역이 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 디바이스 상에 제시된다. 상기 비디오의 관심 영역은 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 제2 디바이스 상에 제시된다. 상기 비디오의 관심 영역은 디렉터에 의해 선택되고, 상기 디렉터에 의해 선택되는 상기 관심 영역은 사용자의 디바이스 상에 제시된다. 상기 비디오는 독립적으로 디코딩 가능한 타일들로 그리고 하나 이상의 해상도 층들에서 인코딩되고, 서버 상에 저장된다. 상이한 사용자들이 상기 비디오의 상이한 해상도 층들을 요청한다. 상이한 디렉터들이 상기 비디오의 상이한 해상도 층들을 요청한다. 상기 보충적 보강 정보 메시지는 선택되는 관심 영역의 외부의 코딩 트리 블록들을 지시하고, 상기 선택되는 관심 영역의 외부의 코딩 트리 블록들은 디스플레이되지 않는다. 상기 보충적 보강 정보 메시지는 선택되는 관심 영역의 외부의 코딩 트리 블록들을 지시하고, 상기 선택되는 관심 영역 외부의 코딩 트리 블록들은 비트레이트를 감소시키기 위해 그레이 타일들로서 인코딩된다.

또 다른 양태에서, 디바이스의 비일시적 메모리에 프로그래밍된 방법은, 기저 층 및 하나 이상의 보강 층들을 갖는 비디오의 비트스트림을 수신하는 단계 - 상기 비트스트림은 보강 층의 보충적 보강 정보 메시지를 포함하고, 추가로, 모든 타일들이 그 층 내의 임의의 다른 타일들과는 독립적으로 디코딩 가능하고 관심 영역들이 그 층 내의 관심 영역당 하나 초과의 타일을 갖는 것을 시그널링할 수 있는 상기 보충적 정보 메시지는 층간 구속된 타일 세트들과 함께 이용됨 -; 및 상기 디바이스에서 상기 비트스트림을 디코딩하는 단계를 포함한다. 상기 비디오의 관심 영역이 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 상기 디바이스 상에 제시된다. 상기 비디오의 관심 영역은 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 제2 디바이스 상에 제시된다. 상기 비디오의 관심 영역은 디렉터에 의해 선택되고, 상기 디렉터에 의해 선택되는 상기 관심 영역은 사용자의 디바이스 상에 제시된다. 상이한 사용자들이 비디오의 상이한 해상도 층들을 요청한다. 상이한 디렉터들이 비디오의 상이한 해상도 층들을 요청한다.

다른 양태에서, 시스템은, 애플리케이션을 저장하도록 구성된 비일시적 메모리 - 상기 애플리케이션은 기저 층 및 하나 이상의 보강 층들을 갖는 비디오의 비트스트림을 수신하고 - 상기 비트스트림은 보강 층의 보충적 보강 정보 메시지를 포함하고, 추가로, 모든 타일들이 그 층 내의 임의의 다른 타일들과는 독립적으로 디코딩 가능하고 관심 영역들이 그 층 내의 관심 영역당 하나 초과의 타일을 갖는 것을 시그널링할 수 있는 상기 보충적 정보 메시지는 층간 구속된 타일 세트들과 함께 이용됨 -; 및 상기 비트스트림을 디코딩하도록 구성됨 -; 및 디코딩된 상기 비트스트림을 디스플레이하도록 구성된 디스플레이를 포함한다. 상기 비디오의 관심 영역이 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 디바이스 상에 제시된다. 상기 비디오의 관심 영역은 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 제2 디바이스 상에 제시된다. 상기 비디오의 관심 영역은 디렉터에 의해 선택되고, 상기 디렉터에 의해 선택되는 상기 관심 영역은 사용자의 디바이스 상에 제시된다. 상이한 사용자들이 비디오의 상이한 해상도 층들을 요청한다. 상이한 디렉터들이 비디오의 상이한 해상도 층들을 요청한다.

다른 양태에서, 장치는, 애플리케이션을 저장하는 비일시적 메모리 - 상기 애플리케이션은 기저 층 및 하나 이상의 보강 층들을 갖는 비디오의 비트스트림을 수신하고 - 보강 층의 보충적 보강 정보 메시지를 포함하고, 추가로, 상기 보충적 정보 메시지는 모든 타일들이 그 층 내의 임의의 다른 타일들과는 독립적으로 디코딩 가능하고 관심 영역들이 그 층 내의 관심 영역당 하나 초과의 타일을 갖는 것을 시그널링할 수 있는 상기 비트스트림은 층간 구속된 타일 세트들과 함께 이용됨 -; 및 상기 비트스트림을 디코딩하도록 구성됨 -; 및 상기 메모리에 연결된 처리 컴포넌트를 포함하고, 상기 처리 컴포넌트는 상기 애플리케이션을 처리하도록 구성된다. 상기 비디오의 관심 영역이 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 디바이스 상에 제시된다. 상기 비디오의 관심 영역은 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 제2 디바이스 상에 제시된다. 상기 비디오의 관심 영역은 디렉터에 의해 선택되고, 상기 디렉터에 의해 선택되는 상기 관심 영역은 사용자의 디바이스 상에 제시된다. 상이한 사용자들이 비디오의 상이한 해상도 층들을 요청한다. 상이한 디렉터들이 비디오의 상이한 해상도 층들을 요청한다.

도 1은 일부 실시예들에 따른 타일형 스트리밍의 예를 도해한다.
도 2는 일부 실시예들에 따른 최소 비트들로 ROI의 외부의 타일들을 재인코딩하는 것의 다이어그램을 도해한다.
도 3은 일부 실시예들에 따른 타일형 스트리밍의 방법의 흐름도를 도해한다.
도 4는 일부 실시예들에 따른 타일형 스트리밍의 방법의 흐름도를 도해한다.
도 5는 일부 실시예들에 따른 타일형 스트리밍의 방법의 흐름도를 도해한다.
도 6은 일부 실시예들에 따른 타일형 스트리밍 방법을 구현하도록 구성된 예시적 컴퓨팅 디바이스의 블록도를 도해한다.

고효율 비디오 코딩(HEVC) 표준의 버전 1에서, tiles_enabled_flag가 1과 같을 때, 각각의 픽처는 타일들로서 알려진 직사각형 영역들로 구성된다. 범위 확장들 텍스트 명세서: 초안 3에서, 이러한 타일들은 관심 영역들(ROI들)로서 알려진 타일 세트들의 컬렉션을 형성하도록 수집될 수 있다. 타일 세트들은 모션-구속된 타일 세트들 보충 보강 정보(SEI) 메시지들에 의해 독립적으로 디코딩 가능한 것으로서 지시될 수 있다.

그러한 HEVC 타일 구조는 상호작용형 타일 스트리밍에 적용될 수 있다. 타일형 스트리밍의 예는 다중-해상도 파노라마 비디오가 상이한 ROI들과 해상도들로 구성되는 비디오들로 분할될 수 있는 애플리케이션이다.

모션-구속된 타일 세트들 SEI 메시지에의 확장은 모든 타일들이 독립적으로 디코딩 가능함을 시그널링하고 ROI당 하나 초과의 타일을 가질 수 있는 ROI들을 시그널링하기 위한 기능성을 제공한다. 이 확장으로, 사용자, 또는 디렉터 상호작용성에 기초하여 타일 레벨에서 코딩된 비디오 스트림(CVS) 내의 임의의 독립적으로 디코딩 가능한 관심 영역을 재정의하기 위한 기능성이 가능해진다. 디렉터는 콘텐츠를 제어하고/하거나 콘텐츠를 수정할 수 있는 사람이다(예를 들어, 콘텐츠는 그것이 전송된 사용자들의 그룹에 의존하여 수정됨). 확장은 예컨대 상호작용형 울트라 고화질 텔레비전(UHDTV), 동적 고품질 줌-인 애플리케이션, 상호작용형 주문, e-학습, 스마트 감시, 및 많은 다른 애플리케이션들 등의 다양한 애플리케이션들에 활용되는 상호작용성을 지원한다.

ROI는 하나 이상의 타일들의 합집합으로서 정의된다. 본 명세서에서 기술되는 확장은 단일 층 비디오, 또는 기저 층과 적어도 하나의 보강 층을 가진 비디오에 대해 상호작용적으로 사용자 또는 디렉터에 기초하여 ROI들을 시그널링하기 위해 이용된다. 기저 층의 ROI에 대한 보강 층의 ROI의 맵핑이 있다. 보강 층의 ROI에 대한 기저 층의 ROI의 맵핑이 또한 있다.

본 명세서에서 기술되는 확장은 다음의 경우들에서 공간 확장성 및/또는 신호 대 잡음비(SNR) 확장성을 갖는 다중 층 비디오에 대한 모션 구속된 타일 세트들을 시그널링한다. 본 명세서에서 기술되는 확장을 가진 모션 구속된 타일 세트들이 보강 층에 적용된다(예를 들어, 보강 층의 모든 타일은 보강 층의 다른 타일들과는 독립적으로 디코딩 가능함). 기저 층과 보강 층은 둘 다, 모션 구속된 타일 세트들을 갖는다. 기저 층의 모든 타일은 독립적으로 디코딩 가능하다. 보강 층의 모든 타일은 보강 층의 다른 타일들과는 독립적으로 디코딩 가능하다. 보강 층의 타일은 기저 층의 하나 이상의 타일들에 의존할 수 있다. 디코딩 프로세스에서 기저 층의 ROI에 대한 보강 층의 ROI의 맵핑이 있다. 디코딩 프로세스에서 보강 층의 ROI에 대한 기저 층의 ROI의 맵핑이 있다.

도 1은 일부 실시예들에 따른 타일형 스트리밍의 다이어그램을 도해한다. 사용자는 상호작용적으로 ROI를 선택할 수 있다. 사용자가 ROI를 선택한 후, 선택된 ROI는 디바이스(예를 들어, 텔레비전, 스마트 폰, 태블릿) 상에 제시된다. 상이한 사용자가 상이한 ROI를 원할 수 있기 때문에, 모든 타일들은 독립적으로 디코딩 가능하다. CTU-레벨 트랜스코딩을 회피함으로써 모든 사용자들을 서빙하기 위한 복잡도를 감소시키는 것은 중요하다. 도 1에서, 파노라마 비디오는 서버 측의 다중 해상도 층들에서 그리고 독립적으로 디코딩 가능한 타일들로 인코딩된다. 서버 측의 해상도 층들 중 하나는 8K x 4K 이다. 상이한 뷰어들은 서버가 파노라마 비디오의 상이한 해상도 층들로부터 상이한 ROI들을 전송할 것을 서버에 요청할 수 있다. 도 1에서, 하나의 클라이언트는 해상도 층들 중 하나로부터 클라이언트의 HD 모바일 디바이스 상에서 보여질 영역을 요청한다. 다른 클라이언트는 동일한 해상도 층으로부터 클라이언트의 4K TV 상에서 보여질 상이한 영역을 요청한다. 일반적으로, 클라이언트들은 여러 공간 해상도들 중 하나에서 임의의 ROI들을 선택적으로 볼 수 있다. 도 1은 해상도 층들 중 하나에서 사용자의 서버와의 상호작용성을 도시한다.

타일형 스트리밍을 위한 여러 속성들이 있다. 모든 타일들은 독립적으로 디코딩 가능하다(모션-구속된 타일들). ROI들은 반드시 CVS의 인코딩 시간의 시작 때 결정될 필요는 없다. 일단 ROI들이 CVS에서 인코딩되면, 그들은 CTU 레벨에서 CVS를 재인코딩하지 않고 사용자 상호작용성에 기초하여 수정 또는 재정의될 수 있다. 모션-구속된 타일 세트들(MCTS) SEI는 독립적으로 디코딩 가능한 ROI들의 위치를 시그널링하는 데 사용될 수 있다. 그러나, 일반적으로, MCTS SEI는 다음을 동시에 시그널링할 수 없다: 모든 타일들은 독립적으로 디코딩 가능하고 ROI들의 위치들임. 본 명세서에서 기술되는 확장은 MCTS가 독립적으로 디코딩 가능한 모든 타일들을 지원하도록 그리고 ROI들의 위치들을 시그널링하도록 할 수 있다.

표 1은 확장을 가진 MCTS 신택스를 나타낸다

all_tiles_exact_sample_value_match_flag는 모션-구속된 타일 세트에 대한 exact_sample_value_match_flag의 정의와 유사하지만, 모든 타일들에 적용된다. 0과 같은 all_tiles_exact_sample_value_match_flag는, 코딩된 비디오 시퀀스 내에서, 모션 구속된 타일 세트의 외부에 있는 코딩 트리 블록들이 디코딩되지 않고 모션 구속된 타일 세트의 경계들이 디코딩 프로세스의 목적을 위해 픽처 경계들로서 취급될 때, 모션 구속된 타일 세트 내의 각각의 샘플의 값은, 픽처의 모든 코딩 트리 블록들이 디코딩될 때 동일 샘플의 값과 정확히 동일하지는 않을 수 있음을 지시한다. 1과 같은 all_tiles_exact_sample_value_match_flag는, 코딩된 비디오 시퀀스 내에서, 모션 구속된 타일 세트에 속하지 않은 코딩 트리 블록들이 디코딩되지 않고, 모션 구속된 타일 세트의 경계들이 디코딩 프로세스의 목적을 위해 픽처 경계들로서 취급될 때, 모션 구속된 타일 세트 내의 각각의 샘플의 값은, 코딩된 비디오 시퀀스 내의 모든 픽처들의 모든 코딩 트리 블록들이 디코딩될 때 획득될 샘플의 값과 정확히 동일할 것임을 지시한다. 1과 같은 one_tile_per_tile_set_flag는 각각의 타일이 타일 세트를 형성함을 지시한다.

모션-구속된 타일 세트들 SEI 메시지에 대한 유사한 확장이 또한 JCTVC-N0087 내의 층간 구속된 타일 세트들(inter layer constrained tile sets, ILCTS)에 또한 적용될 수 있다. 특히, 층간에 대한 JCTVC-N0087의 신택스는 모든 타일이 타일 세트일 때 ROI들을 시그널링할 능력을 갖지 않고, 표 2에서와 같이 확장된다.

층간 구속된 타일 세트들

표 2는 수정된 층간 신택스를 나타낸다.

층간 구속된 타일 세트들 SEI 메시지의 범위는 targetLayerId와 같은 nuh_layer_id를 가진 층의 완전한 CLVS이다. CLVS의 임의의 코딩된 픽처에 대해 층간 타일 세트들 SEI 메시지가 존재하고, 디코딩 순서에서 CLVS의 첫 번째 코딩된 픽처가 IRAP 픽처일 때, 층간 타일 세트들 SEI 메시지는 디코딩 순서에서 CLVS의 첫 번째 코딩된 픽처에 대해 존재할 것이고, CLVS의 다른 코딩된 픽처들에 대해서도 또한 존재할 수 있다.

층간 구속된 타일 세트들 SEI 메시지는 층에 대해 활성인 임의의 PPS에 대해 tiles_enabled_flag가 0과 같을 때 targetLayerId와 같은 nuh_layer_id를 가진 층에 대해 존재하지 않을 것이다.

층간 구속된 타일 세트들 SEI 메시지는, targetLayerId와 같은 nuh_layer_id를 가진 층의 CLVS의 픽처들에 대해 활성인 모든 PPS가 1과 같은 tile_boundaries_aligned_flag를 갖지 않는다면, 또는 1과 같은 tile_boundaries_aligned_flag에 의해 지시될 조건들을 충족시키지 않는다면, targetLayerId와 같은 nuh_layer_id를 가진 층에 대해 존재하지 않을 것이다.

식별된 타일 세트는 층간 구속된 타일 세트들 SEI 메시지 내에 포함된 신택스 요소들의 값들에 기초하여 아래에 규정된 타일들을 포함하는 nuh_layer_id targetLayerId를 가진 픽처 내의 타일들의 세트로서 정의된다. ilctsId와 같은 ilcts_id[ipred]를 가진 iPred-번째 식별된 타일 세트에 대한 연관된 참조 타일 세트는, 만일 있다면, 0부터 NumDirectRefLayers[targetLayerId] - 1까지, 양 끝점 포함하는, 범위 내의 j의 임의의 값에 대한, RefLayerId[targetLayerId][j]와 같은 nuh_layer_id 및 ilctsId와 같은 ilcts_id[iRef]와 연관되고 iPred-번째 식별된 타일 세트와 동일한 액세스 유닛 내에 존재하는 식별된 타일 세트로서 정의된다.

층간 구속된 타일 세트들 SEI 메시지의 존재는, 각각의 연관된 참조 타일 세트의 외부의 어떤 샘플 값도, 그리고 각각의 연관된 참조 타일 세트의 외부의 하나 이상의 샘플 값들을 이용하여 유도되는 단편적 샘플 위치에서의 어떤 샘플 값도 식별된 타일 세트 내의 임의의 샘플의 층간 예측을 위해 이용되지 않도록 층간 예측 프로세스가 구속됨을 지시한다.

루프 필터링 및 재샘플링 필터가 타일 경계들에 걸쳐 적용될 때, 픽처 경계가 역시 아닌 연관된 참조 타일 세트 경계로부터의 8개의 샘플들 내의 샘플들을 참조하는 식별된 타일 세트 내의 임의의 샘플들의 층간 예측은 미스매치 에러의 전파를 초래할 수 있다. 인코더는 그러한 참조들을 유발하는 모션 벡터들의 이용을 회피함으로써 그러한 잠재적 에러 전파를 회피할 수 있다.

하나 초과의 층간 구속된 타일 세트들 SEI 메시지가 CLVS에 대해 존재할 때, 그들은 동일한 콘텐츠를 포함할 것이다.

각각의 액세스 유닛에서 동일한 CLVS에 대한 층간 구속된 타일 세트들 SEI 메시지들의 개수는 5를 초과하지 않을 것이다.

1과 같은 il_all_tiles_exact_sample_value_match_flag는, CLVS 내에서, 이 층간 구속된 타일 세트들 SEI 메시지 내에 규정된 임의의 식별된 타일 세트 내의 임의의 타일의 외부에 있는 코딩 트리 블록들이 디코딩되지 않고 타일의 경계들이 디코딩 프로세스의 목적을 위해 픽처 경계들로서 취급될 때, 타일 내의 각각의 샘플의 값은, CLVS 내의 모든 픽처들의 모든 코딩 트리 블록들이 디코딩될 때 획득될 샘플의 값과 정확히 같을 것임을 지시한다. 0과 같은 il_all_tiles_exact_sample_value_match_flag는, CLVS 내에서, 이 층간 구속된 타일 세트들 SEI 메시지 내에 규정된 임의의 식별된 타일 세트 내의 임의의 타일의 외부에 있는 코딩 트리 블록들이 디코딩되지 않고 타일의 경계들이 디코딩 프로세스의 목적을 위해 픽처 경계들로서 취급될 때, 타일 내의 각각의 샘플의 값은, CLVS 내의 모든 픽처들의 모든 코딩 트리 블록들이 디코딩될 때 동일 샘플의 값과 정확히 같을 수 있거나 또는 같지 않을 수 있음을 지시한다. 1과 같은 il_one_tile_per_tile_set_flag는 각각의 식별된 타일 세트가 하나의 타일을 포함하고, il_num_sets_in_message_minus1이 존재하지 않음을 지시한다. il_one_tile_per_tile_set_flag가 1과 같을 때, 다음이 적용된다:

- (num_tile_columns_minus1 + 1) * (num_tile_rows_minus1 + 1)이 256 이하일 것임.

- 0부터 (num_tile_columns_minus1 + 1) * (num_tile_rows_minus1 + 1) - 1까지, 양 끝점을 포함한, 범위 내의 타일 래스터 주사 순서의 i-번째 타일에 대한 ilcts_id[i]의 값은 256 + i와 같은 것으로 추론됨.

il_one_tile_per_tile_set_flag가 0과 같을 때, 식별된 타일 세트들이 명시적으로 시그널링된다.

il_num_sets_in_message_minus1 플러스 1은 SEI 메시지에서 층간 식별된 타일 세트들의 수를 규정한다. il_num_sets_in_message_minus1의 값은 0부터 255까지의, 양 끝점을 포함한, 범위 내일 것이다.

1과 같은 skipped_tile_set_present_flag는, CLVS 내에서, il_num_sets_in_message_minus1-번째 식별된 타일 세트는 동일한 메시지 내의 임의의 더 일찍 식별된 타일 세트들에 포함되지 않은 나머지 타일들로 구성되고 il_num_sets_in_message_minus1-번째 식별된 타일 세트의 내부에 있는 모든 예측 블록들이 RefLayerId[targetLayerId][NumDirectRefLayers[targetLayerId] - 1]과 같은 nuh_layer_id를 가진 층간 참조 픽처들로부터 층간 예측되고, il_num_sets_in_message_minus1-번째 식별된 타일 세트의 임의의 변환 유닛 내에 residual_coding() 신택스 구조가 존재하지 않음을 지시한다. 0과 같은 skipped_tile_set_present_flag는 CLVS 내의 비트스트림 구속을 지시하지 않는다. 존재하지 않을 때, skipped_tile_set_present_flag의 값은 0과 같은 것으로 추론된다.

ilcts_id[i]는 i번째 식별된 타일 세트의 목적을 식별하기 위해(예를 들어, 특정 목적을 위해 코딩된 비디오 시퀀스로부터 추출될 영역을 식별하기 위해) 이용될 수 있는 식별 번호를 포함한다. ilcts_id[i]의 값은 0부터 2³² - 2까지의, 양 끝점을 포함한, 범위에 있을 것이다.

0부터 255까지, 양 끝점을 포함한, 그리고 512부터 2³¹ - 1까지, 양 끝점을 포함한, ilcts_id[i]의 값들은 애플리케이션에 의해 결정되는 대로 이용될 수 있다. il_one_tile_per_tile_set_flag가 1과 같다면, 256부터 511까지, 양 끝점을 포함한, ilcts_id[i]의 값들은 상기에서 규정된 추론된 ilcts_id[i] 값들에 사용된다. 그렇지 않다면, 256부터 511까지, 양 끝점을 포함한, ilcts_id[i]의 값들은 ITU-T|ISO/IEC에 의해 미래의 사용을 위해 예약된다. 2³¹부터 2³² - 2까지, 양 끝점을 포함한, ilcts_id[i]의 값들은 ITU-T|ISO/IEC에 의해 미래의 사용을 위해 예약된다. 256부터 511까지, 양 끝점을 포함한, 범위의 또는 2³¹부터 2³² - 2까지, 양 끝점을 포함한, 범위의 ilcts_id[i]의 지시된 값을 만나는 디코더들은 그것을 무시(비트스트림으로부터 제거하고 폐기)할 것이다.

il_num_tile_rects_in_set_minus1[i] 플러스 1은 i번째 식별된 타일 세트에서 타일들의 직사각형 영역들의 개수를 규정한다. il_num_tile_rects_in_set_minus1[i]의 값은 0부터 (num_tile_columns_minus1 + 1) * (num_tile_rows_minus1 + 1) - 1까지, 양 끝점을 포함한, 범위에 있을 것이다.

il_top_left_tile_index[i][j] 및 il_bottom_right_tile_index[i][j]는 타일 래스터 주사 순서에서 각각, i번째 식별된 타일 세트의 직사각형 영역에서 상부 좌측 타일의 타일 위치와 하부 우측 타일의 타일 위치를 식별한다.

1과 같은 ilc_idc[i]는 임의의 연관된 참조 타일 세트의 외부의 어떤 샘플들도, 그리고 임의의 연관된 참조 타일 세트의 외부의 하나 이상의 샘플들을 이용하여 유도되는 단편적 샘플 위치에서의 어떤 샘플들도 내측의 임의의 샘플의 층간 예측을 위해 이용되지 않음을 지시한다. 2와 같은 ilc_idc[i]는 i번째 식별된 타일 세트 내의 어떤 예측 블록도 층간 참조 픽처로부터 예측되지 않음을 지시한다. 0과 같은 ilc_idc[i]는, 층간 예측 프로세스가 i번째 식별된 타일 세트 내의 예측 블록에 대해 구속될 수 있거나 구속되지 않을 수 있음을 지시한다. 3과 같은 ilc_idc[i]의 값은 예약된다.

1과 같은 il_exact_sample_value_match_flag[i]는, CLVS 내에서, i번째 식별된 타일 세트에 속하지 않은 코딩 트리 블록들이 디코딩되지 않고 i번째 식별된 타일 세트의 경계들이 디코딩 프로세스의 목적을 위해 픽처 경계들로서 취급될 때, i번째 식별된 타일 세트 내의 각각의 샘플의 값은, CLVS 내의 모든 픽처들의 모든 코딩 트리 블록들이 디코딩될 때 획득될 샘플의 값과 정확히 동일할 것임을 지시한다. 0과 같은 il_exact_sample_value_match_flag[i]는, CLVS 내에서, i번째 식별된 층간 구속된 타일 세트의 외부에 있는 코딩 트리 블록들이 디코딩되지 않고 i번째 식별된 타일 세트의 경계들이 디코딩 프로세스의 목적을 위해 픽처 경계들로서 취급될 때, i번째 식별된 타일 세트 내의 각각의 샘플의 값은, CLVS 내의 모든 픽처들의 모든 코딩 트리 블록들이 디코딩될 때 동일한 샘플의 값과 정확히 같을 수 있거나 또는 같지 않을 수 있음을 지시한다.

1과 같은 il_exact_sample_value_match_flag를 이용하는 것은 loop_filter_across_tiles_enabled_flag, pps_loop_filter_across_ slices_enabled_flag, pps_deblocking_filter_disabled_flag, slice_loop_filter_across_slices_enabled_flag, slice_deblocking_filter_disabled_flag, sample_adaptive_offset_enabled_flag, slice_sao_luma_flag, 및 slice_sao_chroma_flag의 특정 조합들을 이용할 때 가능하다. 1과 같은 all_tiles_ilc_idc는 CLVS 내의 각각의 식별된 타일에 대해, 각각의 연관된 참조 타일 세트의 외부의 어떤 샘플 값도, 그리고 각각의 연관된 참조 타일 세트의 외부의 하나 이상의 샘플들을 이용하여 유도되는 단편적 샘플 위치에서의 어떤 샘플 값도 식별된 타일 세트 내의 임의의 샘플의 층간 예측을 위해 이용되지 않음을 지시한다. 2와 같은 all_tiles_ilc_idc는, CLVS 내에서, 각각의 식별된 타일 세트 내의 어떤 예측 블록도 층간 참조 픽처로부터 예측되지 않음을 지시한다. 0과 같은 all_tiles_ilc_idc는, CLVS 내에서, 층간 예측 프로세스가 식별된 타일 세트들에 대해 구속될 수 있거나 구속되지 않을 수 있음을 지시한다. 3과 같은 all_tiles_ilc_idc의 값은 예약된다. all_tiles_ilc_idc가 존재하지 않을 때, 그것은 0과 같은 것으로 추론된다.

일시적으로 모션 구속된 타일 세트들(일시적 MCTS)

JCTVC-O1005 내의 일시적 모션 구속된 타일 세트들(일시적 MCTS) SEI 메시지는 ROI의 외부의 코딩 트리 블록들이 디스플레이되지 말아야 함을 시그널링하기 위해 확장될 수 있다. 이 확장으로, 일시적 모션 구속된 타일 세트들 SEI 메시지는 디코더가 단지 ROI를 디스플레이할 필요가 있음을 디코더에 명시적으로 시그널링하기 위해 타일형 스트리밍을 위한 인코더에 의해 이용될 수 있다. 일시적 MCTS SEI 메시지는 타일 스트리밍에 사용될 수 있다. 타일형 스트리밍의 예를 들면, 파노라마 비디오는 독립적으로 디코딩 가능한 타일들로 서버 측에서 인코딩되고, 그레이 타일들(또는 낮은 비트레이트 콘텐츠와 같이, 매우 효율적으로 인코딩될 수 있는 타일들)과 그레이 타일들(또는 효율적으로 코딩된 타일들)을 디스플레이하지 않도록 디코더에의 시그널에 의해 ROI로서 단지 타일들의 서브세트만이 클라이언트 디코더에 의해 요청된다.

디코더가 ROI의 외부를 디스플레이하지 않도록 시그널링하는 수정된 일시적 MCTS SEI 메시지들을 수신할 때, 디코더는 다음을 선택할 수 있다: 1) ROI의 외부의 영역을 디스플레이하지 않음, 2) ROI의 외부의 영역을 미리 정해진 컬러로 대체함. 컬러는 다른 콘텐츠로 디스플레이하기 위한 크로마 키잉에 사용될 수 있다.

도 2는 파노라마 비디오가 독립적으로 디코딩 가능한 타일들로 서버 측에서 인코딩되고, 타일들의 단지 서브세트가 디스플레이 목적들을 위해 ROI로서 클라이언트 디코더에 의해 요청됨을 도시한다. 전송 대역폭을 감소시키기 위해, 서버는 ROI의 외부의 타일들을 그레이 타일들로 대체할 수 있고, 그레이 타일들을 디스플레이하지 않도록 디코더에 시그널링할 수 있다. 또한, 상이한 클라이언트들이 상이한 ROI들이 서버로부터 스트리밍되도록 요청할 수 있다.

일시적 MCTS SEI 메시지는 다수의 방법들로 수정될 수 있다. 여러 가능한 실시예들이 본 명세서에서 기술된다. 일부 실시예들에서, ROI들의 외부의 코딩 트리 블록들을 디스플레이할 지가 비트스트림 내에서 시그널링된다.

표 3은 일시적 모션 구속된 타일 세트들 기능의 수정된 신택스를 도시한다.

1과 같은 display_tile_sets_only_flag는 모든 타일 세트들 내의 모든 코딩 트리 블록들이 디스플레이되어야 하고 임의의 타일 세트 내에 있지 않은 모든 코딩 트리 블록들이 디스플레이되지 말아야 함을 규정한다. 0과 같은 display_tile_set_only_flag는 이 플래그가 무시되어야 함을 지시한다.

표 4는 일시적 모션 구속된 타일 세트들 기능의 수정된 신택스를 나타낸다.

1과 같은 no_display_outside_tile_sets_flag는 임의의 타일 세트 내에 있지 않은 모든 코딩 트리 블록들이 디스플레이되지 말아야 함을 규정한다. 0과 같은 no_display_outside_tile_sets_flag는 이 플래그가 무시되어야 함을 나타낸다.

일부 실시예들에서, temporal_motion_constrained_tile_sets와 inter_layer_constrained_tile_sets의 신택스가 정렬된다. 특히, no_display_last_tile_set_flag는 inter_layer_constrained_tile_sets SEI 메시지에서 skipped_tile_set_present_flag에 병행 역할을 한다.

표 5는 일시적 모션 구속된 타일 세트들 기능의 수정된 신택스를 나타낸다.

1과 같은 no_display_last_tile_set_flag는 마지막 타일이 동일 메시지 내의 임의의 더 일찍의 타일 세트들에 포함되지 않은 그 타일들을 포함하고 마지막 타일이 디스플레이되지 말아야 함을 규정한다. 0과 같은 no_display_last_tile_set_flag는 마지막 타일 세트가 동일 메시지 내의 임의의 더 일찍의 타일 세트들에 포함되지 않은 그 타일들을 포함할 수 있거나 또는 포함하지 않을 수 있음을 지시한다.

일부 실시예들에서, 단지 단일 타일 세트만 디스플레이된다.

표 6은 일시적 모션 구속된 타일 세트들 기능의 수정된 신택스를 나타낸다.

1과 같은 single_tile_set_display_flag는 display_tile_set_idc 신택스 요소가 존재함을 규정한다. 0과 같은 single_tile_set_display_flag는 display_tile_set_idc 신택스 요소가 존재하지 않음을 규정한다.

display_tile_set_idc는 존재할 때, 단지 display_tile_set_idc-번째 타일 세트가 디스플레이를 위해 의도됨을 지시한다. display_tile_set_idc는 0부터 num_sets_in_message_minus1까지의 범위일 것이다.

표 7은 일시적 모션 구속된 타일 세트들 기능의 수정된 신택스를 나타낸다.

1과 같은 limited_tile_set_display 플래그는 display_tile_set_flag[i] 신택스 요소가 존재함을 규정하고, 1과 같은 display_tile_set_flag[i]를 가진 임의의 타일 세트 내에 포함되지 않은 타일들이 디스플레이를 위해 의도되지 않음을 지시한다. 0과 같은 limited_tile_set_display 플래그는 display_tile_set_flag[i] 신택스 요소가 존재하지 않음을 규정한다. 1과 같은 display_tile_set_flag[i]는 i-번째 타일 세트가 디스플레이를 위해 의도됨을 지시한다. 0과 같은 display_tile_set_flag[i]는 i-번째 타일 세트가 디스플레이를 위해 의도되지 않음을 지시한다. 존재하지 않을 때, display_tile_set_flag[i]의 값은 1과 같은 것으로 추론된다.

도 3은 일부 실시예들에 따른 타일형 스트리밍의 방법의 흐름도를 도해한다. 단계 300에서, 비디오 비트스트림은 디바이스(예를 들어, 서버)로부터 제2 디바이스(예를 들어, 텔레비전)로 전송된다. 비디오 비트스트림은 본 명세서에서 기술되는 확장들을 가진 SEI 메시지를 포함한다. SEI 메시지는 모든 타일들이 다른 타일들과는 독립적으로 디코딩 가능함을 시그널링할 수 있다. 단계 302에서, 비디오 비트스트림이 디코딩된다. 단계 304에서, 디코딩된 비디오가 디스플레이된다. 단계 306에서, 사용자는 상호작용성의 목적들을 위해 비디오의 ROI를 선택한다. 단계 308에서, 선택된 ROI는 사용자에게 제시된다. 일부 실시예들에서, 더 적은 또는 추가의 단계들이 구현된다. 일부 실시예들에서, 단계들의 순서가 변경된다.

도 4는 일부 실시예들에 따른 타일형 스트리밍의 방법의 흐름도를 도해한다. 단계 400에서, ROI들의 위치들이 MCTS SEI 메시지에서 시그널링된다. 단계 402에서, 기저 층의 ROI는 비디오 디코딩 프로세스에서 보강 층의 ROI에 맵핑된다. 단계 404에서, 보강 층의 각각의 타일은 보강 층의 MCTS 내의 다른 타일들과는 독립적으로 디코딩된다. 일부 실시예들에서, 더 적은 또는 추가의 단계들이 구현된다.

도 5는 일부 실시예들에 따른 타일형 스트리밍의 방법의 흐름도를 도해한다. 단계 500에서, 디코더는 어느 ROI들이 디스플레이되지 않을 것인지에 관해 시그널링을 받는다. 단계 502에서, 디코더는 어느 ROI들이 디스플레이될 것인지에 관해 시그널링을 받는다(예를 들어, 사용자에 의해 선택되는 ROI). 단계 504에서, 대역폭을 감소시키기 위해 디스플레이될 ROI의 외부의 타일들이 그레이 타일들로 대체된다. 단계 506에서, 일시적 모션 구속된 타일 세트들의 외부의 코딩 트리 블록들의 위치들을 시그널링하기 위해 SEI 메시지들이 생성된다. 일부 실시예들에서, 더 적은 또는 추가의 단계들이 구현된다. 일부 실시예들에서, 도 3, 도 4, 및 도 5의 단계들이 함께 구현될 수 있다. 예를 들어, 단계 500이 도 5에 도시되지만, 단계 500은 도 3의 단계들로 구현될 수 있다.

도 6은 일부 실시예들에 따른 타일형 스트리밍 방법을 구현하도록 구성된 예시적 컴퓨팅 디바이스의 블록도를 도해한다. 컴퓨팅 디바이스(600)는 예컨대 영상 및 비디오 등의 정보를 획득, 저장, 계산, 처리, 통신 및/또는 디스플레이하는 데 이용될 수 있다. 일반적으로, 컴퓨팅 디바이스(600)를 구현하는 데 적절한 하드웨어 구조는 네트워크 인터페이스(602), 메모리(604), 프로세서(606), I/O 디바이스(들)(608), 버스(610), 및 스토리지 디바이스(612)를 포함한다. 프로세서의 선택은 충분한 속도를 가진 적합한 프로세서가 선택되는 한, 중요하지 않다. 메모리(604)는 본 기술 분야에서 알려진 임의의 통상적인 컴퓨터 메모리일 수 있다. 스토리지 디바이스(612)는 하드 드라이브, CDROM, CDRW, DVD, DVDRW, 고화질 디스크/드라이브, 울트라-HD 드라이브, 플래시 메모리 카드 또는 임의의 다른 스토리지 디바이스를 포함할 수 있다. 컴퓨팅 디바이스(600)는 하나 이상의 네트워크 인터페이스(602)를 포함할 수 있다. 네트워크 인터페이스의 예는 이더넷(Ethernet) 또는 다른 타입의 LAN에 접속되는 네트워크 카드를 포함한다. I/O 디바이스(들)(608)는 다음 중 하나 이상을 포함할 수 있다: 키보드, 마우스, 모니터, 스크린, 프린터, 모뎀, 터치스크린, 버튼 인터페이스, 및 기타 디바이스들. 타일형 스트리밍 방법을 수행하는 데 이용되는 타일형 스트리밍 애플리케이션(들)(630)은 스토리지 디바이스(612) 및 메모리(604)에 저장될 가능성이 높고 애플리케이션들이 일반적으로 처리되는 것처럼 처리될 가능성이 높다. 도 6에 도시된 것들보다 더 많거나 적은 수의 컴포넌트들이 컴퓨팅 디바이스(600)에 포함될 수 있다. 일부 실시예들에서, 타일형 스트리밍 하드웨어(620)가 포함된다. 도 6의 컴퓨팅 디바이스(600)는 타일형 스트리밍 방법을 위한 애플리케이션(630) 및 하드웨어(620)를 포함하지만, 타일형 스트리밍 방법은 하드웨어, 펌웨어, 소프트웨어, 또는 그들의 임의의 조합으로 컴퓨팅 디바이스 상에서 구현될 수 있다. 예를 들어, 일부 실시예들에서, 타일형 스트리밍 애플리케이션들(630)은 메모리에 프로그래밍되고 프로세서를 이용하여 실행된다. 다른 예에서는, 일부 실시예들에서, 타일형 스트리밍 하드웨어(620)는 타일형 스트리밍 방법을 구현하도록 특별히 설계된 게이트들을 포함하는 프로그래밍된 하드웨어 로직이다.

일부 실시예들에서, 타일형 스트리밍 애플리케이션(들)(630)은 여러 애플리케이션들 및/또는 모듈들을 포함한다. 일부 실시예들에서, 모듈들은 하나 이상의 서브-모듈들을 또한 포함한다. 일부 실시예들에서, 더 적은 또는 추가의 모듈들이 포함될 수 있다.

적합한 컴퓨팅 디바이스들의 예들은 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인 프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기, 셀룰러/모바일 전화기, 스마트 기기, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 스마트 폰, 휴대용 음악 플레이어, 태블릿 컴퓨터, 모바일 디바이스, 비디오 플레이어, 비디오 디스크 라이터/플레이어(예를 들어, DVD 라이터/플레이어, 고화질 디스크 라이터/플레이어, 울트라 고화질 디스크 라이터/플레이어), 텔레비전, 가정용 엔터테인먼트 시스템, 스마트 장신구(예를 들어, 스마트 워치), 또는 임의의 다른 적절한 컴퓨팅 디바이스를 포함한다.

타일형 스트리밍 방법을 이용하기 위해, 예컨대 디지털 비디오 카메라 등의 디바이스가 비디오를 획득하는 데 이용될 수 있다. 타일형 스트리밍 방법은 예를 들어, 비디오의 재생 동안 등과 같이 비디오를 획득하는 동안 또는 그 후에 자동적으로 구현된다. 타일형 스트리밍 방법은 사용자의 관여 없이 자동으로 구현될 수 있다.

동작에 있어서, 타일형 스트리밍 방법은 사용자들이 상호작용적으로 이미지/비디오의 일부들을 선택할 수 있게 한다. 확장은 예컨대 상호작용형 울트라 고화질 텔레비전(UHDTV), 동적 고품질 줌-인 애플리케이션, 상호작용형 주문, e-학습, 스마트 감시, 및 많은 다른 애플리케이션들 등의 다양한 애플리케이션들에서 이용되는 상호작용성을 지원한다.

상호작용성을 위한 모션-구속된 타일 세트들 SEI 메시지의 확장들의 일부 실시예들

1. 디바이스의 비일시적 메모리에 프로그래밍된 방법으로서,

a. 비디오의 비트스트림을 수신하는 단계 - 상기 비트스트림은 보충적 보강 정보 메시지를 포함하고, 추가로, 상기 보충적 정보 메시지는 모든 타일들이 독립적으로 디코딩 가능하고 관심 영역들이 관심 영역당 하나 초과의 타일을 가질 수 있음을 시그널링함 -; 및

b. 상기 디바이스에서 상기 비트스트림을 디코딩하는 단계를 포함하는, 방법.

2. 제1항에 있어서, 상기 비디오의 기저 층의 모든 타일들은 독립적으로 디코딩 가능한, 방법.

3. 제1항에 있어서, 상기 비디오의 보강 층의 모든 타일들은 독립적으로 디코딩 가능한, 방법.

4. 제1항에 있어서, 디코딩하는 단계는 보강 층 내의 관심 영역을 기저 층 내의 관심 영역에 맵핑하는 것을 제공하는 단계를 포함하는, 방법.

5. 제1항에 있어서, 디코딩하는 단계는 기저 층 내의 관심 영역을 보강 층 내의 관심 영역에 맵핑하는 것을 제공하는 단계를 포함하는, 방법.

6. 제1항에 있어서, 상기 비디오의 관심 영역이 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 상기 디바이스 상에 제시되는, 방법.

7. 제1항에 있어서, 상기 비디오의 관심 영역은 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 제2 디바이스 상에 제시되는, 방법.

8. 제1항에 있어서, 상기 비디오의 관심 영역은 디렉터에 의해 선택되고, 상기 디렉터에 의해 선택되는 상기 관심 영역은 사용자의 상기 디바이스 상에 제시되는, 방법.

9. 제1항에 있어서, 상기 비디오는 독립적으로 디코딩 가능한 타일들로 그리고 하나 이상의 해상도 층들에서 인코딩되고, 서버 상에 저장되는, 방법.

10. 제1항에 있어서, 상이한 사용자들이 상기 비디오의 상이한 해상도 층들을 요청하는, 방법.

11. 제1항에 있어서, 상이한 디렉터들이 상기 비디오의 상이한 해상도 층들을 요청하는, 방법.

12. 제1항에 있어서, 상기 보충적 보강 정보 메시지는 선택되는 관심 영역의 외부의 코딩 트리 블록들을 지시하고, 상기 선택되는 관심 영역의 외부의 코딩 트리 블록들은 디스플레이되지 않는, 방법.

13. 제1항에 있어서, 상기 보충적 보강 정보 메시지는 선택되는 관심 영역의 외부의 코딩 트리 블록들을 지시하고, 상기 선택되는 관심 영역 외부의 코딩 트리 블록들은 비트레이트를 감소시키기 위해 그레이 타일들로서 인코딩되는, 방법.

14. 시스템으로서,

a. 애플리케이션을 저장하도록 구성된 비일시적 메모리 - 상기 애플리케이션은

i. 비디오의 비트스트림을 수신하고 - 상기 비트스트림은 보충적 보강 정보 메시지를 포함하고, 추가로, 상기 보충적 정보 메시지는 모든 타일들이 독립적으로 디코딩 가능하고 관심 영역들이 관심 영역당 하나 초과의 타일을 가질 수 있음을 시그널링함 -;

ii. 상기 비트스트림을 디코딩하도록 구성됨 -; 및

b. 디코딩된 상기 비트스트림을 디스플레이하도록 구성된 디스플레이를 포함하는, 시스템.

15. 제14항에 있어서, 상기 비디오의 기저 층의 모든 타일들은 독립적으로 디코딩 가능한, 시스템.

16. 제14항에 있어서, 상기 비디오의 보강 층의 모든 타일들은 독립적으로 디코딩 가능한, 시스템.

17. 제14항에 있어서, 디코딩은 보강 층 내의 관심 영역을 기저 층 내의 관심 영역에 맵핑하는 것을 제공하는 것을 포함하는, 시스템.

18. 제14항에 있어서, 디코딩은 기저 층 내의 관심 영역을 보강 층 내의 관심 영역에 맵핑하는 것을 제공하는 것을 포함하는, 시스템.

19. 제14항에 있어서, 상기 비디오의 관심 영역이 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 디바이스 상에 제시되는, 시스템.

20. 제14항에 있어서, 상기 비디오의 관심 영역은 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 제2 디바이스 상에 제시되는, 시스템.

21. 제14항에 있어서, 상기 비디오의 관심 영역은 디렉터에 의해 선택되고, 상기 디렉터에 의해 선택되는 상기 관심 영역은 사용자의 디바이스 상에 제시되는, 시스템.

22. 제14항에 있어서, 상기 비디오는 독립적으로 디코딩 가능한 타일들로 그리고 하나 이상의 해상도 층들에서 인코딩되고, 서버 상에 저장되는, 시스템.

23. 제14항에 있어서, 상이한 사용자들이 상기 비디오의 상이한 해상도 층들을 요청하는, 시스템.

24. 제14항에 있어서, 상이한 디렉터들이 상기 비디오의 상이한 해상도 층들을 요청하는, 시스템.

25. 제14항에 있어서, 상기 보충적 보강 정보 메시지는 선택되는 관심 영역의 외부의 코딩 트리 블록들을 지시하고, 상기 선택되는 관심 영역의 외부의 코딩 트리 블록들은 디스플레이되지 않는, 시스템.

26. 제14항에 있어서, 상기 보충적 보강 정보 메시지는 선택되는 관심 영역의 외부의 코딩 트리 블록들을 지시하고, 상기 선택되는 관심 영역 외부의 코딩 트리 블록들은 비트레이트를 감소시키기 위해 그레이 타일들로서 인코딩되는, 시스템.

27. 장치로서,

a. 애플리케이션을 저장하는 비일시적 메모리 - 상기 애플리케이션은

ii. 상기 비트스트림을 디코딩하도록 구성됨 -; 및

b. 상기 메모리에 연결된 처리 컴포넌트를 포함하고, 상기 처리 컴포넌트는 상기 애플리케이션을 처리하도록 구성된, 장치.

28. 제27항에 있어서, 상기 비디오의 기저 층의 모든 타일들은 독립적으로 디코딩 가능한, 장치.

29. 제27항에 있어서, 상기 비디오의 보강 층의 모든 타일들은 독립적으로 디코딩 가능한, 장치.

30. 제27항에 있어서, 디코딩은 보강 층 내의 관심 영역을 기저 층 내의 관심 영역에 맵핑하는 것을 제공하는 것을 포함하는, 장치.

31. 제27항에 있어서, 디코딩은 기저 층 내의 관심 영역을 보강 층 내의 관심 영역에 맵핑하는 것을 제공하는 것을 포함하는, 장치.

32. 제27항에 있어서, 상기 비디오의 관심 영역이 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 디바이스 상에 제시되는, 장치.

33. 제27항에 있어서, 상기 비디오의 관심 영역은 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 제2 디바이스 상에 제시되는, 장치.

34. 제27항에 있어서, 상기 비디오의 관심 영역은 디렉터에 의해 선택되고, 상기 디렉터에 의해 선택되는 상기 관심 영역은 사용자의 디바이스 상에 제시되는, 장치.

35. 제27항에 있어서, 상기 비디오는 독립적으로 디코딩 가능한 타일들로 그리고 하나 이상의 해상도 층들에서 인코딩되고, 서버 상에 저장되는, 장치.

36. 제27항에 있어서, 상이한 사용자들이 상기 비디오의 상이한 해상도 층들을 요청하는, 장치.

37. 제27항에 있어서, 상이한 디렉터들이 상기 비디오의 상이한 해상도 층들을 요청하는, 장치.

38. 제27항에 있어서, 상기 보충적 보강 정보 메시지는 선택되는 관심 영역의 외부의 코딩 트리 블록들을 지시하고, 상기 선택되는 관심 영역의 외부의 코딩 트리 블록들은 디스플레이되지 않는, 장치.

39. 제27항에 있어서, 상기 보충적 보강 정보 메시지는 선택되는 관심 영역의 외부의 코딩 트리 블록들을 지시하고, 상기 선택되는 관심 영역 외부의 코딩 트리 블록들은 비트레이트를 감소시키기 위해 그레이 타일들로서 인코딩되는, 장치.

40. 디바이스의 비일시적 메모리에 프로그래밍된 방법으로서,

a. 기저 층 및 하나 이상의 보강 층들을 갖는 비디오의 비트스트림을 수신하는 단계 - 상기 비트스트림은 보강 층의 보충적 보강 정보 메시지를 포함하고, 추가로, 모든 타일들이 그 층 내의 임의의 다른 타일들과는 독립적으로 디코딩 가능하고 관심 영역들이 그 층 내의 관심 영역당 하나 초과의 타일을 갖는 것을 시그널링할 수 있는 상기 보충적 정보 메시지는 층간 구속된 타일 세트들과 함께 이용됨 -; 및

41. 제40항에 있어서, 상기 비디오의 관심 영역이 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 상기 디바이스 상에 제시되는, 방법.

42. 제40항에 있어서, 상기 비디오의 관심 영역은 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 제2 디바이스 상에 제시되는, 방법.

43. 제40항에 있어서, 상기 비디오의 관심 영역은 디렉터에 의해 선택되고, 상기 디렉터에 의해 선택되는 상기 관심 영역은 사용자의 디바이스 상에 제시되는, 방법.

44. 제40항에 있어서, 상이한 사용자들이 비디오의 상이한 해상도 층들을 요청하는, 방법.

45. 제40항에 있어서, 상이한 디렉터들이 비디오의 상이한 해상도 층들을 요청하는, 방법.

46. 시스템으로서,

i. 기저 층 및 하나 이상의 보강 층들을 갖는 비디오의 비트스트림을 수신하고 - 상기 비트스트림은 보강 층의 보충적 보강 정보 메시지를 포함하고, 추가로, 모든 타일들이 그 층 내의 임의의 다른 타일들과는 독립적으로 디코딩 가능하고 관심 영역들이 그 층 내의 관심 영역당 하나 초과의 타일을 갖는 것을 시그널링할 수 있는 상기 보충적 정보 메시지는 층간 구속된 타일 세트들과 함께 이용됨 -; 및

ii. 상기 비트스트림을 디코딩하도록 구성됨 -; 및

47. 제46항에 있어서, 상기 비디오의 관심 영역이 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 디바이스 상에 제시되는, 시스템.

48. 제46항에 있어서, 상기 비디오의 관심 영역은 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 제2 디바이스 상에 제시되는, 시스템.

49. 제46항에 있어서, 상기 비디오의 관심 영역은 디렉터에 의해 선택되고, 상기 디렉터에 의해 선택되는 상기 관심 영역은 사용자의 디바이스 상에 제시되는, 시스템.

50. 제46항에 있어서, 상이한 사용자들이 비디오의 상이한 해상도 층들을 요청하는, 시스템.

51. 제46항에 있어서, 상이한 디렉터들이 비디오의 상이한 해상도 층들을 요청하는, 시스템.

52. 장치로서,

i. 기저 층 및 하나 이상의 보강 층들을 갖는 비디오의 비트스트림을 수신하고 - 보강 층의 보충적 보강 정보 메시지를 포함하고, 추가로, 상기 보충적 정보 메시지는 모든 타일들이 그 층 내의 임의의 다른 타일들과는 독립적으로 디코딩 가능하고 관심 영역들이 그 층 내의 관심 영역당 하나 초과의 타일을 갖는 것을 시그널링할 수 있는 상기 비트스트림은 층간 구속된 타일 세트들과 함께 이용됨 -; 및

ii. 상기 비트스트림을 디코딩하도록 구성됨 -; 및

53. 제52항에 있어서, 상기 비디오의 관심 영역이 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 디바이스 상에 제시되는, 장치.

54. 제52항에 있어서, 상기 비디오의 관심 영역은 사용자에 의해 선택되고, 상기 사용자에 의해 선택되는 상기 관심 영역은 제2 디바이스 상에 제시되는, 장치.

55. 제52항에 있어서, 상기 비디오의 관심 영역은 디렉터에 의해 선택되고, 상기 디렉터에 의해 선택되는 상기 관심 영역은 사용자의 디바이스 상에 제시되는, 장치.

56. 제52항에 있어서, 상이한 사용자들이 비디오의 상이한 해상도 층들을 요청하는, 장치.

57. 제52항에 있어서, 상이한 디렉터들이 비디오의 상이한 해상도 층들을 요청하는, 장치.

본 발명은 본 발명의 구성 및 동작의 원리들의 이해를 촉진하게 하기 위해 상세 사항들을 포함하는 특정 실시예들의 관점에서 설명되었다. 본 발명의 특정 실시예들 및 상세 사항들에 대한 본 명세서에서의 그러한 참조는 본 명세서에 첨부된 청구항들의 범위를 제한하려는 것이 아니다. 다른 다양한 수정들이 청구항들에 의해 정의된 본 발명의 사상 및 범위를 벗어나지 않고 예시를 위해 선택되는 실시예에서 이루어질 수 있음은 통상의 기술자에게 자명할 것이다.

Claims

화상의 관심 영역에 포함되는 모든 모션 구속된 타일 세트의 경계가 디코딩 프로세스의 목적으로 픽처 경계로서 처리되는 경우에 상기 관심 영역에 포함되는 모든 모션 구속된 타일 세트 내의 타일 각 샘플의 디코딩된 값이 픽처의 모든 코딩 트리 블록을 디코딩했을 때의 그 샘플의 디코딩된 값에 일치하는가를 나타내는 제1 정보를 포함하는 설정 정보를 설정하는 설정부와,
상기 화상을 코딩하여, 코딩 스트림을 생성하는 코딩부와,
상기 코딩 스트림을 상기 설정 정보와 함께 전송하는 전송부를 구비하는, 화상 처리 장치.
화상 처리 장치에 의해 실행되는 화상 처리 방법으로서,
화상의 관심 영역에 포함되는 모든 모션 구속된 타일 세트의 경계가 디코딩 프로세스의 목적으로 픽처 경계로서 처리되는 경우에 상기 관심 영역에 포함되는 모든 모션 구속된 타일 세트 내의 타일 각 샘플의 디코딩된 값이 픽처의 모든 코딩 트리 블록을 디코딩했을 때의 그 샘플의 디코딩된 값에 일치하는가를 나타내는 제1 정보를 포함하는 설정 정보를 설정하는 것과,
상기 화상을 코딩하여, 코딩 스트림을 생성하는 것과,
상기 코딩 스트림을 상기 설정 정보와 함께 전송하는 것을 포함하는, 화상 처리 방법.