KR101852669B1 - Shvc를 이용한 관심 영역 확장성 - Google Patents

Shvc를 이용한 관심 영역 확장성 Download PDF

Info

Publication number
KR101852669B1
KR101852669B1 KR1020157027258A KR20157027258A KR101852669B1 KR 101852669 B1 KR101852669 B1 KR 101852669B1 KR 1020157027258 A KR1020157027258 A KR 1020157027258A KR 20157027258 A KR20157027258 A KR 20157027258A KR 101852669 B1 KR101852669 B1 KR 101852669B1
Authority
KR
South Korea
Prior art keywords
tile
delete delete
roi
tiles
interest
Prior art date
Application number
KR1020157027258A
Other languages
English (en)
Other versions
KR20150122781A (ko
Inventor
청 아우예웅
준 ?
준 o
오지 나카가미
알리 다바타바이
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20150122781A publication Critical patent/KR20150122781A/ko
Application granted granted Critical
Publication of KR101852669B1 publication Critical patent/KR101852669B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

SHVC를 이용한 관심 영역(ROI, Region of Interest) 확장성은 확장성이 화상 전체가 아니라 화상의 일부에 대해 이용되는 경우에 구현될 수 있다. ROI 확장성의 애플리케이션은 트래픽 모니터링, 보안 모니터링 및 타일 스트리밍(tiled streaming)을 포함한다.

Description

SHVC를 이용한 관심 영역 확장성{REGION OF INTEREST SCALABILITY WITH SHVC}
관련 출원(들)에 대한 교차 참조
35 U.S.C.§119(e) 하에서 본 출원은 2013년 4월 8일자로 출원된 미국 가특허출원 제61/809,747호(발명의 명칭 "REGION OF INTEREST SCALABILITY WITH SHVC"), 및 2013년 7월 15일자로 출원된 미국 가특허출원 제61/846,558호(발명의 명칭 "REGION OF INTEREST SCALABILITY WITH SHVC")의 우선권을 주장하며, 이들 모두는 해당 내용 전체가 모든 면에서 참고로 본 명세서에 포함된다.
본 발명은 영상(imaging)의 분야에 관한 것이다. 더욱 특히, 본 발명은 비디오 코딩에 관한 것이다.
스케일러블 HEVC 모델(SHM) 1.0에서는, 더 높은 해상도가 공간 확장성에 의해 제공되며, 더 높은 품질이 신호 대 잡음비(SNR, Signal-to-Noise Ratio) 확장성에 의해 제공되고, 향상이 전체 화상에 적용된다. 그러나 예를 들어, 트래픽 모니터링 및 보안 모니터링과 같은 일부 애플리케이션에서는 전체 화상의 향상이 필요하지 않다.
SHVC를 이용한 관심 영역(ROI, Region of Interest) 확장성은 확장성이 화상 전체가 아니라 화상의 일부에 대해 이용되는 경우에 구현될 수 있다. ROI 확장성의 애플리케이션은 트래픽 모니터링, 보안 모니터링 및 타일 스트리밍(tiled streaming)을 포함한다.
일 양상에서, 디바이스의 비일시적 메모리에 프로그래밍된 방법은 베이스 계층 영상(base layer image) 및 향상 계층 영상(enhancement layer image)을 획득하는 단계, 및 향상 계층 영상의 일부에 관심 영역 확장성 구현을 적용하는 단계를 포함하며, 향상 계층 영상의 일부는 전체 향상 계층 영상보다 작다. 관심 영역 확장성 구현은 인코더를 조작하기 위한 보충 향상 정보 메시지를 가진 관심 영역 맵을 시그널링하는 것을 포함한다. 보충 향상 정보 메시지는 관심 영역의 위치를 나타낸다. 각각의 관심 영역은 유효(significant) 코딩 트리 유닛들의 하나 이상의 직사각형 집합이다. 보충 향상 정보 메시지는 관심 영역의 수, 및 각각의 관심 영역에 대해, 영상의 주사 순서로 관심 영역에서 유효 코딩 트리 유닛들의 각각의 직사각형 집합의 첫 번째 코딩 트리 유닛의 어드레스를 포함한다. 어드레스는 차분 인코딩을 이용하여 인코딩된다. 어드레스는 차분 인코딩 없이 인코딩된다. 보충 향상 정보 메시지는 코딩 트리 유닛의 수로 관심 영역의 열 폭을 도출하기 위한 정보, 및 코딩 트리 유닛의 수로 관심 영역의 행 높이를 도출하기 위한 정보를 포함한다. 보충 향상 정보 메시지가 시그널링될 때, 인코더는 향상 계층의 비유효 코딩 트리 유닛을 비트스트림에 인코딩하고, 향상 계층의 모든 비유효 코딩 트리 유닛은 신호 대 잡음비 확장성을 위해 함께 위치한 베이스 계층으로부터 복사된다. 보충 향상 정보 메시지가 시그널링될 때, 인코더는 향상 계층의 비유효 코딩 트리 유닛을 비트스트림에 인코딩하며, 향상 계층의 모든 비유효 코딩 트리 유닛은 공간 확장성을 위해 함께 위치한 업 샘플링된 베이스 계층으로부터 복사된다. 관심 영역 확장성 구현은 디코더가 향상 계층의 비유효 코딩 트리 유닛들을 디코딩하지 않아야 한다는 것을 나타내기 위한 보충 향상 정보 메시지를 포함한다. 관심 영역 확장성 구현은 영상에서 관심 영역들을 기록하기 위해 베이스 계층보다 더 높은 공간 해상도를 가진 향상 계층을 이용한다. 관심 영역 확장성 구현은 영상에서 관심 영역들을 기록하기 위해 베이스 계층과 상이한 프레임 레이트를 가진 향상 계층을 이용한다.
다른 양상에서, 카메라 디바이스의 비일시적인 메모리에 프로그래밍된 시스템은 베이스 계층 영상 및 향상 계층 영상을 획득하도록 구성된 센서, 및 향상 계층 영상의 일부에 관심 영역 확장성 구현을 적용하도록 구성된 적용 컴포넌트를 포함하며, 향상 계층 영상의 일부는 전체 향상 계층 영상보다 작다. 관심 영역 확장성 구현은 인코더를 조작하기 위한 보충 향상 정보 메시지를 가진 관심 영역 맵을 시그널링하는 것을 포함한다. 보충 향상 정보 메시지는 관심 영역의 위치를 나타낸다. 각각의 관심 영역은 유효 코딩 트리 유닛들의 하나 이상의 직사각형 집합이다. 보충 향상 정보 메시지는 관심 영역의 수, 및 각각의 관심 영역에 대해, 영상의 주사 순서로 관심 영역에서 유효 코딩 트리 유닛들의 각각의 직사각형 집합의 첫 번째 코딩 트리 유닛의 어드레스를 포함한다. 어드레스는 차분 인코딩으로 인코딩된다. 어드레스는 차분 인코딩 없이 인코딩된다. 보충 향상 정보 메시지는 코딩 트리 유닛의 수로 관심 영역의 열 폭을 도출하기 위한 정보, 및 코딩 트리 유닛의 수로 관심 영역의 행 높이를 도출하기 위한 정보를 포함한다. 보충 향상 정보 메시지가 시그널링될 때, 인코더는 향상 계층의 비유효 코딩 트리 유닛을 비트스트림에 인코딩하고, 향상 계층의 모든 비유효 코딩 트리 유닛은 신호 대 잡음비 확장성을 위해 함께 위치한 베이스 계층으로부터 복사된다. 보충 향상 정보 메시지가 시그널링될 때, 인코더는 향상 계층의 비유효 코딩 트리 유닛을 비트스트림에 인코딩하며, 향상 계층의 모든 비유효 코딩 트리 유닛은 공간 확장성을 위해 함께 위치한 업 샘플링된 베이스 계층으로부터 복사된다. 관심 영역 확장성 구현은 디코더가 향상 계층의 비유효 코딩 트리 유닛들을 디코딩하지 않아야 한다는 것을 나타내기 위한 보충 향상 정보 메시지를 포함한다. 관심 영역 확장성 구현은 영상에서 관심 영역들을 기록하기 위해 베이스 계층보다 더 높은 공간 해상도를 가진 향상 계층을 이용한다. 관심 영역 확장성 구현은 영상에서 관심 영역들을 기록하기 위해 베이스 계층과 상이한 프레임 레이트를 가진 향상 계층을 이용한다.
다른 양상에서, 장치는, 애플리케이션을 저장하기 위한 비일시적인 메모리 - 애플리케이션은 베이스 계층 영상 및 향상 계층 영상을 획득하고 향상 계층 영상의 일부에 관심 영역 확장성 구현을 적용하기 위한 것이며, 향상 계층 영상의 일부는 전체 향상 계층 영상보다 작음 -, 및 메모리에 결합되고 애플리케이션을 처리하도록 구성된 처리 컴포넌트를 포함한다. 관심 영역 확장성 구현은 인코더를 조작하기 위한 보충 향상 정보 메시지를 가진 관심 영역 맵을 시그널링하는 것을 포함한다. 보충 향상 정보 메시지는 관심 영역의 위치를 나타낸다. 각각의 관심 영역은 유효 코딩 트리 유닛들의 하나 이상의 직사각형 집합이다. 보충 향상 정보 메시지는 관심 영역의 수, 및 각각의 관심 영역에 대해, 영상의 주사 순서로 관심 영역에서 유효 코딩 트리 유닛들의 각각의 직사각형 집합의 첫 번째 코딩 트리 유닛의 어드레스를 포함한다. 어드레스는 차분 인코딩으로 인코딩된다. 어드레스는 차분 인코딩 없이 인코딩된다. 보충 향상 정보 메시지는 코딩 트리 유닛의 수로 관심 영역의 열 폭을 도출하기 위한 정보, 및 코딩 트리 유닛의 수로 관심 영역의 행 높이를 도출하기 위한 정보를 포함한다. 보충 향상 정보 메시지가 시그널링될 때, 인코더는 향상 계층의 비유효 코딩 트리 유닛을 비트스트림에 인코딩하고, 향상 계층의 모든 비유효 코딩 트리 유닛은 신호 대 잡음비 확장성을 위해 함께 위치한 베이스 계층으로부터 복사된다. 보충 향상 정보 메시지가 시그널링될 때, 인코더는 향상 계층의 비유효 코딩 트리 유닛을 비트스트림에 인코딩하며, 향상 계층의 모든 비유효 코딩 트리 유닛은 공간 확장성을 위해 함께 위치한 업 샘플링된 베이스 계층으로부터 복사된다. 관심 영역 확장성 구현은 디코더가 향상 계층의 비유효 코딩 트리 유닛들을 디코딩하지 않아야 한다는 것을 나타내기 위한 보충 향상 정보 메시지를 포함한다. 관심 영역 확장성 구현은 영상에서 관심 영역들을 기록하기 위해 베이스 계층보다 더 높은 공간 해상도를 가진 향상 계층을 이용한다. 관심 영역 확장성 구현은 영상에서 관심 영역들을 기록하기 위해 베이스 계층과 상이한 프레임 레이트를 가진 향상 계층을 이용한다.
도 1은 일부 실시예에 따르는 ROI 확장성의 도면들을 도시한다.
도 2는 일부 실시예에 따르는 방법 1에 의한 예시적인 타일의 도면을 도시한다.
도 3은 일부 실시예에 따르는 방법 2에 의한 예시적인 타일의 도면을 도시한다.
도 4는 일부 실시예에 따르는 타일을 가진 예시적인 암시적 ROI 맵의 도면을 도시한다.
도 5는 일부 실시예에 따르는 ROI 확장성 방법을 이용하는 방법의 흐름도를 도시한다.
도 6은 일부 실시예에 따르는, ROI 확장성 방법을 구현하도록 구성된 예시적인 컴퓨팅 디바이스의 블록도를 도시한다.
지능적 트래픽 모니터링 시스템, 보안 모니터링 시스템 또는 임의의 다른 시스템에서, 컴퓨터 비전(computer vision)은 하나 이상의 관심 영역(ROI, Region of Interest)들을 지능적으로 식별하기 위해 비디오 기록 시스템과 결합될 수 있다. 도 1에 도시된 바와 같이, 기록 시스템은 베이스로서 더 넓은 시청 영역을 가진 저 해상도 화상, 및 향상으로서 더 높은 공간 해상도 또는 더 높은 화상 품질로 화상에 하나 이상의 ROI를 기록할 수 있다. ROI는 또한 베이스 계층과 상이한 프레임 레이트로 향상 계층에 기록될 수 있다.
ROI 확장성을 이용하는 애플리케이션은 ROI들 내에 확장성을 제공하는데만 관심있다. 따라서, ROI들 내의 화소들은 스케일러블 디코더에 유효하며, ROI들 밖의 화소들은 디코더에 유효하지 않다.
일부 실시예에서는 다음이 정의된다:
ROI는 코딩 트리 유닛(CTU, Coding Tree Unit)들의 하나 이상의 직사각형 집합이다.
향상 계층 화상은 하나 이상의 ROI를 가진다.
ROI에서 CTU는 유효 CTU로서 정의된다.
임의의 ROI에 있지 않은 CTU는 비유효 CTU로서 정의된다.
ROI의 코딩은 고수준 구문 변경, 저수준 구문 변경 또는 이 둘 모두를 이용하여 수행될 수 있다.
ROI에서 더 구체적인 것을 제공하는 방법은 이하 본 명세서에서 설명된다. 공간 확장성을 가진 ROI에서는, 베이스 계층(BL, Base Layer)에 있는 ROI에서 더 구체적인 것을 제공하려는 욕구가 있다. 이는 향상 계층(EL, Enhancement Layer)에 있는 ROI에서 더 구체적인 것을 제공하여 달성될 수 있다. ROI 및 향상 데이터의 위치는 중요하다.
신호 대 잡음비(SNR) 확장성을 가진 ROI에서는, 베이스 계층(BL)에 있는 ROI에서 더 구체적인 것을 제공하려는 욕구가 있다. 이는 향상 계층(EL)에서 ROI의 더 높은 피크 SNR(PSNR, Peak SNR)을 제공함으로써 달성될 수 있다. ROI 및 향상 데이터의 위치는 중요하다.
확장성을 가진 ROI에서, 화상의 CTU들은 2개의 분해된 그룹으로 분리된다. 그룹들 중 하나의 CTU들은 유효한 것으로 지정된다. 유효 CTU들은 CTU들의 하나 이상의 직사각형 집합이다. ROI는 유효 CTU들의 하나 이상의 직사각형 집합들이다. 다른 그룹의 CTU들은 유효하지 않은 것으로 지정된다. SNR 확장성을 위해, 비유효 CTU들은 EL 디코더에 의해 함께 위치한 베이스 계층으로부터 화소들을 복사함으로써 재구성된다. 공간 확장성을 위해, 비유효 CTU들은 EL 디코더에 의해 함께 위치한 업 샘플링된 베이스 계층으로부터 화소들을 복사함으로써 재구성된다. 시그널링 방법에 따라서, 각각의 비유효 CTU는 슬라이스 세그먼트 데이터에 인코딩되거나 또는 인코딩되지 않을 수 있다.
2개 그룹의 CTU들의 위치는 다음의 타입의 방법들 중 하나에 의해 시그널링된다: 명시적 또는 암시적. 명시적 방법에서, 관심 영역들의 위치는 비트스트림으로 명시적으로 시그널링된다. 암시적 방법에서, 관심 영역들의 위치는 비트스트림으로 명시적으로 시그널링되지 않는다. 위치들은 다른 수단, 예를 들어, 네트워크 추상화 층(NAL, Network Abstraction Layer) 타입에 의해 암시적으로 도출된다.
고수준 구문을 가진 ROI를 시그널링하기 위해 SHVC를 확장하기 위한 방법들이 다수 있다. 다음과 같은 방법들이 설명된다:
- ROI 맵을 시그널링하기 위한 SEI 메시지를 가진 인코더 트릭(encoder trick);
- 디코더가 비유효 CTU들을 디코딩하는데 요구되지 않는다고 나타내기 위한 SEI 메시지들;
- 타일 방법 1을 이용하는 ROI 맵의 명시적 시그널링;
- 타일 방법 2를 이용하는 ROI 맵의 명시적 시그널링;
- 타일을 가진 ROI 맵의 암시적 시그널링; 및
- 타일이 없는 ROI 맵의 암시적 시그널링.
인코더 트릭을 가진 명시적 ROI 맵
향상 계층은 관심 영역의 위치를 나타내기 위한 보충 향상 정보(SEI, Supplemental Enhancement Information) 메시지로 인코딩된다 . 화상은 하나 이상 ROI를 가진다. 각각의 ROI는 유효 CTU들의 하나 이상의 직사각형 집합이다. SEI 메시지들은 ROI들의 수, 및 각각의 ROI에 대한, 화상의 주사 순서로 ROI에서 유효 CTU들의 각각의 직사각형 집합의 첫 번째 CTU의 어드레스 - 어드레스는 차분 인코딩으로/없이 인코딩됨 -, CTU의 수로 ROI의 열 폭을 도출하기 위한 정보, 및 CTU의 수로 ROI의 행 높이를 도출하기 위한 정보를 포함한다. SEI가 시그널링될 때, 인코더는 향상 계층의 비유효 CTU를 비트스트림에 인코딩하고 다음의 결과가 얻어진다: SNR 확장성을 위해, 향상 계층의 모든 비유효 CTU들은 함께 위치한 베이스 계층으로부터 복사된다. 공간 확장성을 위해, 향상 계층의 모든 비유효 CTU들은 함께 위치한 업 샘플링된 베이스 계층으로부터 복사된다.
표 1은 차분 인코딩이 없는 관심 영역 SEI 메시지 구문을 보여준다.
Figure 112015095540340-pct00001
표 2는 차분 인코딩을 가진 관심 영역 SEI 메시지 구문을 보여준다.
Figure 112015095540340-pct00002
표 3은 층간 한정된 타일 세트들(inter-layer constrained tile sets) SEI 메시지 구문을 보여준다.
Figure 112015095540340-pct00003
Figure 112015095540340-pct00004
층간 한정된 타일 세트들 SEI 메시지의 범위는 완전한 코딩된 비디오 스트림(CVS, Coded Video Stream)이다. 층간 타일 세트들 SEI 메시지가 CVS의 임의의 액세스 유닛에 존재할 때, 이는 디코딩 순서로 CVS의 첫 번째 액세스 유닛에 대해 존재할 것이고, CVS의 다른 액세스 유닛들에 대해서도 또한 존재할 수 있다.
층간 한정된 타일 세트들 SEI 메시지는 tiles_enabled_flag가 층에 대해 활성인 임의의 PPS에 대해 0과 동일할 때 해당 층에 존재하지 않을 것이다.
층간 한정된 타일 세트들 SEI 메시지는 층에 대해 활성인 모든 PPS가 1과 동일한 tile_boundaries_aligned_flag를 갖지 않거나 1과 동일한 tile_boundaries_aligned_flag에 의해 나타나는 상태들을 충족하지 않는 한 해당 층에 존재하지 않을 것이다.
층간 타일 세트들 SEI 메시지의 존재는, 각각의 식별된 타일 세트 밖의 샘플 값 및 식별된 타일 세트 밖의 하나 이상의 샘플 값을 이용하여 도출되는 분할 샘플 위치에서의 샘플 값이 식별된 타일 세트 내의 임의의 샘플의 층간 예측에 이용되지 않도록, 층간 상호 예측 프로세스(inter-layer inter prediction process)가 한정되는 것을 나타낸다.
루프 필터링 및 재샘플링 필터가 타일 경계들에 걸쳐 적용될 때, 화상 경계가 역시 아닌 층간 한정된 타일 세트 경계로부터 8개 샘플 내의 샘플들을 참고하는 층간 한정된 타일 세트 내의 임의의 샘플들의 층간 예측은 부정합 에러의 전파를 초래할 수 있다. 인코더는 그런 참고를 야기하는 움직임 벡터들의 사용을 회피함으로써 이같은 잠재적인 에러 전파를 회피할 수 있다.
2 이상의 층간 한정된 타일 세트 SEI 메시지가 CVS들의 액세스 유닛들 내에 존재할 때, 그들은 동일한 콘텐츠를 포함할 것이다.
각각의 액세스 유닛에서 층간 한정된 타일 세트 SEI 메시지들의 수는 일부 실시예에서 5를 초과하지 않을 것이다.
1과 동일한 il_all_tiles_exact_sample_value_match_flag는, CVS 내에서, 임의의 식별된 타일 밖에 있는 코딩 트리 블록들이 디코딩되지 않고 식별된 타일의 경계들이 디코딩 프로세스를 위해 화상 경계들로 취급될 때, 식별된 타일에서 각각의 샘플의 값이, CVS에서 모든 화상의 모든 코딩 트리 블록들이 디코딩될 때 획득될 샘플의 값과 정확히 동일할 것이라고 나타낸다. 0와 동일한 il_all_tiles_exact_sample_value_match_flag는, CVS 내에서, 임의의 식별된 타일 밖에 있는 코딩 트리 블록들이 디코딩되지 않고 식별된 타일의 경계들이 디코딩 프로세스를 위해 화상 경계들로 취급될 때, 식별된 타일의 각각의 샘플의 값이, CVS에서 모든 화상들의 모든 코딩 트리 블록들이 디코딩될 때 동일한 샘플의 값으로서 정확히 동일할 수 있거나 동일하지 않을 수 있다고 나타낸다.
1과 동일한 il_one_tile_per_tile_set_flag는 각각의 층간 한정된 타일 세트가 하나의 타일을 포함하고, il_num_sets_in_message_minus1이 존재하지 않는다고 나타낸다. il_one_tile_per_tile_set_flag가 0과 동일할 때, 타일 세트들은 명시적으로 시그널링된다.
il_num_sets_in_message_minus1 plus 1은 SEI 메시지에서 식별된 층간 타일 세트들의 수를 명시한다. il_num_sets_in_message_minus1의 값은 0 이상 255 이하의 범위에 있을 것이다.
1과 동일한 skipped_tile_set_present_flag는, CVS 내에서, 타일 세트가 동일한 메시지에서 임의의 더 이전의 타일 세트들에 포함되지 않는 남아있는 타일들을 포함하며, ictsNuhLayerId와 동일한 nuh_layer_id를 가진 식별된 타일 세트 내부에 있는 모든 예측 블록들이 RefLayerId[ ictsNuhLayerId][NumDirectRefLayers[ictsNuhLayerId]-1]과 동일한 nuh_layer_id를 가진 층간 참조 화상들로부터 층간 예측되고, residual_coding() 구문 구조가 식별된 타일 세트의 임의의 변환 유닛에 존재하지 않는다는 것을 나타내며, 여기서 ictsNuhLayerId는 이런 SEI 메시지의 nuh_layer_id의 값이다. 0과 동일한 skipped_tile_set_present_flag는 CVS 내에 한정된 비트스트림을 나타내지 않는다. 존재하지 않을 때, skipped_tile_set_present_flag의 값은 0과 동일한 것으로 추론된다.
ilcts_id[i]는 i번째 식별된 타일 세트의 목적을 식별하기 위해(예를 들어, 특정 목적을 위해 코딩된 비디오 시퀀스로부터 추출될 영역을 식별하기 위해) 사용될 수 있는 식별 번호를 포함한다. ilcts_id[i]의 값은 0 이상 232-2 이하의 범위에 있을 것이다.
0 내지 255와, 512 내지 231-1의 ilcts_id[i]의 값들은 애플리케이션에 의해 결정된 것으로 이용될 수 있다. 256 내지 511과, 231 내지 232-2의 ilcts_id[i]의 값들은 ITU-T|ISO/IEC에 의한 향후 사용을 위해 예비된다. 256 내지 511의 범위 또는 231 내지 232-2의 범위에서 ilcts_id[i]의 값을 대면하는 디코더들은 이를 무시할 것이다(비트스트림에서 제거하고 폐기할 것이다).
il_num_tile_rects_in_set_minus1[i] plus 1은 i번째 식별된 층간 한정된 타일 세트에서 타일들의 직사각형 영역들의 수를 명시한다. il_num_tile_rects_in_set_minus1[i]의 값은 0 이상 (num_tile_columns_minus1 + 1) * (num_tile_rows_minus1 + 1)-1 이하의 범위에 있을 것이다.
il_top_left_tile_index[i][j] 및 il_bottom_right_tile_index[i][j]는 타일 래스터 주사 순서로 각각, i번째 식별된 층간 한정된 타일 세트의 직사각형 영역에서 상부 좌측 타일의 타일 위치와 하부 우측 타일의 타일 위치를 식별한다.
1과 동일한 ilc_idc[i]는, CVS 내에서, i번째 식별된 타일 세트 밖의 샘플들과, i번째 식별된 타일 세트 밖의 하나 이상의 샘플을 이용하여 도출된 분할 샘플 위치에서의 샘플들이 ictsNuhLayerId와 동일한 nuh_layer_id를 가진 i번째 식별된 타일 세트 내의 임의의 샘플의 층간 예측에 사용되지 않는다고 나타내며, 여기서 ictsNuhLayerId는 이런 메시지의 nuh_layer_id의 값이다. 2와 동일한 ilc_idc[i][j]는, CVS 내에서, ictsNuhLayerId와 동일한 nuh_layer_id를 가진 i번째 식별된 타일 세트의 예측 블록이 층간 참조 화상으로부터 예측되지 않는다고 나타낸다. 0과 동일한 ilc_idc[i]는, CVS 내에서, 층간 예측 프로세스가 ictsNuhLayerId와 동일한 nuh_layer_id를 가진 i번째 식별된 타일 세트에서 예측 블록에 대해 한정될 수 있거나 한정되지 않을 수 있음을 나타낸다. 3과 동일한 ilc_idc[i]의 값은 예비된다.
1과 동일한 il_exact_sample_value_match_flag[i]는, CVS 내에서, 층간 한정된 타일 세트에 속하지 않는 코딩 트리 블록들이 디코딩되지 않고 i번째 층간 한정된 타일 세트의 경계들이 디코딩 프로세스의 목적을 위해 화상 경계로서 취급될 때, 층간 한정된 타일 세트에서 각각의 샘플의 값이, 코딩된 비디오 시퀀스에서 모든 화상들의 모든 코딩 트리 블록들이 디코딩될 때 획득될 샘플의 값과 정확히 동일할 것임을 나타낸다. 0과 동일한 il_exact_sample_value_match_flag[i]는, CVS 내에서, i번째 식별된 층간 한정된 타일 세트 밖에 있는 코딩 트리 블록들이 디코딩되지 않고 i번째 층간 한정된 타일 세트의 경계들이 디코딩 프로세스의 목적을 위해 화상 경계들로서 취급될 때, 식별된 타일 세트에서 각각의 샘플의 값이, 화상의 모든 코딩 트리 블록들이 디코딩될 때 동일한 샘플의 값과 정확히 동일할 수 있거나 동일하지 않을 수 있음을 나타낸다.
loop_filter_across_tiles_enabled_flag, pps_loop_filter_across_slices_enabled_flag, pps_deblocking_filter_disabled_flag, slice_loop_filter_across_slices_enabled_flag, slice_deblocking_filter_disabled_flag, sample_adaptive_offset_enabled_flag, slice_sao_luma_flag 및 slice_sao_chroma_flag의 소정 조합을 이용할 때 1과 동일한 il_exact_sample_value_match_flag를 이용하는 것이 실현 가능하다. 1과 동일한 all_tiles_ilc_idc는, CVS 내에서, 각각의 식별된 타일 밖의 샘플 값과, 식별된 타일 밖의 하나 이상의 샘플을 이용하여 도출된 분할 샘플 위치에서의 샘플 값이 ictsNuhLayerId와 동일한 nuh_layer_id를 가진 식별된 타일 내의 임의의 샘플의 층간 예측에 사용되지 않음을 나타내며, 여기서 ictsNuhLayerId는 이런 SEI 메시지의 nuh_layer_id의 값이다. 2와 동일한 all_tiles_ilc_idc는, CVS 내에서, ictsNuhLayerId와 동일한 nuh_layer_id를 가진 각각의 식별된 타일에서 예측 블록이 층간 참조 화상으로부터 예측되지 않음을 나타낸다. 0과 동일한 all_tiles_ilc_idc는, CVS 내에서, 층간 예측 프로세스가 ictsNuhLayerId와 동일한 nuh_layer_id를 가진 타일에 대해 한정될 수 있거나 또는 한정될 수 없음을 나타낸다. 3과 동일한 all_tiles_ilc_idc의 값은 예비된다.
Do Not Decode SEI 메시지
do not decode SEI 메시지는 디코더가 향상 계층의 유효 CTU를 디코딩하기 위해 향상 계층의 비유효 CTU를 디코딩할 것을 요구하지 않음을 나타내기 위해 전송될 수 있다. 이는 인코더가 움직임 보상 프로세스, 인트라 예측 프로세스 및/또는 엔트로피 코딩 프로세스에 대해 제한을 둔 것을 나타낼 수 있다.
타일 방법 1을 이용하는 명시적 ROI 맵
향상 계층은 다음의 것으로 인코딩된다: 타일 구조, 각각의 ROI는 타일들의 직사각형 영역이며, ROI 맵은 유효 타일들의 리스트에 의해 시그널링된다.
ROI에 있는 타일은 유효 타일로 불린다; 그렇지 않으면, 타일은 비유효 타일이다. 유효 타일은 유효 CTU들의 집합이다. 비유효 타일은 비유효 CTU들의 집합이다.
유효 타일들의 리스트는 다음에 의해 시그널링된다: 화상 파라미터 세트(PPS, Picture Parameter Set) 원시 바이트 시퀀스 페이로드(RBSP, Raw Byte Sequence Payload) 또는 상기 슬라이스 세그먼트 층 RBSP 위의 새로운 RBSP 타입. 리스트는 타일 인덱스들의 리스트에 의해 시그널링된다. 타일 인덱스는 화상에서 타일들의 주사 순서로 된 타일들의 인덱스이다. 타일 인덱스는 차분 코딩으로 또는 그것 없이 인코딩된다.
향상 계층은 또한 다음의 조건들로 인코딩된다. 첫 번째 타일이 첫 번째 유효 타일이 아니라면 이는 다음의 조건들 모두로 인코딩된다: 첫 번째 유효 타일 앞의 모든 비유효 타일들의 집합은 화상의 첫 번째 슬라이스가 되며, 첫 번째 유효 타일의 첫 번째 CTU는 두 번째 슬라이스의 첫 번째 CTU가 된다. 그렇지 않으면, 첫 번째 타일은 첫 번째 유효 타일이 되고, 첫 번째 유효 타일의 첫 번째 CTU는 첫 번째 슬라이스의 첫 번째 CTU가 된다. 슬라이스의 첫 번째 CTU는 화상의 첫 번째 CTU 또는 유효 타일의 첫 번째 CTU가 된다. 2개의 유효 타일 사이에 하나 이상의 비유효 타일이 있다면, 2개의 유효 타일 사이의 비유효 타일들은 슬라이스 세그먼트를 형성한다. 화상에서 최종 유효 타일 뒤에 하나 이상의 비유효 타일이 있다면, 최종 유효 타일 뒤의 비유효 타일들은 슬라이스 세그먼트를 형성한다. 이런 조건들 중 하나는 참이다: 유효 타일들의 연속 번호는 슬라이스 또는 슬라이스 세그먼트를 형성하고, 또는 유효 타일은 하나 이상의 슬라이스 또는 슬라이스 세그먼트이다. 선택적 메시지는 각각의 ROI가 움직임 보상 프로세스를 ROI 내로 제한함으로써 독립적으로 디코딩 가능하다는 것을 나타내는데 이용될 수 있다. 제한은 SHVC에서 향상 계층에 있는 개별적 ROI에 대한 것이다.
도 2는 방법 1을 이용하는 타일의 예의 블록도를 도시한다. 향상 계층 화상은 16개 타일로 분할된다. 향상 계층의 비유효 타일은 단지 비유효 CTU들을 가진 타일이다. 향상 계층의 비유효 CTU는 베이스 계층(SNR 확장성)으로부터 또는 보간된 베이스 계층(공간 확장성)으로부터 복사된 그 화소들을 가진 CTU이다. 도 2에 도시된 바와 같이, Tile5는 2개의 슬라이스 세그먼트를 갖고, Tile10은 하나의 슬라이스 세그먼트를 가진다. Tile5 및 Tile10만이 유효 타일들이다. Tile5 및 Tile10만이 slice_segment_layer_rbsp()으로 코딩된다. 비유효 타일들은 비유효 슬라이스 세그먼트 층 RBSP에 의해 시그널링되며, 유효 타일들은 정규 슬라이스 세그먼트 층 RBSP에 의해 시그널링된다.
타일 방법 2를 이용하는 명시적 ROI 맵
향상 계층은 다음의 것으로 인코딩된다. 향상 계층은 타일 구조로 인코딩된다. 각각의 ROI는 타일들의 직사각형 영역이다. ROI에 있는 타일은 유효 타일로 불린다; 그렇지 않으면, 타일은 비유효 타일이다. 유효 타일은 유효 CTU들의 집합이다. 비유효 타일은 비유효 CTU들의 집합이다.
ROI 맵은 유효 타일들의 리스트에 의해 시그널링된다. 유효 타일들의 리스트는 다음에 의해 시그널링된다: 화상 파라미터 세트(PPS) 원시 바이트 시퀀스 페이로드(RBSP) 또는 상기 슬라이스 세그먼트 층 RBSP 위의 새로운 RBSP 타입. 리스트는 타일 인덱스들의 리스트에 의해 시그널링된다. 타일 인덱스는 화상에서 타일들의 주사 순서로 된 타일들의 인덱스이다. 타일 인덱스는 차분 코딩으로 또는 그것 없이 인코딩된다.
슬라이스 세그먼트가 하나 이상 타일을 가진다면, 다음의 모두가 참으로 인코딩된다: 슬라이스 세그먼트는 하나 이상의 유효 타일을 가진다; 2 이상의 유효 타일을 가진다면, 유효 타일들은 연속적인 순서로 되어 있고(예를 들어, slice_segment_date()에서 CTU들은 연속적인 순서로 되어 있고), 슬라이스 세그먼트에서 최종 타일은 이것이 화상에서 최종 슬라이스 세그먼트인 것을 제외하곤 유효하다.
타일이 하나 이상의 세그먼트를 가진다면, 타일은 유효하다.
선택적 메시지는 각각의 ROI가 움직임 보상 프로세스를 ROI 내로 제한함으로써 독립적으로 디코딩 가능하다는 것을 나타내는데 이용될 수 있다. 제한은 SHVC에서 향상 계층에 있는 개별적 ROI에 대한 것이다.
도 3은 방법 2를 이용하는 타일의 일례의 블록도를 도시한다. 화상은 16개 타일로 분할된다. 비유효 타일은 비유효 CTU들만을 가진 타일이다. 비유효 CTU는 베이스 계층(SNR 확장성) 또는 보간된 베이스 계층(공간 확장성)으로부터 복사된 그 화소들을 가진 CTU이다. 도 3에 도시된 바와 같이, Tile5는 Slice0-Seg0의 slice_segment_data()에서 인코딩되고, Tile10은 Slice0-Seg1의 slice_segment_data()에서 인코딩된다.
표 4는 PPS에서 타일을 가진 명시적 ROI 맵의 예시적 코드를 보여준다.
Figure 112015095540340-pct00005
Figure 112015095540340-pct00006
Figure 112015095540340-pct00007
표 5 타일 인덱스 상에서 차분 인코딩을 가진 타일 유효성 맵
Figure 112015095540340-pct00008
표 6 타일 인덱스 상에서 차분 인코딩이 없는 타일 유효성 맵
Figure 112015095540340-pct00009
타일을 가진 암시적 ROI 맵
향상 계층은 다음의 것으로 인코딩된다. 향상 계층은 타일 구조로 인코딩된다. 타일은 유효 타일 또는 비유효 타일 중 어느 하나이다. 유효 타일은 유효 CTU들의 집합이다. 비유효 타일은 비유효 CTU들의 집합이다. 다음 중 하나가 참으로 인코딩된다: 유효 타일은 하나 이상의 슬라이스 또는 슬라이스 세그먼트를 포함하고, 또는 유효 타일들의 연속 번호는 슬라이스 또는 슬라이스 세그먼트이다.
ROI 맵은 다음과 같이 암시적으로 시그널링된다. 하나 이상의 비유효 타일은 비유효 슬라이스 세그먼트에 대한 새로운 NAL 유닛 타입을 가진 non_significant_slice_segment_rbsp()에 의해 시그널링된다. 유효 타일은 자신이 코딩된 슬라이스 세그먼트 NAL 유닛인 것을 나타내는 nal_unit_type을 가진 NAL 유닛에서 인코딩된다.
선택적 메시지는 각각의 ROI가 움직임 보상 프로세스를 ROI 내로 제한함으로써 독립적으로 디코딩 가능하다는 것을 나타내는데 이용될 수 있다. 제한은 SHVC에서 향상 계층에 있는 개별적 ROI에 대한 것이다.
표 7은 타일을 가진 non_significant_layer_rbsp()를 보여준다.
Figure 112015095540340-pct00010
도 4는 타일을 가진 암시적 ROI 맵의 도표를 도시한다. 화상은 16개의 타일로 분할된다. 비유효 타일은 비유효 CTU들만을 가진 타일이다. 비유효 CTU는 베이스 계층(SNR 확장성)으로부터 또는 보간된 베이스 계층(공간 확장성)으로부터 복사된 그 화소들을 가진 CTU이다. 도 4에 도시된 바와 같이, Seg0, Seg3 및 Seg5는 비유효 슬라이스 세그먼트들이다. Seg1, Seg2 및 Seg4는 정규 슬라이스 세그먼트들이다.
타일이 없는 암시적 ROI 맵
향상 계층은 다음의 것으로 인코딩된다. ROI 맵은 다음에서와 같이 암시적으로 시그널링된다. 하나 이상의 비유효 CTU는 비유효 슬라이스 세그먼트에 대한 새로운 NAL 유닛 타입을 가진 non_significant_slice_segment_rbsp()에 의해 시그널링된다. 하나 이상의 연속적인 유효 CTU는 자신이 코딩된 슬라이스 세그먼트 NAL 유닛인 것을 나타내는 nal_unit_type를 가진 NAL 유닛에서 인코딩된다.
선택적 메시지는 각각의 ROI가 움직임 보상 프로세스를 ROI 내로 제한함으로써 독립적으로 디코딩 가능하다는 것을 나타내는데 이용될 수 있다. 제한은 SHVC에서 향상 계층에 있는 개별적 ROI에 대한 것이다.
표 8은 타일이 없는 non_significant_layer_rbsp()를 보여준다.
Figure 112015095540340-pct00011
표 9는 PPS에서 명시적 ROI 맵의 예시적 코드를 보여준다.
Figure 112015095540340-pct00012
Figure 112015095540340-pct00013
Figure 112015095540340-pct00014
표 10은 차분 인코딩이 없는 관심 영역 맵을 보여준다.
Figure 112015095540340-pct00015
표 11은 차분 인코딩을 가진 관심 영역 맵을 보여준다.
Figure 112015095540340-pct00016
스킵된 화상 및 스킵된 슬라이스
비유효 슬라이스 세그먼트는 슬라이스 세그먼트에서 CTU들이 SNR 확장성을 위해 베이스 계층으로부터 화소들을 복사함으로써 또는 공간 확장성을 위해 업 샘플링된 베이스 계층으로부터 화소들을 복사함으로써 SHVC 디코더에 의해 재구성되는 것을 나타낼 수 있다.
향상 계층에서 전체 화상이 하나 이상 비유효 슬라이스 세그먼트만을 포함할 때, 그 화상에서 모든 CTU들은 SNR 확장성을 위해 베이스 계층으로부터 화소들을 복사함으로써 또는 공간 확장성을 위해 업 샘플링된 베이스 계층으로부터 화소들을 복사함으로써 SHVC 디코더에 의해 재구성된다.
향상 계층에서 전체 슬라이스가 하나 이상의 비유효 슬라이스 세그먼트만을 포함할 때, 그 슬라이스에서 모든 CTU들은 SNR 확장성을 위해 베이스 계층으로부터 화소들을 복사함으로써 또는 공간 확장성을 위해 업 샘플링된 베이스 계층으로부터 화소들을 복사함으로써 SHVC 디코더에 의해 재구성된다.
도 5는 일부 실시예에 따르는 ROI 확장성 방법을 구현하는 방법의 흐름도를 도시한다. 단계 500에서, 비디오가 획득된다. 일부 실시예에서, 베이스 계층 영상과 향상 계층 영상이 획득된다. 단계 502에서, ROI 확장성 방법은 비디오의 일부 또는 비디오 내의 영상에 적용된다. 일부 실시예에서, ROI 확장성 방법은 향상 계층 영상의 일부에 적용된다. 일부 실시예에서, ROI 확장성 방법은 비디오가 획득되는 동안 그리고/또는 그 뒤에 적용된다. 예를 들어, ROI 확장성 방법은 비디오가 기록되고 있는 동안 적용된다. 일부 실시예에서, 더 적은 또는 추가의 단계들이 구현된다.
도 6은 일부 실시예에 따르는 ROI 확장성 방법을 구현하도록 구성된 예시적 컴퓨팅 디바이스의 블록도를 도시한다. 컴퓨팅 디바이스(600)는 영상 및 비디오와 같은 정보를 획득, 저장, 계산, 처리, 통신 및/또는 표시하는데 이용될 수 있다. 일반적으로, 컴퓨팅 디바이스(600)를 구현하는데 적절한 하드웨어 구조는 네트워크 인터페이스(602), 메모리(604), 프로세서(606), I/O 디바이스(들)(608), 버스(610) 및 스토리지 디바이스(612)를 포함한다. 프로세서의 선택은 충분한 속도를 가진 적합한 프로세서가 선택되는 한, 중요하지 않다. 메모리(604)는 본 기술 분야에서 알려진 임의의 통상적인 컴퓨터 메모리일 수 있다. 스토리지 디바이스(612)는 하드 드라이브, CDROM, CDRW, DVD, DVDRW, 고화질 디스크/드라이브, 울트라-HD 드라이브, 플래시 메모리 카드 또는 임의의 다른 스토리지 디바이스를 포함할 수 있다. 컴퓨팅 디바이스(600)는 하나 이상의 네트워크 인터페이스(602)를 포함할 수 있다. 네트워크 인터페이스의 예는 이더넷(Ethernet) 또는 다른 타입의 LAN에 접속된 네트워크 카드를 포함한다. I/O 디바이스(들)(608)는 다음 중 하나 이상을 포함할 수 있다: 키보드, 마우스, 모니터, 스크린, 프린터, 모뎀, 터치스크린, 버튼 인터페이스 및 기타 디바이스들. ROI 확장성 방법을 수행하는데 이용된 ROI 확장성 애플리케이션(들)(630)은 스토리지 디바이스(612) 및 메모리(604)에 저장되고 애플리케이션들이 일반적으로 처리되는 것처럼 처리되기 쉽다. 도 6에 도시된 것들보다 더 많거나 적은 수의 컴포넌트들이 컴퓨팅 디바이스(600)에 포함될 수 있다. 일부 실시예에서, ROI 확장성 하드웨어(620)가 포함된다. 도 6의 컴퓨팅 디바이스(600)가 ROI 확장성 방법을 위한 애플리케이션(630) 및 하드웨어(620)를 포함하지만, ROI 확장성 방법은 하드웨어, 펌웨어, 소프트웨어 또는 그 임의의 조합으로 컴퓨팅 디바이스 상에 구현될 수 있다. 예를 들어, 일부 실시예에서 ROI 확장성 애플리케이션들(630)은 메모리에 프로그래밍이 되고 프로세서를 이용하여 실행된다. 다른 예에서는, 일부 실시예에서, ROI 확장성 하드웨어(620)가 ROI 확장성 방법을 구현하도록 특별히 설계된 게이트들을 포함하는 프로그래밍된 하드웨어 로직이다.
일부 실시예에서, ROI 확장성 애플리케이션(들)(630)은 여러 애플리케이션 및/또는 모듈을 포함한다. 일부 실시예에서, 모듈들은 하나 이상의 서브-모듈을 또한 포함한다. 일부 실시예에서, 더 적은 또는 추가의 모듈들이 포함될 수 있다.
적합한 컴퓨팅 장치의 예들은, 개인용 컴퓨터, 랩톱 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인 프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 단말기, 셀룰러/이동 전화기, 스마트 기기, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라폰, 스마트폰, 휴대용 음악 플레이어, 태블릿 컴퓨터, 이동 디바이스, 비디오 플레이어, 비디오 디스크 라이터/플레이어(예를 들어, DVD 라이터/플레이어, 고화질 디스크 라이터/플레이어, 초고화질 디스크 라이터/플레이어), 텔레비전, 가정용 엔터테인먼트 시스템, 스마트 장신구(예를 들어, 스마트 시계), 또는 임의의 다른 적절한 컴퓨팅 디바이스를 포함한다.
ROI 확장성 방법을 이용하기 위해, 디지털 비디오 카메라와 같은 디바이스는 비디오를 획득하는데 이용될 수 있다. ROI 확장성 방법은 비디오를 획득하는 중에 또는 그 후에 자동으로 구현된다. ROI 확장성 방법은 사용자의 관여 없이 자동으로 구현될 수 있다.
동작시, ROI 확장성 방법은 확장성이 전체 화상이 아닌 화상의 일부(예를 들어, 전체 향상 영상이 아닌 향상 영상의 일부)에 대해 사용되는 경우 구현될 수 있다. ROI 확장성의 애플리케이션들은 트래픽 모니터링, 보안 모니터링 및 타일 스트리밍을 포함한다.
SHVC를 이용한 관심 영역 확장성의 일부 실시예
1. 디바이스의 비일시적 메모리에 프로그래밍된 방법은,
a. 베이스 계층 영상 및 향상 계층 영상을 획득하는 단계; 및
b. 향상 계층 영상의 일부에 관심 영역 확장성 구현을 적용하는 단계를 포함하고, 향상 계층 영상의 일부는 전체 향상 계층 영상보다 작다.
2. 1항의 방법에서, 관심 영역 확장성 구현은 인코더를 조작하기 위한 보충 향상 정보 메시지를 가진 관심 영역 맵을 시그널링하는 것을 포함한다.
3. 2항의 방법에서, 보충 향상 정보 메시지는 관심 영역의 위치를 나타낸다.
4. 2항의 방법에서, 각각의 관심 영역은 유효 코딩 트리 유닛들의 하나 이상의 직사각형 집합이다.
5. 2항의 방법에서, 보충 향상 정보 메시지는 관심 영역의 수, 및 각각의 관심 영역에 대해, 영상의 주사 순서로 관심 영역에서 유효 코딩 트리 유닛들의 각각의 직사각형 집합의 첫 번째 코딩 트리 유닛의 어드레스를 포함한다.
6. 5항의 방법에서, 어드레스는 차분 인코딩을 이용하여 인코딩된다.
7. 5항의 방법에서, 어드레스는 차분 인코딩 없이 인코딩된다.
8. 2항의 방법에서, 보충 향상 정보 메시지는 코딩 트리 유닛의 수로 관심 영역의 열 폭을 도출하기 위한 정보, 및 코딩 트리 유닛의 수로 관심 영역의 행 높이를 도출하기 위한 정보를 포함한다.
9. 2항의 방법에서, 보충 향상 정보 메시지가 시그널링될 때, 인코더는 향상 계층의 비유효 코딩 트리 유닛을 비트스트림에 인코딩하고, 향상 계층의 모든 비유효 코딩 트리 유닛은 신호 대 잡음비 확장성을 위해 함께 위치한 베이스 계층으로부터 복사된다.
10. 2항의 방법에서, 보충 향상 정보 메시지가 시그널링될 때, 인코더는 향상 계층의 비유효 코딩 트리 유닛을 비트스트림에 인코딩하며, 향상 계층의 모든 비유효 코딩 트리 유닛은 공간 확장성을 위해 함께 위치한 업 샘플링된 베이스 계층으로부터 복사된다.
11. 1항의 방법에서, 관심 영역 확장성 구현은 디코더가 향상 계층의 비유효 코딩 트리 유닛들을 디코딩하지 않아야 한다는 것을 나타내기 위한 보충 향상 정보 메시지를 포함한다.
12. 1항의 방법에서, 관심 영역 확장성 구현은 영상에서 관심 영역들을 기록하기 위해 베이스 계층보다 더 높은 공간 해상도를 가진 향상 계층을 이용한다.
13. 1항의 방법에서, 관심 영역 확장성 구현은 영상에서 관심 영역들을 기록하기 위해 베이스 계층과 상이한 프레임 레이트를 가진 향상 계층을 이용한다.
14. 카메라 디바이스의 비일시적인 메모리에 프로그래밍된 시스템은,
a. 베이스 계층 영상 및 향상 계층 영상을 획득하도록 구성된 센서; 및
b. 향상 계층 영상의 일부에 관심 영역 확장성 구현을 적용하도록 구성된 적용 컴포넌트를 포함하며, 향상 계층 영상의 일부는 전체 향상 계층 영상보다 작다.
15. 14항의 시스템에서, 관심 영역 확장성 구현은 인코더를 조작하기 위한 보충 향상 정보 메시지를 가진 관심 영역 맵을 시그널링하는 것을 포함한다.
16. 15항의 시스템에서, 보충 향상 정보 메시지는 관심 영역의 위치를 나타낸다.
17. 15항의 시스템에서, 각각의 관심 영역은 유효 코딩 트리 유닛들의 하나 이상의 직사각형 집합이다.
18. 15항의 시스템에서, 보충 향상 정보 메시지는 관심 영역의 수, 및 각각의 관심 영역에 대해, 영상의 주사 순서로 관심 영역에서 유효 코딩 트리 유닛들의 각각의 직사각형 집합의 첫 번째 코딩 트리 유닛의 어드레스를 포함한다.
19. 18항의 시스템에서, 어드레스는 차분 인코딩으로 인코딩된다.
20. 18항의 시스템에서, 어드레스는 차분 인코딩 없이 인코딩된다.
21. 15항의 시스템에서, 보충 향상 정보 메시지는 코딩 트리 유닛의 수로 관심 영역의 열 폭을 도출하기 위한 정보, 및 코딩 트리 유닛의 수로 관심 영역의 행 높이를 도출하기 위한 정보를 포함한다.
22. 15항의 시스템에서, 보충 향상 정보 메시지가 시그널링될 때, 인코더는 향상 계층의 비유효 코딩 트리 유닛을 비트스트림에 인코딩하고, 향상 계층의 모든 비유효 코딩 트리 유닛은 신호 대 잡음비 확장성을 위해 함께 위치한 베이스 계층으로부터 복사된다.
23. 15항의 시스템에서, 보충 향상 정보 메시지가 시그널링될 때, 인코더는 향상 계층의 비유효 코딩 트리 유닛을 비트스트림에 인코딩하며, 향상 계층의 모든 비유효 코딩 트리 유닛은 공간 확장성을 위해 함께 위치한 업 샘플링된 베이스 계층으로부터 복사된다.
24. 14항의 시스템에서, 관심 영역 확장성 구현은 디코더가 향상 계층의 비유효 코딩 트리 유닛들을 디코딩하지 않아야 한다는 것을 나타내기 위한 보충 향상 정보 메시지를 포함한다.
25. 14항의 시스템에서, 관심 영역 확장성 구현은 영상에서 관심 영역들을 기록하기 위해 베이스 계층보다 더 높은 공간 해상도를 가진 향상 계층을 이용한다.
26. 14항의 시스템에서, 관심 영역 확장성 구현은 영상에서 관심 영역들을 기록하기 위해 베이스 계층과 상이한 프레임 레이트를 가진 향상 계층을 이용한다.
27. 장치는
a. 애플리케이션을 저장하기 위한 비일시적인 메모리 - 애플리케이션은,
ⅰ. 베이스 계층 영상 및 향상 계층 영상을 획득하고,
ⅱ. 향상 계층 영상의 일부에 관심 영역 확장성 구현을 적용하기 위한 것이며, 향상 계층 영상의 일부는 전체 향상 계층 영상보다 작음 -; 및
b. 메모리에 결합되고, 애플리케이션을 처리하도록 구성된 처리 컴포넌트를 포함한다.
28. 27항의 장치에서, 관심 영역 확장성 구현은 인코더를 조작하기 위한 보충 향상 정보 메시지를 가진 관심 영역 맵을 시그널링하는 것을 포함한다.
29. 28항의 장치에서, 보충 향상 정보 메시지는 관심 영역의 위치를 나타낸다.
30. 28항의 장치에서, 각각의 관심 영역은 유효 코딩 트리 유닛들의 하나 이상의 직사각형 집합이다.
31. 28항의 장치에서, 보충 향상 정보 메시지는 관심 영역의 수, 및 각각의 관심 영역에 대해, 영상의 주사 순서로 관심 영역에서 유효 코딩 트리 유닛들의 각각의 직사각형 집합의 첫 번째 코딩 트리 유닛의 어드레스를 포함한다.
32. 31항의 장치에서, 어드레스는 차분 인코딩으로 인코딩된다.
33. 31항의 장치에서, 어드레스는 차분 인코딩 없이 인코딩된다.
34. 28항의 장치에서, 보충 향상 정보 메시지는 코딩 트리 유닛의 수로 관심 영역의 열 폭을 도출하기 위한 정보, 및 코딩 트리 유닛의 수로 관심 영역의 행 높이를 도출하기 위한 정보를 포함한다.
35. 28항의 장치에서, 보충 향상 정보 메시지가 시그널링될 때, 인코더는 향상 계층의 비유효 코딩 트리 유닛을 비트스트림에 인코딩하고, 향상 계층의 모든 비유효 코딩 트리 유닛은 신호 대 잡음비 확장성을 위해 함께 위치한 베이스 계층으로부터 복사된다.
36. 28항의 장치에서, 보충 향상 정보 메시지가 시그널링될 때, 인코더는 향상 계층의 비유효 코딩 트리 유닛을 비트스트림에 인코딩하며, 향상 계층의 모든 비유효 코딩 트리 유닛은 공간 확장성을 위해 함께 위치한 업 샘플링된 베이스 계층으로부터 복사된다.
37. 27항의 장치에서, 관심 영역 확장성 구현은 디코더가 향상 계층의 비유효 코딩 트리 유닛들을 디코딩하지 않아야 한다는 것을 나타내기 위한 보충 향상 정보 메시지를 포함한다.
38. 27항의 장치에서, 관심 영역 확장성 구현은 영상에서 관심 영역들을 기록하기 위해 베이스 계층보다 더 높은 공간 해상도를 가진 향상 계층을 이용한다.
39. 27항의 장치에서, 관심 영역 확장성 구현은 영상에서 관심 영역들을 기록하기 위해 베이스 계층과 상이한 프레임 레이트를 가진 향상 계층을 이용한다.
본 발명은 본 발명의 구성 및 동작의 원리들의 이해를 촉진하게 하기 위해 상세 내용을 포함하는 특정 실시예들의 관점에서 설명되었다. 본 발명의 특정 실시예들 및 상세 내용에 대한 본 명세서에서의 이러한 참조는 본 명세서에 첨부된 청구항들의 범위를 제한하려는 것이 아니다. 다른 다양한 수정들이 청구항들에 의해 정의된 본 발명의 사상 및 범위를 벗어나지 않고 예시를 위해 선택된 실시예에서 이루어질 수 있음은 통상의 기술자에게 자명할 것이다.

Claims (39)

  1. 인코딩 장치로서,
    화상을 타일로 분할하여, 관심 영역(region of interest; ROI) 내의 식별된 하나 이상의 타일 및 상기 ROI 외의 하나 이상의 타일을 설정하고,
    상기 ROI 내의 식별된 하나 이상의 타일에 대해서는 베이스 계층과 향상 계층 간의 층간 예측 프로세스(inter layer prediction process)를 포함하는 인코딩 처리를 수행하고, 상기 ROI 외의 하나 이상의 타일에 대해서는 상기 층간 예측 프로세스를 스킵함으로써, 베이스 계층 및 향상 계층을 갖는 인코딩된 스트림을 인코딩하고,
    상기 ROI 내의 식별된 하나 이상의 타일에 대한 인코딩 처리에서, 움직임 보상을 위해 참조되는 샘플은 상기 ROI 내의 샘플로 제한되도록 구성된 하드웨어를 포함하는, 인코딩 장치.
  2. 제1항에 있어서, 상기 하드웨어는,
    상기 ROI 내의 식별된 각 타일에 대하여 타일 위치 정보를 설정하고,
    상기 타일 위치 정보를 포함하는 상기 인코딩된 스트림을 인코딩하도록 더 구성된, 인코딩 장치.
  3. 제2항에 있어서, 상기 타일 위치 정보는, 타일 래스터 주사 순서에서 상부 좌측 타일의 타일 위치 및 하부 우측 타일의 타일 위치를 갖는, 인코딩 장치.
  4. 제2항에 있어서, 상기 타일 위치 정보는 타일 래스터 주사 순서에서 유효 타일 내 첫째 코딩 트리 블록(CTB, Coding Tree Block) 위치를 갖는, 인코딩 장치.
  5. 제2항에 있어서, 상기 타일 위치 정보는 보충 향상 정보(SEI, Supplemental Enhancement Information) 파라미터로서 설정되는, 인코딩 장치.
  6. 제1항에 있어서, 상기 층간 예측 프로세스는 공간 확장성을 위해 수행되는, 인코딩 장치.
  7. 제1항에 있어서, 상기 층간 예측 프로세스는 신호 대 잡음비(SNR, Signal-to-Noise Ratio) 확장성을 위해 수행되는, 인코딩 장치.
  8. 인코딩 방법으로서,
    화상을 타일로 분할하여, 관심 영역(region of interest; ROI) 내의 식별된 하나 이상의 타일 및 상기 ROI 외의 하나 이상의 타일을 설정하는 단계,
    상기 ROI 내의 식별된 하나 이상의 타일에 대해서는 베이스 계층과 향상 계층 간의 층간 예측 프로세스(inter layer prediction process)를 포함하는 인코딩 처리를 수행하고, 상기 ROI 외의 하나 이상의 타일에 대해서는 상기 층간 예측 프로세스를 스킵함으로써, 베이스 계층 및 향상 계층을 갖는 인코딩된 스트림을 인코딩하는 단계를 포함하고,
    상기 ROI 내의 식별된 하나 이상의 타일에 대한 인코딩 처리에서, 움직임 보상을 위해 참조되는 샘플은 상기 ROI 내의 샘플로 제한되는, 인코딩 방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
KR1020157027258A 2013-04-08 2014-04-08 Shvc를 이용한 관심 영역 확장성 KR101852669B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361809747P 2013-04-08 2013-04-08
US61/809,747 2013-04-08
US201361846558P 2013-07-15 2013-07-15
US61/846,558 2013-07-15
PCT/US2014/033375 WO2014168972A1 (en) 2013-04-08 2014-04-08 Region of interest scalability with shvc

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020187011084A Division KR101972284B1 (ko) 2013-04-08 2014-04-08 Shvc를 이용한 관심 영역 확장성

Publications (2)

Publication Number Publication Date
KR20150122781A KR20150122781A (ko) 2015-11-02
KR101852669B1 true KR101852669B1 (ko) 2018-04-26

Family

ID=51689962

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020157027258A KR101852669B1 (ko) 2013-04-08 2014-04-08 Shvc를 이용한 관심 영역 확장성
KR1020187011084A KR101972284B1 (ko) 2013-04-08 2014-04-08 Shvc를 이용한 관심 영역 확장성

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187011084A KR101972284B1 (ko) 2013-04-08 2014-04-08 Shvc를 이용한 관심 영역 확장성

Country Status (6)

Country Link
US (1) US10390024B2 (ko)
EP (1) EP2965510B1 (ko)
JP (2) JP6269813B2 (ko)
KR (2) KR101852669B1 (ko)
CN (1) CN105075271A (ko)
WO (1) WO2014168972A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2516224A (en) * 2013-07-11 2015-01-21 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
GB2516824A (en) 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
WO2015014773A1 (en) 2013-07-29 2015-02-05 Koninklijke Kpn N.V. Providing tile video streams to a client
KR20150029593A (ko) 2013-09-10 2015-03-18 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
EP3162074A1 (en) 2014-06-27 2017-05-03 Koninklijke KPN N.V. Determining a region of interest on the basis of a hevc-tiled video stream
US10694192B2 (en) 2014-06-27 2020-06-23 Koninklijke Kpn N.V. HEVC-tiled video streaming
WO2016098280A1 (ja) * 2014-12-16 2016-06-23 日本電気株式会社 映像符号化装置、映像復号装置および映像配信システム
WO2016187483A1 (en) * 2015-05-20 2016-11-24 Brian Mullins Light-based radar system for augmented reality
WO2017029400A1 (en) 2015-08-20 2017-02-23 Koninklijke Kpn N.V. Forming one or more tile streams on the basis of one or more video streams
WO2017060423A1 (en) * 2015-10-08 2017-04-13 Koninklijke Kpn N.V. Enhancing a region of interest in video frames of a video stream
US9992502B2 (en) 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding
CN108605148B (zh) * 2016-02-09 2022-02-11 索尼互动娱乐股份有限公司 视频显示系统
EP3226561A1 (en) 2016-03-31 2017-10-04 Thomson Licensing Method and apparatus for coding a video into a bitstream carrying region-based post processing parameters into an sei nesting message
US10582201B2 (en) * 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
EP4336850A3 (en) 2016-07-08 2024-04-17 InterDigital Madison Patent Holdings, SAS Systems and methods for region-of-interest tone remapping
US9924131B1 (en) 2016-09-21 2018-03-20 Samsung Display Co., Ltd. System and method for automatic video scaling
KR101861929B1 (ko) * 2016-09-28 2018-05-28 가천대학교 산학협력단 관심 영역을 고려한 가상 현실 서비스 제공
KR20240049654A (ko) 2016-10-04 2024-04-16 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
CN110301136B (zh) 2017-02-17 2023-03-24 交互数字麦迪逊专利控股公司 在流传输视频中进行选择性感兴趣对象缩放的系统和方法
KR102628139B1 (ko) 2017-03-07 2024-01-22 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 멀티-디바이스 프리젠테이션을 위한 맞춤형 비디오 스트리밍
KR20180137917A (ko) * 2017-06-20 2018-12-28 가천대학교 산학협력단 모바일 vr을 위한 타일 기반 비디오 스트리밍
EP3503561A1 (en) * 2017-12-19 2019-06-26 Advanced Digital Broadcast S.A. System and method for optimization of video bitrate
WO2019195037A1 (en) * 2018-04-03 2019-10-10 Futurewei Technologies, Inc. Bitstream signaling of error mitigation in sub-picture bitstream based viewport dependent video coding
KR102644707B1 (ko) 2018-07-02 2024-03-06 노키아 테크놀로지스 오와이 비디오 코딩에서 타일 관련 어드레싱을 위한 방법 및 장치
KR20210058947A (ko) * 2018-09-20 2021-05-24 샤프 가부시키가이샤 비디오 코딩에서 파라미터들을 시그널링하기 위한 시스템들 및 방법들
US11140403B2 (en) * 2018-12-20 2021-10-05 Tencent America LLC Identifying tile from network abstraction unit header
KR20210135292A (ko) 2019-03-06 2021-11-12 샤프 가부시키가이샤 비디오 코딩에서 타일 그룹 정보를 시그널링하기 위한 시스템들 및 방법들
KR102218187B1 (ko) * 2019-06-10 2021-02-23 주식회사 엘지유플러스 영상 콘텐츠 제공을 위한 장치 및 방법
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area
US11833419B2 (en) * 2020-03-16 2023-12-05 Tencent America LLC Method and apparatus for cloud gaming
US11388423B2 (en) * 2020-03-23 2022-07-12 Alibaba Group Holding Limited Region-of-interest based video encoding
US20240107086A1 (en) * 2022-09-23 2024-03-28 Apple Inc. Multi-layer Foveated Streaming

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005142654A (ja) * 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd 映像送信装置および映像受信装置
JP2007259149A (ja) * 2006-03-23 2007-10-04 Sanyo Electric Co Ltd 符号化方法
US20100158135A1 (en) * 2005-10-12 2010-06-24 Peng Yin Region of Interest H.264 Scalable Video Coding
JP2010212811A (ja) * 2009-03-06 2010-09-24 Panasonic Corp 動画像符号化装置及び動画像復号化装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006014086A (ja) 2004-06-28 2006-01-12 Canon Inc 動画像符号化装置及び動画像符号化方法
KR20100037659A (ko) * 2005-05-24 2010-04-09 노키아 코포레이션 디지털 방송에서 계층적인 전송/수신을 위한 방법 및 장치
US8184153B2 (en) 2005-09-26 2012-05-22 Electronics And Telecommunications Research Institute Method and apparatus for defining and reconstructing ROIs in scalable video coding
KR101255226B1 (ko) * 2005-09-26 2013-04-16 한국과학기술원 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법
US7916934B2 (en) 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
WO2008057285A2 (en) * 2006-10-27 2008-05-15 Vidient Systems, Inc. An apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera
EP2174500A2 (en) * 2007-06-29 2010-04-14 Thomson Licensing Video indexing method, and video indexing device
JP2009182442A (ja) * 2008-01-29 2009-08-13 Univ Of Fukui 動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
CN101742324A (zh) * 2008-11-14 2010-06-16 北京中星微电子有限公司 视频编解码方法、视频编解码系统及编解码器
US9626769B2 (en) * 2009-09-04 2017-04-18 Stmicroelectronics International N.V. Digital video encoder system, method, and non-transitory computer-readable medium for tracking object regions
CN102918847B (zh) * 2010-04-12 2015-09-23 Lg电子株式会社 显示图像的方法和设备
US9013547B2 (en) * 2010-04-30 2015-04-21 Lg Electronics Inc. Apparatus of processing an image and a method of processing thereof
US8994792B2 (en) * 2010-08-27 2015-03-31 Broadcom Corporation Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information
US20120106622A1 (en) * 2010-11-03 2012-05-03 Mediatek Inc. Method and Apparatus of Slice Grouping for High Efficiency Video Coding
US20140072033A1 (en) * 2011-06-10 2014-03-13 Mediatek Inc. Method and Apparatus of Scalable Video Coding
CN104115550B (zh) * 2011-11-09 2018-06-01 新加坡科技研究局 压缩设备、解压缩设备、压缩方法和解压缩方法
KR102001415B1 (ko) * 2012-06-01 2019-07-18 삼성전자주식회사 다계층 비디오 코딩을 위한 레이트 제어 방법, 이를 이용한 비디오 인코딩 장치 및 비디오 신호 처리 시스템
US10257522B2 (en) * 2012-06-25 2019-04-09 Sony Corporation Image decoding device, image decoding method, image encoding device, and image encoding method
JP6214235B2 (ja) * 2012-07-02 2017-10-18 キヤノン株式会社 ファイル生成方法、ファイル生成装置、及びプログラム
GB2505912B (en) * 2012-09-14 2015-10-07 Canon Kk Method and device for generating a description file, and corresponding streaming method
GB2513140B (en) * 2013-04-16 2016-05-04 Canon Kk Methods, devices, and computer programs for streaming partitioned timed media data
US20160286241A1 (en) * 2015-03-24 2016-09-29 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005142654A (ja) * 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd 映像送信装置および映像受信装置
US20100158135A1 (en) * 2005-10-12 2010-06-24 Peng Yin Region of Interest H.264 Scalable Video Coding
JP2007259149A (ja) * 2006-03-23 2007-10-04 Sanyo Electric Co Ltd 符号化方法
JP2010212811A (ja) * 2009-03-06 2010-09-24 Panasonic Corp 動画像符号化装置及び動画像復号化装置

Also Published As

Publication number Publication date
CN105075271A (zh) 2015-11-18
EP2965510A1 (en) 2016-01-13
JP2018078602A (ja) 2018-05-17
US10390024B2 (en) 2019-08-20
JP6269813B2 (ja) 2018-01-31
JP2016519517A (ja) 2016-06-30
KR20150122781A (ko) 2015-11-02
EP2965510B1 (en) 2021-06-16
KR20180045050A (ko) 2018-05-03
US20150350659A1 (en) 2015-12-03
KR101972284B1 (ko) 2019-04-24
EP2965510A4 (en) 2016-07-27
WO2014168972A1 (en) 2014-10-16

Similar Documents

Publication Publication Date Title
KR101852669B1 (ko) Shvc를 이용한 관심 영역 확장성
JP6610705B2 (ja) インタラクティビティのための動き制約タイルセットｓｅｉメッセージの拡張
JP2005533444A (ja) 画像符号化におけるランダム・アクセス及び段階的画像更新に対する方法
JP7345051B2 (ja) サブピクチャ、スライス、およびタイルをサポートするビデオ符号化
US20230188717A1 (en) Methods and Apparatuses of Inter Coding for Pictures Partitioned into Subpictures in Video Coding Systems
BR112016015552B1 (pt) Métodos para codificação de um conjunto de imagens de referência (rps) entre camadas e codificação de unidades da camada de acesso à rede (nal) do fim do fluxo de bits
JP2022123071A (ja) フレーム部分を有するビデオデータを符号化又は復号する方法及び装置
EP4114016A1 (en) Signaling size and position of target picture-in-picture region
TWI792348B (zh) 視訊處理方法和裝置
RU2779152C1 (ru) Способ и устройство для кодирования и декодирования видео
TWI782498B (zh) 影像的解碼方法及裝置
US20220078461A1 (en) Encoder and decoder, encoding method and decoding method for drift-free padding and hashing of independent coding regions
CN115668940A (zh) 基于与画面输出相关的信息的图像或视频编码

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant