KR102360146B1 - 샘플 영역 병합 - Google Patents

샘플 영역 병합 Download PDF

Info

Publication number
KR102360146B1
KR102360146B1 KR1020207029023A KR20207029023A KR102360146B1 KR 102360146 B1 KR102360146 B1 KR 102360146B1 KR 1020207029023 A KR1020207029023 A KR 1020207029023A KR 20207029023 A KR20207029023 A KR 20207029023A KR 102360146 B1 KR102360146 B1 KR 102360146B1
Authority
KR
South Korea
Prior art keywords
prediction
blocks
information
subdivision
samples
Prior art date
Application number
KR1020207029023A
Other languages
English (en)
Other versions
KR20200119355A (ko
Inventor
필맆프 헬레
필?프 헬레
시몬 오우딘
마르틴 윈켄
데트레브 마르페
토마스 위건드
Original Assignee
지이 비디오 컴프레션, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=44072790&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR102360146(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority claimed from PCT/EP2010/054833 external-priority patent/WO2011127963A1/en
Application filed by 지이 비디오 컴프레션, 엘엘씨 filed Critical 지이 비디오 컴프레션, 엘엘씨
Priority to KR1020227003716A priority Critical patent/KR102480988B1/ko
Publication of KR20200119355A publication Critical patent/KR20200119355A/ko
Application granted granted Critical
Publication of KR102360146B1 publication Critical patent/KR102360146B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce

Abstract

일 실시예에 따르면 정보 샘플들의 배열이 세부분할된 단순 연결 영역들의 바람직한 병합 또는 그룹화가 감소된 데이터 양으로 코딩된다. 이를 위해, 단순 연결 영역들 각각에 대해, 미리 결정된 단순 연결 영역에 대해, 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 복수의 단순 연결 영역들 내의 단순 연결 영역들의 확인 및 활성화가 정의된다. 즉, 만일 그 개수가 0이라면, 미리 결정된 단순 연결 영역에 대한 병합 지시자가 데이터 스트림 내에 존재하지 않을 수 있다. 더 추가적인 실시예들에 따르면, 멀티-트리 세부분할을 이용해, 단순 연결 영역들이 다른 사이즈들을 갖도록 반복적으로(recursively) 멀티-구획함(partitioning)으로써 2-차원의 정보 신호의 공간적 샘플링을 나타내는 샘플들의 단순 연결 영역들로의 공간적 세부-분할이 데이터 스트림 내에 포함된 구문 요소들의 제1 부분집합에 따라 수행되고, 뒤를 이어, 제1 부분집합으로부터 분리된, 데이터 스트림 내 구문 요소들의 제2 부분집합에 따라, 정보 샘플들의 배열의, 그 통합은 복수의 단순 연결 영역들인, 단순 연결 영역들의 분리 부분집합들로의 중간 세부분할을 획득하기 위해 복수의 단순 연결 영역들의 공간적으로 이웃하는 단순 연결 영역들의 결합이 이루어진다. 데이터 스트림으로부터 샘플들의 배열을 복원할 때 중간 세부-분할이 사용된다.

Description

샘플 영역 병합{Sample region merging}
본 발명은 비디오 또는 스틸 픽쳐들와 같이, 2차원적으로 샘플링된 정보 신호들을 위한 코딩 기법들과 관련된다.
이미지와 비디오 코딩에 있어서, 픽쳐들 또는 픽쳐들을 위한 샘플 배열들의 특정한 집합들은 보통 특정한 코딩 파라미터들과 연관된 블록들로 분해된다. 픽쳐들은 보통 다중 샘플 배열들로 구성된다. 게다가, 픽쳐는 또한 추가적인 보조의(auxiliary) 샘플 배열들과 연관되고, 이는 예를 들어, 투명도 정보 또는 깊이 맵들을 명시할 수 있다. 픽쳐의 샘플 배열들(보조의 샘플 배열들을 포함하여)은 적어도 하나의 소위 평면 그룹들로 그룹될 수 있으며, 여기서, 각 평면 그룹은 적어도 하나의 샘플 배열들로 구성된다. 픽쳐의 평면 그룹들은 독립적으로 또는 픽쳐가 하나 이상의 평면 그룹들과 연관된 경우, 동일한 픽쳐의 다른 평면 그룹들로부터 예측과 함께 코딩될 수 있다. 각 평면 그룹은 보통 블록들로 분해된다. 블록들(또는 샘플 배열들의 상응하는 블록들)은 인터-픽쳐(inter-picture) 예측 또는 인트라-픽쳐(intra-picture) 예측에 의해 예측된다. 블록들은 다른 사이즈들을 가질 수 있고, 사각 또는 직사각형일 수 있다. 블록들로의 픽쳐의 분할은 구문에 의해 고정되거나, 또는 그것은 비트스트림내에 시그널링될 수 있다. 미리 정의된 사이즈들의 블록들로 세부분할하는 신호인 구문 요소(syntax element)들이 종종 전송된다. 이와 같은 구문 요소들은, 즉, 예측의 목적을 위하여, 블록이 더 작은 블록들로 세부분할되는지 및 코딩 파라미터들과 어떻게 연관되는지 나타낸다. 블록(또는 샘플 배열들에 상응하는 블록들)의 모든 샘플들을 위하여, 연관된 코딩 파라미터들의 디코딩이 어떤 방식으로 특정된다. 예를 들어, 블록 안에 모든 샘플들은, 참조 인덱스들(이미 코딩된 픽쳐들의 집합에서 참조 픽쳐를 확인하는), 움직임 파라미터들(참조 픽쳐와 현재 픽쳐 사이에서 블록들의 움직임을 위한 측정을 명시하는), 인터폴레이션 필터, 인트라 예측 모드들 등을 명시하는 파라미터들과 같은 예측 파라미터들의 동일한 집합을 이용하여 예측될 수 있다. 움직임 파라미터들은 수평 및 수직 성분을 가진 변위 벡터들에 의해 표현되거나, 6개의 요소들로 구성된 아핀(affine) 움직임 파라미터들과 같은 고차의 움직임 파라미터들에 의해 표현될 수 있다. 또한, 특정 예측 파라미터들의 하나 이상의 집합(참조 인덱스들 및 움직임 파라미터들과 같이)은 단일의 블록에 연관된다. 그러한 경우에, 이들 특정 예측 파라미터들의 각 집합을 위하여, 블록(또는 샘플 배열들의 상응하는 블록들)을 위한 단일의 중간의(intermediate) 예측 신호가 생성되고, 최종 예측 신호가 상기 중간의 신호들을 겹치는 것을 포함하는 결합에 의해 만들어진다. 상응하는 가중치 파라미터들 및 잠재적으로 또한 일정한 오프셋(offset)(가중된 합에 추가된)은 픽쳐, 또는 참조 픽쳐, 또는 참조 픽쳐들의 집합들을 위해 고정되거나, 또는 그들은 상응하는 블록을 위한 예측 파라미터들의 집합에 포함될 수 있다. 원본 블록들(또는 샘플 배열들의 상응하는 블록들)과 그들의 예측 신호들간의 차이는, 또한, 잔차 신호(residual signal)로서 참조되고, 보통 변환되고 양자화된다. 종종, 2차원 변환이 잔차 신호(또는 잔차 블록을 위해 상응하는 샘플 배열들)에 적용된다. 변환 코딩을 위하여, 블록들(또는 샘플 배열들에 상응하는 블록들)은, 예측 파라미터들의 특정한 집합이 사용되도록, 변환이 적용되기 전에 더 나뉘어질 수 있다. 변환 블록들은 예측을 위하여 사용되는 블록과 동일하거나 또는 더 작을 수 있다. 변환 블록은 예측을 위하여 사용되는 블록들의 하나 이상을 포함하는 것이 가능하다. 각각 다른 변환 블록들은 다른 사이즈들을 가질 수 있고, 변환 블록들은 사각 또는 직사각형으로 표현될 수 있다. 변환 후에, 결과로 초래된 변환 계수들은 양자화되고 소위 변환 계수 레벨들이 획득된다. 예측 파라미터들뿐 아니라 변환 계수 레벨들, 그리고, 만약 존재하면, 세부분할 정보가 엔트로피 코딩된다.
이미지, 비디오 코딩 표준에 있어서, 블록들로 세부분할하는 픽쳐(또는 평면 그룹)를 위해 구문에 의해 제공된 가능성들은 매우 제한적이다. 보통, 그것은 미리 정의된 사이즈의 블록이 더 작은 블록들로 세부분할될 수 있는지( 및 잠재적으로 어떻게)를 단지 명시할 수 있다. 예를 들어, H.264에서 가장 큰 블록 사이즈는 16×16이다. 16×16 블록들은 또한 매크로블록들로서 나타나고 각 픽쳐는 첫 단계에서 매크로블록들로 나뉠 수 있다. 각 16×16 매크로블록을 위하여, 그것이 16×16 블록으로서, 또는 두 개의 16×8 블록들로서, 또는 두 개의 8×16 블록들로서, 또는 네 개의 8×8 블록들로서 코딩될 지에 대해 시그럴링될 수 있다. 만약, 16×16 블록이 네 개의 8×8 블록으로 세부분할되면, 이들 8×8 블록들의 각각은 하나의 8×8 블록으로서, 또는 두 개의 8×4 블록들로서, 또는 두 개의 4×8 블록들로서, 또는 네 개의 4×4 블록들로서 코딩될 수 있다. 최신의 이미지 및 비디오 코딩 표준들에서 블록들로의 분할을 명시하기 위한 가능성들의 작은 집합은 세부분할 정보를 시그널링하기 위한 보조 정보를 작게 유지할 수 있는 이점이 있으나, 다음에서 설명하는 바와 같이 블록들을 위한 예측 파라미터들을 전송하기 위하여 요구되는 비트율이 중요할 수 있다는 단점을 가진다. 예측 정보를 시그널링하기 위한 보조 정보 율은 보통 블록을 위한 전체의 비트율의 중요한 총계를 나타낼 수 있다. 그리고 코딩 효율은, 보조 정보가 감소할 때, 증가할 수 있고, 예를 들어, 더 큰 블록 사이즈들을 사용함에 의해 성취될 수 있다. 비디오 시퀀스의 실제 이미지들 또는 픽쳐들은 특정한 특성들과 함께 임의로 형상화된 객체(object)들로 구성된다. 예를 들면, 이와 같은 객체들 또는 객체들의 부분들은 특유의 텍스쳐 또는 특유의 음직임에 의해 특징될 수 있다. 그리고 일반적으로, 예측 파라미터들의 동일한 집합이 이와 같은 객체 또는 객체의 부분에 적용될 수 있다. 그러나, 객체의 경계는 보통 큰 예측 블록들(즉, H.264에서 16×16 매크로블록들)을 위해 가능한 블록 경계와 일치하지 않는다. 인코더는 보통 특정한 율-왜곡(rate-distortion) 비용 측정의 최소에서 결과되는 세부분할(가능성들의 제한된 집합 사이에서)을 결정한다. 임의적으로 형상화된 객체들을 위하여 이것은 많은 작은 블록들로 결과될 수 있다. 그리고, 이러한 작은 블록들의 각각은, 전송이 필요한, 예측 파라미터들의 집합과 연관되기 때문에, 보조 정보율은 전체 비트율의 중요한 부분이 될 수 있다. 그러나 작은 블록들의 몇몇은 여전히 동일한 객체의 영역들 또는 객체의 부분을 나타내기 때문에, 획득된 블록들의 개수를 위한 예측 파라미터들은 동일하거나 매우 유사하다.
즉, 세부분할 또는 픽쳐를 더 작은 부분들 또는 타일들 또는 블록들로 타일링(tiling)하는 것은 코딩 효율 및 코딩 복잡도에 상당한 영향을 준다. 상술한 개요와 같이. 픽쳐/비디오 매체에 이러한 코딩 파라미터들의 더 좋은 적응성을 가능하게 함에 의해, 더 작은 블록들의 높은 개수로 픽쳐의 세부분할은 코딩 파라미터들의 공간적으로 더 좋은 설정을 가능하게 한다. 반면에, 더 좋은 입상도(granularity)에서 코딩 파라미터들을 세팅하는 것은, 필수적인 설정들 상에 디코더에 알리기 위해 필수적인 보조 정보 총계에 높은 부담을 준다. 심지어, 인코더가 픽쳐/비디오를 공간적으로 블록들로 세부분할하는 어떤 자유가, 가능한 코딩 파라미터 설정들의 총계를 엄청나게 증가시키고, 그렇게 함으로써 일반적으로 가장 좋은 율/왜곡으로 이어지는 코딩 파라미터 설정을 위한 탐색이 심지어 더 어려워지도록 할 수 있다.
본 발명은, 제한되지 않으나, 비디오 또는 스틸 픽쳐들의 픽쳐들과 같은, 공간적으로 샘플링된 2차원적인 정보 신호를 표현하는 정보 샘플들의 배열을 코딩하기 위한 코딩 기법을 제공하는 데 목적이 있고, 더 좋은 율 왜곡 비율을 위해 및/또는, 인코딩 복잡도와 성취할 수 있는 율 왜곡 비율 간의 더 좋은 절충을 달성할 수 있다.
이러한 목적은 청구항 1,8 또는 9에 따른 디코더, 청구항 20, 22, 23또는 24에 따른 인코더, 청구항 19, 20, 25 및 26 중 어느 한항에 따른 방법들, 청구항 27에 따른 컴퓨터 프로그램 및 청구항 28 또는 30에 따른 데이터 스트림에 의해 성취된다.
실시예에 따르면, 정보 샘플들의 배열이 세부분할된 단순 연결 영역들의 바람직한 병합 또는 그룹핑은, 감소된 데이터 총계를 가지고 코딩된다. 이러한 목적을 위하여, 미리 결정된 단순 연결 영역에 대해, 미리 결정된 상대적인 지역 관계는 미리 결정된 단순 연결 영역에 미리 결정된 상대적인 지역 관계를 가진 복수의 단순 연결 영역들 내에서 단순 연결 영역들의 확인이 가능하도록 정의된다. 즉, 개수가 제로라면, 미리 결정된 단순 연결 영역을 위한 병합 지시자(indicator)는 데이터 스트림 내에 부재할 수 있다. 더 나아가, 만약 미리 결정된 단순 연결 영역에 미리 결정된 상대적인 지역관계를 가진 단순 연결 영역의 개수가 하나라면, 단순 연결 영역의 코딩 파라미터들은 어떤 추가 구문 요소에 대한 필요없이 미리 결정된 단순 연결 영역을 위한 코딩 파라미터들을 위한 예측을 위하여 적용되거나 또는 사용될 수 있다. 그렇지 않으면, 즉, 미리 결정된 단순 연결 영역들에 대하여 미리 결정된 상대적인 지역 관계를 가진 단순 연결 영역들의 개수가 하나보다 크다면, 비록 이러한 확인된 단순 연결 영역들과 연관된 코딩 파라미터들이 서로 동일하더라도, 추가 구문 요소의 도입이 억제될 수 있다.
일 실시예에 따르면, 인접한 단순 연결 영역들의 코딩 파라미터들이 서로 일치하지 않는다면, 참조 이웃 확인자는 미리 결정된 단순 연결 영역에 미리 결정된 상대적인 지역 관계를 가진 단순 연결 영역들의 개수의 진부분집합(proper subset)을 확인할 수 있고, 이러한 진부분집합은 코딩 파라미터들을 적용하거나, 미리 결정된 단순 연결 영역의 코딩 파라미터들을 예측할 때 사용된다.
다른 실시예에 따르면, 회귀적인(recursive) 다중-분할에 의한 다른 사이즈들의 복수의 단순 연결 영역들로의 2차원 정보 신호의 공간적 샘플링을 나타내는 샘플들의 지역의 공간적인 세부분할이 데이터 스트림에 포함된 구문 요소들의 제 1 부분집합에 따라 수행되고, 복수의 단순 연결 영역의 결합인, 단순 연결 영역들의 분리된 집합들로 샘플들의 배열의 중간 수준의 세부분할을 획득하기 위하여, 제 1 부분집합으로부터 분리된 데이터 스트림 안에서 구문 요소들의 제 2 부분집합에 따른 공간적으로 인접한 단순 연결 영역들의 결합에 의해 뒤이어 수행된다. 중간 세부분할은, 데이터 스트림으로부터 샘플들의 배열을 복원할 때 사용된다. 이것은 너무 정밀한 세부분할은 뒤이은 병합에 의해 보상될 수 있다는 사실에 기인하여, 세부분할에 대한 최적화가 덜 중요할 수 있다. 더욱이, 세부분할과 병합의 결합은, 구문 요소들의 분리된 집합들의 사용에 의한 세부분할 및 병합의 연속(concatenation)이, 2차원 정보 신호의 실제적인 문맥에 효과적이거나 중간 수준의 세부분할의 더 좋은 적용을 가능하게 하도록 회귀적인 다중-분할의 방식에 의해 불가능한 중간 세부분할을 성취할 수 있다. 장점들과 비교하면, 병합을 상세하게 표시하기 위한 구문 요소들의 추가적인 부분집합으로부터 기인한 추가적인 오버헤드는 무시할 수 있다.
실시예에 따르면, 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들의 배열은, 트리 루트(tree root) 영역들의 회귀적인 다중-분할에 의한 다른 사이즈들의 더 작은 단순 연결 영역(simply connected region)들 내로 트리 루트 영역들의 적어도 하나의 부분집합(subset)에서, 데이터-스트림에서 추출된 멀티-트리-세부분할(muli-tree-sub-division) 정보에 따라, 다음 세부분할와 함께 공간적으로 트리 루트 영역 안에 처음으로 있다. 율-왜곡 의미에서 너무 정밀한 세부분할 및 너무 거친 세부분할 간의 좋은 절충을 발견하기 위하여, 타당한 코딩 복잡도에서, 정보 샘플들의 배열이 공간적으로 세부분할된 트리 루트 영역들의 최대 영역 사이즈는, 데이터 스트림 안에 포함되고 디코딩 측에서 데이터 스트림에서 추출된다. 따라서, 디코더는 데이터 스트림으로부터 최대 영역 사이즈 및 멀티-트리-세부분할 정보를 추출하는 추출부, 트리 루트 영역들의 부분집합을 회귀적인 다중-분할에 의한 다른 사이즈들의 더 작은 단순 연결 영역들 내로 트리 루트 영역들의 적어도 하나의 부분집합에서, 멀티-트리-세부분할 정보에 따라, 공간적으로 샘플링된 정보 신호로 표현되는 정보 샘플들의 배열을 최대 영역 사이즈 및 세부분할의 트리 루트 영역들로 공간적으로 나누는 세부 분할부(sub-divider); 및 더 작은 단순 연결 영역들로 세부분할을 이용하여 데이터 스트림으로부터 정보 샘플들의 배열을 복원하는 복원부를 포함할 수 있다.
실시예에 따르면, 데이터 스트림은 또한, 트리 루트 영역들의 부분집합이 회귀적 다중 분할되도록 하여 상향 조정한 최대 계층을 포함한다. 이러한 조치에 의해, 다중-트리-세부분할 정보의 시그널링은 코딩을 위하여 더 쉽고 덜 비트를 필요로 한다.
게다가, 복원부는, 중간의(intermediate) 세부분할에 따른 입상도(granularity)에서 하나 이상의 다음의 조치들을 수행한다.: 적어도, 사용될 인트라 및 인터 예측 모드, 사이의 예측 모드의 결정; 스펙트랄(spectral)에서 공간 도메인으로 변환, 인터-예측을 위한 파라미터들의 수행 및/또는 설정; 인트라 예측을 위한 파라미터들의 수행 및/또는 수행.
게다가, 추출부는, 데이터 스트림으로부터 깊이-우선 횡단 순서(depth-first traversal order)에서 분할된 트리블록들의 리프(leaf) 영역들과 연관된 구문 요소들을 추출할 수 있다. 이러한 조치에 의해, 추출부는, 너비-우선 횡단 순서(breadth-first traversal order)를 이용하는 것보다 더 높은 가능성을 가진 이미 코딩된 인접한 리프 영역들의 구문 요소들의 통계를 이용할 수 있다.
다른 실시예에 따르면, 추가 세부 분할부는, 심지어 더 작은 단순 연결 영역들 내에 더 작은 단순 연결 영역들의 적어도 하나의 부분집합에서, 추가(further) 멀티-트리 세부분할 정보에 따라, 세부분할하기 위하여 사용된다. 두번째-단계 세부분할은 스펙트랄로부터 공간적 도메인으로 재변환을 수행하는 복원부에 의해 사용되는데 반하여, 첫-단계 세부분할은 정보 샘플들의 영역의 예측을 수행하기 위한 복원부에 의해 사용될 수 있다. 예측 세부분할에 상대적으로 종속적인 잔여의 세부분할을 정의하는 것은 비트를 덜 소비하는 전체적인 세부분할의 코딩을 제공하고, 다른 한편으로, 종속으로부터 기인한 잔여 세부분할을 위한 제한 또는 자유는 일반적으로 코딩 효율에 미세한 부정적인 영향을 단지 가지며, 비슷한 움직임 보상 파라미터들은 가진 픽쳐의 부분들은 비슷한 스펙트랄 특성들을 가진 부분보다 크다.
다른 실시예에 따르면, 추가 최대 영역 사이즈는 데이터 스트림 안에 포함되고, 추가 최대 영역 사이즈는, 심지어 더 작은 단순 연결 영역 내에 추가 멀티-트리 세부분할 정보에 따른 트리 루트 세부 영역들의 적어도 하나의 부분집합에서 세부분할하기 이전에 더 작은 단순 연결 영역들이 처음으로 분할된 트리 루트 세부 영역들의 사이즈를 정의한다. 이것은, 차례 차례로, 한편으로 예측 세부분할 및 다른 한편으로 잔여 세부분할의 최대 영역 사이즈들의 독립적인 설정할 수 있고, 이리하여, 더 나은 율/왜곡 절충을 발견할 수 있다.
본 발명의 다른 실시예에 따르면, 데이터 스트림은, 다중-트리 세부분할 정보를 형성하는 구문 요소들의 제 2 부분집합으로부터 분리된 구문 요소들의 제 1 부분집합을 포함하고, 여기서, 샘플들의 배열의 중간 세부분할을 획득하도록 다중-트리 세부분할의 더 작은 단순 연결 영역들에 공간적으로 인접하게, 구문 요소들의 제 1 부분집합에 따라, 디코딩 측에서 병합부(merger)가 결합할 수 있다. 복원부는 중간 세부분할을 사용하여 샘플들의 배열을 복원할 수 있다. 이러한 조치에 의해, 인코더는, 최적의 율/왜곡 절충을 발견하면서 정보 샘플들의 배열 특성의 공간적인 분포에 효과적인 세부분할을 맞추기 더 쉽다. 예를 들어, 만약에 최대 영역 사이즈가 높으면, 트리 루트 영역들이 더 확장됨에 기인하여 멀티-트리 세부분할 정보가 더 복잡하게 될 수 있다. 다른 한편으로, 그러나, 만약 최대 영역 사이즈가 작다면, 인접한 트리 루트 영역들은 비슷한 특성들을 가진 정보 콘텐츠에 연관되어 이러한 트리 루트 영역들은 또한 함께 처리될 수 있다. 병합은 전술한 극단들 사이의 이러한 갭(gap)을 채우고, 그렇게 함으로써, 입상도(granularity)의 거의 최적의 세부분할을 할 수 있다. 인코더의 관점에서, 구문 요소들의 병합은, 인코더가 잘못되게 너무 정밀한 세부분할을 사용하기 때문에, 더 여유 있거나 계산적으로 덜 복잡한 인코딩 절차를 허용할 수 있고, 병합 구문 요소들을 설정하기 이전에 설정된 구문 요소들의 단지 작은 부분에 맞추거나 맞추지 않고 구문 요소들을 나중에 병합하도록 설정함에 의해, 이러한 에러는 나중에 보상될 수 있다.
다른 실시예에 따르면, 최대 영역 사이즈 및 멀티-트리-세부분할 정보는 예측 세부분할보다 오히려 잔여의 세부분할을 위하여 사용될 수 있다.
공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들의 배열의 쿼드트리(quadtree) 세부분할의 단순 연결 영역들을 다루기 위한 깊이-우선 횡단 순서는 너비-우선 횡단 순서보다 오히려 실시예에 따라 사용된다. 깊이-우선 횡단 순서를 사용함에 의해, 각 단순 연결 영역은, 이미 횡단된 인접한 단순 연결 영역들을 가질 더 높은 확률을 가져 이러한 인접한 단순 연결 영역들에 대한 정보가 각 현재 단순 연결 영역을 복원할 때 긍정적으로 이용된다.
정보 샘플들의 배열이, 다른 사이즈들의 더 작은 단순 연결 영역들 내에 트리 루트 영역들의 적어도 하나의 부부집합에서 다음의 세부분할을 가진 제로-차(zero-order) 계층 사이즈의 트리 루트 영역들의 규칙적인 배열로 처음으로 나뉠 때, 복원부는, 지그재그(zigzag) 스캔 순서에서 다음 트리 루트 영역으로 더 진행되지 전에 깊이-우선 횡단 순서에서 단순 연결된 리프 영역들을 다루면서, 각각의 트리 루트 영역이 분할되도록, 트리 루트 영역들을 스캔하기 위하여 지그재그 스캔을 사용할 수 있다. 게다가, 깊이-우선 횡단 순서에 일치하여, 동일한 계층적 레벨의 단순 연결된 리프 영역들이 지그재그 스캔 순서로 횡단될 수 있다. 이리하여, 인접한 단순 연결된 리프 영역들을 가질 증가된 가능성이 유지된다.
실시예에 따라, 비록 멀티-트리 구조의 노드들과 연관된 플래그(flags)들이 연속하여 깊이-우선 횡단 순서로 배열되더라도, 플래그들의 연속한 코딩은, 멀티-트리 구조의 동일한 계층적 레벨 안에 놓인 멀티-트리 구조의 노드들과 연관된 플래그들을 위한 동일하고, 그러나 멀티-트리 구조의 다른 계층적 레벨들에 놓인 멀티-트리 구조의 노드들의 위해 다른, 확률 추정 문맥(contexts)들을 사용하고, 그렇게 함으로써 제공되어진 문맥들의 개수들과 다른 한편으로 플래그들의 실제적인 심볼 통계에 적응 사이의 좋은 절충을 허용할 수 있다.
실시예에 따르면, 사용되는 미리 결정된 플래그를 위한 확률 추정 문맥들은, 또한, 깊이-우선 횡단 순서에 일치하는 미리 결정된 플래그를 처리하고, 미리 결정된 플래그에 상응한 지역에 미리 결정된 상대 위치 관계를 가진 트리 루트 영역의 지역들에 상응하는 플래그들에 의존한다. 진행되어온 측면에 근본하는 아이디어와 비슷하게, 깊이-우선 횡단 순서의 사용은, 이미 코딩된 플래그들이 미리 결정된 플래그에 상응하는 인접한 지역에 상응하는 플래그들을 포함하여 이러한 지식이 미리 결정된 플래그를 위해 사용되는 문맥에 더 잘 적응하여 사용될 높은 확률을 보장한다.
미리 결정된 플래그를 위한 문맥을 설정하기 위해 사용되는 플래그들은, 미리 결정된 플래그에 상응하는 지역의 맨 위 및/또는 왼쪽에 놓인 지역에 상응할 수 있다. 게다가, 문맥을 선택하기 위해 사용되는 플래그들은 미리 결정된 플래그가 연관된 노드로서 동일한 계층적 레벨에 속하는 플래그들로 제한될 수 있다.
실시예에 따르면, 코딩된 시그널링은, 가장 높은 계층적 레벨의 표시 및 가장 높은 계층적 레벨과 일치하지 않은 멀티-트리 구조의 노드들과 연관된 플래그들의 시퀀스를 포함하고, 각각의 플래그는 연관된 노드들이 중간의 노드인지 자식 노드인지 명시하고, 연속적으로 디코딩되고, 깊이-우선 또는 너비-우선 첫번째 횡단 순서로, 데이터 스트림으로부터 플래그들의 시퀀스가 발생하고, 가장 높은 계층적 레벨의 노드들을 스킵하고 동일한 리프 노드들을 자동적으로 정하면서, 그렇게 함으써 코딩율을 감소시킨다.
다른 실시예에 따르면, 멀티-트리 구조의 코딩된 시그널링은 가장 높은 계층적 레벨의 표시를 포함할 수 있다. 이러한 조치에 의해, 가장 높은 계층적 레벨의 블록들의 추가적인 분할이 그래도 배제됨에 따라 가장 높은 계층적 레벨보다 다른 계층적 레벨들에 플래그들의 존재를 제한할 수 있다.
리프(leaf) 노드들의 세컨더리 세부분할의 부분인 공간적 멀티-트리 세부분할과 프라이머리(primary) 멀티-트리 세부분할의 분할되지 않은 트리 루트 영역들의 경우에, 세컨더리(secondary) 세부분할의 코딩 플래그들을 위해 사용되는 문맥은, 문맥이 동일한 사이즈의 지역들과 연관된 플래그들을 위해 동일하도록 선택될 수 있다.
다른 실시예에 따르면, 정보 샘플들의 배열이 세부분할된 단순 연결 영역들의 바람직한 병합 또는 그룹핑은, 데이터의 감소된 총량을 가지고 코딩된다. 이러한 목적을 위하여, 단순 연결 영역들을 위하여, 미리 결정된 단순 연결 영역에 미리 결정된 상대적인 지역적 관계를 가진 복수의 단순 연결 영역들 안에서 단순 연결 영역들의, 미리 결정된 단순 연결 영역을 위하여, 미리 결정된 상대적인 위치적 관계는 어떤 확인을 가능하게 정의된다. 즉, 만약 개수가 제로라면, 미리 결정된 단순 연결 영역을 위한 병합 표시기(indicator)는 데이터 스트림 안에서 부재할 수 있다. 더 나아가, 만약 미리 결정된 상대적인 지역 관계를 가진 단순 연결 영역들의 개수가 하나라면, 단순 연결 영역의 코딩 파라미터들은, 어떤 추가 구문 요소를 위한 필요없이 미리 결정된 단순 연결 영역을 위한 코딩 파라미터들을 위한 예측을 위하여 적용되거나 또는 사용될 수 있다. 그렇지 않으면, 즉, 미리 결정된 단순 연결 영역들에 대하여 미리 결정된 상대적인 지역 관계를 가진 단순 연결 영역들의 개수가 하나보다 크다면, 비록 이러한 확인된 단순 연결 영역들과 연관된 코딩 파라미터들이 서로 각각 동일하더라고, 추가 구문 요소의 도입이 억제될 수 있다.
실시예에 따르면, 인접한 단순 연결 영역들의 코딩 파라미터들이 서로 각각이 일치하지 않는다면, 참조 이웃 확인자는 미리 결정된 단순 연결 영역에 미리 결정된 상대적인 지역 관계를 가진 단순 연결 영역들의 개수의 진부분집합(proper subset)을 확인할 수 있고, 이러한 진부분집합은 코딩 파라미터들을 적용하거나, 미리 결정된 단순 연결 영역의 코딩 파라미터들을 예측할 때 사용된다.
다른 실시예에 따르면, 회귀적인 다중-분할에 의한 다른 사이즈들의 복수의 단순 연결 영역들로 2차원 정보 신호의 공간적 샘플링을 나타내는 샘플들의 지역의 공간적인 세부분할은 데이터 스트림에 포함된 구문 요소들의 제 1 부분집합에 따라 수행되고, 복수의 단순 연결 영역의 결합인, 단순 연결 영역들의 분리된 집합들로 샘플들의 배열의 중간 수준의 세부분할을 획득하기 위하여, 제 1 부분집합으로부터 분리된 데이터 스트림 안에서 구문 요소들의 제 2 부분집합에 따른 공간적으로 인접한 단순 연결 영역들의 결합에 의해 뒤이어 수행된다. 중간 세부분할은, 데이터 스트림으로부터 샘플들의 배열을 복원할 때 사용된다. 이것은 너무 정밀한 세부분할은 뒤이은 병합에 의해 보상될 수 있다는 사실에 기인하여, 세부분할에 대한 최적화가 덜 중요할 수 있다. 더욱이, 세부분할과 병합의 결합은, 구문 요소들의 분리된 집합들의 사용에 의한 세부분할 및 병합의 연속이, 2차원 정보 신호의 실제적인 문맥에 효과적이거나 중간 수준의 세부분할의 더 좋은 적용을 가능하게 하도록 회귀적인 다중-분할의 방식에 의해 불가능한 중간 세부분할을 성취할 수 있다. 장점들을 비교하면, 병합을 상세하게 표시하기 위한 구문 요소들의 추가적인 부분집합으로부터 기인한 추가적인 오버헤드는 무시할 수 있다.
본 발명의 실시예에 따른 방법 및 장치를 이용할 경우, 평면들의 코딩 파라미터들 간의 연관관계를 통하여 리던던시 감소시킬 수 있다.
또한, 본 발명에 따른 평면 간 예측을 통하여 더 나은 율 왜곡 비율을 성취할 수 있다.
본 발명의 바람직한 실시예는 다음의 도면들에 대해 설명한다.
도 1은 본 발명의 실시예에 따른 인코더의 블록도이다.
도 2는 본 발명의 실시예에 따른 디코더의 블록도이다.
도 3a 내지 3c는 쿼드트리 세부분할을 위한 실시예를 도식적으로 나타내는 것으로, 도 3a는 제 1 계층적 레벨을, 도 3b는 제 2 계층적 레벨을, 도 3c는 제 3 계층적 레벨을 나타낸다.
도 4는 본 발명의 실시예에 따라 도 3a 내지 도 3b의 실시예에 따른 쿼드트리 세부분할을 위한 트리 구조를 도식적으로 나타낸다.
도 5a 및 도 5b는 도 3a 내지 도 3c의 쿼드트리 세부분할 및 리프 블록들을 인덱싱하는 인덱스들을 가진 트리 구조를 도식적으로 설명한다.
도 6a 및 도 6b는 다른 실시예들 각각에 따라, 도 4의 트리 구조를 나타내는 플래그들의 이진 일련들 또는 시퀀스들 및 도 3a 내지 도 3c의 쿼드트리 세부분할을 도식적으로 나타낸다.
도 7은 실시예에 따라 데이터 스트림 추출부에 의해 수행되는 단계들을 나타내는 흐름도이다.
도 8은 다른 실시예에 따른 데이터 스트림 추출부의 기능을 나타내는 흐름도이다.
도 9a 및 도9b는 실시예에 따라 강조되는 미리 결정된 블록을 위한 인접한 후보 블록들을 가진 쿼드트리 세부분할들을 설명하는 도면이다.
도 10은 다른 실시예에 따라 데이터 스트림 추출부의 기능을 나타내는 흐름도이다.
도 11은 실시예에 따라 평면들 및 평면 그룹들로부터 픽쳐의 구성을 설명하고, 평면 간 적용/예측을 사용한 코딩을 설명하는 도면이다.
도 12a 및 도 12b는 실시예에 따라 계승 기법(inheritance scheme)을 설명하기 위한 서브트리 구조 및 상응하는 세부분할을 도식적으로 설명한다.
도 12c 및 도 12d는 실시예에 따라 각각, 적응 및 예측을 가진 계승 기법을 설명하기 위한 서브트리 구조를 도식적으로 설명한다.
도 13은 실시예에 따라 인코더에 의한 계승 기법의 실현을 수행하는 단계를 나타내는 흐름도이다.
도 14a 및 도 14b는 실시예에 따라 인터-예측과 관련된 계승 기법을 실행하는 가능성을 설명하기 위한 프라이머리 세부분할 및 세컨더리 세부분할을 나타낸다.
도 15는 실시예에 따라 계승 기법과 관련된 디코딩 절차를 설명하는 블록도이다.
도 16은 인트라 예측을 되도록 하는 세부 영역들과 함께, 실시예에 따라 멀티트리 세부분할의 세부 영역들 중에서 스캔 순서를 도식적으로 설명한다.
도 17은 실시예에 따른 디코더의 블록도이다.
도 18a 내지 도 18c는 다른 실시예에 따른 세부분할들의 다른 가능들을 설명하는 도면이다.
도 19는 본 발명의 실시예에 따른 인코더의 블록도이다.
도 20은 본 발명의 다른 실시예에 따른 디코더의 블록도이다.
도 21은 본 발명의 다른 실시예에 따른 인코더의 블록도이다.
도면들의 설명에 따르면, 이러한 도면들의 몇몇에서 발생하는 요소들은 일반적인 참조 개수들에 의해 표시되고, 이러한 요소들의 반복되는 설명은 피한다. 오히려, 하나의 도면 안에 표시된 요소에 대한 설명이 다른 도면들에 또한 적용된다. 이러한 다른 도면들에 제시된 설명들에 한하여 각각의 요소가 발생하도록, 그것들로부터 편차를 표시한다.
게다가, 도 1 내지 도 11에 대해 설명한 인코더와 디코더의 요소들과 함께 다음의 설명이 시작된다. 실시예들은 이러한 도면들에 대해 설명하고, 본 출원의 많은 측면들과 결합하고, 그러나, 또한 코딩 기법 안에서 개별적으로 수행된다면 장점이 있고, 따라서, 다음의 도면들에 대해서, 실시예들은, 다른 의미에서 도 1 및 도 11에 대해 설명하는 실시예의 관념을 나타내는 이러한 실시예들의 각각과 함께 정확히 언급된 측면들을 이용하여 간단히 논의된다.
도 1은 본 발명의 일 실시예에 따른 인코더를 도시한다. 도 1의 인코더(10)는 예측부(12), 잔차 프리코더(residual precoder)(14), 잔차 복원부(16), 데이터 스트림 삽입부(18) 및 블록 분할부(20)를 포함한다. 인코더(10)는 시공간적으로 샘플링된 정보 신호를 데이터 스트림(22)으로 코딩을 위한 것이다. 시공간적으로 샘플링된 정보 신호는, 예를 들어, 비디오(즉, 픽쳐(picture)들의 시퀀스)일 수 있다. 각 픽쳐는 이미지 샘플들의 배열을 나타낸다. 예를 들어, 시공간적 정보 신호의 다른 예들은, 예를 들어, 빛의 시간(time-of-light) 카메라들에 의해 캡쳐된 깊이 이미지들을 포함할 수 있다. 추가적으로, 공간적으로 샘플링된 정보 신호는, 예를 들어, 프레임별 크로마(chroma) 샘플들의 두 개의 배열들과 함께 루마(luma) 샘플들의 배열을 포함하는 컬러 비디오의 경우와 같이, 프레임별 하나 이상의 배열 또는 타임 스탬프(time stamp)를 포함하는 것을 주의해야 한다. 또한, 즉, 루마(luma) 및 크로마(chroma)와 같은 상기 정보 신호의 상기 다른 구성 요소들을 위한 공간적 샘플링 율(rate)은 서로 다를 수 있다. 공간적인 해상도에 동일하게 적용된다. 또한, 비디오는 깊이 또는 투명도(transparency) 정보와 같이 추가적으로 공간적으로 샘플링된 정보를 수반할 수 있다. 그러나, 다음의 설명은 하나 이상의 평면의 처리로 전환을 이용하는 본 출원의 최우선의 주요 이슈들을 잘 이해하는 목적을 위한 이들의 배열들 중 하나의 프로세싱(processing)에 초점을 맞출 것이다.
도 1의 인코더(10)는 데이터 스트림(22)의 구문(syntax) 요소들이 전체 픽쳐들 및 개별적인 이미지 샘플들 간에 놓인 입상도(granularity)에서 픽쳐들을 설명하도록 데이터 스트림(22)을 생성하도록 구성된다. 이러한 목적을 위하여, 분할부(20)는 각 픽쳐(24)를 서로 다른 크기들(26)의 단순 연결 영역들로 세부분할(sub-divide)하도록 구성된다. 다음에서, 이들 영역들은 단순히 블록들 또는 세부(sub) 영역들(26)로 불러질 수 있다.
아래 더 상세한 설명에서 서술되어 질 것으로서, 분할부(20)는 픽쳐(24)를 서로 다른 크기들의 블록들(26)로 세부분할하기 위해 멀티-트리 세부분할(multi-tree sub-division)을 사용할 수 있다. 심지어 더 정확하게 되기 위해, 도면 1 내지 11에 관하여 아래 서술된 상세 실시예들은 대부분 쿼드트리(quadtree) 세부분할을 사용한다. 아래 더 상세한 설명에서 설명되어 질 것으로서, 분할부(20)는 픽쳐들(24)을 병합부(30)에 의해 뒤따르는 방금 언급된 블록들(26)로 세부분할하기 위한 세부 분할부(28)의 연속을 포함하며, 병합부(30)는 세부 분할부(28)에 의해 정의되는 세부분할 및 픽쳐들(24)의 비세부분할(non-sub-division) 간에 위치하는 효과적인 세부분할 또는 입상도를 획득하기 위해 이들 블록들(26)의 그룹들을 결합하는 것을 가능하게 한다.
도 1에서 점선으로 표시된 것으로서, 예측부(12), 잔차 프리코더(14), 잔차 복원부(16) 및 데이터 스트림 삽입부(18)는 분할부(20)에 의해 정의되는 픽쳐 세부분할들 상에서 동작한다. 예를 들어, 아래 더 상세한 설명에서 설명되어 질 것으로서, 개별 세부 영역이 선택된 예측 모드에 따라 개별 세부 영역을 위해 상응하는 예측 파라미터들의 설정을 이용하여 인트라(intra) 픽쳐 예측되어야 하는지 또는 인터(inter) 픽쳐 예측되어야 하는지에 대해, 예측부(12)는 예측 세부분할의 개별적인 세부 영역들을 위한 결정을 하도록 분할부(20)에 의해 정의되는 예측 세부분할을 사용한다.
다음으로, 상기 잔차 프리코더(14)는 예측부(12)에 의해 제공되는 픽쳐들(24)의 예측의 잔차를 인코딩하기 위해 픽쳐들(24)의 잔차 세부분할을 사용할 수 있다. 잔차 복원부(16)는 잔차 프리코더(14)에 의한 구문 요소들 출력으로부터 잔차를 복원하고, 또한 잔차 복원부(16)는 앞서 언급된 잔차 세부분할 상에서 동작한다. 데이터 스트림 삽입부(18)는, 잔차 프리코더(14) 및 예측부(12)에 의한 구문 요소들의 출력의 삽입을 위한 시택스 요소들 중, 예를 들어, 엔트로피(entropy) 인코딩과 같은 수단에 의해 데이터 스트림(22)으로의 삽입 순서 및 이웃 관계의 결정을 위해, 앞서 언급된 상기 세부분할들, 즉, 세부분할 및 잔차 세부분할을 이용할 수 있다.
도 1에서 도시한 것으로, 인코더(10)는 원본 정보 신호가 인코더(10)로 들어가는 입력(32)을 포함한다. 감산부(34), 잔차 프리코더(14) 및 데이터 스트림 삽입부(18)는 코딩된 데이터 스트림(22)이 출력되는 데이터 스트림 삽입부(18)의 출력 및 입력(32) 간에 언급된 순서 내에 순차적으로 연결된다. 감산부(34) 및 잔차 프리코더(14)는 잔차 복원부(16), 가산부(36) 및 예측부(12)에 의해 폐쇄되는 예측 루프(loop)의 부분이며, 잔차 복원부(16), 가산부(36) 및 예측부(12)는 잔차 프리코더(14)의 출력 및 감산부(34)의 변환 출력 간의 언급된 순서 내에 순차척으로 연결된다. 예측부(12)의 출력은 가산부(36)의 추가적인 출력에 또한 연결된다. 게다가, 예측부(12)는 출력(32)으로 직접적으로 연결된 입력을 포함하며, 그리고 선택적 인루프 필터(optional in-loop filter)(38)를 통해 가산부(36)의 출력으로 또한 연결되는 더 추가적인 입력을 포함할 수 있다. 추가적으로, 예측부(12)는 동작 중 보조 정보를 생성하고, 따라서 예측부(12)의 출력은 데이터 스트림 삽입부(18)로 또한 결합된다. 유사하게, 분할부(20)는 데이터 스트림 삽입부(18)의 다른 입력에 연결되는 출력을 포함한다.
인코더(10)의 구조를 설명하는 동작의 모드는 다음에서 더 상세하게 설명된다.
앞서 설명된 것으로서, 분할부(20)는 각 픽쳐(24)를 위하여, 세부 영역들(26)로 어떻게 동일하게 세부분할되는지 결정한다. 예측을 위해 사용되는 픽쳐(24)의 세부분할(sub-division)에 따라, 예측부(12)는 이러한 세부분할에 상응하는 각 세부 영역에 대해, 개별 세부 영역을 예측하기 위한 방법을 결정한다. 예측부(12)는 감산부(34)의 인버팅 입력 또는 가산부(36)의 추가적인 입력을 위한 세부 영역의 예측을 데이터 스트림 삽입부(18)로 출력하고, 예측부(12)가 비디오의 미리 인코딩된 부분들로부터 이러한 예측을 획득하는 방법을 반영한 예측 정보를 데이터 스트림 삽입부(18)로 출력한다.
감산부(34)의 출력에서, 예측 잔차는 이와 같이 획득되며, 여기서 잔차 프리코더(14)는 분할부(20)에 의해 또한 규정된 잔차 세부분할에 따라 이러한 예측 잔차를 처리한다. 도 3 내지 10에 관하여 더 상세하게 아래에서 설명된 것으로서, 각 예측 세부 영역이 작은 잔차 세부 영역들로 추가적으로 세부분할되거나 잔차 세부 영역으로서 채택되도록, 잔차 프리코더(14)에 의해 사용되는 픽쳐(24)에 대한 잔차 세부분할은 예측부(12)에 의해 사용되는 예측 세부분할에 관련되어 질 수 있다. 그러나, 전체적으로 독립적인 예측 또는 잔차 세부분할들은 또한 가능할 수 있다.
잔차 프리코더(14)는 각 잔차 세부 영역을 다음과 같은 2차원 변환 또는, 본질적으로 관련되는, 생성한 변환 블록들의 상기 생성한 변환 계수들의 양자화에 의한 스펙트랄(spectral) 도메인을 위한 공간으로부터 변환되게 하며, 그것으로 인해 상기 양자화 노이즈로부터 왜곡이 생성된다. 예를 들어, 데이터 스트림 삽입부(18)는 앞서 언급된 변환 계수들을 설명하는 구문 요소들을, 예를 들어, 엔트로피 인코딩. #을 사용함에 의해 데이터 스트림(22)으로 무손실 인코딩을 할 수 있을 것이다.
다음으로, 잔차 복원부(16)는 재변환에 따른 재양자화를 사용함에 의해 변환 계수들을 잔차 신호로 복원하며, 여기서 잔차 신호는 예측 잔차의 획득을 위한 감산부(34)에 의해 사용되는 예측을 이용하는 가산부(36) 내에서 결합되며, 그로 인해 가산부(36)의 출력에서 현재 픽쳐의 세부 영역 또는 복원된 부분을 획득한다. 예측부(12)는 인트라 예측을 위해 복원된 픽쳐 세부 영역을 직접적으로 사용할 수 있으며, 그것은 인접한 이미 복원된 예측 세부 영역들로부터 외삽에 의한 특정 예측 세부 영역을 예측하기 위한 것이다. 그러나, 인트라 예측은 인접의 대상으로부터 현재 세부 영역의 스펙트럼의 예측에 의한 스펙트랄 도메인 내에서 수행하며, 또한 직접 이론상으로 가능할 수 있을 것이다.
인터 예측에 대해, 예측부(12)는 선택적인 인루프 필터(38)에 의해 필터링된 적이 있는 동일한 대상에 따른 버전(version) 내에서 이미 인코딩되어 복원된 픽쳐들을 사용할 수 있을 것이다. 예를 들어, 인루프 필터(38)는 전에 언급된 상기 양자화 노이즈 형태로 유리하게 적용되는 전달 함수(transfer function)를 가지는 적응적 필터 및/또는 디블록킹(de-blocking) 필터를 포함할 수 있을 것이다.
예측부(12)는 픽쳐(24) 내에서 원본 샘플들을 비교하는 방법에 의한 특정 예측 세부 영역을 예측하는 방법으로 드러나는 예측 파라미터들을 선택한다. 아래 더 상세하게 서술되는 것으로서, 예측 파라미터들은, 인트라 픽쳐 예측 및 인터 픽쳐 예측과 같은, 각 예측 세부 영역을 위한 예측 모드의 표시(indication)를 포함할 수 있을 것이다. 인트라 픽쳐 예측의 경우, 예측 파라미터들은 인트라 예측으로 주로 확장되기 위한 예측 세부 영역 내에서 에지(edge)들에 따른 각도의 표시를 또한 포함할 수 있을 것이며, 그리고 인터 픽쳐 예측, 움직임(motion) 벡터들, 움직임 픽쳐 인덱스들(indices) 및, 최종적으로, 고차원 움직임 변환 파라미터들의 경우, 및 인트라 및/또는 인터 픽쳐 예측의 경우, 현재 예측 세부 영역을 기반으로 복원된 이미지 샘플들의 필터링을 위한 선택적 필터 정보가 예측된다.
아래 더 상세한 설명에서 서술되어 질 것으로서, 분할부(20)에 의해 정의되는 앞서 언급된 세부분할들은 잔차 프리코더(14), 예측부(12) 및 데이터 스트림 삽입부(18)에 의해 최대로 달성 가능한 율/왜곡 비율(rate/distortion ratio)에 상당히 영항을 미친다. 매우 정밀한 세부분할의 경우, 데이터 스트림(22)으로 삽입되는 분할부(12)에 의한 예측 파라미터들(40) 출력은 비록 예측부(12)에 의해 획득한 예측이 더 좋더라도 매우 높은 코딩 율을 필요로 하며, 그리고 잔차 프리코더(14)에 의해 코딩되는 잔차 신호는 동일하게 적은 비트들에 의해 코딩되기 위해 더 적어질 수 있다. 매우 거친 세부분할의 경우, 반대로 적용된다. 추가적으로, 방금 언급된 관념은 유사한 방법으로 잔차 세부분할을 위해 또한 적용되며, 개별적인 변환 블록들의 우수한 입상도를 사용한 픽쳐의 변환은 변환들의 계산을 위한 낮은 복잡성 및 생성된 변환의 증가된 공간적 해상도를 야기한다. 즉, 작은 잔차 세부 영역들은 더 일치되기 위한 개별적인 잔차 세부 영역들 내의 내용(content)의 스펙트랄 왜곡을 활성화한다. 그러나, 스펙트랄 해상도는 감소되며, 그리고 중요한 또는 중요하지 않은(즉, '0'으로 양자화) 사이의 비율 계수들은 나빠질 수 있다. 즉, 변환의 입상도는 픽쳐 내용에 국부적으로 적용되어야 한다. 게다가, 더 정밀한 입상도의 긍정적인 효과로부터 독립하게, 더 정밀한 입상도는 디코더로 선택되는 세부분할을 나타내기 위해 필요한 보조 정보의 양을 규칙적으로 증가시킨다. 아래 상세한 설명에서 서술되어 질 것으로, 아래 설명된 실시예들은, 코딩된 데이터 스트림(22)으로 세부분할 정보를 삽입하기 위한 데이터 스트림 삽입부를 지시함에 의해 디코딩 측에서 사용되기 위한 세부분할들을 시그널링하고 인코딩되기 위한 정보 신호의 내용으로 세부분할들을 매우 효율적으로 적응시키기 위한 능력을 가진 인코더(10)를 제공한다. 상세한 설명은 아래 제시된다.
그러나, 상세한 설명에서 분할부(20)의 세부분할을 정의하기 전, 본 발명의 실시예에 상응하는 디코더는 도 2와 관련되어 더 상세하게 설명된다.
도 2의 디코더는 참조 부호 100에 의해 표시되고, 추출부(102), 분할부(104), 잔차 복원부(106), 가산부(108), 예측부(110), 선택적 인루프 필터(112) 및 선택적 포스트(post) 필터(114)를 포함한다. 추출부(102)는 디코더(100)의 입력(116)에서 코딩된 데이터 스트림을 수신하고, 코딩된 데이터 스트림 세부분할 정보(118), 예측 파라미터들(120) 및 잔차 데이터(122)로부터 추출부(102)가 픽쳐 분할부(104), 예측부(110) 및 잔차 복원부(106)로 출력하는 것을 각각 추출한다. 잔차 복원부(106)는 가산부(108)의 제1 출력과 연결되는 출력을 가진다. 가산부(108)의 다른 입력 및 그것의 출력은 예측 루프로 연결되며, 선택적 인루프 필터(112) 및 예측부(110)는 가산부(108)의 출력으로부터 예측부(110)로 연결된 바이패스(by-pass) 경로를 이용하여 언급된 순서에서 순차적으로 예측 루프에 연결되며, 이는 도 1의 가산부(36) 및 예측부(12) 간의 상기 언급된 연결들과 직접적으로 유사하며, 환언하면 인트라 픽쳐 예측을 위한 대상 및 인터 픽쳐 예측을 위한 다른 대상이다. 가산부(108)의 출력 또는 인루프 필터(112)의 출력 중 어느 하나는 디코더(100)의 출력(124)으로 연결될 수 있을 것이며, 디코더(100)에서 복원 정보 신호는, 예를 들어, 재생성 디바이스(device)로 출력된다. 선택적 포스트 필터(114)는 출력(124)에서 복원 신호의 시각적 인상의 시각적 품질을 향상시키도록 출력(124)을 야기하는 경로로 연결될 수 있을 것이다.
일반적으로 말하자면, 잔차 복원부(106), 가산부(108) 및 예측부(110)는 도 1의 요소들 16, 36 및 12와 같이 행동한다. 즉, 상기 언급된 도 1의 요소들의 동작을 동일하게 모방한다. 이러한 목적을 위하여, 예측부(12)가 수행 또는 수행하는 것을 결정, 및 잔차 프리코더(14)가 수행하는 것으로 동일한 입상도에서 수신한 변환 계수들의 재변환을 위한 결정과 같은 방법으로 예측 세부 영역들을 예측하기 위해, 잔차 복원부(106) 및 예측부(110)는 추출부(102)로부터 세부분할 정보(118)에 따른 픽쳐 분할부(104)에 의해 규정된 세부분할 및 예측 파라미터들(120)에 의해 각각 제어된다. 다음으로, 픽쳐 분할부(104)는 세부분할 정보(118) 상에 의존함에 의해 동기된 방법으로 도 1의 분할부(20)에 의해 선택된 세부분할들을 재건한다. 다음으로, 추출부는 예를 들어 문맥(context) 선택, 이웃 영역 결정, 확률 추정, 데이터 스트림의 구문 분석(parsing) 등에 관하여 데이터 추출을 제어하기 위해 세부분할 정보를 사용할 수 있을 것이다.
몇몇의 편차들은 상기 실시예들 상에서 수행될 수 있을 것이다. 일부는 세부 분할부(28)에 의해 수행되는 세부분할 및 병합부(30)에 의해 수행되는 병합에 관한 다음의 상세한 설명 내에서 언급되고, 다른 것들은 다음의 도 12 내지 16에 관하여 설명된다. 어떤 장애들이 없는 경우, 모든 그들의 편차들은 개별적 또는 부분집합(subset)들로 도 1 및 도 2의 상기 언급된 설명에 각각 적용될 수 있을 것이다. 예를 들어, 분할부들(20 및 104)은 오직 픽쳐마다 예측 세부분할 및 잔차 세부분할을 결정하지 않을 수 있다. 더 정확히 말하면, 또한 그들은 선택적 인루프 필터(38 및 112)를 위한 필터 세부분할을 각각 결정할 수 있을 것이고, 예측을 위한 다른 세부분할들로부터 독립성 또는 의존성, 또는 잔차 코딩 중 하나를 각각 결정할 수 있을 것이다. 게다가, 그것들의 요소들에 의한 세부분할 또는 세부분할들의 결정은 프레임 기준에 의한 프레임 상에서 수행되지 않을 수 있을 것이다. 더 정확히 말하면, 특정 프레임을 위해 결정된 세부분할 또는 세부분할들은 단지 뒤이은 새로운 세부분할의 변환과 함께 다음의 프레임들의 특정 수를 위해 재사용 또는 적용될 수 있을 수 것이다.
세부 영역들로 픽쳐들의 분할에 관한 더 상세한 설명에서, 다음의 설명은 세부분할 부분 상에 먼저 초점을 맞추며, 세부 분할부(28 및 104a)는 세부분할 부분에 대한 책임을 맡는다. 그러므로, 병합 프로세스가 설명되며, 병합부(30) 및 병합부(104b)는 병합 프로세스에 대한 책임을 맡는다. 마지막으로, 인터 평면 채택/예측이 설명된다.
픽쳐는 이미지 또는 비디오 데이터의 잔차 코딩 및 예측의 목적을 위한 아마도 서로 다른 크기들의 다수의 블록들로 나누어지도록, 상기 방법에서 세부 분할부(28 및 104a)는 상기 픽쳐들을 분할한다. 전에 언급한 것으로서, 픽쳐(24)는 이미지 샘플 값들(values)의 하나 이상의 배열들로서 사용할 수 있을 것이다. 예를 들어, YUV/YCbCr 컬러 공간의 경우, 상기 첫 번째 배열은 상기 루마 채널(luma channel)들을 나타낼 수 있을 것이고, 반면에 다른 두 개의 배열들은 크로마(channel) 채널들을 나타낸다. 이들의 배열들은 다른 차원들을 가질 수 있을 것이다. 모든 배열들은 적어도 하나의 연속되는 평면들이 존재하는 각 평면 그룹과 함께 적어도 하나의 평면 그룹들로 그룹을 형성할 수 있을 것이며, 그래서 각 평면은 하나 또는 오직 하나의 평면 그룹 내에 포함될 수 있다. 아래의 각 평면 그룹에 대해 적용된다. 특정 평면 그룹의 첫 번째 배열은 그 평면 그룹의 프라이머리(primary) 배열로 불리어질 수 있을 것이다. 아마도 다음의 배열들은 종속 배열들이다. 프라이머리 배열의 블록 분할은 아래에서 가장 좋게 설명되는 쿼드트리(quadtree) 기법을 기반으로 수행될 수 있을 것이다. 종속 배열들의 블록 분할은 프라이머리 배열의 분할을 기반으로 도출될 수 있을 것이다.
아래 설명되는 실시예들에 따르면, 세부 분할부(28 및104a)들은 프라이머리 배열을 동일한 크기의 다수의 사각 블록들로 분할하기 위해 구성되며, 다음에서 소위 트리블록들(treeblocks)로 불린다. 쿼드트리가 사용되는 경우, 트리블록들의 에지(edge) 길이는 16, 32 또는 64와 같이 보통 두 배이다. 그러나, 완전성의 목적을 위해, 많은 수의 리프(leaf)들을 가지는 트리들 또는 이진 트리들과 같은 여러 트리 타입들의 사용이 가능할 수 있다. 게다가, 트리의 자식들의 수는 트리의 레벨 및 트리가 나타내는 신호에 따라 다양해질 수 있다.
이것에 비하면, 상기 언급된 것으로서, 샘플들의 배열은 각각 깊이 맵(map)들 또는 라이트필드(lightfield)들과 같이 비디오 시퀀스(sequence)들과 다른 정보를 또한 나타낼 수 있을 것이다. 간단하게, 다음의 설명은 멀티(multi)-트리들에 대한 대표 예로서 쿼드트리에 초점을 맞춘다. 쿼드트리들은 각 내부의 노드에 정확히 4개의 자식을 가지는 트리들이다. 각 트리블록들은 프라이머리 쿼드트리의 각 리프들에서 종속 쿼드트리들과 함께 프라이머리(primary) 쿼드트리를 구성한다. 프라이머리 쿼드트리는 예측을 위한 주어진 트리블록의 상기 세부분할을 결정하고, 반면에 종속 쿼드트리는 잔차 코딩의 상기 목적을 위한 주어진 예측 블록의 세부분할을 결정한다.
프라이머리 쿼드트리의 루트(root) 노드는 완전한 트리블록에 상응한다. 예를 들어, 도 3a는 트리블록(150)을 도시한다. 각 픽쳐는 이러한 트리블록들(150)의 열(column)들 및 줄(line)들의 규칙적인 격자(grid)로 분할되는 것을 상기해야 하며, 그래서 동일하게, 예를 들어, 틈이 없이 샘플들의 배열을 포함한다. 그러나, 아래에서 보여주는 모든 블록 세부분할들에 대해 주의해야 하며, 오버랩(overlap)없이 끊김 없는 세부분할은 중요하지 않다. 오히려, 이웃하는 블록은 서로 오버랩될 수 있을 것이고, 동시에 리프가 없는 블록은 이웃하는 리프 블록의 적합한 세부 부분이다.
트리블록(150)의 쿼드트리 구조를 따라, 각 노드는 4개의 자식 노드들로 더 나누어질 수 있고, 이것은 프라이머리 쿼드트리의 경우 각 트리블록(150)은 트리블록(150)의 절반의 너비 및 절반의 높이를 가지는 4개의 세부 블록들로 나누어질 수 있다. 도 3a에서, 이들의 세부 블록들은 참조 번호 152a 내지 152d로 표시된다. 동일한 방식으로, 이들의 각 세부 블록들은 원본 세부 블록들의 절반의 너비 및 절반의 높이를 가지는 4개의 더 작은 세부 블록들로 더 나누어질 수 있다. 도 3d에서, 이것은 세부 블록(152c)에 대한 본보기로 보여지며, 세부 블록(152c)은 4개의 작은 세부 블록(154a 내지 154d)들로 세부분할된다. 도 3에서 도시한 것에 한하여, 도 3a 내지 3c는 트리블록(150)이 그것의 4개의 세부 블록들(152a 내지 152d)로 먼저 나누어지는 방법의 본보기를 보여주고, 뒤이어 좌하단(lower-left)의 세부 블록(152c)은 4개의 작은 세부 블록(154a 내지 154d)으로 더 나누어질 수 있고, 마지막으로 이들의 더 작은 세부 블록들의 우상단(upper-right)의 블록(154b)은 원본 트리블록(150)의 1/8의 너비 및 1/8의 높이의 4개의 블록들로 한번 더 나뉘어지며, 이들의 매우 작은 블록들은 156a 내지 156d로 표기된다.
도 4는 도 3a 내지 3c에서 도시된 것처럼 본보기의 쿼드트리 기반 분할을 위한 근본적인 트리 구조를 도시한다. 트리 노드들 옆의 수들은 세부분할 플래그(flag)로 불리는 값들이며, 세부분할 플래그는 뒤에서 더 상세하게 설명되어 질 것이며, 그때 쿼드트리 구조의 시그널링(signaling)이 논의될 것이다. 쿼드트리의 루트 노드는 상기 도면(“레벨 0”으로 표기된)의 위에서 표현된다. 이 루트 노드의 레벨 1에서 4개의 가지들은 도 3a에서 도시된 것처럼 4개의 세부블록들과 상응한다. 이들 삼사분면의 세부 블록들은 도 3b에서 그것의 4개의 세부 블록들로 더 세부분할되는 것으로서, 또한 도 4에서 레벨 1의 세 번째 노드는 4개의 가지들을 가진다. 다시, 도 3에서 두 번째(우상단(top-right)) 자식 노드의 세부분할와 상응하여, 쿼드트리 계층의 레벨 2에서 두 번째 노드에 연결된 4개의 세부 가지들이 존재한다. 레벨 3의 상기 노드들은 더 세부분할되지 않는다.
프라이머리 쿼드트리의 각 리프들은 다양한 크기의 블록에 상응하며, 개별적인 예측 파라미터들은 다양한 크기의 블록을 위해 구체화될 수 있다(즉, 인트라 또는 인터, 예측 모드, 움직임 파라미터 등). 다음에서, 이들 블록들은 예측 블록들로 불린다. 특히, 이들 리프 블록들은 도 3c에 도시된 블록들이다. 도 1 및 2의 설명을 다시 간략히 언급하면, 분할부(20) 또는 세부 분할부(28)는 방금 설명한 상기 쿼드트리 세부분할을 결정한다. 세부 분할부(152a 내지 152d)는, 상기에서 이미 나타낸 것으로 매우 정밀한 예측 세부분할 및 매우 거친 예측 세부분할 간의 최적의 트레이드오프(tradeoff)를 찾기 위한 목적과 함께, 트리블록(150), 세부 블록들(152a 내지 152d), 작은 세부 블록들(154a 내지 154d) 등에 대한 세부분할 또는 추가적 분할의 결정을 수행한다. 다음으로, 예측부(12)는, 예를 들어, 예측 세부분할에 따른 입상도에서 상기 언급된 예측 파라미터들 또는 도 3에서 도시된 블록들에 의해 표현되는 각 예측 세부 영역들에 대한 결정을 하기 위해, 규정된 예측 세부분할을 사용한다.
도 3c에 도시된 상기 예측 블록들은 잔차 코딩의 목적을 위해 더 작은 블록들로 추가적으로 분할될 수 있다. 각 예측 블록에 대해, 즉, 프라이머리 쿼드트리의 각 리프 노드에 대해, 상응하는 세부분할은 잔차 코딩을 위한 적어도 하나 이상의 종속 쿼드트리(들)에 의해 결정된다. 예를 들어, 16×16의 최대 잔차 블록 크기가 허용되는 경우, 주어진 32×32 예측 블록은 4개의 16×16 블록들로 나누어질 수 있으며, 각 4개의 16×16 블록들은 잔차 코딩을 위한 종속 쿼드트리에 의해 결정된다. 이러한 예에서 각 16×16 블록은 종속 쿼드트리의 루트 노드에 상응한다.
주어진 트리블록을 예측 블록들로 세부분할하는 경우에 대해 방금 설명한 것처럼, 각 예측 블록은 종속 쿼드트리 분해(들)의 사용에 의해 다수의 잔차 블록들로 나누어질 수 있다. 종속 쿼드트리의 각 리프는 잔차 블록에 상응하며, 개별적인 잔차 코딩 파라미터들은 잔차 프리코더(14)에 의해 잔차 블록을 위해 구체화될 수 있으며(즉, 변환 모드, 변환 계수들, 등), 다음에서, 잔차 코딩 파라미터들은 잔차 복원부들(16 및 106)을 각각 제어한다.
환언하면, 세부 분할부(28)는 각 픽쳐 또는 각 픽쳐들의 각 그룹을 위한 픽쳐를 트리블록(150)의 규칙적인 배열로 먼저 분리함에 의한 종속 잔차 세부분할 및 예측 세부분할을 결정하도록 구성될 수 있으며, 예측 세부분할을 획득하기 위해 쿼드트리 세부분할에 의한 이들 트리블록들의 부분 집합을 유사한 방법으로 이들 예측 블록들의 부분 집합의 뒤이은 추가적인 세부분할과 함께 예측 블록들로 귀납적으로 분할하며, 예측 블록들은 각각의 트리블록에서 분할이 수행되지 않은 경우에 트리블록들일 수 있고, 또는 쿼드트리 세부분할의 리프 블록들일 수 있으며, 예측 블록이 종속 잔차 세부분할의 최대 크기보다 큰 경우, 잔차 블록들을 획득하기 위해 상기 쿼드트리 세부분할 절차에 따른 이들 세부 트리블록들의 부분 집합을 뒤이어 세부분할하는 것과 함께 각각의 예측 블록을 세부 트리블록들의 규칙적인 배열로 먼저 분할하며, 잔차 블록들은 각각의 예측 블록에서 세부 트리블록들로 분할이 수행되지 않은 경우에 예측 블록들일 수 있으며, 잔차 블록들은 각각의 세부 트리블록에서 더 작은 영역들로 분할이 수행되지 않은 경우에 세부 트리블록들일 수 있으며, 또는 잔차 쿼드트리 세부분할의 리프 블록들일 수 있다.
상기에서 간략하게 서술된 것처럼, 프라이머리 배열을 위해 선택된 세부분할들 종속 배열들 상으로 매핑(mapping)될 수 있을 것이다. 이것은 프라이머리 배열로서 동일한 차원의 종속 배열들을 고려할 때 용이하다. 그러나, 종속 배열들의 차원들과 프라이머리 배열의 차원이 서로 다른 경우에 특별한 측정들이 수행되어야 한다. 일반적으로 말하면, 서로 다른 차원의 경우 종속 배열들 상으로 프라이머리 배열 세부분할의 매핑은 공간적 매핑(즉, 종속 배열들 상으로 프라이머리 배열 세부분할의 블록 경계들의 공간적 매핑)에 의해 수행될 수 있을 것이다. 특히, 각 종속 배열에 대해, 수평 방향 및 수직 방향 내에 스케일링(scaling) 인자가 존재할 수 있으며, 스케일링 인자는 종속 배열을 위한 프라이머리 배열의 차원의 비율을 결정한다. 예측 및 잔차 코딩을 위한 세부 블록들로의 종속 배열의 분할은 상대적인 스케일링 인자에 의해 스케일이 조절된 종속 배열의 생성된 트리블록들과 함께 각각 프라이머리 배열의 각 결합된 트리블록들의 종속 쿼드트리(들) 및 프라이머리 쿼드트리에 의해 결정될 수 있다. 수평 방향 및 수직 방향 내의 스케일링 인자가 다른 경우(예를 들어, 4:2:2 크로마 세부 샘플링), 종속 배열의 잔차 블록들 및 생성된 예측은 더 이상 사각형들이 아닐 수 있다. 이러한 경우, 비-사각형 잔차 블록을 사각 블록들로 분할해야 하는지 여부를 적응적으로 선택하거나(전체 시퀀스를 위한, 시퀀스로부터 벗어난 하나(one)의 픽쳐 또는 각 하나(single)의 예측에 대한 하나(one)의 픽쳐 또는 잔차 블록 중 하나), 또는 미리 결정하는 것이 가능하다. 첫 번째 경우, 예를 들어, 인코더 및 디코더는 사각형 블록들로의 세부분할을 승인할 수 있으며, 언제나 매핑된 블록은 사각형이 아니다. 두 번째 경우, 세부 분할부(28)는 데이터 스트림 삽입부(18) 및 데이터 스트림(22)을 통해 세부 분할부(104a)에 선택에 대한 신호를 보낼 수 있다. 예를 들어, 4:2:2 크로마 세부 샘플링의 경우, 종속 배열들은 프라이머리 배열과 동일한 높이와 프라이머리 배열의 절반의 너비를 가지며, 잔차 블록들은 2배의 너비를 가질 수 있다. 그 블록을 수직으로 분할함에 의해, 그것은 두 개의 사각형 블록들을 다시 획득할 수 있다.
상기 언급된 것으로, 세부 분할부(28) 또는 분할부(20) 각각은 데이터 스트림(22)을 통해 세부 분할부(104a)로 쿼드트리 기반의 분리에 대한 신호를 보낸다. 마지막으로, 세부 분할부(28)는 픽쳐들(24)을 위해 선택된 세부분할들에 대해 데이터 스트림 삽입부(18)에 알린다. 다음으로, 데이터 스트림 삽입부는 프라이머리(primary) 및 세컨더리(secondary) 쿼드트리의 구조, 그리고 따라서, 데이터 스트림 또는 비트 스트림(22) 내의 잔차 코딩, 또는 예측을 위한 다양한 크기의 블록들로 픽쳐 배열이 분할을, 각각 디코딩 측으로 전송한다.
최소 및 최대 허용 블록 크기들은 보조 정보로서 전송되며, 그리고 픽쳐와 픽쳐 간에 교환될 수 있을 것이다. 또는, 최소 및 최대 허용 블록 크기들은 인코더 및 디코더에서 고정될 수 있다. 이들 최소 및 최대 블록 크기는 예측 및 잔차 블록들을 위해 다르게 될 수 있다. 쿼드트리 구조의 시그널링을 위한 쿼드트리는 가로지르도록 하며, 그리고 각 노드를 위한 쿼드트리는 그 특정 노드가 쿼드트리의 리프 노드인지(즉, 상응하는 블록이 더 이상 세부분할되지 않음) 또는 특정 노드가 그것의 4개의 자식 노드들로 분기되는지를(즉, 상응하는 블록이 절반 크기로 4개의 세부 블록들로 분리됨) 명시하도록 한다.
하나의 픽쳐내의 시그널링은 도 5a의 140에 도시된 바와 같이 왼쪽에서부터 오른쪽으로 위쪽에서부터 아래쪽으로와 같은 래스터 스캔(raster scan) 순서로 트리블록에 의한 트리블록을 수행한다. 또한, 이러한 스캔 방식은 우하단(bottom-right)으로부터 좌상단(top-left)까지 또는 체크보드 센스(checkerboard sense)처럼 다를 수 있다. 바람직한 실시예에서, 각 트리블록 그리고 따라서 각 쿼드트리는 세부분할 정보의 시그널링을 위한 깊이-우선 순서(depth-first order)로 가로지르게 된다.
바람직한 실시예에서, 세부분할 정보(즉, 트리의 구조)뿐만 아니라 예측 데이터 등(즉, 트리의 리프 노드들과 연관된 페이로드(payload))이 깊이-우선 순서로 전송/처리된다. 깊이-우선 횡단(depth-first traversal)은 너비-우선 순서(breadth-first order)보다 큰 장점이 있기 때문에, 그것이 수행된다. 도 5b에서, 쿼드트리 구조는 a, b,…j 로 표기된 리프 노드들과 함께 표시된다. 도 5a는 생성된 블록 분할을 도시한다. 블록들/리프 노드들이 너비-우선 순서로 가로지르게 되는 경우, 우리는 다음의 순서 abjchidefg 를 획득한다. 그러나, 깊이-우선 순서에서, 순서는 abc…ij 이다. 도 5a에서부터 볼 수 있는 것으로서, 깊이-우선 순서에서, 왼쪽 이웃 블록 및 위쪽 이웃 블록은 현재 블록 전에 항상 전송/처리 된다. 그러므로, 움직임 벡터 예측 및 문맥 모델링(context modeling)은 향상된 코딩 성능을 달성하기 위해 왼쪽 및 위쪽 이웃 블록을 위해 구체화된 파라미터들을 항상 사용할 수 있다. 너비-우선 순서를 위해, 이것은 케이스(case)가 될 수 없으며, 예를 들어, 그 이유는 블록(j)은 블록들(e, g 및 i)전에 전송되기 때문이다.
그 결과, 각 트리블록을 위한 시그널링은 프라이머리 쿼드트리의 쿼드트리 구조를 따라 귀납적으로 수행하며, 그래서 각 노드를 위한 플래그는 전송되며, 플래그는 상응하는 블록이 4개의 세부 블록들로 분할되는지 여부를 명시한다. 플래그가 값 “1”을 가지는 경우(“참”을 위한), 그러면 시그널링 프로세스는 모든 4개의 자식 노드들을 위해 귀납적으로 반복되며, 즉, 프라이머리 쿼드트리의 리프 노드까지 래스터 스캔 순서(좌상단(top-left), 우상단(top-right), 좌하단(bottom-left), 우하단(bottom-right))로 세부 블록들은 도달된다. 리프 노드는 값 “0”을 가지는 세부분할 플래그를 가짐에 의해 표현되는 것을 주의해야 한다. 노드는 프라이머리 쿼드트리의 가장 낮은 계층적 레벨 상에 위치하고 그러므로 가장 작은 승인 예측 블록 크기에 상응하는 경우를 위한, 세부분할 플래그는 전송되지 않는다. 도 3a 내지 3c의 예에 대한, 그것은 도 6a의 190에 도시된 바와 같이 “1”을 처음으로 전송하며, 트리블록(150)이 그것의 4개의 세부 블록들(152a 내지 152d)로 분리되는 것을 명시한다. 그러면, 그것은 래스터 스캔 순서(200)로 모든 4개의 세부 블록들(152a 내지 152d)의 세부분할 정보를 귀납적으로 인코딩할 수 있다. 제1, 2 세부 블록들(152a, 152b)을 위한 그것은 “0”을 전송할 수 있으며, 세부분할이 없음을(도 6a의 202 참조) 명시할 수 있다. 제3 세부 블록(152c)(좌하단)을 위한, 그것은 “1”을 전송할 수 있으며, 그 블록이 세부분할되었음을(도 6a의 204 참조) 명시한다. 이제, 귀납적인 접근법에 따라, 그 블록의 상기 4개의 세부 블록들(154a 내지 154d)은 처리될 수 있다. 여기서, 그것은 제1(206)을 위한 “0” 및 제2(우상단) 세부 블록(208)을 위한 “1”을 전송할 수 있다. 이제, 도 3에서 가장 작은 블록 크기(156a 내지 156d)의 4개의 블록들은 처리될 수 있다. 이러한 예에서 우리가 이미 가장 작은 허용 블록 크기에 도달한 경우, 더 이상 데이터는 전송되지 않을 수 있으며, 그 이유는 추가적 세부분할은 불가능하기 때문이다. 그렇지 않으면, 도 6a의 210에서 나타낸 바와 같이, 추가적으로 분리되는 이들 블록이 없음을 명시하는 “0000”이 전송될 수 있다. 그 후, 그것은 도 3b에서 하위 레벨의 두 개의 블록들을 위한 “00”을(도 6a의 212 참조) 전송할 수 있고, 도 3a에서 우하단의 블록을 위한 “0”을(214 참조) 마지막으로 전송할 수 있다. 그래서, 쿼드트리 구조를 나타내는 완전한 이진 스트링은 도 6a에 도시된 어떤 하나일 수 있다.
도 6a의 이진 스트링 표현에서 서로 다른 배경 명암들은 쿼드트리 기반 세부분할의 계층에서 서로 다른 레벨들에 상응한다. 명암(shading)(216)은 레벨 0(원본 트리블록 크기와 동일한 블록 크기에 상응함)을 나타내고, 명암(218)은 레벨 1(원본 트리블록 크기의 절반과 동일한 블록 크기에 상응함), 명암(220)은 레벨 2(원본 트리블록 크기의 1/4과 동일한 블록 크기에 상응함)을 나타내고, 명암(222)은 레벨 3(원본 트리블록 크기의 1/8과 동일한 블록 크기에 상응함)을 나타낸다. 동일한 계층적 레벨(이진 스트링 표현 예에서 동일한 블록 크기 및 동일한 컬러에 상응함)의 모든 세부분할 플래그들은, 예를 들어, 삽입부(18)에 의해 동일한 확률 모델 및 그것을 사용하여 엔트로피 코딩될 수 있다.
도 6b에 도시된, 너비-우선 횡단의 경우를 위한 세부분할 정보는 서로 다른 순서로 전송될 수 있음을 주의해야 한다.
예측의 목적을 위한 각 트리블록의 세부분할과 유사하게, 잔차 블록들로 각 생성된 예측 블록의 분할은 비트스트림으로 전송되게 한다. 또한, 잔차 코딩을 위한 최대 및 최소 블록 크기는 존재할 수 있으며, 이는 보조 정보로서 전송될 수 있고, 이는 픽쳐에서부터 픽쳐로 교환될 수 있다. 또는, 잔차 코딩을 위한 최대 및 최소 블록 크기는 인코더 및 디코더에서 고정될 수 있다. 도 3c에 도시된 것처럼, 프라이머리 쿼드트리의 각 리프 노드에서, 상응하는 예측 블록은 최대 허용 크기의 잔차 블록들로 분할될 수 있을 것이다. 이들 블록들은 잔차 코딩을 위한 종속 쿼드트리 구조의 구성 요소 루트 노드들이다. 예를 들어, 픽쳐를 위한 최대 잔차 블록 크기가 64×64이고 예측 블록이 32×32 크기인 경우, 그러면 전체 예측 블록은 32×32 크기의 하나의 종속 (잔차) 쿼드트리 루트 노드에 대응할 것이다. 반면, 픽쳐를 위한 최대 잔차 블록 크기가 16×16인 경우, 그러면 32×32 예측 블록은 각 16×16 크기의 4개의 잔차 쿼드트리 루트 노드들로 구성될 것이다. 각 예측 블록 내에서, 종속 쿼드트리 구조의 시그널링은 래스터 스캔 순서(좌에서 우, 위에서 아래)로 루트 노드에 의한 루트 노드를 수행한다. 프라이머리 (예측) 쿼드트리 구조의 경우에서와 유사하게, 각 노드를 위한 플래그는 코딩되며, 플래그는 그 특정 노드가 그것의 4개의 자식 노드들로 분할되는지 여부를 명시한다. 그러면, 플래그가 값 “1”을 가지는 경우, 그 절차는 모두 4개의 상응하는 자식 노드들을 위해 귀납적으로 반복되며, 그리고 그것에 상응하는 세부 블록들은 래스터 스캔 순서(좌상단, 우상단, 좌하단, 우하단)로 종속 쿼드트리의 리프 노드까지 도달된다. 프라이머리 쿼드트리의 경우에서와 같이, 종속 쿼드트리의 가장 낮은 계층적 레벨 상의 노드들을 위한 시그널링은 요구되지 않으며, 그 이유는 그것들의 노드들은 더 이상 분할될 수 없는 가능한 가장 작은 잔차 블록 크기의 블록들과 상응하기 때문이다.
엔트로피 코딩에 대해, 동일한 블록 크기의 잔차 블록들에 속하는 잔차 블록 세부분할 플래그들은 그것 및 동일한 확률 모델을 사용하여 인코딩될 수 있을 것이다.
그러므로, 도 3a 내지 도 6a에 관하여 상기에서 제시된 상기 실시예에 따라, 세부 분할부(28)는 잔차 코딩 목적들을 위한 프라이머리 세부분할의 다른 크기들의 블록들에 대한 종속 세부분할 및 예측 목적들을 위한 프라이머리 세부분할을 정의한다. 데이터 스트림 삽입부(18)는 지그재그 스캔 순서로 각 트리블록을 위한 시그널링에 의해 프라이머리 세부분할을 코딩하며, 비트 시퀀스는 프라이머리(primary) 세부분할의 최대 계층적 레벨 및 최대 프라이머리 블록 크기 코딩과 함께 도 6a에 따라 만들어진다. 앞서 언급한 바와 같이 각 정의된 예측 블록에 대해, 연관된 예측 파라미터들은 데이터 스트림으로 포함된다. 게다가, 유사한 정보 코딩, 즉, 도 6a에 따른 최대 크기, 최대 계층적 레벨 및 비트 시퀀스는, 잔차 세부 블록 및 각 잔차 트리 루트 블록을 위한 최대 크기와 동일하거나 최대 크기보다 작은 각 예측 블록을 위한 크기를 생성하며, 예측 블록들은 잔차 블록들을 위해 정의된 최대 크기를 초과하는 상기 크기로 미리 분할된다. 앞서 언급한 바와 같이 각 정의된 잔차 블록을 위한, 잔차 데이터는 데이터 스트림으로 삽입된다.
추출부(102)는 입력(116)에서 데이터 스트림으로부터 각각의 비트 시퀀스들을 추출하고, 앞서 언급한 바와 같이 획득한 세부분할 정보에 대해 분할부(104)에 알린다. 게다가, 데이터 스트림 삽입부(18) 및 추출부(102)는 잔차 프리코더(14)에 의한 잔차 데이터 출력 및 예측부(12)에 의한 예측 파라미터들 출력과 같은 추가적인 구문 요소들을 전송하기 위해 예측 블록들 및 잔차 블록들 중 상기 언급된 순서를 사용할 수 있을 것이다. 이러한 순서를 사용하는 것은, 이웃하는 블록들의 구문 요소들이 이미 코딩/디코딩을 촉진함에 의해 특정 블록을 위한 개별적인 구문 요소들의 인코딩을 위한 충분한 문맥들이 선택될 수 있는 점에서 장점들을 가진다. 게다가, 유사하게, 잔차 프리코더(14) 및 예측부(12)뿐만 아니라 잔차 복원부(106) 및 프리코더(110)는 상기에서 서술된 순서로 개별적인 예측 및 잔차 블록들을 처리할 수 있을 것이다.
도 7은 단계들의 흐름도를 도시하며, 단계들은 데이터 스트림(22)으로부터 세부분할 정보를 추출하기 위해 추출부(102)에 의해 수행될 수 있을 것이며, 이는 상기에서 서술된 것과 같은 상기 방식으로 인코딩된다. 제1 단계에서, 추출부(102)는 픽쳐(24)를 트리 루트 블록들(150)로 분할한다. 이러한 단계는 도 7의 단계 300으로 표기된다. 단계 300은 데이터 스트림(22)으로부터 최대 예측 블록 크기를 추출하는 추출부(102)를 수반할 수 있을 것이다. 게다가 또는 그 대신, 단계 300은 데이터 스트림(22)으로부터 최대 계층적 레벨을 추출하는 추출부(102)를 수반할 수 있을 것이다.
다음, 단계 302에서, 추출부(102)는 데이터 스트림으로부터 플래그 또는 비트를 디코딩한다. 첫 번째 단계 302는 수행되며, 추출부(102)는, 각각의 플래그가 트리 루트 블록 스캔 순서(140)로 제1 트리 루트 블록(150)에 속하는 비트 시퀀스의 제1 플래그인 것을 인식하고 있다. 이러한 플래그가 계층적 레벨 0의 플래그인 것으로서, 추출부(102)는 문맥을 결정하기 위해 단계 302에서 계층 0에 연관되는 문맥 모델링을 사용할 수 있을 것이다. 각 문맥은 그것과 함께 연관되는 플래그의 엔트로피 디코딩을 위한 각각의 확률 추정을 가질 수 있을 것이다. 문맥들의 확률 추정은 문맥일 수 있으며, 개별적으로 각각의 문맥 심볼 통계(symbol statistic)로 적응된다. 예를 들어, 단계 302에서 계층적 레벨 0의 플래그의 디코딩을 위해 적절한 문맥을 결정하기 위해, 추출부(102)는 문맥들의 집합(set)의 하나의 문맥을 선택할 수 있을 것이며, 이는 이웃하는 트리블록들의 계층적 레벨 0 플래그에 의존하는, 또는 더 추가적으로, 위쪽 및 좌측 이웃 트리블록과 같이 현재 처리된 트리블록의 이웃하는 트리블록들의 쿼드트리 세부분할을 정의하는 비트 스트링들의 내에 위치하는 정보에 의존하는 계층적 레벨 0에 연관된다.
다음 단계에서, 즉 단계 304, 추출부(102)는 최근 디코딩된 플래그가 분할을 암시하는지 여부에 관하여 확인한다. 만일 이러한 경우, 추출부(102)는 현재 블록 - 지금의 트리블록 - 을 분할하며, 또는 단계 306에서 그 분할을 세부 분할부(104a)에 알리며, 그리고 단계 308에서 현재 계층적 레벨이 '최대 계층적 레벨-(minus)-1'과 동일한지 여부에 관하여 확인한다. 예를 들어, 추출부(102)는, 예를 들어, 단계 300에서 데이터 스트림으로부터 추출된 최대 계층적 레벨을 또한 가질 수 있다. 현재 계층적 레벨이 '최대 계층적 레벨-(minus)-1'과 다른 경우, 추출부(120)는 단계 310에서 1만큼 현재 계층적 레벨을 증가시키며, 그리고 데이터 스트림으로부터 다음 플래그의 디코딩을 위해 단계들을 단계 302로 후퇴시킨다. 이러한 시간, 플래그들은 단계 302에서 디코딩되며 다른 계층적 레벨에 속하며, 그리고 따라서, 실시예에 따라, 추출부(102)는 문맥들의 다른 집합의 하나를 선택할 수 있을 것이며, 집합은 현재 계층적 레벨에 속한다. 또한, 상기 선택은 이미 디코딩된 적이 있는 이웃하는 트리블록들의 도 6에 따라 세부분할 비트 시퀀스들의 기초일 수 있다.
플래그가 디코딩되는 경우, 그리고 단계 304에서 상기 확인이 그 플래그가 현재 블록의 분할을 암시하지 않음을 나타내는 경우, 추출부(102)는 현재 계층적 레벨이 0인지 여부에 관해 확인하기 위해 단계 312를 계속 진행한다. 만일 이러한 경우, 추출부(102)는 단계 314에서 스캔 순서(140)로 다음 트리 루트 블록에 관한 프로세싱을 진행하며, 또는 처리된 트리 루트 블록이 왼쪽에 없는 경우 세부분할 정보를 추출하는 프로세싱을 중지한다.
도 7의 설명은 오직 예측 세부분할의 세부분할 표시 플래그들의 디코딩에 초점을 맞추는 것에 주의해야 하며, 그래서, 사실적으로, 단계 314는 예를 들어 현재 트리블록에 관계된 추가적인 빈스(bins) 또는 구문 요소들의 디코딩을 수반한다. 어떤 경우에, 만일 추가적 또는 다음 트리 블록이 존재하는 경우, 추출부(102)는 세부분할 정보, 즉, 새로운 트리 루트 블록에 관련되는 플래그 시퀀스의 제1 플래그로부터 다음 플래그의 디코딩을 위해 단계 314부터 단계 302까지 진행한다.
만일, 단계 312에서 계층적 레벨이 0과 동일하지 않은 것으로 밝혀지는 경우, 상기 동작은 현재 노드와 관계하는 추가적인 자식 노드들이 존재하는지 여부에 관한 확인과 함께 단계 316을 진행한다. 즉, 추출부(102)가 단계 316에서 확인을 수행하는 경우, 현재 계층적 레벨이 0 계층적 레벨 이외의 계층적 레벨인 것은 단계 312에서 이미 확인된 적이 있다. 다음으로, 그것은 부모 노드가 존재하는 것을 의미하며, 이는 트리 루트 블록(150) 또는 작은 블록들(152a 내지 152d) 중 하나, 또는 더 작은 블록들(152a 내지 152d) 등에 속한다. 최근에 디코딩된 플래그는 트리 구조의 노드에 속하며, 트리 구조의 노드는 부모 노드를 가지며, 이는 현재 트리 구조의 3개의 추가적인 노드들과 공통이다. 공통 부모 노드를 가지는 자식 노드들 중 스캔 순서는 참조 부호 200과 함께 계층적 레벨 0을 위한 도 3a에서 본보기로 도시된 적이 있다. 그러므로, 단계 316에서 추출부(102)는 모든 이들의 4개의 자식 노드들이 도 7의 프로세스 내에서 이미 머문적이 있는지 여부에 관해 확인한다. 만일 이러한 경우가 아니면, 즉, 현재 부모 노드와 함께 추가적인 자식 노드들이 존재하는 경우, 도 7의 프로세스는 단계 318로 진행하며, 그 곳에서는 현재 계층적 레벨 내에서 지그재그 스캔 순서(200)에 따라 다음 자식 노드가 머물것이고, 그래서 세부 블록에 상응하는 그것은 이제 프로세스(7)의 현재 블록을 나타내고, 그 후, 플래그는 단계 302에서 현재 블록 또는 현재 노드에 관한 데이터 스트림으로부터 디코딩된다. 그러나, 만일 단계 316에서 현재 부모 노드를 위한 추가적인 자식 노드들이 존재하지 않는 경우, 도 7의 상기 프로세스는 단계 320로 진행하며, 그 곳에서 현재 계층적 레벨은 1만큼 감소되며, 프로세스 후 단계 312을 계속 진행한다
도 7에 도시된 상기 단계들을 수행함에 의해, 추출부(102) 및 세부 분할부(104a)는 데이터 스트림으로부터 인코더 측에서 선택된 세부분할을 되찾는 것을 위해 협력한다. 도 7의 상기 프로세스는 상기에서 설명된 예측 세부분할의 경우를 집중한다. 도 7의 흐름도와 함께 도 8은 추출부(102) 및 세부 분할부(104a)가 데이터 스트림으로부터 잔차 세부분할을 되찾는 것을 위해 협력하는 방법을 도시한다.
특히, 도 8은 예측 세부분할으로부터 생성된 각 예측 블록들을 위한 추출부(102) 및 세부 분할부(104a) 각각에 의해 수행되는 상기 단계들을 도시한다. 상기에서 언급된 것으로서, 이들 예측 블록들은 예측 세부분할의 트리블록들(150) 중 지그재그 스캔 순서(140)에 따라 그리고, 예를 들어, 도 3c에서 도시된 바와 같이 리프 블록들을 횡단하기 위해 최근에(currently) 머무른 각 트리블록(150) 내에서 깊이-우선 횡단 순서(depth-first traversal order)를 사용하여 횡단될 수 있다. 깊이-우선 횡단 순서에 따라, 분할된 프라이머리 트리블록들의 리프 블록들은, 지그재그 스캔 순서(200)로 공통 현재 노드를 가지는 특정 계층적 레벨의 세부 블록들 방문과 함께 그리고 그 지그재그 스캔 순서(200)로 다음 세부 블록을 처음 진행하기 전에 이들 각 세부 블록들의 세부분할의 프라이머리 스캐닝(scanning)과 함께 깊이-우선 횡단 순서로 머물게 된다.
예를 들어, 도 3c에서, 트리블록(150)의 리프 노드들 중 생성한 스캔 순서는 참조 부호 350으로 도시된다.
현재 머무른(currently-visited) 예측 블록에 대해, 도 8의 상기 프로세스는 단계 400에서 시작한다. 단계 400에서, 현재 블록의 현재 크기를 표시하는 내부의 파라미터는 잔차 세부분할의 계층적 레벨 0의 크기, 즉, 잔차 세부분할의 최대 블록 크기와 동일하게 설정된다. 최대 잔차 블록 크기는 예측 세부분할의 가장 작은 블록 크기보다 작을 수 있거나, 또는 후자보다 크거나 후자와 동일할 수 있음을 상기하여야 한다. 즉, 실시예에 따라, 인코더는 방금 언급된 어떤 가능성들을 선택하는 것에 자유롭다.
다음 단계, 즉 단계 402에서, 확인은 현재 머무른 블록의 예측 블록 크기가 현재 크기를 표시하는 내부의 파라미터보다 큰 것인지 여부에 관해 수행된다. 만일 이러한 경우, 현재 머무른 예측 블록은 예측 세부분할의 리프 블록 또는 예측 세부분할의 트리블록일 수 있으며, 현재 머무른 예측 블록은 더 이상 분할되지 않으며, 현재 머무른 예측 블록은 상기 최대 잔차 블록 크기보다 크며, 그리고 이러한 경우 도 8의 상기 프로세스는 도 7의 단계 300을 계속 진행한다. 즉, 현재 머무른 예측 블록은 잔차 트리 루트 블록들로 분할되며, 그리고 그 현재 머무른 예측 블록 내에서 제1 잔차 트리블록의 플래그 시퀀스의 제1 플래그는 단계 302 등에서 디코딩된다.
그러나, 만일 현재 머무른 예측 블록이 현재 크기를 나타내는 내부의 파라미터보다 작거나 동일한 경우, 도 8의 상기 프로세스는 단계 404로 진행하며, 그 곳에서 예측 블록 크기는 현재 크기를 나타내는 내부의 파라미터와 동일한지 여부에 관해 결정하기 위해 확인된다. 이러한 경우, 분리 단계 300은 건너뛰어질 수 있으며, 그리고 프로세스는 도 7의 단계 302을 바로 계속 진행한다.
그러나, 만일 현재 머무른 예측 블록의 예측 블록 크기가 현재 크기를 나타내는 내부의 파라미터보다 작은 경우, 도 8의 상기 프로세스는 단계 406으로 계속 진행하며, 그 곳에서는 계층적 레벨은 1만큼 증가하며, 그리고 현재 크기는 (쿼드트리 세부분할의 경우에 양쪽 축의 방향들에서) 2에 의해 분리된 것처럼 새로운 계층적 레벨의 크기로 설정된다. 그 후, 단계 404의 확인은 다시 수행된다. 단계 404 및 406에 의해 형성된 루프의 효과는, 계층적 레벨은 최대 잔차 블록 크기보다 작거나 또는 동일하거나/큰 각각의 예측 블록들로부터 독립적으로 분할된 블록들과 상응하는 크기에 항상 상응하는 것이다. 그러므로, 단계 302에서 플래그를 디코딩하는 경우, 문맥 모델링은 플래그가 동시에 나타내는, 계층적 레벨 및 블록의 상기 크기에 의존하여 수행된다. 다른 계층적 레벨들 또는 블록 크기들의 플래그들을 위한 다른 문맥들의 사용은, 가능성 추정이 플래그 값 발생 중 실제 가능성 분포와 잘 맞을 수 있는 점에서 장점을 가지며, 다른 한편, 관리되기 위한 문맥들의 상대적인 보통의 수를 가지는 것, 그것에 의해 오버헤드를 관리하는 문맥이 감소될 뿐만 아니라 실제 심볼 통계들로 문맥 적응은 증가한다.
상기에서 이미 언급된 것으로서, 샘플들의 하나의 배열보다 많이 존재할 수 있을 것이며, 그리고 샘플들의 이들 배열들은 하나 이상의 평면 그룹들로 분류될 수 있을 것이다. 인코딩되며, 입력(32)으로 들어가는 상기 입력 신호는, 예를 들어, 비디오 시퀀스 또는 정지(still) 이미지의 하나의 픽쳐일 수 있을 것이다. 그러므로, 픽쳐는 하나 이상의 샘플 배열들의 형태로 주어질 수 있을 것이다. 비디오 시퀀스 또는 정지 이미지의 픽쳐의 코딩의 문맥에서, 샘플 배열들은 YUV 또는 YCbCr의 컬러 표현들에서 루마 및 크로마 평면들 또는 빨강, 초록 및 파랑과 같은 3개의 컬러 평면들을 참조할 수 있을 것이다. 게다가, 알파, 즉 3-D 비디오 자료를 위한 투명도 및/또는 깊이 정보, 를 나타내는 샘플 배열들은 또한 나타내어질 수 있을 것이다. 다수의 이들 샘플 배열들은 평면 그룹으로 불리는 것으로 서로 그룹핑될 수 있다. 예를 들어, 루마(Y)는 오직 하나의 샘플 배열과 함께 하나의 평면 그룹이 될 수 있으며, 그리고 CbCr과 같이 크로마는 두 개의 샘플 배열들과 함께 다른 평면 그룹이 될 수 있으며, 또는, 다른 예로, YUV는 3개의 매트릭스들(matrices)과 함께 하나의 평면 그룹이 될 수 있으며, 그리고 3-D 비디오 재료를 위한 깊이 정보는 오직 하나의 샘플 배열과 함께 다른 평면 그룹이 될 수 있다. 모든 평면 그룹에 대해, 하나의 프라이머리 쿼드트리 구조는 예측 블록들로의 분할을 나타내기 위한 데이터 스트림(22) 및 잔차 블록들로의 분할을 나타내는 각 예측 블록을 위한 차선의 쿼드트리 구조 내에서 코딩될 수 있을 것이다. 그러므로, 방금 언급된 제1 예에 따라, 그 곳에서 루마 구성요소는 하나의 평면 그룹이지만, 크로마 구성요소는 다른 평면 그룹을 형성하며, 루마 평면의 예측 블록들을 위한 하나의 쿼드트리 구조, 루마 평면의 잔차 블록들을 위한 하나의 쿼드트리 구조, 크로마 평면의 예측 블록을 위한 하나의 쿼드트리 구조 및 크로마 평면의 잔차 블록들을 위한 하나의 쿼드트리 구조가 존재할 수 있을 것이다. 그러나, 전에 언급한 두 번째 예에서, 루마 및 크로마(YUV) 모두의 예측 블록들을 위한 하나의 쿼드트리 구조, 루마 및 크로마(YUV) 모두의 잔차 블록들을 위한 하나의 쿼드트리 구조, 3-D 비디오 자료를 위한 깊이 정보의 예측 블록들을 위한 하나의 쿼드트리 구조 및 3-D 비디오 자료를 위한 깊이 정보의 잔차 블록들을 위한 하나의 쿼드트리 구조가 존재할 것이다.
추가적으로, 앞서 말한 설명에서, 입력 신호는 프라이머리 쿼드트리 구조를 사용하여 예측 블록들로 분리되며, 그리고 이들 예측 블록들이 종속 쿼드트리 구조를 사용하여 잔차 블록들로 추가적으로 세부분할되는 방법이 설명된다. 대안이 되는 실시예에 따라, 세부분할은 종속 쿼드트리 단계에서 종료될 수 없을 것이다. 즉, 종속 쿼드트리 구조를 사용하여 분할로부터 획득된 블록들은 제3의 쿼드트리 구조를 사용하여 추가적으로 세부분할될 수 있을 것이다. 다음에서, 이러한 분할은 추가적인 코딩 툴(tool)들을 사용하는 목적을 위해 사용될 수 있을 것이며, 추가적인 코딩 툴은 잔차 신호의 인코딩을 가능하게 할 수 있을 것이다.
앞서 말한 설명은 세부 분할부(28) 및 세부 분할부(104a) 각각에 의해 수행되는 세부분할에 집중된다. 상기에서 언급된 것으로서, 세부 분할부(28 및 104a) 각각에 의해 정의되는 세부분할은 앞서 언급된 인코더(10) 및 디코더(100)에 대한 모듈들의 입상도(granularity) 프로세싱을 제어할 수 있을 것이다. 그러나, 다음에서 설명되는 실시예에 따라, 세부 분할부(28 및 104a)들 각각은 병합부(30) 및 병합부(104a) 각각에 의해 뒤따르게 된다. 그러나, 병합부(30 및 104b)들은 선택적인 것이고, 생략될 수 있다.
그러나, 실제로, 그리고 아래에서 더 상세하게 설명되어질 것으로서, 병합부는 몇몇의 예측 블록들 또는 잔차 블록들을 그룹들(groups) 또는 클러스터들(clusters)로 결합하는 기회를 위한 인코더를 제공하며, 그래서, 다른 또는 적어도 몇몇의 다른 모듈들은 블록들의 이들 그룹들과 함께 처리할 수 있을 것이다. 예를 들어, 예측부(12)는, 그 그룹에 속하는 모든 블록들을 위한 공통 파라미터 전송과 함께 예측 블록들의 그룹핑의 시그널링이 모든 이들 예측 블록들을 위한 예측 파라미터들의 개별적인 시그널링보다 율/왜곡 비율 센스(sense) 내에서 좀 더 유망한 경우 모든 이들 예측 블록들 대신에 예측 파라미터들을 공통으로 사용, 그리고 세부 분할부(28)의 세부분할을 사용하여 최적화함에 의해 결정되는 것과 같이 몇몇의 예측 블록들의 예측 파라미터들 간의 작은 편차를 희생할 수 있을 것이다. 이들 공통 예측 파라미터들을 기반으로, 예측부들(12 및 110) 내의 예측의 회복을 위한 프로세싱은 아직도 예측 블록을 수행할 수 있을 것이다. 그러나, 예측부들(12 및 110)은 심지어 예측 블록들의 모든 그룹을 위해 예측 프로세스를 한번 수행하는 것은 또한 가능하다.
아래 더 상세하게 서술되어질 것으로서, 예측 블록들의 그룹핑은 예측 블록들의 그룹을 위한 공통 예측 파라미터들 또는 동일한 것을 사용하는 것뿐만 아니라, 그 대안으로, 또는 게다가, 그 그룹에 속하는 예측 블록들을 위한 예측 잔차들에 따라 그 그룹을 위한 하나의 예측 파라미터를 보내기 위해 인코더(10)를 활성화하는 것이며, 그래서 그 그룹을 위한 예측 파라미터들의 시그널링을 위한 시그널링 오버헤드는 감소될 수 있을 것이다. 후자의 경우에서, 병합 프로세스는 잔차 프리코더(14) 및 예측부(12)에 의해 만들어진 결정보다 데이터 스트림 삽입부(18)에 단지 영향을 미칠 수 있을 것이다. 그러나, 더 상세한 설명은 아래 제시된다. 그러나, 완전성을 위해, 방금 언급된 양상은 상기에서 언급된 필터 세부분할 또는 잔차 세부분할과 같이 다른 세부분할들에 또한 적용되는 것을 주의해야 한다.
먼저, 위에서 언급된 예측 및 잔차 블록들과 같은 샘플들의 집합들의 병합은 더 일반적인 센스(sense) 내에서, 즉, 상기에서 언급된 멀티 트리 세부분할을 제한하는 것이 아닌 것에서 유발될 것이다. 그러나, 다음의 설명은 멀티 트리 세부분할으로부터 야기된 블록들의 병합에 초점을 맞추며, 멀티 트리 세부분할을 위한 실시예들은 상기에서 이미 설명된 적이 있다.
일반적으로 말하자면, 코딩 파라미터들에 연관된 전송의 목적을 위한 샘플들의 특정 집합들에 연관된 구분 요소들의 병합은 이미지 및 비디오 코딩 어플리케이션들(applications) 내의 보조 정보 율(rate)의 감소를 가능하게 한다. 예를 들어, 인코딩되기 위한 신호들의 샘플 배열들은 샘플들의 특정 집합들 또는 샘플 집합들로 보통 분할되며, 이는 직사각형 또는 정사각형 블록들, 또는 임의대로 형성된 영역들, 삼각형들 또는 다른 형상들을 포함하는 샘플들의 어떤 다른 모음을 나타낼 수 있을 것이다. 상기에서 설명된 실시예들에서, 단순 연결 영역들은 멀티 트리 세부분할으로부터 야기된 잔차 블록들 및 예측 블록들이다. 샘플 배열들의 세부분할은 상기에서 설명된 것과 같은 구문에 의해 고정될 수 있을 것이며, 또는 세부분할은 비트 스트림 내에서 적어도 부분적으로 시그널링될 수 있을 것이다. 작은 세부분할 정보 시그널링을 위한 보조 정보 율(rate)의 유지를 위해, 보통 구문는, 블록들을 더 작은 블록들로의 세부분할과 같은 단순한 분할 내에서 야기되는 제한된 수의 선택들을 오직 허용한다. 샘플 집합들은 특정 코딩 파라미터들과 연관되며, 이는 예측 정보 또는 잔차 코딩 모드들 등을 명시할 수 있을 것이다. 이러한 이슈에 관한 설명들은 상기에서 설명된 적이 있다. 각 샘플 집합에 대해, 예측 및/또는 잔차 코딩을 명시하기 위한 것과 같은 개별적인 코딩 파라미터들은 전송될 수 있을 것이다. 향상된 코딩 효율을 달성하기 위해, 아래에서 설명되는 병합의 양상은, 즉 두 개 이상의 샘플 집합들을 샘플 집합들의 그룹들로 불리는 것으로의 병합은 몇몇의 장점들을 가능하게 할 것이며, 이는 더 아래에서 설명된다. 예를 들어, 샘플 집합들은 어떤 그룹의 모든 샘플 집합들이 동일한 코딩 파라미터들을 공유하도록 병합될 수 있을 것이며, 이는 그룹 내의 샘플 집합들 중 하나와 함께 전송될 수 있다. 그렇게 함에 의해, 코딩 파라미터들은 개별적으로 샘플 집합들의 그룹의 각 샘플 집합을 위해 전송되지 않으며, 그러나 그 대신, 코딩 파라미터들은 샘플 집합들의 전체 그룹을 위해 오직 한번 전송된다. 그 결과로서, 코딩 파라미터들의 전송을 위한 보조 정보 율(rate)은 감소될 수 있으며, 그리고 전반적으로 코딩 효율은 향상될 수 있다. 대안적인 접근으로서, 하나 이상의 코딩 파라미터들을 위한 추가적인 개선은 하나 이상의 샘플 집합들에 대한 그룹의 샘플 집합들을 위해 전송될 수 있다. 개선은 그룹의 모든 샘플 집합들에 적용될 수 있거나, 또는 오직 그것이 전송되기 위한 샘플 집합에 적용될 수 있다.
아래에서 추가적으로 설명되는 병합 양상은 인코더에게 비트 스트림(22)의 생성 내에서 더 많은 자유를 또한 제공하며, 그 이유는 병합 기법은 픽쳐의 샘플 배열들을 위한 분할을 선택하기 위한 가능성들의 수를 상당히 증가시키기 때문이다. 인코더는 최소화를 위한 특정 율/왜곡 측정과 같은 추가적인 옵션들 사이를 선택할 수 있기 때문에, 코딩 효율을 향상될 수 있다. 인코더 동작의 몇 가지 가능성들이 있다. 단순한 접근에서, 인코더는 샘플 배열들의 최선의 세부분할을 우선적으로 결정할 수 있다. 도 1을 간략히 참조하면, 세부 분할부(28)는 첫 번째 단계에서 선택적인 세부분할을 결정할 수 있다. 나중에, 각 샘플 집합을 위해, 샘플 집합들의 또 다른 그룹 또는 또 다른 샘플 집합의 병합이 특정 율/왜곡 비용 측정을 감소시키는지 여부는 확인될 수 있을 것이다. 이에, 샘플 집합들의 병합된 그룹에 연관된 예측 파라미터들은 새로운 움직임 검색 또는 예측 파라미터들을 수행하는 것에 의한 것처럼 재추정될 수 있을 것이며, 이는 공통 샘플 집합을 위해 이미 결정된 적이 있을 것이며, 그리고 병합을 위한 샘플 집합들의 그룹 또는 후보 샘플 집합은 샘플 집합들의 고려된 그룹을 위해 평가될 수 있을 것이다. 더 광범위한 접근에서, 특정 율/왜곡 비용 측정은 샘플 집합들의 추가적인 후보 그룹들을 위해 평가될 수 있다.
아래에서 설명되는 상기 병합 기법은 샘플 집합들의 프로세싱 순서를 변화시키지 않는 것을 주의해야 한다. 즉, 상기 병합 개념은 지연이 증가하지 않는 방법으로 실행될 수 있으며, 즉, 각 샘플 집합은 상기 병합 기법을 사용하지 않는 것과 같이 동일한 시간에 디코딩 가능하게 남겨진다.
예를 들어, 만일 코딩된 예측 파라미터들의 수 감소에 의해 저장되는 비트 율이 디코딩 측으로 병합되는 것을 표시하기 위한 코딩된 병합 정보를 위해 추가적으로 소비되는 비트 율보다 큰 경우, 아래에서 추가적으로 설명되는 병합 기법은 증가된 코딩 효율을 야기한다. 병합을 위해 설명되는 구문 확장은 인코더에게 픽쳐 또는 평면 그룹을 블록들로의 분할에 대한 선택에서 추가적인 자유를 제공하는 것은 아래에서 추가적으로 언급될 것이다. 즉, 인코더는 먼저 세부분할하는 것을 제한하지 않고, 그런 다음 어떤 결과 블록들이 예측 파라미터들의 유사한 집합 또는 동일한 집합을 가는지는 여부를 확인하는 것을 제한하지 않는다. 하나의 단순한 대안으로서, 인코더는 율-왜곡 비용 측정에 따라 세부분할을 먼저 결정할 수 있으며, 그런 다음 인코더는 각 블록을 위한 그것의 이웃 블록들 중 하나 또는 블록들의 연관된 이미 결정된 그룹을 결합하는 것이 율-왜곡 비용 측정을 감소시키는지 여부를 확인할 수 있다. 이에, 블록들의 새로운 그룹에 연관된 예측 파라미터들은 새로운 움직임 검색 또는 예측 파라미터들을 수행하는 것에 의한 것처럼 재추정될 수 있으며, 이는 현재 블록 및 이웃하는 블록을 위해 이미 결정된 적이 있으며, 또는 블록들의 그룹들은 블록들의 새로운 그룹을 위해 평가될 수 있을 것이다. 병합 정보는 블록의 기초 상에 시그널링될 수 있다. 효과적으로, 병합은 현재 블록을 위한 예측 파라미터들의 추론으로서 또한 설명되어질 수 있으며, 여기서 추론된 예측 파라미터들은 이웃하는 블록들 중 하나의 예측 파라미터들과 동일한 집합이다. 그 대안으로, 잔차들은 블록들의 그룹 내에서 블록들을 위해 전송될 수 있을 것이다.
그러므로, 아래에서 추가적으로 설명되는 병합 개념의 근본적인 기본 아이디어는 비트 율을 감소시키기 위한 것이며, 비트 율은 이웃하는 블록들의 병합에 의한 다른 코딩 파라미터들 또는 예측 파라미터들을 블록들의 그룹으로 전송하기 위해 요구되며, 그 곳에서 블록들의 각 그룹은 예측 파라미터들 또는 잔차 코딩 파라미터들과 같은 코딩 파라미터들의 고유의 집합과 연관된다. 병합 정보는, 만일 존재하는 경우, 비트 스트림뿐만 아니라 세부분할 정보 내에서 시그널링된다. 병합 개념의 장점은 코딩 파라미터들을 위해 감소된 보조 정보 율로부터 야기되는 증가된 코딩 효율이다. 여기서 설명되는 병합 프로세스들은 공간적 차원들 이외 다른 차원들로 또한 확장될 수 있음을 주의해야 한다. 예를 들어, 몇몇의 서로 다른 비디오 픽쳐들 내에 각각 위치하는 블록들 또는 샘플들에 대한 집합들의 그룹은, 블록들의 하나의 그룹으로 병합될 수 있다. 병합은 4-D 압축 또는 라이트-필드(light-field) 코딩에 또한 적용될 수 있다.
그러므로, 간략하게 도 1 내지 8의 이전 설명으로 돌아가면, 세부분할에 뒤이은 병합 프로세스는 픽쳐들을 각각 세부분할하는 세부 분할부들(28 및 104a)의 특정 방법으로부터 독립된 장점이 있다. 더 정확하게, 후자는 예를 들어, 매크로 블록을 위하여, 그 중에서도, 잔차와 상응하는 잔차 변환 입상도를 위한 분할을 위한 정의뿐만 아니라 데이터 스트림에서 상응하는 예측 파라미터들과 예측을 위한 입상도로서 제공되는 1, 2, 4 또는 몇몇의 다른 개수의 규칙적인 서브-그리드(sub-grid)로의 분할을 정의하는 분할 파라미터들을 포함하는 것과 연관된 어떤 코딩 파라미터들 가진 매크로 블록으로, 즉, 데이터 스트림 내에서 시그럴링된 사이즈 또는 16×16 루마 샘플들과 같은, 미리 결정된 사이즈의 직사각형 또는 정사각형의 매크로 블록들의 규칙적인 배열로 각 픽쳐를 분할함으로써, H.264와 유사한 방법으로 픽쳐들을 세부분할할 수 있다.
어떤 경우, 병합은 이미지 및 비디오 코딩 어플리케이션들 내의 보조 정보 율의 감소와 같이, 상기에서 언급되어 간략히 논의된 장점들을 제공한다. 샘플들의 특정 집합들은 직사각형 또는 정사각형 블록들 또는 임의대로 형성된 영역들 또는 어떤 단순히 연결된 영역 또는 샘플들과 같은 샘플들의 어떤 다른 집합을 나타낼 수 있을 것이며, 샘플들의 특정 집합들은 보통 코딩 파라미터들의 특정 집합 및 각 샘플 집합들에 대해 연결되며, 코딩 파라미터들은 비트 스트림 내에 포함되며, 예를 들어, 예측 파라미터들을 나타내는 상기 코딩 파라미터들은 샘플들의 상응하는 집합이 이미 코딩된 샘플들을 사용하여 예측되는 방법을 구체화한다. 픽쳐의 샘플 배열들을 샘플 집합으로의 분할은 구문에 의해 고정될 수 있을 것이며, 또는 비트 스트림 내에서 상응하는 세부분할 정보에 의해 시그널링될 수 있을 것이다. 샘플 집합을 위한 코딩 파라미터들은 미리 정의된 순서로 전송될 수 있을 것이며, 이는 구문에 의해 주어진다. 병합의 기능성에 따라, 병합부(30)는 예측 블록 또는 잔차 블록과 같은 현재 블록 또는 샘플들의 공통 집합을 위해 신호를 보낼 수 있으며, 그래서 그것은 하나 이상의 다른 샘플 집합들과 샘플 집합들의 그룹으로 병합된다. 따라서, 샘플 집합들의 그룹을 위한 코딩 파라미터들은 오직 한번 전송되는 것이 필요하다. 특정 실시예에서, 만일 현재 샘플 집합이, 코딩 파라미터가 이미 전송된 적이 있는 샘플 집합들의 이미 존재하는 그룹 또는 샘플 집합과 결합되는 경우, 현재 샘플 집합의 코딩 파라미터들은 전송되지 않는다. 그 대신, 샘플들의 상기 현재 집합을 위한 코딩 파라미터들은 샘플 집합들의 그룹 또는 샘플 집합의 코딩 파라미터와 동일한 집합이며, 샘플들의 현재 집합은 샘플 집합 또는 샘플 집합들의 그룹과 병합된다. 대안적인 접근으로서, 하나 이상의 코딩 파라미터들을 위한 추가적인 개선은 현재 샘플 집합을 위해 전송될 수 있다. 개선은 그룹의 모든 샘플 집합들에 적용될 수 있거나, 또는 오직 상기 샘플 집합에만 적용될 수 있으며, 그것은 샘플 집합을 위해 전송된다.
실시예에 따라, 상기에서 언급된 것과 같은 예측 블록, 상기에서 언급된 것과 같은 잔차 블록, 또는 상기에서 언급된 것과 같은 멀티 트리 세부분할의 리프 블록들과 같은 샘플들의 각 집합에 대한, 미리 코딩된/디코딩된 샘플 집합들의 집합은 “인과 관계(causal) 샘플 집합들의 집합”으로 불린다. 예를 들어, 도 3c를 참조하면, 그 도면에서 보여지는 모든 블록들은 예측 세부분할 또는 잔차 세부분할 또는 어떤 멀티 트리 세부분할, 또는 그 밖에 유사한 것들과 같이 특정 세부분할의 결과이며, 이들 블록들 중 정의되는 코딩/디코딩 순서는 화살표(350)에 의해 정의된다. 현재 샘플 집합 또는 현재 단순히 연결된 영역으로서 이들 블록들 중 특정 블록을 고려하는 것은, 인과 관계 샘플 집합들의 그것의 집합은 순서(350)에 따라 현재 블록을 앞서는 모든 블록들에 의해 만들어진다. 그러나, 멀티 트리 세부분할을 사용하지 않는 또 다른 세부분할은 가능할뿐만 아니라 상기 병합 원칙들에 대한 더 아래의 논의에 관심을 가지는 것이 상기된다.
샘플들의 현재 집합과 병합을 위해 사용될 수 있는 샘플들의 집합들은 아래에서 “후보 샘플 집합들의 집합”으로 불려지며, 그리고 샘플들의 집합은 항상 “인과 관계 샘플 집합들의 집합”의 부분집합이다. 부분집합이 형성되는 방법은, 디코더에 알려져 있거나, 또는 그것은 인코더로부터 디코더까지의 데이터 스트림 또는 비트 스트림 내에서 명시될 수 있다. 만일 샘플들의 특정 현재 집합이 코딩/디코딩되고 후보 샘플 집합들의 그것의 집합이 비어있지 않은 경우, 샘플들의 공통 집합이 후보 샘플 집합들의 그 집합으로부터 나온 하나의 샘플 집합과 병합되는지 여부에 관해, 만일 그렇다면 그들 중 어떤 것과 함께, 인코더에서 데이터 스트림으로 시그널링되거나 또는 디코더에서 데이터 스트림으로부터 추출된다. 그렇지 않으면, 병합은 그 블록을 위해 사용될 수 없을 것이며, 그 이유는 후보 샘플 집합들의 상기 집합은 어쨌든 비어있기 때문이다.
인과 관계 샘플 집합들의 집합의 부분집합을 결정하는 서로 다른 방법이 존재하며, 이는 후보 샘플 집합들의 집합을 표현할 수 있다. 예를 들어, 후보 샘플 집합들의 결정은 샘플들의 현재 집합 내의 샘플을 기초로 할 수 있을 것이며, 이는 직사각형 또는 정사각형 블록의 좌상단(upper-left) 이미지 샘플과 같이 특유의 형태로 기하학적으로 정의된다. 그 특유의 형태로 기하학적으로 정의되는 샘플로부터 시작하는 것은, 샘플들의 0이 아닌 특정 수로 정의되며, 이는 그 특유의 형태로 기하학적으로 정의되는 샘플의 직접적인 공간적 이웃들을 표현한다. 예를 들어, 그 특정, 샘플들의 0이 아닌 수는 샘플들의 현재 집합의 상기 특유의 형태로 기하학적으로 정의되는 샘플의 위쪽 이웃 또는 왼쪽 이웃을 포함하며, 그래서 이웃하는 샘플들의 0이 아닌 수는 최대로 2, 위쪽 또는 왼쪽 이웃들 중 하나가 사용 가능하지 않거나 또는 픽쳐의 바깥쪽에 위치하는 경우에 1, 또는 양쪽 이웃들이 없는 경우에 0일 수 있다.
그러면, 후보 샘플 집합들의 집합은 그들 샘플 집합들을 포함하는 것을 결정할 수 있으며, 샘플 집합들은 방금 언급된 이웃하는 샘플들의 0이 아닌 수 중 적어도 하나를 포함한다. 예를 들어, 도 9a를 참조한다. 병합 객체로서 현재 고려되는 샘플 집합은 블록 X가 될 것이며, 그리고 그것의 기하학적으로 특유의 형태로 정의되는 샘플은 400로 표시되는 상기 좌상단(top-left) 샘플의 본보기가 될 것이다. 샘플(400)의 좌상단 이웃 샘플들은 402 및 404로 표시된다. 인과 관계 샘플 집합들의 집합 또는 인과 관계 블록들의 집합은 형성된 방식에서 강조된다. 이들 블록들 중, 블록들 A 및 B는 이웃하는 샘플들(402 및 404) 중 하나를 포함하고, 따라서, 이들 블록들은 후보 블록들의 집합 또는 후보 샘플 집합들의 집합을 형성한다.
또 다른 실시예에 따라, 병합의 목적을 위해 결정된 후보 샘플 집합들의 집합은 추가적으로 또는 배타적으로 샘플들의 집합을 포함할 수 있으며, 샘플들의 집합은 샘플들의 0이 아닌 특정 수를 포함하여, 이는 동일한 공간적 위치를 가지는 1 또는 2일 수 있으며, 그러나 그것은 서로 다른 픽쳐 내에, 즉, 예를 들어, 이전의 코딩된/디코딩된 픽쳐 내에 포함된다. 예를 들어, 도 9a의 블록들 A 및 B와 더불어, 이전에 코딩된 픽쳐의 블록은 사용될 수 있으며, 이는 샘플(400)과 같은 동일한 위치에서 샘플을 포함한다. 이러한 방법에 의해, 오직 위쪽 이웃하는 샘플(404) 또는 오직 왼쪽 이웃하는 샘플(402)은 앞에서 언급된 이웃하는 샘플들의 0이 아닌 수를 정의하기 위해 사용될 수 있음이 주의된다. 일반적으로, 후보 샘플 집합들의 집합은 현재 픽쳐 또는 다른 픽쳐들 내에서 이전에 처리된 데이터로부터 파생될 수 있을 것이다. 파생은 현재 픽쳐의 이미지 경사도 및 특정 방향과 연관된 변환 계수들과 같은 공간적 방향 정보를 포함할 수 있을 것이며, 또는 그것은 이웃하는 움직임 표현들과 같은 시간적 방향 정보를 포함할 수 있을 것이다. 만일 존재하는 경우, 후보 샘플 집합들의 집합은, 수신부/디코더에서 사용 가능한 어떤 데이터 및 데이터 스트림 내의 보조 정보 및 다른 데이터로부터 파생될 수 있을 것이다.
후보 샘플 집합들의 파생은 인코더 측의 병합부(30) 및 디코더 측의 병합부(104b) 양쪽에 의해 병렬적으로 수행되는 것을 주의해야 한다. 방금 언급된 것으로서, 병합부(30, 104b)는 양쪽이 알고 있는 미리 정의된 방법에 기초하여 각 다른 것으로부터 독립된 후보 샘플 집합들의 집합을 결정할 수 있을 것이며, 또는 인코더는 비트 스트림 내에 암시에 대한 신호를 보낼 수 있을 것이며, 이는 병합부(104b)에게 후보 샘플 집합들의 부분집합이 결정된 인코더 쪽에서 병합부(30)의 방법과 같은 방법으로 이들 후보 샘플 집합들의 파생을 수행하기 위한 위치를 가져다 준다.
아래에서 더 상세하게 설명되어질 것으로서, 병합부(30) 및 데이터 스트림 삽입부(18)는 샘플들의 각 집합을 위한 하나 이상의 구문 요소들을 전송하기 위해 협력하며, 이는 샘플들의 집합이 또 다른 샘플 집합과 병합되는지 여부를 명시하며, 다음에서, 이는 샘플 집합들의 이미 병합된 그룹의 일부일 수 있으며, 그리고 후보 샘플 집합들의 집합 중 어떤 것은 병합을 위해 사용된다. 다음에서, 추출부(102)는 이들 구문 요소들을 추출하고, 그에 맞춰 병합부(104b)에 알린다. 특히, 이후에 설명되는 구체적인 실시예에 따라, 하나 또는 두 개의 구문 요소들이 샘플들의 특정 집합을 위한 병합 정보를 명시하기 위해 전송된다. 제1 구문 요소는 샘플들의 상기 현재 집합이 또 다른 샘플 집합과 병합되는지 여부를 명시한다. 제1 구문 요소가 샘플들의 상기 현재 집합이 샘플들의 또 다른 집합과 병합되는 것을 명시하는 경우에 제2 구문 요소는 오직 전송되며, 제2 구문 요소는 병합을 위해 사용되는 후보 샘플 집합들의 집합들 중 어떤 것을 명시한다. 후보 샘플 집합들의 파생된 집합이 비어있는 경우 제1 구문 요소의 전송은 억압될 수 있을 것이다. 즉, 후보 샘플 집합들의 파생된 집합이 비어있지 않은 경우 제1 구문 요소는 오직 전송될 수 있을 것이다. 후보 샘플 집합들의 파생된 집합이 하나의 샘플 집합 이상을 포함하고 있는 경우 제2 구문 요소는 오직 전송될 수 있을 것이며, 그 이유는 오직 하나의 샘플 집합이 후보 샘플 집합들의 집합에 포함되어 있는 경우, 게다가 추가적인 선택이 가능하지 않기 때문이다. 더 추가적으로, 후보 샘플 집합들의 집합이 하나의 샘플 집합 이상을 포함하는 경우 제2 구문 요소의 전송은 억압될 것이며, 예외가 되는 바는 후보 샘플 집합들의 집합에 대한 모든 샘플 집합들은 동일한 코딩 파라미터에 연관되는 것이다. 즉, 후보 샘플 집합들의 파생된 집합에 대한 적어도 두 개의 샘플 집합들이 서로 다른 코딩 파라미터들에 연관되는 경우 제2 구문 요소는 오직 전송될 수 있을 것이다.
비트 스트림 내에서, 샘플들의 집합을 위한 병합 정보는 그것의 샘플 집합에 연관되는 다른 특정 코딩 파라미터들 또는 예측 파라미터들 전에 코딩될 수 있을 것이다. 병합 정보가 샘플들의 현재 집합이 샘플들의 어떤 다른 집합과 병합되지 않는 것에 대한 신호를 보내는 경우, 예측 또는 코딩 파라미터들은 오직 전송될 수 있을 것이다.
예를 들어, 샘플들의 특정 집합, 즉 블록, 을 위한 병합 정보는 예측 파라미터들의 진부분집합(proper subset) 후, 또는 더 일반적인 센스(sense) 내에서 코딩될 수 있을 것이며, 각각의 샘플 집합에 연관되는 코딩 파라미터들은 전송된 적이 있다. 예측/코딩 파라미터들의 부분 집합은 하나 이상의 참조 픽쳐 인덱스들 또는 움직임 파라미터 벡터에 대한 하나 이상의 구성 요소들 또는 참조 인덱스 및 움직임 파라미터 벡터에 대한 하나 이상의 구성 요소들 등으로 구성될 수 있을 것이다. 예측 또는 코딩 파라미터들의 이미 전송된 부분 집합은 후보 샘플 집합들의 큰 임시의 집합에서 벗어난 후보 샘플 집합들의 집합을 획득하기 위해 사용될 것이며, 이는 상기에서 방금 언급된 것으로서 획득된 적이 있을 수 있다. 예로서, 이미 코딩된 예측 및 샘플들의 현재 집합의 코딩 파라미터들 및 상응하는 예측 또는 후보 샘플 집합들의 프라이머리 집합의 코딩 파라미터들 간에 미리 결정된 거리 측정에 따른 서로 다른 크기 또는 거리는 산출될 수 있다. 그러면, 산출된 서로 다른 크기, 또는 거리를 위한 오직 그것들의 샘플 집합들은 미리 정의된 또는 획득된 임계값과 동일하거나 작을 수 있으며, 이는 최종적으로, 즉, 후보 샘플 집합들의 감소된 집합으로 포함된다. 예를 들어, 도 9a를 참조한다. 샘플들의 상기 현재 집합은 블록 X일 것이다. 그 블록에 관한 상기 코딩 파라미터들의 부분 집합은 상기 데이터 스트림(22)으로 이미 삽입된 적이 있다. 예를 들어, 생각하면, 블록 X는 예측 블록이었으며, 코딩 파라미터들의 적절한 부분 집합의 경우는 움직임 벡터와 같은 움직임-매핑(motion-mapping) 정보 및 픽쳐 참조 인덱스를 포함하는 집합에서 벗어난 부분 집합과 같은, 예측 블록 내의 그 블록 X을 위한 상기 예측 파라미터들의 부분집합이 될 수 있다. 만일 블록 X가 잔차 블록이었던 경우, 코딩 파라미터들의 부분집합은 블록 X 내에서 중요한 변환 계수들의 위치들을 표시하는 맵 또는 변환 계수들과 같은 잔차 정보의 부분집합이다. 이러한 정보를 기반으로, 데이터 스트림 삽입부(18) 및 추출부(102) 모두는 블록들(A 및 B)에서 벗어난 부분 집합을 결정하기 위해 이러한 정보의 사용을 가능하게 하며, 이는, 구체적인 실시예에서, 이전에 언급된 후보 샘플 집합들의 프라이머리 집합을 형성한다. 특히, 인과 관계 샘플 집합들의 집합에 속하는 블록들(A 및 B) 때문에, 그것의 코딩 파라미터들은 그 시간에서 인코더 및 디코더 양쪽 모두에서 사용 가능하며, 블록 X의 코딩 파라미터들은 현재 코딩/디코딩된다. 따라서, 서로 다른 크기를 사용하는 이전에 언급된 비교는 후보 샘플 집합들 A 및 B의 프라이머리 집합의 블록에 대한 어떤 수를 제외하기 위해 사용될 수 있을 것이다. 그러면, 후보 샘플 집합들의 생성-감소된(resulting-reduced) 집합은 상기에서 설명된 것으로 사용될 수 있을 것이며, 즉, 병합을 나타내는 병합 표시는 후보 샘플 부분들의 감소된 부분 내에서 전송되는지 여부 또는 후보 샘플 부분들의 감소된 부분 내에서 샘플 집합들의 수에 의존하여 상기 데이터 스트림으로부터 추출되는지 여부에 관해, 그리고 제2 구문 요소는 후보 샘플 부분들의 감소된 부분 내에서 전송되어야 하는지 여부 또는 후보 샘플 부분들의 감소된 부분 내에서 샘플 부분들이 병합을 위한 파트너(partner) 블록으로 되는 것을 나타내는 제2 구문 요소를 가지는 데이터 스트림으로부터 추출되어야 하는지 여부에 관해 결정하는 것으로 사용될 수 있을 것이다. 즉, 미리 결정된 단순 연결 영역을 위한 개별 병합 구문 요소들의 병합 결정 또는 전송은, 미리 결정된 단순 연결 영역에 미리 결정된 상대적인 위치적 관계를 가지고 그리고, 동시에, 미리 결정된 단순 연결 영역을 위한 코딩 파라미터들의 제 1 부분집합에 대한 미리 결정된 관계를 충족시키는 그에 연관된 코딩 파라미터들을 갖는 단순 연결 영역들의 개수에 의존할 수 있으며, 예측 잔차 추출을 이용한 채택 또는 예측은 미리 결정된 단순 연결 영역을 위한 코딩 파라미터들의 제 2 부분집합 상에서 수행될 수 있다. 즉, 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 가지고 그리고, 동시에, 미리 결정된 단순 연결 영역을 위한 코딩 파라미터들의 제 1 부분집합에 대한 미리 결정된 관계를 충족시키는 그에 연관된 코딩 파라미터들을 갖는 단순 연결 영역들의 개수의 하나 또는 확인된 하나의 코딩 파라미터들의 부분집합은 단지, 각각, 미리 결정된 단순 연결 영역의 제 2 부분집합으로부터 채택되거나, 미리 결정된 단순 연결 영역의 제 2 부분집합을 예측하기 위해 사용될 수 있다.
앞서 언급된 거리들은 앞서 언급된 임계값에 반하여 비교되며, 앞서 언급된 임계값은 고정될 수 있을 것이며, 그리고 인코더 및 디코더 양측에 알려졌으며, 또는 서로 다른 값들의 중간, 또는 몇몇의 다른 중심의 경향 또는 그러한 것과 같이 산출된 거리들을 기반으로 획득될 수 있을 것이다. 이러한 경우에서, 후보 샘플 집합들의 감소된 집합은 불가피하게 후보 샘플 집합들의 프라이머리 집합에 대한 진부분집합일 것이다. 그 대안으로, 오직 샘플들에 대한 그것들의 집합들은 후보 샘플 집합들의 프라이머리 집합에서 벗어나 선택되며, 이를 위해 거리 측정에 따른 거리는 최소화된다. 그 대안으로, 샘플들의 정확한 하나의 집합은 앞서 언급된 거리 측정을 사용하여 후보 샘플 집합들의 상기 프라이머리 집합에서 벗어나 선택된다. 후자의 경우, 병합 정보는 오직 샘플들의 현재 집합이 샘플들에 대한 하나의 후보 집합과 병합되어야 하는지 또는 아닌지를 명시하는 것을 필요로 할 것이다.
그러므로, 후보 블록들의 상기 집합은, 도 9a에 관하여 다음에서 설명되는 것과 같이, 형성될 수 있을 것이며 또는 획득될 수 있을 것이다. 도 9a의 현재 블록 X에 대한 좌상단(top-left) 샘플 위치(400)로부터 시작하며, 그것의 왼쪽 이웃하는 샘플(402) 및 그것의 위쪽 이웃하는 샘플(404)은 그것의 인코더 및 디코더 측에서 획득된다. 그러므로, 후보 블록들의 집합은 오직 두 개의 요소들까지 가질 수 있으며, 즉 도 9a의 인과 관계 블록들의 음영 부분에서 벗어난 그것들의 블록들은 두 개의 샘플 위치들 중 하나를 포함하고, 도 9a의 경우에서, 그것들의 블록은 블록들 A 및 B이다. 그러므로, 후보 블록들의 집합은 그것의 요소들로서 현재 블록의 좌상단(top-left) 샘플 위치에 대한 두 개의 직접적으로 이웃하는 블록들을 오직 가질 수 있다. 또 다른 실시예에 따라, 후보 블록들의 집합은 현재 블록 전에 코딩된 적이 있는 모든 블록들에 의해 주어질 수 있으며, 그리고 현재 블록의 어떤 샘플에 대한 직접적인 공간의 이웃들을 나타내는 하나 이상의 샘플들을 포함한다. 직접적인 공간의 이웃은 현재 블록의 어떤 샘플에 대한 직접적인 왼쪽 이웃들 및/또는 직접적인 위쪽 이웃들 및/또는 직접적인 오른쪽 이웃들 및/또는 직접적인 아래쪽 이웃들로 제한될 수 있을 것이다. 예를 들어, 또 다른 블록 세부분할을 도시하는 도 9b을 참조한다. 이러한 경우, 상기 후보 블록들은 4개의 블록들, 즉 블록들 A, B, C 및 D을 포함한다.
그 대안으로, 후보 블록들의 집합은, 게다가, 또는 배타적으로, 현재 블록의 어떤 샘플들과 같이 동일한 위치에서 위치하는 하나 이상의 샘플들을 포함하는 블록들을 포함할 수 있을 것이며, 그러나 다른 방식으로(즉 이미 코딩된/디코딩된 픽쳐) 포함된다.
더 대안적으로, 블록들의 후보 집합은 상기에서 설명된 블록들의 집합들에 대한 부분 집합을 나타내며, 이는 공간 또는 시간 방향에서 이웃에 의해 결정된다. 후보 블록들의 상기 부분 집합은 고정, 시그널링 또는 획득될 수 있을 것이다. 후보 블록들의 부분 집합에 대한 파생은 상기 픽쳐 또는 다른 픽쳐들 내에서 다른 블록들을 위해 만들어진 결정들을 고려할 수 있을 것이다. 예로서, 다른 후보 블록들 보다 동일하거나 또는 매우 유사한 코딩 파라미터들에 연관되는 블록들은 블록들의 후보 집합에 포함되지 않을 수 있을 것이다.
**실시예에 대한 다음의 설명은 현재 블록의 좌상단(top-left) 샘플에 대한 왼쪽 및 위쪽 이웃 샘플을 포함하는 오직 두 개의 블록들이 최대로 잠재적인 후보로서 고려되는 경우를 위해 적용된다.
만일 후보 블록들의 집합이 비어있지 않은 경우, 병합 플래그라고 불리는 하나의 플래그는 현재 블록이 어떤 후보 블록들과 병합되는지 여부를 명시하기 위해 시그널링 된다. 만일 병합 플래그가 (“거짓”을 위한) 0과 동일한 경우, 그 블록은 그것의 후보 블록들 중 하나와 병합되지 않으며, 그리고 모든 코딩 파라미터들은 정상적으로 전송된다. 만일 병합 플래그가 (“참”을 위한) 1과 동일한 경우, 다음에서 적용된다. 후보 블록들의 집합이 하나 및 오직 하나의 블록을 포함하는 경우, 후보 블록은 병합을 위해 사용된다. 그렇지 않으면, 후보 블록들의 집합은 정확하게 두 개의 블록들을 포함한다. 만일 이들 두 개의 블록들에 대한 예측 파라미터들이 동일한 경우, 이들 예측 파라미터들은 현재 블록을 위해 사용된다. 그렇지 않으면(두 개의 블록들이 서로 다른 예측 파라미터들을 가지면), merge_left_flag라고 불리는 플래그는 시그널링 된다. 만일 merge_left_flag가 (“참”을 위한) 1과 동일한 경우, 현재 블록의 상기 좌상단(top-left) 샘플 위치에 대한 왼쪽 이웃하는 샘플 위치를 포함하는 블록은 후보 블록들의 집합에서 벗어나 선택된다. 만일 merge_left_flag가 (“거짓”을 위한) 0과 동일한 경우, 다른 (즉, 위쪽 이웃하는) 블록은 후보 블록들의 집합에서 벗어나 선택된다. 선택된 블록의 예측 파라미터들은 현재 블록을 위해 사용된다.
병합에 관해 상기에서 설명한 몇몇의 실시예들을 요약하면, 참조는 입력(116)으로 들어가는 데이터 스트림(22)으로부터 병합 정보를 추출하기 위해 추출부(102)에 의해 수행되는 단계들을 도시하는 도 10으로 만들어 진다.
프로세스는 현재 샘플 집합 또는 블록을 위한 샘플 집합들 또는 후보 블록들을 확인하는 것과 함께 450에서 시작된다. 블록들을 위한 코딩 파라미터들은 특정 하나의 차원 순서로 데이터 스트림(22) 내에서 전송되는 것을 회상해야 하고, 따라서 도 10은 현재 머무른 샘플 집합 또는 블록을 위해 상기 병합 정보를 되찾는 것의 프로세스를 언급한다.
전에 언급된 것으로서, 상기 확인 및 단계 450은 이웃 양상들을 기반으로 이전에 디코딩된 블록들, 즉 블록들의 인과 관계 집합, 중 확인을 포함할 수 있을 것이다. 예를 들어, 그것들의 이웃하는 블록들은 후보로 지정될 수 있을 것이며, 이는 공간 또는 시간에서 현재 블록 X에 대해 하나 이상의 기하학적으로 미리 결정된 샘플들에 이웃하는 특정 이웃하는 샘플들을 포함한다. 추가적으로, 확인에 대한 상기 단계는 두 단계들을 포함할 수 있을 것이며, 즉 방금 언급한 것처럼, 즉 후보 블록들의 프라이머리 집합을 야기하는 이웃 기반의, 확인에 관계한 제1 단계 및 단계 450 전에 데이터 스트림으로부터 이미 디코딩된 적이 있는 현재 블록 X에 대한 코딩 파라미터들의 진부분집합에 위한 특정 관계를 처리하는 것에 대한 이미 전송된 코딩 파라미터들에 따라 단지 그것들의 블록들이 후보들로 지정되는 제2 단계를 포함한다.
다음으로, 상기 프로세스 단계들의 단계 452로, 그 곳에서는 후보 블록들의 수가 0보다 큰지 여부에 관해 결정된다. 만일 이러한 경우, merge_flag는 단계 454에서 데이터 스트림으로부터 추출된다. 추출에 대한 단계 454는 엔트로피 디코딩을 수반할 수 있을 것이다. 단계 454에서 merge_flag의 엔트로피 디코딩을 위한 문맥은, 예를 들어, 후보 블록들의 집합 또는 후보 블록들의 프라이머리 집합에 속하는 구문 요소들을 기반으로 결정될 수 있을 것이며, 여기서 구문 요소들의 의존성은 관심(interest)에 대한 집합에 속하는 블록들이 병합된 적이 있거나 또는 그렇지 않음에 대한 정보로 제한된다. 선택된 문맥에 대한 가능성 추정은 적응될 수 있을 것이다.
그러나, 만일 후보 블록들의 수가 452 대신에 0이 되는 것으로 결정된 경우, 도 10의 프로세스는 단계 456으로 계속 진행하며, 그 곳에서는 현재 블록의 상기 코딩 파라미터들은 비트 스트림으로부터 추출되며, 또는 상기에서 언급된 두 단계 확인 경우에 그 대안으로, 추출부(102) 후에 남겨진 코딩 파라미터들은 도 3c에 도시된 순서(350)와 같이 블록 스캔 순서로 다음 블록에 대한 프로세싱으로 계속 진행한다.
단계 454로 돌아가서, 상기 프로세스는 단계 454에서 추출 후에, 추출된 merge_flag가 현재 블록에 대한 병합의 발생 또는 부재를 암시하는지 여부에 관한 확인과 함께 단계 458을 진행한다. 만일 병합이 발생하지 않은 경우, 상기 프로세스는 앞서 언급된 단계 456으로 진행한다. 그렇지 않으면, 후보 블록들의 수가 그것과 동일한지 여부에 관한 확인을 포함하는 단계 460으로 진행한다. 만일 이러한 경우, 후보 블록들 중 특정 후보 블록에 대한 표시의 전송은 필요하지 않으며, 따라서, 도 10의 상기 프로세스는 현재 블록의 병합 파트너가 오직 후보 블록으로 설정되는 것에 따라 단계 462을 진행하며, 여기서 단계 464 후에 병합된 파트너 블록의 코딩 파라미터는 현재 블록의 남겨진 코딩 파라미터 또는 코딩 파라미터들의 적응 또는 예측을 위해 사용된다. 적응의 경우, 현재 블록에 대한 코딩 파라미터들이 없음은 병합 파트너 블록으로부터 단지 복사된다. 다른 경우, 즉 예측의 경우, 단계 464는 데이터 스트림으로부터 잔차 데이터의 추출을 추가적으로 수반할 수 있을 것이며, 병합 파트너 블록으로부터 획득된 이들의 결여된 코딩 파라미터들과 그 잔차 데이터의 결합 및 현재 블록의 결여된 코딩 파라미터들의 예측 잔차에 관련한 잔차 데이터이다.
그러나, 만일 후보 블록들의 수가 단계 460에서 그것보다 크게 되는 것으로 결정되는 경우, 도 10의 상기 프로세스는 단계 466으로 나아가며, 그 곳에서 코딩 파라미터들의 관심 부분 또는 코딩 파라미터들 - 즉 현재 블록을 위한 데이터 스트림 내에서 아직 이전된 적이 없는 부분에 관련한 그것의 세부 부분(subpart) - 이 서로 동일한지 여부에 관한 확인이 수행된다. 만일 이러한 경우, 이들의 공통 코딩 파라미터들은 병합 참조(reference)와 같이 설정되며, 또는 후보 블록들은 단계 468에서 병합 파트너들과 같이 설정되며, 그리고 각각의 흥미 코딩 파라미터들은 단계 464에서 적응 또는 예측을 위해 사용된다.
병합 파트너들 그 자체가 블록이었던 적이 있을 수 있으며, 병합은 블록을 위해 시그널링되었음을 주의해야 한다. 이러한 경우, 단계 464에서 적응된 또는 예측대로 획득된 코딩 파라미터들에 대한 병합 파라미터는 사용된다.
그러나, 그렇지 않으면, 즉, 코딩 파라미터들이 동일하지 않은 경우, 도 10의 상기 프로세스는 단계 470으로 진행하며, 그 곳에는 추가적인 구문 요소는 데이터 스트림(즉, 그 merge_left_flag)으로부터 추출된다. 문맥들의 분리 집합은 그 플래그의 엔트로피-디코딩을 위해 사용될 수 있을 것이다. merge_left_flag의 엔트로피 디코딩을 위해 사용되는 문맥들의 집합은 단지 하나의 문맥을 또한 포함할 수 있을 것이다. 단계 480 후, merge_left_flag에 의해 표시되는 후보 블록은 단계 472에서 병합 파트너로 설정되며, 그리고 단계 464에서 적응 또는 예측을 위해 사용된다. 단계 464 후, 추출부(102)는 블록 순서로 다음 블록에 대한 처리로 진행한다.
당연히, 많은 대안들이 존재한다. 예를 들어, 결합된 구문 요소는 병합 프로세스를 시그널링하는 결합된 구문 요소들 전에 설명된 merge_left_flag 및 분리 구문 요소들 merge_flag 대신에 상기 데이터 스트림 내에서 전송될 수 있을 것이다. 추가적으로, 앞서 언급된 merge_left_flag는 두 개의 후부 블록들이 동일한 예측 파라미터들을 가지거나 또는 가지지 않는 것에 관계 없이 데이터 스트림 내에서 전송될 수 있으며, 그로 인해 도 10의 프로세스 수행을 위한 계산상의 오버헤드는 감소한다.
예를 들어, 도 9b에 관하여 이미 언급된 것으로서, 두 개의 블록들보다 많은 것은 후보 블록들의 집합으로 포함될 수 있을 것이다. 추가적으로 병합 정보(즉, 블록이 병합되는지 여부를 시그널링하는 정보, 그리고 만일 블록이 병합되는 경우, 그것은 후보 블록과 병합됨)는 하나 이상의 구문 요소들에 의해 시그널링될 수 있을 것이다. 제1 구문 요소는, 블록이 상기에서 설명된 merge_flag와 같은 어떤 후보 블록들과 병합되는지 여부를 명시할 수 있다. 만일 후보 블록들의 집합이 비어있지 않은 경우, 플래그는 오직 전송될 수 있을 것이다. 제2 구문 요소는, 앞서 언급된 merge_left_flag와 같은 병합을 위해 사용되는 후보 블록들 중 어떤 것에 대한 신호를 보낼 수 있을 것이며, 그러나 일반적으로 두 개의 후보 블록보다 적어도 두 개 이상 중에서 선택을 표시한다. 만일 제1 구분 요소가 현재 블록이 후보 블록들 중 하나와 병합되는 것에 대한 신호를 보내는 경우, 제2 구문 요소는 오직 전송될 수 있을 것이다. 만일 후보 블록들 중 집합이 하나 이상의 후보 블록을 포함하는 경우 및/또는 후보 블록들 중 어떤 것이 후보 블록들 중 다른 어떤 것과 다른 예측 파라미터들을 가지는 경우, 제2 구문 요소는 추가적으로 오직 전송될 수 있을 것이다. 구문는 얼마나 많은 후보 블록들이 주어지는지 및/또는 어떻게 다른 예측 파라미터들이 후보 블록들에 연관되는지에 의존할 수 있을 것이다.
사용되는 후보 블록들 중 어떤 블록들의 시그널링을 위한 구문는, 인코더 및 디코더 측에서 동시적으로 및/또는 병렬적으로 설정될 수 있을 것이다. 예를 들어, 만일 단계 450에서 확인된 후보 블록들을 위한 3개의 선택들이 존재하는 경우, 예를 들어, 단계 470에서, 오직 이들 3개의 선택들이 엔트로피 코딩을 위해 고려되고 사용 가능하도록 구문가 선택된다. 즉, 그것의 심볼 알파벳이 후보 블록들 존재의 선택들만큼 많은 요소들을 단지 가지도록 구문 요소는 선택된다. 모든 다른 선택들의 가능성들은 0으로 고려될 수 있으며, 그리고 엔트로피-코딩/디코딩은 인코더 및 디코더에서 동시에 조절될 수 있을 것이다.
추가적으로, 단계 464에 관하여 이미 언급된 것으로서, 병합 프로세스의 결과로서 추론되는 예측 파라미터들은 현재 블록들에 연관되는 예측 파라미터들의 완전한 집합을 표현할 수 있을 것이며, 또는 그들은 블록의 하나의 가정(hypothesis)을 위한 예측 파라미터들과 같은 이들 예측 파라미터들의 부분집합을 표현할 수 있을 것이며, 멀티-가정 예측은 이를 위해 사용된다.
상기에서 언급된 것으로서, 병합 정보에 관련된 구문 요소들은 문맥 모델링을 사용하여 엔트로피-코딩될 수 있다. 문맥 요소들은 (유사한 구문 요소들 또는) 상기에서 설명된 merge_left_flag 및 merge_flag로 구성될 수 있을 것이다. 구체적인 예에서, 문맥들 또는 3개의 문맥 모델들에서 벗어난 그것은, 예를 들어, 단계 454에서 merge_flag의 코딩/디코딩을 위해 사용될 수 있다. 사용된 문맥 모델 인덱스 merge_flag_ctx는 다음과 같이 획득될 수 있을 것이다. 만일 후보 블록의 집합이 두 개의 요소들을 포함하는 경우, merge_flag_ctx의 값은 두 개의 후보 블록들에 대한 merge_flag의 값들의 합과 동일하다. 그러나, 만일 후보 블록들의 집합이 하나의 요소를 포함하는 경우, merge_flag_ctx의 값은 그 하나의 후보 블록에 대한 merge_flag의 값의 2배와 동일할 수 있을 것이다. 이웃하는 후보 블록들의 각 merge_flag가 1 이거나 또는 0일 수 있는 것처럼, 3개의 문맥들은 merge_flag를 위해 사용 가능하다. merge_left_flag는 단지 하나의 가능성 모델을 사용하여 코딩될 수 있을 것이다.
그러나, 대안적인 실시예에 따라, 다른 문맥 모델들이 사용될 수 있을 것이다. 예를 들어, 비-이진(non-binary) 구문 요소들은 빈스(bins)라고 불리는 이진 심볼들의 시퀀스상에서 매핑될 수 있을 것이다. 다른 구문 요소들 또는 구문 요소들의 빈스(bins)가 고정된 문맥 모델로 코딩될 수 있는 반면, 병합 정보를 정의하는 구문 요소들의 빈스(bins) 또는 몇몇의 구문 요소들을 위한 문맥 모델들은, 이웃하는 블록들에 대한 이미 전송된 구문 요소들 또는 후보 블록들의 수 또는 다른 측정들을 기반으로 획득될 수 있을 것이다.
상술한 블록들의 병합의 설명에 따르면, 후보 블록들의 집합은 다음의 정정(후보 블록들은 각각 움직임-보상 또는 인터 예측을 사용하는 블록들로 제한된다)과 함께 상술한 실시예들 중 하나와 같은 방법으로 얻어질 수 있다. 오직 그것들은 후보 블록들의 집합의 요소들이 될 수 있다. 상기 시그널링 및 병합 정보의 문맥 모델링은 상술한 바와 같이 될 수 있다.
위에서 설명된 멀티트리 세부분할 실시예들의 조합으로의 전환 및 지금 설명된 병합 관점에서, 만일 픽쳐가 쿼드트리-기반의 세부분할 구조의 사용에 의해 다양한 사이즈의 정사각형 블록들로 나누어지는 경우, 예를 들어, merge_flag 및 merge_left_flag 또는 병합을 명시한 다른 구문(syntax) 요소들은 쿼드트리 구조의 각각의 리프 노드를 위해 전송되는 예측 파라미터들과 함께 인터리빙(interleave)될 수 있다. 도 9a를 예를 들어, 다시 고려해보자. 도 9a는 다양한 사이즈의 예측 블록들 안의 픽쳐의 쿼드트리-기반의 세부분할에 대한 예를 나타낸다. 가장 큰 사이즈의 위쪽 두 개의 블록들은 소위 트리블록들, 즉, 그것들은 최대 가능한 사이즈의 예측 블록들이다. 도 9a 내의 다른 블록들은 그들의 상응하는 트리블록의 세부분할과 같은 것을 얻는다. 현재 블록은 "X"로 표시되어 있다. 모든 음영진(shaded) 블록들은 현재 블록 전에 인코딩/디코딩되어, 상기 모든 음영진 블록들은 인과적 블록들의 집합을 형성한다. 실시예들 중에 하나를 위해 후보 블록들의 집합의 획득의 명세서 내에서 분석되고, 현재 블록의 좌상단(top-left) 샘플 포지션의 샘플들과 직접적으로 이웃하는 방향(즉, 위쪽 또는 왼쪽)을 포함하는 블록들만 후보 블록들의 집합의 멤버들이 될 수 있다. 따라서, 현재 블록은 블록 "A" 또는 블록 "B"와 함께 병합될 수 있다. merge_flag가 0("false"를 위한)과 같으면, 현재 블록 "X"는 다른 2개의 블록들과 함께 병합되지 않는다. "A" 및 "B" 블록들이 동일한 예측 파라미터들을 가지는 경우, 상기 두개의 블록들의 병합은 같은 결과를 이끌어 낼 것이므로, 구별이 될 필요가 없다. 따라서, 이 경우, merge_left_flag는 전송되지 않는다. 반대로, 블록 "A" 및 블록"B"가 다른 예측 파라미터들을 가지는 경우, 1("true"를 위한)과 같은 merge_left_flag는 블록 "X"와 "B"를 병합할 것임에 비하여, 0("false"를 위한) 과 같은 merge_left_flag는 블록 "X"와 "A"를 병합할 것이다. 다른 실시예에서, 추가로 이웃하는(이미 전송된) 블록들은 병합을 위해 후보들을 표시한다.
도 9b에는 다른 실시예가 도시된다. 여기서, 상기 현재 블록 "X" 및 왼쪽 이웃 블록 "B"는 트리블록들이며, 즉, 그들은 최대 허용된 블록 사이즈를 가진다. 위쪽 이웃하는 블록 "A"의 사이즈는 트리블록 사이즈의 1/4이다. 인과적 블록들의 집합의 요소인 블록들은 음영되어 있다. 본 발명의 일 실시예에 따르면, 현재 블록 "X"는 다른 위쪽 이웃하는 블록들과는 병합할 수 없고, 오직 "A" 또는 "B" 2개의 블록들과만 병합될 수 있다. 다른 실시예에서는, 추가로 이웃하는(이미 전송된) 블록들은 병합을 위해 후보들을 표시한다.
본 출원의 실시예에 따라 픽쳐의 다른 샘플 배열들을 다루는 방법 측면에 관한 설명을 계속하기 전에, 멀티트리 세부분할, 상기 하나의 방향(hand)에서의 시그널링, 다른 방향(hand)에서의 병합 측면에 관한 위에서의 논의가 서로로부터 독립적으로 이용될 수 있는 이점을 제공하는 측면들을 명확하게 해준다. 즉, 이미 상술한 바와 같이, 멀티트리 세부분할과 병합의 조합은 구체적인 이점들을 가지나, 이점들은 또한, 예를 들어 병합 특징이 구체화되는 대안들로부터 생긴다. 그러나, 세부 분할부(30, 104a)에 의해 수행되는 세부분할은 쿼드트리 또는 멀티트리 세부분할에 기초되지 않고, 오히려 매크로블록들의 레귤러 구획을 더 작은 구획으로 매크로 블록 세부분할화하는 것과 상응한다. 반대로, 순서대로, 비트스트림 내의 최대 트리블록 사이즈 지시의 전송에 따른 멀티트리 세부분할의 조합 및 블록들의 상응하는 코딩 파라미터 운반하는 깊이-우선(depth-first) 횡단 순서의 사용에 따른 멀티트리 세부분할의 사용은 동시 또는 동시가 아닌 상태로 사용되는 병합 특징으로부터 독립적인 이점이 있다. 일반적으로, 병합의 이점들은, 블록의 세부분할의 허용뿐만 아니라 세부분할 후 얻어진 2개 또는 더 많은 블록들의 병합을 허용하는 방법에서 샘플 배열 코딩들의 구문(syntax)이 확장되는 때에 코딩 효율이 증가될 수 있다는 것을 고려해 볼 때에 직관적으로 이해될 수 있다. 결과적으로, 병합은 같은 예측 파라미터들로 코딩되어 있는 블록들의 그룹을 얻는다. 블록들의 그룹을 위한 예측 파라미터들은 오직 한번 코딩될 필요가 있다. 더욱이, 샘플들의 집합들의 병합에 관하여, 고려된 샘플들의 집합들은 직사각형 또는 정사각형의 블록들일 수 있고, 샘플들의 병합된 집합들의 경우는 직사각형 및/또는 정사각형의 블록들의 컬렉션(collection)을 나타냄을 알아야한다. 그러나, 그 대신에, 샘플들의 고려된 집합들은 임의대로 구체화된 픽쳐 영역들이고, 샘플들의 병합된 집합들은 임의로 구체화된 픽쳐 영역들의 컬렉션을 나타낸다.
다음 설명은 픽쳐마다 적어도 하나의 샘플 배열이 있는 경우에 픽쳐의 다른 샘플 배열들을 핸들링하는데 초점을 맞추고, 다름 부연 설명 내의 몇 가지 관점들의 개요는 사용된 세부분할의 종류로부터 독립적인 즉, 멀티트리 세부분할 또는 멀티트리 세부분할이 아닌 것에 기초한 세부분할으로부터 독립적이고, 사용되거나 사용되지 않은 병합으로부터 독립적인 이점들이 있다. 픽쳐의 다른 샘플 배열들의 핸들링에 관한 구체적인 실시예들을 설명하는 것을 시작하기 이전에, 이러한 실시예들의 메인 이슈는 픽쳐 마다 다른 샘플의 핸들링의 필드 내의 짧은 소개의 방법에 의해 동기화된다.
다음 논의는 이미지 또는 비디오 코딩 어플리케이션 내의 픽쳐의 다른 샘플 배열들의 블록들 사이에 코딩 파라미터들에 초점을 맞추고, 특히, 다음의 논의는 예를 들어 그러나 비배타적으로 도1 및 도 2의 인코더 및 디코더 또는 다른 이미지 또는 비디오 코딩 환경 내 픽쳐의 다른 샘플 배열들 사이의 적응적인 예측 코딩 파라미터들의 방법에 초점을 맞춘다. 상술한 바와 같이 샘플 배열들은 투명도 데이터 또는 깊이 맵들과 같은 추가 정보와 함께 픽쳐와 관련된 샘플 배열들 또는 다른 컬러 요소들과 관련된 샘플 배열들을 나타낼 수 있다. 픽쳐의 컬러 요소들과 관련된 샘플 배열들은 또한, 컬러 평면들로 언급된다. 다음에 설명된 기술은 평면 간 채택/예측에 관련되고, 평면 간 채택/예측은 블록 기초(block-based) 이미지, 비디오 인코더들, 디코더들에 사용될 수 있고, 평면 간 채택/예측으로 인해 픽쳐를 위한 샘플 배열들의 블록들의 프로세싱 순서는 임의적일 수 있다.
이미지 및 비디오 코더들은 컬러 픽쳐들(스틸 이미지들 또는 비디오 시퀀스의 픽쳐들 중 하나)을 코딩하기 위해 전형적으로 디자인 된다. 컬러 픽쳐는 다른 컬러 요소들을 위한 샘플 배열을 나타내는 멀티플 컬러 평면들로 구성된다. 주로, 컬러 픽쳐들은 루마(luma) 평면 및 컬러 차이 요소들을 구체화하는 2개의 크로마(chroma) 평면들로 구성되는 샘플 배열들의 집합으로 코딩된다. 몇개의 어플리케이션 지역들에서, 코딩된 샘플 배열들의 집합이 3개의 주요색인 빨간색, 녹색 및 파란색을 위한 샘플 배열들을 나타내는 3개의 컬러 평면들로 구성되는 것은 일반적이다. 추가적으로, 향상된 컬러 표현을 위해, 컬러 픽쳐는 3가지 컬러 평면들 보다 많은 것으로 구성될 수 있다. 더욱이, 픽쳐는 상기 픽쳐를 위한 추가 정보를 상세화하는 예비 샘플 배열들과 관련될 수 있다. 예를 들어, 예비 샘플 배열들은 관련된 컬러 샘플 배열들을 위한 투명도(상세한 디스플레이 목적들에 적합한)를 상세화하는 샘플 배열들 또는 깊이 맵(렌더링 멀티플 뷰들에 적합한, 예를 들어, 3-D 디스플레이들)을 상세화하는 샘플 배열들일 수 있다.
종래의 이미지 및 비디오 코딩 표준(예를 들어, H.264)에서, 상기 컬러 평면들은 함께 코딩되고, 그것으로 인해 매크로 블록 및 서브-매크로블록 예측 모드들, 참조 인덱스들 및 움직임 벡터들과 같은 특별한 코딩 파라미터들은 블록의 모든 컬러 요소들을 위해 사용된다. 루마(luma) 평면은 특별한 코딩 파라미터들이 비트스트림에서 상세화하는 목적인 프라이머리 컬러 평면으로 고려되고, 크로마(chroma) 평면은 상응하는 코딩 파라미터들이 프라이머리 루마(luma) 평면으로부터 추론되는 목적인 세컨더리 평면들로 고려될 수 있다. 각각의 루마(luma) 블록은 픽쳐에서 같은 지역을 표현하는 2개의 크로마(chroma) 블록들과 관련이 있다. 사용된 크로마(chroma) 샘플링 포맷에 따라, 크로마(chroma) 샘플 배열들은 블록을 위한 루마(luma) 샘플 배열보다 더 작을 수 있다. 하나의 루마(luma) 및 2개의 크로마(chroma) 요소들로 구성되는 각각의 매크로블록을 위해, 더 작은 블록들 안에 있는 같은 구획이 사용된다(매크로블록이 세부분할된 경우). 루마(luma) 샘플들의 블록 및 크로마(chroma) 샘플들(자신이 매크로블록 또는 매크로블록의 서브블록이 될 수 있는)의 2개의 블록들로 구성되는 각각의 블록을 위해, 참조 인덱스들, 움직임 파라미터들, 및 때때로 인트라 예측 모드들과 같은 예측 파라미터 집합들이 이용될 수 있다. 종래 비디오 코딩 표준(H.264 내의 4:4:4 프로파일들)의 상세한 프로파일들에서, 픽쳐의 다른 컬러 평면들을 독립적으로 코딩하는 것은 가능하다. 그러한 구성에서, 매크로블록 구획, 예측 모드들, 참조 인덱스들, 및 움직임 파라미터들은 매크로블록 또는 서브블록의 컬러 요소를 위해 분리하여 선택될 수 있다. 종래의 코딩 표준들에서, 모든 컬러 패널들은 특별한 코딩 파라미터들(세부분할 정보 및 예측 파라미터들과 같은)의 같은 집합을 함께 사용하여 코딩되거나, 모든 컬러 패널들은 서로서로 완전히 독립적으로 코딩된다.
상기 컬러 평면들이 함께 코딩되면, 세부분할의 하나의 집합 및 예측 파라미터들은 하나의 블록의 모든 컬러 요소들을 위해 사용되어야 한다. 이것은 보조 정보가 작게 유지되는 것을 확실하게 하지만, 다른 컬러 요소들을 위한 다른 블록 분해들 및 예측 파라미터들의 사용이 더 작은 율-왜곡(rate-distortion) 비용을 야기할 수 있기 때문에, 그것은 독립 코딩과 비교해 볼 때 코딩 효율의 감소를 야기할 수 있다. 예와 같이, 다른 움직임 벡터 또는 크로마(chroma) 요소들을 위한 참조 프레임의 사용은 크로마(chroma) 요소들을 위한 잔차 신호의 에너지를 현저히 줄여줄 수 있고, 그들의 전반적인 코딩 효율을 현저히 증가시킬 수 있다. 컬러 평면들이 독립적으로 코딩되면, 블록 구획, 참조 인덱스들 및 움직임 파라미터들과 같은 코딩 파라미터들은 각각의 컬러 요소들 위한 코딩 효율을 최적화하기 위해 각각의 컬러 요소들을 위하여 개별적으로 선택될 수 있다. 그러나, 컬러 요소들 사이의 반복을 이용하는 것은 가능하지 않다. 특별한 코딩 파라미터들의 멀티플 전송은 증가된 보조 정보 비율(병합 코딩과 비교한)을 야기할 수 있고, 이러한 증가된 보조 정보 율은 전반적인 코딩 효율에 부정적인 효과를 가질 수 있다. 또한, 최신의 비디오 코딩 표준(예를 들어, H.264)에서 예비 샘플 배열들을 위한 지원은 코딩 파라미터들의 그들 자신의 집합을 이용할 때 예비 샘플 배열들이 코딩되는 경우에 제한된다.
따라서, 지금까지 설명된 모든 실시예에서, 상기 픽쳐 평면들은 상술된 바와 같이 핸들링 될 수 있지만, 하나의 블록에서 결정할 수 있는 경우, 예를 들어, 같은 코딩 파라미터들과 함께 하나의 블록을 위한 모든 샘플 배열들이 코딩될 수 있거나 없는 경우 또는 다른 코딩 파라미터들이 사용되거나 사용될 수 없는 경우, 상술된 바와 같이 멀티플 샘플 배열들(다른 컬러 평면들 및/또는 예비의 샘플 배열들과 관련될 수 있는)의 코딩을 위한 전반적인 코딩 효율은 증가될 수 있다. 다음의 평면 간 예측(inter-plane prediction)의 기본 아이디어는 예를 들어, 하나의 블록 기초로 적응적 결정을 허용하는 것이다. 인코더는 예를 들어 율-왜곡(rate-distortion) 기준에 기초하여, 특별한 블록을 위한 샘플 배열들의 모든 또는 몇몇이 같은 코딩 파라미터들을 사용하여 코딩되는지 코딩되지 않는지 또는 다른 샘플 배열들을 위한 다른 코딩 파라미터들이 사용되는지 사용되지 않는지를 선택할 수 있다. 이러한 선택은 상세한 코딩 파라미터들이 다른 샘플 배열의 이미 코딩되어 함께 배치된(co-located) 블록으로부터 추론된 경우 또는 추론되지 않은 경우 샘플 배열의 특별한 블록을 위해 시그널링에 의해 수행될 수 있다. 샘플 배열 그룹들 또는 평면 그룹들로 또한 참조된 그룹들 내의 픽쳐를 위한 다른 샘플 배열들을 조정하는 것은 가능하다. 각각의 평면 그룹은 픽쳐의 적어도 하나의 샘플 배열들을 포함할 수 있다. 그리고, 다른 코딩 파라미터들 예를 들어 전송 계수 레벨들은 상기 평면 그룹 내에 있는 각각의 샘플 배열들을 위해 개별적으로 전송됨에 비해, 평면 그룹 안쪽의 샘플 배열들의 블록들은 같은 선택된 코딩 파라미터들 예를 들어, 세부분할 정보, 예측 모드들, 및 잔차 코딩 모드들을 공유한다. 하나의 평면 그룹은 프라이머리 평면 그룹으로 코딩되고, 즉, 어떠한 코딩 파라미터들도 다른 평면 그룹들로부터 추론 또는 예측되지 않는다. 제2의 평면 그룹의 각각의 블록을 위해, 선택된 코딩 파라미터들의 새로운 집합이 전송되는지 전송되지 않는지 또는 상기 선택된 코딩 파라미터들이 프라이머리 또는 다른 세컨더리 평면 그룹으로부터 추론 또는 예측되는지 예측되지 않는지는 적응적으로 선택될 수 있다. 특별한 블록을 위한 선택된 코딩 파라미터들이 추론되는지 또는 예측되는지에 대한 결정들은 비트스트림에 포함된다. 평면 간 예측은 보조 정보 비율과 멀티플 샘플 배열들로 구성된 픽쳐의 최신 코딩과 관련된 예측 품질 사이의 절충 선택에서 더 큰 자유로움을 허용한다. 이점은 멀티플 샘플 배열들로 구성된 픽쳐의 종래 코딩과 관련된 향상된 코딩 효율이다.
인트라-평면(intra-plane) 채택/예측은 이미지 또는 비디오 코더를 확장할 수 있고, 예를 들어 상술된 실시예들과 같이, 코딩 파라미터들의 선택된 집합이 같은 픽쳐 내의 다른 샘플 배열들의 이미 코딩되어 함께 배치된 블록들로부터 추론 또는 예측되는지 안 되는지 또는 블록을 위한 코딩 파라미터들의 선택된 집합이 같은 픽쳐 내의 다른 샘플 배열들의 함께 위치된 블록들의 참조 없이 독립적으로 코딩되는지 안 되는지는 컬러 샘플 배열의 블록 또는 예비 샘플 배열 또는 컬러 샘플 배열의 집합 및/또는 예비 샘플 배열들에 의해 적응적으로 선택될 수 있다. 코딩 파라미터들의 선택된 집합이 샘플 배열의 블록 또는 멀티플 샘플 배열들의 블록을 위해 추론 또는 예측되는지에 대한 결정들은 비트스트림에 포함될 수 있다. 픽쳐와 관련된 다른 샘플 배열들은 같은 사이즈를 가질 필요가 없다.
상술한 바와 같이, 픽쳐(샘플 배열들은 컬러 요소들 및/또는 예비 샘플 배열들을 나타낸다)와 관련된 샘플 배열들은 2개 이상의 이른바 평면 그룹들로 조정될 수 있고, 각각의 평면 그룹은 적어도 하나의 샘플 배열들로 구성된다. 특별한 평면 그룹 내에 포함된 샘플 배열들은 같은 사이즈를 가질 필요가 없다. 평면 그룹으로의 조정은 각각의 샘플 배열이 개별적으로 코딩되는 경우를 포함한다.
보다 상세하게, 일 실시예에 따르면, 어떻게 블록이 예측되는지 명시하는 코딩 파라미터들이 같은 픽쳐를 위해 다른 평면 그룹의 이미 코딩되어 함께 배치된 블록으로부터 추론 또는 예측되는지 여부 또는 이러한 코딩 파라미터들이 블록을 위해 개별적으로 코딩되는지 여부는 하나의 평면 그룹의 각각의 블록을 위해 적응적으로 선택된다. 어떻게 블록이 예측되는지 명시하는 코딩 파라미터들은 적어도 하나의 다음의 코딩 파라미터들: 블록을 위해 어떤 예측이 사용되는지 명시하는 블록 예측 모드들(인트라 예측, 싱글 움직임 벡터 및 참조 픽쳐를 이용하는 인터 예측, 2개의 움직임 벡터들 및 참조 픽쳐들을 이용하는 인터 예측, 고차-모드(higher-mode)를 이용하는 인터 예측, 즉, 비-변형(non-translational) 움직임 모델 및 하나의 싱글 참조 픽쳐, 멀티플 움직임 모델들 및 참조 픽쳐들을 이용하는 인터 예측), 어떻게 하나의 인트라 예측 신호가 생성되는지 명시하는 인트라 예측 모드들, 얼마나 많은 예측 신호들이 블록을 위한 마지막 예측 신호를 생성하기 위해 병합되는지 구체화하는 확인자, 어떤 참조 픽쳐(들)가 움직임-보상 예측을 위해 이용되는지 구체화하는 참조 인덱스들, 참조 픽쳐(들)를 이용할 때 어떻게 예측 신호(들)이 생성되는지 구체화하는 움직임 파라미터들(예를 들어, 변위벡터(displacement vectors) 또는 어파인(affine) 움직임 파라미터들), 움직임-보상 예측 신호들을 생성하기 위해 어떻게 참조 픽쳐(들)가 필터링되는지 구체화하는 확인자를 포함한다. 일반적으로, 하나의 블록은 오직 상기 언급된 코딩 파라미터들의 부분집합과 관련될 수 있다. 예를 들어, 만일 블록 예측 모드가 하나의 블록이 인트라 예측된 것으로 명시하면, 블록을 위한 코딩 파라미터들은 추가적으로 인트라 예측 모들들을 포함할 수 있으나, 코딩 파라미터들 예를 들어 참조 인덱스 및 어떻게 인터 예측 신호가 생성되는지 명시하는 움직임 파라미터들은 명시되지 않고; 또는 만일 블록 예측 모드가 인터 예측을 명시하면, 상기 관련된 코딩 파라미터들은 참조 인덱스들 및 움직임 파라미터들을 추가적으로 포함할 수 있으나, 인트라 예측 모드들은 명시되지 않는다.
둘 이상의 평면 그룹들 중 하나는 프라이머리(primary) 평면 그룹과 같은 비트스트림 내에서 코딩 또는 지시될 수 있다. 이 프라이머리 평면 그룹의 모든 블록들을 위해, 어떻게 예측 신호가 생성되는지 명시하는 코딩 파라미터들은 같은 픽쳐의 다른 평면 그룹에 대한 참조 없이 전송된다. 남아있는 평면 그룹들은 제2 평면 그룹들로 코딩된다. 세컨더리(secondary) 평면 그룹들의 각각의 블록을 위해, 적어도 하나의 구문 요소들은 전송되어, 어떻게 블록이 예측되는지 명시하기 위한 코딩 파라미터들이 다른 평면 그룹들의 함께 배치된 블록으로부터 추론 또는 예측되는지 추론 또는 예측되지 않는지 또는 이러한 코딩 파라이터들의 새로운 집합이 블록을 위해 전송되는지 전송되지 않는지에 관한 신호를 보낸다. 하나 이상의 구문 요소들 중 하나는 평면 간 예측 플래그 또는 평면 간 예측 파라미터로 참조될 수 있다. 만일 구문 요소들이 상응하는 코딩 파라미터들이 추론 또는 예측되지 않도록 신호를 보내면, 블록을 위한 상응하는 코딩 파라미터들의 새로운 집합은 비트스트림 내에서 전송된다. 만일 구문 요소들이 상응하는 코딩 파라미터들이 추론 또는 예측되도록 신호를 보내면, 블록을 위한 참조 평면 그룹의 할당은 멀티플 방법으로 구성될 수 있다. 일 실시예에서, 특별한 참조 평면 그룹은 각각의 제2 평면 그룹으로 할당된다; 이 할당은 고정될 수 있고 또는 높은-레벨 구문 구조들 예를 들어, 파라미터 집합들, 엑세스 유닛 헤더, 픽쳐 헤더, 또는 슬라이스 헤더 내에서 신호가 보내질 수 있다.
제2 실시예에서, 참조 평면 그룹의 할당은 비트스트림 안쪽에서 코딩될 수 있고, 참조 평면 그룹의 할당은 선택된 코딩 파라미터들이 추론되는지 또는 예측되는지 또는 개별적으로 코딩되는지를 명시하기 위해 블록에 대해 코딩되는 적어도 하나의 구문 요소들에 의해 신호가 보내질 수 있다.
평면 간 예측 및 다음의 상세한 실시예들에 관하여 언급된 가능성들을 용이하게 하기 위해, 참조는 3 개의 샘플 배열들(502, 504, 506)로 구성된 픽쳐(500)를 분명하게 나타내는 도 11로 표현된다. 더 쉬운 이해를 돕기 위해, 샘플 배열들(502-506)의 오직 서브-부분들은 도 11에 나타내져 있다. 샘플 배열들은 그들이 서로서로에 대하여 공간적으로 등록된 것처럼 나타내져 있어, 샘플 배열들(502-506)은 508방향을 따라 서로서로 놓여져 있고, 508방향을 따라 샘플 배열들(502-506)의 샘플들의 투사는 모든 이러한 샘플 배열들(502-506)의 샘플들이 서로서로 정확하게 공간적으로 위치되는 것을 야기한다. 즉, 평면 502 및 506은 서로서로 그들의 공간적인 해상도를 적응시키고 서로를 등록시키기 위해 수평 및 수직 방향을 따라 펼쳐져 있다.
일 실시예에 따르면, 픽쳐의 모든 샘플 배열들은 공간적인 장면의 같은 부분에 속하고, 거기서 수직 및 수평 방향에 따른 해상도는 상기 개별적인 샘플 배열들(502-506) 사이에서 다를 수 있다. 더욱이, 도 11에서는, 상기 샘플 배열들(502, 504)은 하나의 평면 그룹(510)에 속하는 것으로 고려됨에 비해, 상기 샘플 배열(506)은 다른 평면 그룹(512)에 속하는 것으로 고려된다. 더욱이, 도 11은 샘플 배열(504)의 수평 축을 따른 공간적인 해상도가 샘플 배열(502)의 수평 방향 내에서의 분해에 2배가 되는 전형적인 경우를 도시한다. 더욱이, 샘플 배열(504)은 프라이머리 배열(504)과 관련된 종속 배열을 구성하는 샘플 배열(502)과 관련된 프라이머리 배열을 구성하도록 고려된다. 이 경우 상술한 바와 같이, 도 11의 예에 따라, 도 1의 세부 분할부(30)에 의해 결정된 바와 같이 샘플 배열(504)을 블록들로 세부분할하는 것은 종속 배열(502)에 의해 채택되고, 프라이머리 배열(504)의 수직 방향 내에서 이등분의 해상도인 샘플 배열(502)의 수직 해상도 때문에, 각각의 블록은 2개의 수평인 병치 블록들로 이등분되며, 샘플 배열(502) 내의 샘플 포지션들의 유닛들 내에 측정될 때 정사각형 블록들을 다시 이등분한다.
도 11에 현재 나타낸 바와 같이, 샘플 배열(506)을 위해 선택된 세부분할은 다른 평면 그룹(510)의 세부분할과 다르다. 상술한 바와 같이, 세부 분할부(30)은 픽셀 배열(506)의 세부분할을 개별적으로 선택 또는 평면 그룹(510)을 위해 세부분할으로부터 독립적으로 선택할 수 있다. 물론, 샘플 배열(506)의 해상도는 평면 그룹(510)의 평면들(502, 504)의 해상도와 다를 수 있다.
개별적인 샘플 배열들(502-506)을 인코딩할 때, 인코더(10)는 예를 들어 위에 설명된 방법으로 평면 그룹 내의 프라이머리 배열(504)의 코딩과 함께 시작할 수 있다. 도 11의 블록들은, 예를 들어 상기 언급된 예측 블록들일 수 있다. 그 대신에, 상기 블록들은 잔차 블록들 또는 소정 코딩 파라미터들을 정의하기 위한 입상도(granularity)를 정의하는 다른 블록들이다. 상기 평면 간 예측은 도 11에 도시되어 있을 지라도, 쿼드트리 또는 멀티트리 세부분할에 제한되지 않는다.
프라이머리 배열(504)을 위한 구문 요소의 전송 후에, 인코더(10)는 프라이머리 배열(504)이 종속 평면(502)를 위한 참조 평면이라고 선언하는 것을 결정한다. 상기 어소시에이션이 샘플 배열(504)은 정보가 순서대로 또한 상기 비트스트림(22)의 부분일 수 있는 평면 그룹(510)의 프라이머리 배열을 형성한다는 사실로부터 명확할 수 있고, 인코더(10) 및 추출부(30) 각각은 상기 비트스트림(22)을 통해 이러한 결정에 대한 신호를 보낼 수 있다. 이 경우, 삽입부(18)인 샘플 배열(502) 내의 각각의 블록을 위해 또는 삽입부(18)와 함께 인코더(10)의 다른 모듈은 비트스트림 내의 이 블록의 코딩 파라미터들의 이동을 억제할 수 있고, 프라이머리 배열(504) 내에서 함께 배치된 블록의 코딩 파라미터들 대신 사용되는 그 블록을 대신하기 위해 상기 비트스트림 내에서 신호를 보내는 것을 결정할 수 있고, 또는 프라이머리 배열(504) 내의 함께 배치된 블록의 코딩 파라미터들은 비트스트림 내의 샘플 배열(502)의 현재 블록을 위해 오직 잔차 데이터를 전송하는 것과 함께 샘플 배열(502)의 현재 블록의 코딩 파라미터들을 위한 예측과 같이 사용될 수 있다. 부정적인 결정의 경우, 상기 코딩 파라미터들은 대게 데이터 스트림 내에서 전송된다. 상기 결정은 각각의 블록을 위해 데이터 스트림(22) 내에서 신호가 보내진다. 디코더 측에서, 상기 추출부(102)는 샘플 배열(502)의 각각의 블록의 코딩 파라미터들을 얻기 위해 각 블록을 위한 이 평면 간 예측 정보를 적절히 사용하고, 즉 프라이머리 배열(504)의 함께 배치된 블록의 코딩 파라미터들을 추론함으로써, 또는 그 대신에, 데이터 스트림으로부터 그 블록을 위한 잔차 데이터를 추출하고 상기 평면 간 채택/예측 정보가 평면 간 채택/예측을 제안하는 경우 프라이머리 배열(504)의 함께 배치된 블록의 코딩 파라미터들로부터 획득된 예측과 함께 이 잔차 데이터를 병합하고, 또는 프라이머리 배열(504)로부터 대개 독립된 샘플 배열(502)의 현재 블록의 코딩 파라미터들을 추출할 수 있다.
상술한 바와 같이, 참조 평면들은 평면 간 예측이 현재 관심(interest)인 블록과 같이 같은 평면 그룹 내에 존재하도록 제한되지 않는다. 따라서, 상술한 바와 같이, 평면 그룹(510)은 프라이머리 평면 그룹 또는 세컨더리 평면 그룹(510)을 위한 참조 평면 그룹을 나타낼 수 있다. 이 경우, 상기 비트스트림은 참조 평면 그룹(510) 또는 프라이머리 평면 그룹의 평면(502, 504)의 함께 배치된 매크로블록들의 코딩 파라미터들의 이미 언급된 채택/예측이 수행되는지 안되는지에 관해 샘플 배열(506)의 각각의 블록을 위해 지시하는 구문 요소를 포함할 수 있고, 채택/예측이 수행되지 않는 경우에 샘플 배열(506)의 현재 블록의 코딩 파라미터들은 대게 전송될 수 있다.
평면 그룹 안쪽의 평면들을 위한 세부분할 및/또는 예측 파라미터들은 같을 수 있으며, 즉, 그들은 하나의 그룹(하나의 평면의 모든 제2 평면들은 같은 평면 그룹 안쪽의 프라이머리 평면으로부터 세부분할 정보 및/또는 예측 파라미터들을 추론한다)을 위해 오직 한번 코딩되기 때문에, 그리고 적응적 예측 또는 세부분할 정보 및/또는 예측 파라미터들의 간섭은 평면 그룹들 사이에서 수행된다.
참조 평면 그룹은 프라이머리 평면 그룹이 될 수 있고, 또는 세컨더리 평면 그룹이 될 수도 있다.
하나의 평면 그룹 내의 다른 평면들의 블록들 사이에 함께 배치(co-location)는 쉽게 이해될 수 있고, 동시에 프라이머리 샘플 배열(504)의 세부분할은 종속 샘플 배열(502)에 의해 공간적으로 채택될 수 있으며, 채택된 리프 블록들을 정사각형 블록들로 만들기 위해 방금 설명된 블록들의 서브-구획은 제외한다. 다른 평면 그룹들 사이의 평면 간 채택/예측의 경우, 함께 배치(co-loaction)는 이러한 평면 그룹들의 세부분할 간에 더 큰 자유를 허용하는 것에 관한 방법으로 정의될 수 있다. 참조 평면 그룹이 정해졌을 때, 참조 평면 그룹 안쪽에 함께 배치된 블록은 결정된다. 함께 배치된 블록 및 참조 평면 그룹의 획득은 다음과 유사한 프로세스에 의해 수행될 수 있다. 제2 평면 그룹(512)의 샘플 배열(506) 중 하나의 현재 블록(516) 내의 특별한 샘플(514)은 선택된다. 같은 것은 도 11의 514로 나타낸 현재 블록(516)의 좌상단 샘플일 수 있고, 현재 블록(516)의 가운데 또는 현재 블록 안쪽의 다른 샘플에 가까운 현재 블록(516) 내의 샘플일 수 있다. 샘플 배열(502) 안쪽의 선택된 샘플(515)의 배치 및 참조 평면 그룹(510)의 502 및 504는 계산된다. 샘플 배열들(502, 504) 내의 샘플의 위치들은 각각 도 11의 518 및 520으로 나타내진다. 실질적으로 사용되는 참조 평면 그룹(510) 내의 평면들(502, 504)은 미리 결정되거나 또는 비트스트림 내에서 신호가 보내질 수 있다. 위치들(518 및 520)에 가장 가까운 참조 평면 그룹(510)의 상응하는 샘플 배열(502 또는 504) 내의 샘플은 각각 결정되고, 이러한 샘플을 포함하는 블록은 각각의 샘플 배열(502 및 504) 내에 함께-배치된 블록으로 각각 선택된다. 도 11의 경우, 이것들은 각각 522 및 524 블록들이다. 다른 평면 안에 함께 배치된 블록의 결정을 위한 대체의 기법은 이후에 설명된다.
일 실시예에서, 현재 블록(516)을 위한 예측을 명시하는 코딩 파라미터들은 전송되는 추가 보조 정보 없이 같은 픽쳐(500)의 다른 평면 그룹(510) 내에 함께 배치된 블록(522/524)의 상응하는 예측 파라미터들을 이용하여 완벽히 추론될 수 있다. 상기 추론은 상응하는 코딩 파라미터들의 단순 복제 또는 현재(512)와 참조 평면 그룹(510) 사이의 차이점이 고려된 코딩 파라미터들의 적응으로 구성될 수 있다. 예를 들어, 이러한 적응은 루마(luma) 및 크로마(chroma) 샘플 배열들 사이의 위상 차이를 고려하기 위해 움직임 파라미터 정정(예를 들어, 치환 벡터 정정)의 추가로 구성될 수 있고, 또는 적응은 루마(luma) 및 크로마(chroma) 샘플 배열들의 다른 해상도를 고려하기 위해 움직임 파라미터들의 정확한 변조로 구성될 수 있다. 다른 실시예에 있어서, 예측 신호 생성을 명시하기 위한 적어도 하나의 추론된 코딩 파라미터들은 현재 블록(516)을 위해 직접적으로 사용되지 않고, 현재 블록(516)을 위한 상응하는 코딩 파라미터들을 위한 예측으로 사용되며, 현재 블록(516)을 위한 이러한 코딩 파라미터들의 개선은 비트스트림(22)에서 전송된다. 예를 들어, 추론된 움직임 파라미터들은 직접적으로 사용되지 않고, 그러나 현재 블록(516)을 위해 사용되는 움직임 파라미터들과 추론된 움직임 파라미터들 사이의 편차를 명시하는 움직임 파라미터 차이들(예를 들어, 치환 벡터 차이)은 비트스트림에서 코딩되며; 디코더 측에서, 실제로 사용되는 움직임 파라미터들은 추론된 움직임 파라미터들 및 상기 전송된 움직임 파라미터 차이들의 병합에 의해 획득된다.
다른 실시예에 따르면, 블록의 세부분할, 예를 들어 예측 블록들(즉, 예측 파라미터들의 같은 집합이 사용되는 샘플들의 블록들)로 전술한 예측 세부분할의 트리블록들은 같은 픽쳐 즉, 도 6a 또는 도 6b에 따른 비트 시퀀스를 위한 다른 평면 그룹의 이미 코딩된 함께 배치된 블록으로부터 적응적으로 추론 또는 예측된다. 실시예에 따르면, 복수의 평면 그룹들 중 하나는 프라이머리 평면 그룹으로 코딩된다. 이 프라이머리 평면 그룹의 모든 블록을 위해, 세부분할 정보는 같은 픽쳐의 다른 평면 그룹들을 참조함 없이 전송된다. 남은 평면 그룹들은 제2 평면 그룹들로 코딩된다. 제2 평면 그룹들의 블록들을 위해, 적어도 하나의 구문 요소들은 전송되어 세부분할 정보가 다른 평면 그룹들의 함께 배치된 블록으로부터 추론 또는 예측 되는지 안되는지 또는 세부분할 정보가 비트스트림에서 전송되든지 안되는지 신호를 보낸다. 하나 이상의 구문 요소들 중 하나는 평면 간 예측 플래그 또는 평면 간 예측 파라미터로 참조될 수 있다. 세부분할 정보가 추론 또는 예측되지 않음을 구문 요소들이 신호를 보내면, 블록을 위한 세부분할 정보는 같은 픽쳐의 다른 평면 그룹들의 참조 없이 비트스트림 내에서 전송될 수 있다. 세부분할 정보가 추론 또는 예측됨을 구문 요소들이 신호를 보내면, 소위 참조 평면 그룹 내의 함께 배치된 블록은 결정된다. 블록을 위한 참조 평면 그룹의 할당은 멀티플한 방법으로 구성된다. 일 실시예에 있어서, 특정한 참조 평면 그룹은 각각의 제2 평면 그룹으로 할당되며; 이러한 할당은 고정될 수 있고 또는 이러한 할당은 파라미터 집합들, 엑세스 유닛 헤더, 픽쳐 헤더 또는 슬라이스 헤더와 같은 고차-레벨 구문 구조들에서 신호가 보내질 수 있다. 제2 실시예에 있어서, 참조 평면 그룹의 할당은 비트스트림 내에서 코딩되고 세부분할 정보가 추론 또는 예측되는지 개별적으로 코딩되는지 명시하기 위한 블록을 위해 코딩되는 적어도 하나의 구문 요소들에 의해 신호가 보내질 수 있다. 참조 평면 그룹은 프라이머리 평면 그룹 또는 다른 세컨더리 평면 그룹일 수 있다. 참조 평면 그룹이 주어지면, 참조 평면 그룹 안쪽의 함께 배치된 블록은 결정된다. 함께 배치된 블록은 현재 블록과 같이 같은 이미지 지역과 상응하는 참조 평면 그룹 내의 블록이거나, 또는 현재 블록과 함께 이미지 지역의 가장 큰 부분을 공유하는 참조 평면 그룹의 안쪽에 있는 블록을 나타내는 블록이다. 함께 배치된 블록은 더 작은 예측 블록들로 구획될 수 있다.
다른 실시예에 있어서, 현재 블록을 위한 세부분할 정보, 예를 들어 도 6a 또는 도 6b에 따른 쿼드트리-기반 세부분할 정보는, 추가 보조 정보의 전송 없이 같은 픽쳐의 다른 평면 그룹 내의 함께 배치된 블록의 세부분할 정보를 사용하여 완전히 추론된다. 특별한 예에 있어서, 함께 배치된 블록이 2개 또는 4개의 예측 블록들로 구획되면, 현재 블록은 예측을 목표로 2개 또는 4개의 서브블록들로 구획될 수 있다. 다른 특별한 예에 있어서, 함께 배치된 블록이 4개의 서브블록들로 구획되고, 이러한 서브블록들 중 하나가 4개의 더 작은 서브블록들로 더 구획되면, 현재 블록 또한 4개의 서브블록들로 구획되고 이러한 서브블록들 중 하나(더 분배된 함께 배치된 블록의 서브블록에 상응하는 하나) 또한 4개의 더 작은 서브블록들로 구획된다. 다른 실시예에 있어서, 추론된 세부분할 정보는 직접 현재 블록으로 사용되지는 않으나, 추론된 세부분할 정보는 현재 블록을 위한 실제 세부분할 정보를 위한 예측으로 사용되고, 상응하는 개선된 정보는 비트스트림 내에서 전송된다. 예를 들어, 함께 배치된 블록으로부터 추론된 세부분할 정보는 더 개선될 수 있다. 더 작은 블록들로 구획되지 않은 함께 배치된 블록 내의 서브블록과 상응하는 각각의 서브블록을 위해, 구문 요소는 서브블록이 현재 평면 그룹 내에서 더 분해되는지를 구체화하는 비트스트림 내에서 코딩될 수 있다. 구문 요소의 전송은 서브블록의 사이즈에 의해 제약을 받을 수 있다. 또는, 구문 요소의 전송은 비트스트림 내에서 신호가 보내질 수 있어 참조 평면 그룹 내에서 더 구획된 서브블록은 현재 평면 그룹 내의 더 작은 블록들로 더 구획되지 않는다.
다른 실시예에 있어서, 예측 블록들 안의 블록의 세부분할 및 어떻게 그 서브블록들이 예측되는지 명시하는 코딩 파라미터들은 같은 픽쳐를 위해 다른 평면 그룹의 이미 코딩된 함께 배치된 블록으로부터 적응적으로 추론 또는 예측될 수 있다. 본 발명의 일 실시예에 있어서, 복수의 평면 그룹들 중 하나는 프라이머리 평면 그룹으로 코딩된다. 이러한 프라이머리 평면 그룹의 모든 블록들을 위해, 세부분할 정보 및 예측 파라미터들은 같은 픽쳐의 다른 평면 그룹들의 참조 없이 전송된다. 잔여 평면 그룹들은 세컨더리 평면 그룹들로 코딩된다. 세컨더리 평면 그룹들의 블록들을 위해, 적어도 하나의 구문 요소들은 전송되어 세부분할 정보 및 예측 파라미터들이 다른 평면 그룹들의 함께 배치된 블록으로부터 추론 또는 예측되는지 되지 않는지 또는 세부분할 정보 및 예측 파라미터들은 비트스트림에서 전송되는지 안되는지 신호를 보낸다. 하나 이상의 구문 요소들 중 하나는 평면 간 예측 플래그 또는 평면 간 예측 파라미터로 참조될 수 있다. 만일 구문 요소들이 세부분할 정보 및 예측 파라미터들이 추론 또는 예측되지 않는다는 신호를 보내면, 블록을 위한 세부분할 정보 및 결과 서브블록들을 위한 예측 파라미터들은 같은 픽쳐의 다른 평면 그룹들은 참조하지 않고 비트스트림에서 전송된다. 만일 구문 요소들이 세부분할 정보 및 예측 파라미터들이 추론 또는 예측된다는 신호를 보내면, 소위 참조 평면 그룹 내의 함께 배치된 블록은 결정된다. 블록을 위한 참조 평면 그룹의 할당은 멀티플 방법들로 구성될 수 있다. 하나의 실시예에 있어서, 특정한 참조 평면 그룹은 각각의 제2 평면 그룹으로 할당되고; 이러한 할당은 고정될 수 있고 또는 예를 들어 파라미터 집합들, 엑세스 유닛 헤더, 또는 이러한 할당은 슬라이스 헤더와 같은 고차-레벨 구문 구조들 내에서 신호를 보낼 수 있다. 제2 실시예에 있어서, 참조 평면 그룹의 할당은 비트스트림 안쪽에서 코딩되고, 세부분할 정보 및 예측 파라미터들이 추론 또는 예측 또는 개별적으로 코딩되는지 안되는지 명시하기 위한 블록을 위해 코딩되는 적어도 하나의 구문 요소들에 의해 신호가 보내질 수 있다. 참조 평면 그룹은 프라이머리 평면 그룹일 수 있고 또는 다른 세컨더리 평면 그룹일 수 있다. 주어진 참조 평면 그룹에서, 참조 평면 그룹 안쪽의 함께 배치된 블록은 결정된다. 함께 배치된 블록은 현재 블록처럼 같은 이미지 지역에 상응하는 참조 평면 그룹 내의 블록일 수 있고, 또는 현재 블록과 함께 이미지 지역의 가장 큰 부분을 공유하는 참조 평면 그룹의 안쪽의 블록을 나타내는 블록일 수 있다. 함께 배치된 블록은 더 작은 예측 블록들로 구획될 수 있다. 일 실시예에 있어서, 현재 블록을 위한 세부분할 정보와 결과 서브블록들을 위한 예측 파라미터들은 추가 보조 정보의 전송 없이 같은 픽쳐의 다른 평면 그룹 내의 함께 배치된 블록의 세부분할 정보 및 상응하는 서브블록들의 예측 파라미터들을 사용할 때 완전히 추론된다. 특별한 실시예에 있어서, 만일 함께 배치된 블록이 2개 또는 4개의 예측 블록들로 구획되면, 현재 블록은 또한 예측의 목적을 위한 2개 또는 4개의 서브블록들로 구획될 수 있고 현재 블록의 서브블록들을 위한 예측 파라미터들은 위에 설명된 바와 같이 얻어진다. 다른 특별한 실시예에 있어서, 만일 함께 배치된 블록이 4개의 서브블록들로 구획되고, 이 서브블록들 중 하나는 4개의 더 작은 서브블록들로 더 구획되며, 현재 블록은 4개의 서브블록들로 또한 구획되며, 이러한 서브블록들(더 분해된 함께 배치된 블록의 서브블록과 상응하는) 중 하나는 4개의 더 작은 서브블록들로 또한 구획되고, 더 구획되지 않는 모든 것을 위한 예측 파라미터들은 위에 설명된 바와 같이 추론된다. 다른 실시예에 있어서, 세부분할 정보는 참조 평면 그룹 내의 함께 배치된 블록의 세부분할 정보에 기초하여 완전히 추론되지만, 서브블록을 위한 추론된 예측 파라미터들은 서브블록들의 실제 예측 파라미터들을 위한 예측으로 오직 사용된다. 실제 예측 파라미터들과 추론된 예측 파라미터들 사이의 편차들은 비트스트림에서 코딩된다. 다른 실시예에 있어서, 추론된 세부분할 정보는 현재 블록을 위한 실제 세부분할 정보을 위한 예측으로 사용되고 차이는 비트스트림에서 전송되지만(위에 설명된 바와 같이), 예측 파라미터들은 완전히 추론된다. 다른 실시예에 있어서, 추론된 세부분할 정보 및 추론된 예측 파라미터들은 예측으로 사용되고, 실제 세부분할 정보 및 예측 파라미터들 및 그들의 추론된 값들 사이의 차이들은 비트스트림에서 전송된다.
다른 실시예에 있어서, 잔차 코딩 모드들(예를 들어 변환 형태)이 같은 픽쳐를 위한 다른 평면 그룹의 이미 코딩되어 함께 배치된 블록으로부터 추론 또는 예측되는지 되지 않는지 또는 잔차 코딩 모드들이 블록을 위해 개별적으로 코딩되는지 코딩되지 않는지는 평면 그룹의 블록을 위해 적응적으로 선택될 수 있다. 이러한 실시예는 위에 설명된 바와 같이 예측 파라미터들의 적응적 추론/예측을 위한 실시예와 유사하다.
일 실시예에 있어서, 변환 블록들(즉, 2차 변환이 적용된 샘플들의 블록들)로의 블록(즉, 예측 블록)의 세부분할은 같은 픽쳐를 위한 다른 평면 그룹의 이미 코딩되어 함께 배치된 블록으로부터 적응적으로 추론 또는 예측될 수 있다. 이 실시예는 위에 설명된 바와 같이 예측 블록들로의 세부분할의 적응적 추론/예측을 위한 실시예와 유사하다.
다른 실시예에 있어서, 변환 블록들로의 블록의 세부분할 및 결과 전송 블록들을 위한 잔차 코딩 모드들(즉, 변환 형태들)은 같은 픽쳐를 위한 다른 평면 그룹의 이미 코딩되어 함께 배치된 블록으로부터 적응적으로 추론 또는 예측될 수 있다. 이러한 실시예는 위에 설명된 예측 블록들로의 세부분할의 적응적 추론/예측을 위한 실시예 및 결과 예측 블록들을 위한 예측 파라미터들과 유사하다.
다른 실시예에 있어서, 예측 블록들로의 블록의 세부분할, 관련된 예측 파라미터들, 예측 블록들의 세부분할 정보, 및 변환 블록들을 위한 잔차 코딩 모드들은 같은 픽쳐를 위한 다른 평면 그룹의 이미 코딩되어 함께 배치된 블록으로부터 적응적으로 추론 또는 예측된다. 이러한 실시예는 위에 설명된 실시예들의 조합을 나타낸다. 언급된 코딩 파라미터들의 오직 몇 가지가 추론 또는 예측되는 것 또한 가능하다.
그래서, 평면 간 채택/예측은 이전에 설명된 코딩 효율을 증가시킬 수 있다. 그러나, 평면 간 채택/예측의 방법에 의한 코딩 효율 이득은 멀티트리-기반의 세부분할들 이외에 사용된 다른 블록 세부분할들의 경우 이용할 수 있고, 구현되거나 구현되지 않은 블록 병합으로부터 개별적일 수 있다.
평면 간 채택/예측에 관한 상술된 실시예들은 픽쳐의 컬러 평면들을 분할하는 이미지 및 비디오 인코더들 및 디코더들에 적용할 수 있고, 만일 적용하는 경우, 예비 샘플 배열들이 블록들 안에 있는 픽쳐와 결합하고, 이러한 블록들을 코딩 파라미터들로 연상한다. 각각의 블록을 위해, 코딩 파라미터들의 집합은 비트스트림에 포함될 수 있다. 예를 들어, 이러한 코딩 파라미터들은 어떻게 블록이 디코더에서 예측 또는 디코딩될 수 있는지 설명하는 파라미터들일 수 있다. 특별한 실시예들에 있어서, 코딩 파라미터들은 매크로블록 또는 블록 예측 모드들, 서브-분리 정보, 인트라 예측 모드들, 움직임-보상 예측에 사용된 참조 인덱스들, 움직임 파라미터들 예를 들어 치환 벡터들, 잔차 코딩 모드들, 변환 계수 등을 나타낼 수 있다. 픽쳐와 관련된 다른 샘플 배열들은 다른 사이즈들을 가질 수 있다.
다음은, 예를 들어, 도 1 내지 도 8에 관한 위에 설명된 트리-기초 구획 기법 내에서 코딩 파라미터들의 강화된 시그널링을 위한 기법이 설명된다. 병합 및 평면 간 채택/예측, 강화된 시그널링 기법들의 효과들 및 이득들, 다음에서 계층으로 불리는 다른 기법들은 아래의 설명된 기법들이 상기 실시예들의 하나 또는 조합과 결합 가능할지라도, 상기 실시예들로부터 독립적으로 설명된다.
일반적으로, 계층으로 불리는 다음에 설명된 트리-기반의 구획 기법 내에서의 코딩 보조 정보를 위한 향상된 코딩 기법은 코딩 파라미터 처리의 종래 기법들과 관련된 다음의 이점들을 가능하게 한다.
종래 이미지 및 비디오코딩에서, 픽쳐들 또는 픽쳐들을 위한 샘플 배열들의 특별한 집합들은 특별한 코딩 파라미터들과 관련된 블록들로 대게 분해된다. 픽쳐들은 대게 멀티플 샘플 배열들로 구성된다. 게다가, 예를 들어, 투명도 정보 또는 깊이 맵들을 명시하는 픽쳐는 추가 예비 샘플 배열들과 또한 관련될 수 있다. 픽쳐의 샘플 배열들(예비 샘플 배열들을 포함하는)은 하나 이상의 소위 평면 그룹들로 그룹화될 수 있고, 하나 이상의 소위 평면 그룹들 중 각각의 평면 그룹은 적어도 하나의 샘플 배열들로 구성될 수 있다. 픽쳐의 평면 그룹들은 독립적으로 코딩될 수 있고 또는, 만일 픽쳐가 하나 이상의 평면 그룹과 관련이 있으면, 같은 픽쳐의 다른 평면 그룹들로부터 예측과 함께 코딩될 수 있다. 각각의 평면 그룹은 대게 블록들로 분해된다. 블록들(또는 샘플 배열들의 블록들에 상응하는)은 인터-픽쳐 예측 또는 인트라-픽쳐 예측에 의해 예측된다. 블록들은 다른 사이즈들을 가질 수 있고 정사각형 또는 직사각형일 수 있다. 픽쳐의 블록들로의 구획화는 구문에 의해 고정될 수 있고, 또는 비트스트림 안쪽에서 신호가 보내질 수 있다(가장 적은 부분으로). 종종 구문 요소들은 미리 정의된 사이즈의 블록들을 위해 세부분할 신호가 전송된다. 구문 요소들은 어떻게 블록이 더 작은 블록들로 세부분할되고, 코딩 파라미터들 즉 예측을 목적으로 관련되는지 명시할 수 있다. 관련된 코딩 파라미터들의 디코딩 블록의 모든 샘플들(또는 샘플 배열들의 상응하는 블록들)은 확실한 방법으로 구체화된다. 예를 들면, 블록의 모든 샘플들은 예를 들어 참조 인덱스들(이미 코딩된 픽쳐들의 집합 내에 참조 픽쳐를 확인하는), 움직임 파라미터들(참조 픽쳐와 현재 픽쳐 사이의 블록들의 움직임을 측정하는 것을 명시하는), 삽입 필터를 구체화하기 위한 파라미터들, 인트라 예측 모드들 등등의 예측 파라미터들의 같은 집합을 사용하여 예측된다. 움직임 파라미터들은 수평 및 수직 요소 또는 더 높은 차원의 움직임 파라미터들 예를 들어 6개의 요소들로 구성되는 변환 움직임 파라미터들과 같이 치환 벡터들에 의해 나타낼 수 있다. 특별한 예측 파라미터들(예를 들어 참조 인덱스들 및 움직임 파라미터들)의 적어도 하나의 집합은 싱글 블록과 관련된다. 이 경우, 이러한 특별한 예측 파라미터들의 각각의 집합을 위해, 블록(또는 샘플 배열들의 상응하는 블록들)을 위한 싱글 중간 예측 신호는 생성되고, 마지막 예측 신호는 중간 예측 신호들을 포개놓은 것을 포함하는 조합에 의해 만들어진다. 상응하는 가중 파라미터들 및 잠재적인 불변의 오프셋(offset)(가중된 합으로 추가되는)은 픽쳐, 또는 참조 픽쳐, 또는 참조 픽쳐들의 집합으로 고정될 수 있고, 또는 상응하는 블록을 위하 예측 파라미터들의 집합 내에 포함될 수 있다. 최초 블록들(또는 샘플 배열들의 상응하는 블록들) 사이의 차이 및 그들의 예측 신호들은 또한, 잔차 신호로 참조하고,대게 변환 및 양자화된다. 종종, 2차 변환은 잔차 신호(또는 잔차 블록을 위한 상응하는 샘플)로 적용된다.
변환 코딩을 위해, 예측 파라미터들의 특별한 집합을 위해 사용된 블록들(또는 샘플 배열들의 상응하는 블록들)은 변환을 적용하기 전에 더 쪼개질 수 있다. 변환 블록들은 예측을 위해 사용되는 블록들과 같거나 또는 더 작을 수 있다. 변환 블록이 예측을 위해 사용되는 적어도 하나의 블록을 포함하는 것 또한 가능하다. 다른 변환 블록들은 다른 사이즈들을 가질 수 있고, 변환 블록들은 정사각형 또는 직사각형 블록들을 나타낼 수 있다. 변환 후에, 결과 변환 계수는 양자화되고, 소위 변환 계수 레벨들은 얻어진다. 변환 계수 레벨들과 예측 파라미터들 및, 만일 나타내는, 세부분할 정보는 엔트로피 코딩된다.
몇몇의 이미지 및 비디오 코딩 표준에 있어서, 픽쳐(또는 평면 그룹)의 구문에 의해 제공되는 블록들로의 세부분할의 가능성은 매우 제한적이다. 대게, 어느 편인지 또는 잠재적으로 어떻게 미리 정의된 사이즈의 블록이 더 작은 블록들로 세부분할 될 수 있는지 단지 구체화될 수 있다. 예를 들면, H.264에서 가장 큰 블록 사이즈는 16x16이다. 16x16 블록들은 매크로 블록들로 또한 참조되고, 각각의 픽쳐는 제1 단계 내의 매크로블록들로 구획된다. 각각의 16x16 매크로블록을 위해, 각각의 16x16 매크로블록들은 16x16블록으로 코딩, 또는 2개의 16x8 블록들로 코딩, 또는 2개의 8x16 블록들로 코딩, 또는 4개의 8x8 블록들로 코딩되는지 신호가 보내질 수 있다. 만일 16x16 블록이 4개의 8x8 블록으로 세부분할되면, 각각의 8x8 블록들은 하나의 8x8 블록, 또는 2개의 8x4블록들, 또는 2개의 4x8 블록들, 또는 4개의 4x4 블록들로 코딩될 수 있다. 최신의 이미지 및 비디오 코딩 표준들에 있어서 구획의 블록들로의 명시를 위한 가능성들의 작은 집합은 세부분할 정보를 시그널링하기 위한 보조 정보 율이 작게 유지될 수 있는 이점이 있으나 블록들을 위한 예측 파라미터들의 전송을 위해 요구되는 비트율이 다음에 설명되는 바와 같이 중요하게 된다는 단점이 있다. 예측 정보를 시그널링하기 위한 보조 정보 율은 대게 블록을 위한 전반적인 비트율의 중요한 양을 나타낸다. 그리고, 코딩 효율은 이러한 보조 정보가 감소될 때 증가할 수 있고, 예를 들어, 더 큰 블록 사이즈들을 사용함으로써 수행될 수 있다. 실제 이미지들 또는 비디오 시퀀스의 픽쳐들은 구체적인 속성들과 함께 임의의 모양인 오브젝트들로 구성될 수 있다. 예를 들어, 오브젝트들 또는 오브젝트들의 부분들은 유일한 텍스처 또는 유일한 움직임에 의해 특징을 나타낼 수 있다. 그리고 대게, 예측 파라미터들의 같은 집합은 오브젝트 또는 오브젝트의 부분을 위해 적용될 수 있다. 그러나 오브젝트 경계들은 대게 큰 예측 블록들(예를 들어, H.264 내의 16x16 매크로블록들)을 위한 가능한 블록 경계들과 일치하지 않는다. 인코더는 대게 특별한 비율-왜곡 비용의 최소화 내의 결과들을 측정하는 세부분할(가능성들의 제한된 집합들 사이)을 결정한다. 임의의 모양인 오브젝트들을 위해 인코더는 작은 블록들의 큰 수를 야기할 수 있다. 이러한 작은 블록들의 각각은 전송될 필요가 있는 예측 파라미터들의 집합과 관련되기 때문에, 보조 정보 율은 전반적인 비트율의 중요한 부분이 될 수 있다. 그러나, 작은 블록들의 몇몇은 같은 오브젝트 또는 오브젝트의 부분을 여전히 나타내므로, 많은 수의 얻어진 블록들을 위한 예측 파라미터들은 같거나 매우 유사하다. 직관적으로, 코딩 효율은 블록을 세부분할하는 것을 허용하는 방법 및 세부분할 후 얻어진 블록들 사이의 코딩 파라미터를 공유하는 방법에 의해 구문가 확장될 때 증가될 수 있다. 트리-기초 세부분할에서, 주어진 블록의 집합을 위한 코딩 파라미터들의 공유는 코딩 파라미터들의 할당 또는 트리-기초 계층 내의 적어도 하나의 부모 모드들을 위한 그것의 부분들에 의해 수행될 수 있다. 결과적으로, 공유된 파라미터들 또는 그것의 부분들은 세부분할 후 얻어진 블록들을 위한 코딩 파라미터들의 실제 선택을 신호로 보내는데 필요한 보조 정보를 감소시키기 위해 사용될 수 있다. 감소는 다음의 블록들을 위한 파라미터들의 시그널링을 생략하는 것 또는 다음의 블록들을 위한 파라미터들의 예측 및/또는 문맥(context) 모델링을 위한 공유된 파라미터(들)을 사용함으로써 수행될 수 있다.
아래 설명되는 계층 기법의 기본적인 아이디어는 블록들의 트리-기반의 계층에 따른 정보 공유에 의해 코딩 파라미터들을 전송하기 위해 요구되는 비트율을 감소시키는 것이다. 공유 정보는 비트스트림(세부분할 정보에 부가하여) 안쪽에서 신호가 보내진다. 계층 기법의 이점은 코딩 파라미터들을 위해 감소된 보조 정보로부터 야기된 증가된 코딩 효율이다.
보조 정보 비율을 감소시키기 위해, 아래 설명된 실시예에 따라, 샘플들의 특별한 집합들을 위한 각각의 코딩 파라미터들, 즉, 직사각형 또는 정사각형 블록들 또는 임의의 모양인 영역들 또는 다른 샘플들의 모음을 나타내는 멀티트리 세부분할의 단순 연결 영역들은 효율적인 방법 내에서 데이터 스트림 안쪽에서 신호가 보내진다. 아래에 설명된 계층 기법은 코딩 파라미터들이 완전히 각각의 이러한 샘플들의 집합들을 위해 비트스트림 내에 명시적으로 포함될 필요가 없도록 한다. 코딩 파라미터들은 어떻게 샘플들의 상응하는 집합이 이미 코딩된 샘플들을 이용하여 예측되는지 명시하는 예측 파라미터들을 나타낼 수 있다. 많은 가능성들 및 예들은 상술 되었으며 여기에 적용될 수도 있다. 위에 나타낸 바와 같이, 아래에 더 설명될 바와 같이, 다음의 계층 기법이 관계되면, 샘플 집합들로의 픽쳐의 샘플 배열들의 트리-기초 구획은 구문에 의해 고정될 수 있고, 또는 비트스트림 안쪽에 있는 세부분할 정보의 상응에 의해 신호가 보내질 수 있다. 샘플 집합들을 위한 코딩 파라미터들은 상술된 바와 같이 구문에 의해 주어진 미리 결정된 순서로 전송될 수 있다.
계층 기법에 따르면, 디코더 또는 디코더의 추출부(102)는 개별적으로 단순히 연결된 영역의 코딩 파라미터 또는 구체적인 방법에서의 샘플 집합들의 정보를 얻는 것으로 구성될 수 있다. 특별히, 코딩 파라미터들 또는 이것들의 부분들 예를 들어 예측의 목적으로 도와주는 그러한 파라미터들은 인코더 또는 삽입부(18)에 의해 결정되는 트리 구조에 따른 공유 그룹과 함께 주어진 트리-기초 구획 기법을 따라 블록들 사이에서 각각 공유된다. 특별한 실시예에서, 구획 트리의 주어진 내부 노드의 모든 자식 노드들을 위한 코딩 파라미터들의 공유는 구체적인 2진-값 공유 플래그의 사용에 의해 나타내진다. 다른 접근에 있어서, 코딩 파라미터들의 개선들은 각각의 노드를 위해 전송될 수 있어 블록들의 트리-기초 계층을 따른 파라미터들의 축적된 개선들은 주어진 리프 노드에서 블록의 모든 샘플 집합들에 적용될 수 있다. 다른 실시예에 있어서, 블록들의 트리-기초 계층을 따라 내부 노드들을 위해 전송된 코딩 파라미터들의 부분들은 문맥-적응 엔트로피 인코딩 및 코딩 파라미터의 디코딩 또는 주어진 리프 노드에서 블록을 위한 코딩 파라미터의 부분들을 위해 사용될 수 있다.
도 12a 및 도 12b는 쿼드트리-기반의 구획을 이용한 구체적인 경우를 위한 계층의 기초 아이디어를 나타낸다. 그러나, 위에 몇 번 나타낸 바와 같이, 다른 멀티트리 세부분할 기법들은 또한 사용될 수 있다. 도 12a에 트리 구조가 나타나 있지만 도 12a에 상응하는 트리 구조의 상응하는 공간 구획(partitioning)은 도 12b에 나타나 있다. 그 안에 나타내진 구획은 도 3a 내지 도3c에 관해 나타내진 것과 유사하다. 일반적으로 말하면, 계층 기법은 트리 구조 내 여러 비-리프 레이어(non-leaf layer)들에서 노드들로 보조 정보가 부여되도록 허용할 수 있다. 트리 내 여러 레이어들에서의 노드들, 예를 들어 도 12a의 트리 내 내부 노드들 또는 그들의 루트 노드로의 보조 정보 부여에 따라, 도 12b에 나타낸 블록들의 트리 계층 내에서 서로 다른 정도의 보조 정보의 공유가 얻어질 수 있다. 예를 들어, 도 12a의 경우에서 모두 같은 부모 노드를 가지는 레이어 4 내의 모든 리프 노드들이 보조 정보를 공유하는 것으로 결정된 경우, 사실상 이것은, 156a 내지 156d로 나타낸 도 12b 내의 가장 작은 블록들이 이 보조 정보를 공유하고 모든 이러한 작은 블록들(156a 내지 156d)에 대해 보조 정보를 더 이상 완전히 즉, 4번 전송할 필요가 없음을 의미하며, 이것은 인코더를 위한 선택사항으로 남겨진다. 하지만, 도 12a의 계층 레벨 1(레이어 2)의 전체 영역, 즉, 서브블록들 154a, 154b 및 154d와 이미 언급된 더 작은 서브블록 156a 내지 156d을 포함하는 트리 블록(150)의 상위 우측의 1/4 부분은 코딩 파라미터들이 공유되는 영역으로 제공하는 것 또한 가능하다. 따라서, 보조 정보를 공유하는 지역은 증가한다. 증가의 다음 레벨은 레이어 1의 모든 서브블록들을 합계일 수 있는데, 즉, 서브블록들 152a, 152c 및 152d 및 이전에 언급된 더 작은 블록들일 수 있다. 즉, 이 경우, 전체 트리 블록은 보조 정보를 공유하는 이 트리 블록(150)의 모든 서브블록들과 함께 그에 할당된 보조 정보를 가질 것이다.
다음의 계층 설명에서, 다음의 표시법이 실시예를 설명하기 위해 사용된다:
a. 현재 리프 노드의 복원된 샘플들: r
b. 이웃 리프들의 복원된 샘플들: r’
c. 현재 리프 노드의 예측부: p
d. 현재 리프 노드의 잔차: Res
e. 현재 리프 노드의 복원된 잔차: Rec Res
f. 스케일링 및 역변환: SIT
g. 공유 플래그: f
계승의 첫 번째 실시예로서, 내부 노드들에서의 인트라-예측 신호화(signalization)로 설명될 수 있다. 보다 정확하게는, 예측의 목적을 위해 트리-기반의 블록 구획의 내부 노드들에서의 인트라-예측 모드들을 신호로 알리는 방법이 설명된다. 루트 노드에서 리프 노드들로 트리를 가로지른 것에 의해, 내부 노드들(루트 노드를 포함하는)은 상응하는 자식 노드들에 의해 이용될 보조 정보의 부분들을 운반할 수 있다. 보다 구체적으로 설명하면, 공유 플래그 f 는 다음 의미와 함께 내부 노드들을 위해 전송된다:
· 만일 f 가 1(“true”)의 값을 가지면, 주어진 내부 노드의 모든 자식 노드들은 같은 인트라-예측 모드를 공유한다. 게다가 값 1을 가지는 공유 플래그 f 와 더불어, 내부 노드는 또한 모든 자식 노드들을 위해 사용되는 인트라-예측 모드 파라미터들을 신호한다. 결과적으로, 모든 후속하는 자식 노드들은 어떤 예측 모드 정보뿐 아니라 어떤 공유 플래그들도 운반하지 않는다. 모든 관계된 리프 노드들의 복원을 위해, 디코더는 상응하는 내부 노드로부터 인트라-예측 모드를 적용한다.
· 만일 f 가 0(“false”)의 값을 가지면, 내부 노드에 상응하는 자식 노드들은 같은 인트라-예측 모드를 공유하지 않고 내부 노드인 각각의 자식 노드는 별개의 공유 플래그를 나른다.
도 12c는 위에 설명된 바와 같이 내부 노드들에서의 인트라-예측 신호화를 도시한다. 레이어 1 내의 내부 노드는 공유 플래그 및 인트라-예측 모드 정보에 의해 주어진 보조 정보를 운반하고, 자식 노드들은 어떤 보조 정보도 운반하지 않는다.
계승의 제2 실시예로서, 인터-예측 개선이 설명될 수 있다. 보다 정확하게 설명하면, 예를 들어 움직임 벡터들에 의해 주어진 것과 같은 움직임 파라미터들의 개선 목적을 위해 트리-기반 블록 구획(partitioning)의 내부 모드들에서 인터-예측 모드들의 보조 정보를 시그널링하는 방법이 설명된다. 루트 노드에서 리프 노드들까지 트리를 횡단함으로써, 내부 노드들(루트 노드를 포함하는)은 상응하는 자식 노드들에 의해 개선될 보조 정보 부분들을 운반할 수 있다. 보다 상세하게, 공유 플래그 f 는 아래의 의미와 함께 내부 노드들을 위해 전송된다:
· 만일 f 가 1(“true”) 값을 가지면, 주어진 내부 노드의 모든 자식 모드들은 같은 움직임 벡터 참조를 공유한다. 값 1을 가진 공유 플래그 f 과 더불어, 내부 노드는 또한 움직임 벡터 및 참조 인덱스를 신호한다. 결론적으로, 모든 후속하는(subsequent) 자식 노드들은 공유 플래그들을 더 운반하지 않을 수 있으나, 계승된 움직임 벡터 참조의 개선은 운반할 수 있다. 모든 관계된 리프 노드들의 복원을 위해, 디코더는 주어진 리프 노드에서 움직임 벡터 개선을, 값 1을 가진 공유 플래그 f 를 갖는 상응하는 내부 부모 노드에 속하는 계승된 움직임 벡터 참조에 추가한다. 이것은 주어진 리프 노드에서 움직임 벡터 개선이 이 리프 노드에서 움직임-보상된 예측을 위해 적용될 실제 움직임 벡터와 그 상응하는 내부 부모 노드의 움직임 벡터 참조 사이의 차이임을 의미한다.
· 만일 f 가 0(“false”) 값을 가지면, 상응하는 내부 노드의 자식 노드들이 동일한 인터-예측 모드를 필수적으로 공유하지 않고 상응하는 내부 노드로부터 움직임 파라미터들을 사용함으로써 자식 노드들에서 움직임 파라미터들의 개선이 수행되지 않으며, 내부 노드인 각 자식 노드는 별개의 공유 플래그를 운반한다.
도 12d는 상술한 바와 같이 움직임 파라미터 개선을 나타낸다. 레이어 1 내 내부 노드는 공유 플래그 및 보조 정보를 운반하고 있다. 리프 노드들인 자식 노드들은 오직 움직임 파라미터 개선들을 운반하고, 예를 들어, 레이어 2 내의 내부 자식 노드는 보조 정보를 운반하지 않는다.
이제 도 13이 참조된다. 도 13은, 데이터 스트림으로부터 멀티-트리 세부분할에 의해 다른 사이즈들의 리프 영역들로 세부분할되는, 공간적 예시(example) 정보 신호를 나타내는 정보 샘플들의 배열을 복원하는 데 있어, 도 2의 디코더와 같은 디코더의 동작의 모드를 나타내는 흐름도를 도시한다. 상술한 바와 같이, 각 리프 영역은 멀티-트리 세부 분할의 계층 레벨들의 시퀀스 중 하나의 계층 레벨과 연관되어 있다. 예를 들어, 도 12b에 나타낸 모든 블록들은 리프 영역들이다. 예를 들어, 리프 영역(156c)은 계층 레벨 4(또는 레벨 3)과 관련된다. 각각의 리프 영역은 거기서의 코딩 파라미터들과 관련된다. 이러한 코딩 파라미터들의 예들은 전술하였다. 각각의 리프 영역을 위한 코딩 파라미터들은 구문 요소들의 각각의 집합에 의해 표현된다.
각각의 구문 요소는 구문 요소 유형들의 집합 중 하나의 개별적 구문 요소 유형(type)의 구문 요소이다. 이러한 구문 요소 유형은 예를 들어, 예측 모드, 움직임 벡터 요소, 인트라-예측 모드의 지시 또는 이와 유사한 것일 수 있다. 도 13에 따르면, 디코더는 다음의 단계들을 수행한다.
단계 550에서, 계승 정보(inheritance information)가 데이터 스트림으로부터 추출된다. 도 2의 경우, 추출부(102)가 단계 550를 책임진다. 계승 정보는 계승이 정보 샘플들의 현재 배열을 위해 사용되었는지 또는 사용되지 않았는지에 관해 나타낸다. 다음의 설명은 예를 들어, 인터-에일리어스(alias), 공유 플래그 f 및 프라이머리(primary) 및 세컨더리(secondary) 부분으로 분리된 멀티트리 구조의 시그널링과 같은 계승 정보를 위한 몇 가지 가능성들을 드러낼 것이다.
정보 샘플들의 배열은 이미 픽쳐의 서브부분일 수 있고, 예들 들어 트리블록, 즉 예를 들어 도 12b의 트리블록(150)일 수 있다. 따라서, 계승 정보는 계승이 구체적인 트리블록(150)을 위해 사용 또는 사용되지 않는지에 관해 나타낸다. 이와 같은 계승 정보는 예를 들어 예측 세부분할의 모든 트리 블록들을 위해 데이터 스트림으로 삽입될 수 있다.
또한, 계승 정보는, 만일 계승이 사용되는 것으로 표시되는 경우, 리프 영역들의 집합으로 구성되고, 리프 영역들의 집합이 연관되는 각 계층적 레벨들보다 더 낮은, 멀티-트리 세부분할의 계층적 레벨들의 시퀀스 중 하나의 계층적 레벨과 대응하는, 정보 샘플들의 배열의 적어도 하나의 계승 영역을 나타낸다. 즉, 계승 정보는 계승이 트리블록(150)과 같은 현재 샘플 배열에 대해 사용 또는 사용되지 않는지에 관해 나타낸다. 만일 사용된다면, 계승 정보는, 그 내에서 코딩 파라미터들을 공유하는, 이러한 트리블록(150)의 적어도 하나의 계승 영역 또는 서브 영역을 나타낸다. 따라서, 계승 영역은 리프 영역이 아닐 수 있다. 도 12b의 예에서, 이러한 계승 영역은 예를 들어, 서브블록들(156a, 156b)에 의해 형성되는 영역일 수 있다. 대안적으로, 계승 영역은 더 클 수 있으며, 또한 추가적으로 서브블록들(154a, 154b 및 154d)을 포함할 수 있고, 심지어 대안적으로, 계승 영역과 관련된 코딩 파라미터들을 공유하는 모든 리프 블록들을 가지는 트리블록(150) 그 자신일 수 있다.
하지만, 둘 이상의 계승 영역이 하나의 샘플 배열 또는 트리 블록(150) 내에서 각각 정의될 수 있음이 주지되어야 한다. 예를 들어, 좌하단의 서브블록(152c)이 더 작은 블록들로 구획되는 것을 상상해보라. 이 경우, 서브블록(152c)은 또한, 계승 영역을 형성할 수 있다.
단계 552에서, 계승 정보가 계승이 사용되는지 또는 사용되지 않는지에 관해 체크된다. 만일 사용되는 경우, 도 13의 과정은 554로 진행되고, 단계 554에서 미리 결정된 적어도 하나의 구문 요소를 포함하는 계승 부분집합이 인터-계승(inter-inheritance) 영역마다 데이터 스트림으로부터 추출된다. 다음의 단계 556에서, 이러한 계승 부분집합은 구문 요소들의 집합 내 구문 요소들의 상응하는 계승 부분집합에 복사되거나, 또는 예측으로서 사용될 수 있고, 상기 구문 요소들은 각각의 적어도 하나의 계승 영역이 구성되는 리프 영역들의 집합과 관련된 코딩 파라미터들을 나타낸다. 즉, 계승 정보 내에서 표시된 각각의 계승 영역에 대해, 데이터 스트림은 구문 요소들의 계승 부분집합을 포함한다. 달리 말하면, 계승은 계승에 이용할 수 있는 적어도 하나의 특정 구문 요소 유형 또는 구문 요소 카테고리에 관련된다. 예를 들어, 예측 모드 또는 인터-예측 모드 또는 인트라-예측 모드 구문 요소가 계승이 될 수 있다. 예를 들어, 계승 영역을 위해 데이터 스트림 이내에 포함된 계승 부분집합은 인터-예측 모드 구문 요소를 포함할 수 있다. 계승 부분집합은 또한 구문 요소들을 포함할 수 있고, 구문 요소 유형들은 앞서 언급된 고정된 구문 요소 유형의 값에 의존하고, 고정된 구문 요소 유형은 계승 기법에 관련된다. 예를 들어, 계승 부분집합의 고정된 요소인 인터-예측 모드의 경우, 움직임 보상을 정의하는 구문 요소들 예를 들어 움직임-벡터 요소들은 구문에 의해 계승 부분집합 내에 포함될 수 있고 또는 포함되지 않을 수 있다. 예를 들어, 트리블록(150)의 상위 우측 1/4, 즉, 서브블록(152b)은 계승 영역이고, 인터-예측 모드 만으로 이러한 계승 영역을 위해 표시될 수 있거나 또는 움직임 벡터들 및 움직임 벡터 인덱스들과 함께 인터-예측 모드를 위해 지시될 수 있다.
계승 부분집합에 포함된 모든 구문 요소들은 계승 영역, 즉, 리프 블록들(154a, 154b, 154d 및 156a 내지 156d) 내의 리프 블록들의 상응하는 코딩 파라미터들을 위해 복사되거나 또는 예측으로서 사용된다. 예측이 사용되는 경우, 잔차들이 개별적인 리프 블록들을 위해 전송된다.
트리블록(150)을 위한 계승 정보 전송의 하나의 가능성은 이미 언급된 공유 플래그 f 의 전송이다. 이 경우, 단계 550에서 계승 정보의 추출은, 다음을 포함한다. 특별히, 디코더는 멀티-트리 세부분할의 적어도 하나의 계층적 레벨의 소정 계승 집합에 상응하는 비-리프 영역들을 위해 추출 및 체크를 포함할 수 있고, 각각의 계승 플래그 또는 공유 플래그가 계승을 지시하는지 하지 않는지에 관해 더 낮은 계층적 레벨부터 더 높은 계층적 레벨까지의 계층적 레벨 차수, 데이터 스트림으로부터 공유 플래그 f 를 사용한다. 예를 들어, 계층적 레벨들의 계승 집합은 도 12a의 레이어들 1 내지 3에 의해 형성될 수 있다. 따라서, 리프 노드가 아니며 소정 레이어 1 내지 레이어 3 이내에 놓여진 서브트리 구조의 소정 노드들에 대해 데이터 스트림 내에서 그와 관련된 공유 플래그를 가질 수 있다. 디코더는 깊이-우선 또는 넓이-우선 횡단 순서와 같은, 레이어 1으로부터 레이어 3까지의 순서로 공유 플래그들을 추출할 수 있다. 공유 플래그들 중 하나가 1과 같으면 곧, 디코더는 상응하는 계승 영역 내에 포함되는 리프 블록들이 단계 554에서 이어서 추출된 계승 부분집합을 공유하는 것을 안다. 현재 노드의 자식 노드들을 위해, 계승 플래그들의 체크는 더 이상 필요하지 않다. 즉, 이러한 자식 노드들을 위한 계승 플래그들은, 이러한 노드들의 영역이 구문 요소들의 계승 부분집합이 공유되는 계승 영역에 이미 속하는 것이 당연하기 때문에, 데이터 스트림 내에서 전송되지 않는다.
공유 플래그들 f 는 쿼드트리 세부분할을 시그널링한 이미 언급된 비트들과 인터리빙될 수 있다. 예를 들어, 세부분할 플래그들과 공유 플래그들을 포함한 인터리브 비트 시퀀스는 다음과 같을 수 있다:
10001101(0000)000,
이것은, 2개의 배치된 공유 플래그들을 이용해 도 6a 에서 도시된 것과 동일한 세부분할 정보이고, 2개의 배치된 공유 플래그들은 도 3c의 좌하단 트리블록(150)의 1/4 이내의 모든 서브-블록들이 코딩 파라미터들을 공유하는 것을 나타내기 위해 언더라인에 의해 강조 표시되었다.
계승 영역을 나타내는 계승 정보를 정의하기 위한 다른 방법은 2개의 세부분할들의 사용일 수 있고, 2개의 세부분할들은 예측 및 잔차 세부분할에 관해 각각 위에 설명된 것처럼 서로 종속적으로 정의된다. 일반적으로 말하면, 프라이머리 세부분할의 리프 블록은 계승 영역을 형성할 수 있고, 계승 영역은 구문 요소들의 계승 부분집합들이 공유되는 영역들을 정의하는 반면, 종속 세부분할은 구문 요소들의 계승 부분집합이 복사 또는 예측으로서 사용되기 위한 이러한 계승 영역들 내의 블록들을 정의한다.
예를 들어, 예측 트리의 확장으로서 잔차 트리를 고려해보자. 또한, 예측 블록들이 잔차 코딩의 목적을 위해 더 작은 블록들로 분리될 수 있는 경우를 고려해보자. 예측-관련 쿼드트리의 리프 노드에 상응하는 각각의 예측 블록들을 위해, 잔차 코딩을 위해 상응하는 세부분할은 적어도 하나의 종속 쿼드트리(들)에 의해 결정된다.
이 경우, 내부 노드들에서 소정 예측 신호를 이용하는 것보다, 우리는 이미 설명된 일정한 예측 모드(예측 관련 트리의 상응하는 리프 노드에 의해 신호가 보내지는) 그러나 개선된 참조 샘플들의 사용이라는 의미에서 예측 트리의 개선은 또한 구체화하는 방법과 같은 잔차 트리를 고려한다. 다음 예시는 이러한 경우를 도시한다.
예를 들어, 도 14a 및 도 14b는 프라이머리 세부분할의 하나의 명시적인 리프 노드를 위해 하이라이트를 준 이웃하는 참조 샘플들을 이용한 인트라 예측을 위한 쿼드트리 구획을 나타내고, 반면에 도 14b는 개선된 참조 샘플들과 함께 같은 예측 리프 노드를 위한 잔차 쿼드트리 세부분할을 나타낸다. 도 14b에 나타난 모든 서브블록들은 도 14a에 하이라이트를 준 각각의 리프 블록을 위해 데이터 스트림 이내에 포함된 같은 인터 예측 파라미터들을 공유한다. 따라서, 도 14a는 인트라 예측을 위한 종래 쿼드트리 구획을 위한 예를 나타내고, 여기서 하나의 명시적 리프 노드를 위한 참조 샘플들이 표현된다. 하지만, 본 발명의 바람직한 일 실시예에 따르면, 개별적인 인트라 예측 신호는 예를 들어, 도 4(b)에 회색의 그림자진 줄무늬로 나타내지는 잔차 트리 내 이미 복원된 리프 노드들의 이웃 샘플들을 이용함으로써 잔차 트리 내의 각각의 리프 노드를 위해 계산된다. 그런 후, 주어진 잔차 리프 노드의 복원된 신호는 양자화된 잔차 신호를 이러한 예측 신호에 추가하는 보통의 방법으로 얻는다. 이러한 복원된 신호는 다음의 예측 프로세스를 위해 참조 신호로서 사용된다. 예측을 위한 디코딩 순서는 잔차 디코딩 순서와 같을 수 있다.
도 15에 도시된 바와 같이 디코딩 프로세스에서, 각각의 잔차 리프 노드를 위해, 예측 신호 p는 참조 샘플들 r’을 이용해 실제 인트라-예측 모드(예측 관련 쿼트드리 리프 노드에 의해 표시된 바와 같이)에 따라 계산된다.
SIT 프로세스 후,
Figure 112020106598072-pat00001
복원된 신호 r 은 다음 예측 계산 프로세스를 위해 계산되고 저장된다:
Figure 112020106598072-pat00002
예측을 위한 디코딩 순서는 도 16에 도시된 잔차 디코딩 순서와 같다.
각 잔차 리프 노드는 이전 문단에서 설명된 것과 같이 디코딩된다. 복원된 신호 r 은 도 16에 도시된 바와 같은 버퍼에 저장된다. 이 버퍼로부터, 참조 샘플들 r’는 다음의 예측 및 디코딩 프로세스를 위해 선택될 것이다.
위에 약술된 관점들의 다른 부분집합들의 조합을 이용해, 도 1 내지 도 16에 관한 상세한 실시예들을 설명하였으며, 본 출원의 다른 실시예들이 어떤 특정 관점에서의 초점이 이미 상술되었는지, 그러나 어떤 실시예들이 상술된 실시예들의 몇 가지 일반화를 나타내는지 설명된다.
특히, 도 1 및 도 2의 프레임워크에 대하여 상술한 실시예들은 본 출원의 많은 관점들과 주로 결합되고, 상술한 실시예들은 다른 출원 또는 다른 코딩 필드들에 이용될 때 또한 이점이 있을 수 있다. 상기 논의 중에 주로 언급된 바와 같이, 예를 들어 멀티트리 세부분할은 병합 없이 및/또는 평면 간 채택/예측 없이 및/또는 계승 없이 사용될 수 있다. 예를 들어, 가장 큰 블록 사이즈의 전송, 깊이-우선 횡단 순서, 각각의 세부분할 플래그의 계층적 레벨에 따른 문맥 채택 및 보조 정보 비트율을 저장하기 위한 비트스트림 내의 최대 계층적 레벨의 전송, 이러한 모든 관점들은 서로 독립적으로 유리하다. 병합 기법을 고려할 때 이것은 또한 사실이다. 병합은 유리하게 픽쳐가 단순 연결 영역들로 세부분할되는 정확한 방법과는 독립적이며, 유리하게 평면 간 채택/예측 및/또는 계승의 사용 또는 하나 이상의 샘플 배열의 존재로부터 독립적이다. 이는 평면-간 채택/예측 및 승계와 관련된 이점들에 대해 동일하게 적용된다.
따라서, 다음에 설명된 실시예들은 병합에 관한 관점들에 관하여 이미 언급된 실시예들을 일반화한다. 다음의 실시예들은 상술된 실시예들의 일반화들이고, 상술된 많은 자세한 사항들은 다음에 설명된 실시예들과 결합되는 것으로 생각될 수 있다.
도 17은 본 출원의 실시예에 따른 디코더를 나타낸다. 도 17의 디코더는 추출부(600) 및 복원부(602)를 포함한다. 추출부(600)는 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들의 배열이 세부분할된 복수의 단순 연결 영역들의 각 데이터 스트림(604)으로부터 페이로드를 위해 추출된다.
상술된 바와 같이, 정보 샘플들의 배열이 세부분할되는 단순 연결 영역들은 멀티트리-세부분할으로부터 생길 수 있고, 정사각형 또는 직사각형 모양일 수 있다. 또한, 샘플 배열의 세부분할을 위해 상세하게 설명된 실시예는 오직 상세한 실시예들일 수 있고, 다른 세부분할 또한 사용될 수 있다. 몇 가지 가능성들은 도 18a 내지 도 18c에 나타내진다. 예를 들어, 도 18a는 샘플 배열(606)이 멀티트리 구조가 다른 사이즈들의 서브블록들(610)에 따라 세부분할되는 것들 중 몇몇과 함께 서로 인접한 비-오버랩(non-overlapping)핑 트리블록들(608)의 정규의 2차 배열로 세부분할되는 것을 나타낸다. 상술한 바와 같이, 쿼드트리 세부분할이 도 18a에 도시된 바와 같을지라도, 소정 다른 수의 자식 노드들 내의 각각의 부모 노드의 구획 또한 가능하다. 도 18b는 샘플 배열이 전체 픽셀 배열(606)의 위에 직접적인 멀티트리 세부분할 적용에 의해 다른 사이즈들의 서브블록들로 세부분할되는 것에 관한 실시예를 나타낸다. 즉, 전체 픽셀 배열(606)은 트리블록으로 다루어진다. 도 18c는 다른 실시예를 나타낸다. 이 실시예에 따르면, 샘플 배열은 서로 인접한 정사각형 또는 직사각형의 매크로 블록들의 정규 2차 배열로 구조화될 수 있고, 이러한 매크로블록들(612) 각각은 어떤 매크로블록(612)이 구획화되지 않은 상태로 남겨 지는지 또는 구획 정보에 따라 지시된 사이즈의 블록들의 정규 2차 배열로 구획화되는지에 따라 구획 정보와 함께 개별적으로 관련된다. 보이는 바와 같이, 도 18a 내지 도 18c의 모든 세부분할은 비-오버랩핑인 도 13a 내지 도 13c의 실시예에 따라 샘플 배열(606)을 예시적인 단순 연결 영역들로 세부분할화하는 것을 나타내다. 그러나, 몇몇의 대체들은 가능하다. 예를 들어, 블록들은 서로 오버랩될 수 있다. 그러나, 오버랩핑은 각각의 블록이 다른 주변의 블록에 의해 겹치지 않는 부분을 가지는 범위가 제한될 수 있고, 또는 블록들의 각각의 샘플은 미리 결정된 방향을 따른 현재 블록의 병치로 배열된 주변의 블록들 사이의 하나의 블록에 의해 최대로 오버래핑될 수 있다. 후자는 왼쪽 및 오른쪽 이웃 블록들이 완전히 덮은 현재 블록에 관해 현재 블록을 오버랩할 수 있는 것을 의미하지만, 그들은 서로를 오버레이(overlay)하지 않으며, 이는 동일하게 수직 및 대각선 방향에서의 이웃들에 대해 적용될 수 있다.
도 1 내지 도 16과 관련하여 상술한 바와 같이, 정보 샘플들의 배열은 비디오 또는 스틸 픽쳐의 픽쳐를 필수적으로 나타내지는 않는다. 샘플 배열(606)은 몇몇 장면의 깊이 맵 또는 투명도 맵을 또한 나타낼 수 있다.
복수의 단순 연결 영역들 각각과 관련된 페이로드 데이터는 이미 상술된 바와 같이, 공간적인 도메인 내의 잔차 도메인 또는 변환 계수들과 잔차 블록에 상응하는 변환 블록 이내의 중요한 변환 계수들의 위치들을 확인하는 중요 맵과 같은 변환 도메인을 포함한다. 일반적으로 말하면, 데이터 스트림(604)로부터 각 단순 연결 영역을 위해 추출부(600)에 의해 추출된 페이로드 데이터는 공간적 도메인 또는 스펙트랄 도메인에서, 그리고 직접적으로, 또는 예를 들어, 그것의 예측의 몇몇 종류에 잔차로서 그것의 연관된 단순 연결 영역을 공간적으로 설명하는 데이터이다.
복원부(602)는 개별 단순 연결 영역들과 연관된 코딩 파라미터들에 의해 미리 정해진 방식으로 개별 단순 연결 영역들을 위한 페이로드 데이터를, 각 단순 연결 영역을 위해, 처리함으로써 정보 샘플들의 배열의 단순 연결 영역들을 위한 페이로드 데이터로부터 정보 샘플들의 배열을 복원한다. 상술한 논의와 유사하게, 코딩 파라미터들은 예측 파라미터들일 수 있고, 따라서, 18a 및 18b에 나타난 단순 연결 영역들은 상기 언급한 예측 블록들에, 즉, 데이터 스트림(604)이 개별 단순 연결 영역들을 예측하기 위해 예측 상세들을 정의한 단위인 블록들에 상응할 수 있다. 그러나, 코딩 파라미터들은 예측 파라미터들로 제한되지 않는다. 코딩 파라미터들은 페이로드 데이터를 변환하기 위해 사용되는 변환을 나타낼 수 있고 또는 정보 샘플들의 배열을 복원할 때 개별적으로 단순 연결 영역들의 복원에 사용되는 필터로 정의할 수 있다.
추출부(600)는, 미리 결정된 단순 연결 영역을 위해, 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 가진 복수의 단순 연결 영역들 내에서 단순 연결 영역들을 확인한다. 이러한 단계에 대한 상세들은 단계 450에 대해서 상술되었다. 즉, 미리 결정된 상대적인 위치적 관계에 추가하여, 확인은 미리 결정된 단순 연결 영역과 연관된 코딩 파라미터들의 부분집합에 의존할 수 있다. 확인 후에, 추출부(600)는 데이터 스트림(604)로부터 미리 결정된 단순 연결 영역을 위한 병합 지시자를 추출한다. 만약, 미리 결정된 단순 연결 영역에 미리 결정된 상대적인 위치적 관계를 가진 단순 연결 영역들의 개수가 0보다 크다면. 이것은 단계 452 및 454의 상술에 상응한다. 만약 병합 지시자가 미리 결정된 블록의 병합 처리로서 제안된다면, 추출부(600)는 미리 결정된 단순 연결 영역에 미리 결정된 상대적인 위치적 관계를 가진 단순 연결 영역들의 개수가 하나인지 또는, 미리 결정된 단순 연결 영역에 미리 결정된 상대적인 위치적 관계를 가진, 단순 연결 영역들의 개수가 1보다 큰지 체크하는데, 이때 코딩 파라미터들은 서로 동일하다. 만약, 두 개의 대안들 중 하나가 적용되면, 추출부는 미리 결정된 단순 연결 영역의 코딩 파라미터들 또는 단계 458 내지 468에서 상술한 바와 같은 그것의 남은 부분집합의 예측을 위하여 코딩 파라미터들을 채택하거나 사용한다. 도 10에서 상술한 바와 같이, 추가적 지시자는 상기 후자의 체크들이 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 가진 단순 연결 영역들의 개수가 하나보다 큰 것으로 판명되고 서로 다른 코딩 파라미터들을 가질 경우에 데이터 스트림(604)로부터 추출부(600)에 의해 추출된다.
상기 후자의 체크들을 사용함으로써, 후보 단순 연결 영역들의 하나 또는 부분집합을 표시하는 추가적 지시자의 전송이 억제될 수 있고, 그에 따라 보조 정보 오버헤드를 감소시킨다.
도 19는 도 17의 디코더에 의해 디코딩 가능한 데이터 스트림을 생성하기 위한 인코더의 일반적인 구조를 나타낸다. 도 19의 인코더는 데이터 생성부(650) 및 삽입부(652)를 포함한다. 데이터 생성부(650)는 개별 단순 연결 영역을 위한 페이로드 데이터가 어떻게 복원되는지 표시하기 위하여 개별 단순 연결 영역들과 연관된 연관된 코딩 파라미터들에 따라, 정보 샘플들의 배열이 세부분할된 복수의 상호연결 영역(interconnected regions)의 각각을 위한 페이로드 데이터로 정보 샘플들의 배열을 코딩한다. 삽입부(652)는 도 12의 디코더의 추출부(600)로서 상기 확인과 체크를 수행하고, 그러나, 그것의 추출에 대신한 병합 지시자의 삽입을 수행하고, 데이터 스트림으로 코딩 파라미터들의 삽입을 억제하거나, 도 12 및 도 10 각각에 대해 상술한 채택/예측에 대신한 개별 예측 잔차의 삽입에 의해 전부 데이터 스트림으로 코딩 파라미터들의 삽입을 대체한다.
더 나아가, 도 19의 인코더의 구조는 다소 도식적이고, 그리고 사실, 페이로드 데이터의 결정, 코딩 파라미터들 및 병합 지시자는 반복적인 절차일 수 있다. 예를 들어, 이웃하는 단순 연결 영역들의 코딩 파라미터들이 유사하나 서로 동일하지 않다면,
이러한 코딩 파라미터들간의 작은 차이들을 포기함은, 병합 지시자가 단순 연결 영역들의 하나의 코딩 파라미터들을 완전하게 억제하고, 단지 잔차의 제출에 의해 이러한 파라미터들의 제출을 전부 대체 가능토록 함을 고려할 때, 반복적인 절차가 디코더에 이러한 차이를 시그널링하는 것보다 바람직함을 결정할 수 있다.
도 20은 디코더를 위한 다른 실시예를 나타낸다. 도 20의 디코더는 세부 분할부(700), 병합부(702) 및 복원부(704)를 포함한다. 세부 분할부는, 구문 요소들이 데이터 스트림에 포함되는지에 따라, 2차원적 정보 신호의 공간적인 샘플링을 나타내는 샘플들의 배열을 회귀적으로 멀티-구획됨에 의해 다른 사이즈의 복수의 비(non)-오버랩핑 단순 연결 영역들로 세부분할한다. 이리하여, 멀티-구획은 도 1 내지 16 또는 도 18a 각각으로, 또는 도 18b에 대해 상기한 실시예들에 상응할 수 있다. 세부분할을 표시하기 위한 데이터 스트림에 포함된 구문 요소는 도 6a 및 도 6b과 관련하여 앞서 표시된 바와 같이 또는 대체적인 방법으로 정의될 수 있다.
병합부(702)는 제1 부분집합으로부터 분리된, 데이터 스트림 내 구문 요소들의 제2 부분집합에 따라, 정보 샘플들의 배열의, 그 통합은 복수의 단순 연결 영역들인, 단순 연결 영역들의 분리 부분집합들로의 중간 세부분할을 획득하기 위해 복수의 단순 연결 영역들의 공간적으로 이웃하는 단순 연결 영역들을 결합하도록 구성된다. 병합 정보를 나타내는, 방금 언급한 구문 요소들의 제2 부분집합은 도 19 및 도 10, 각각에 대해 앞서 제시된 바와 같은 방법으로, 또는 다른 방법으로 정의될 수 있다. 하지만, 인코더가 병합이 지시된 부분집합으로부터 분리된 부분집합의 이용에 의해 세부분할을 표시하는 능력은, 인코더가 샘플 배열 세부분할을 실제 샘플 배열 내용에 적용하는 자유를 증가시켜 코딩 효율성이 증가될 수 있다. 복원부(704)는 중간 세부분할을 이용해 데이터 스트림으로부터 샘플들의 배열을 복원하도록 구성된다. 앞서 언급된 바와 같이 복원부는 현재 단순 연결 영역에 대한 병합 파트너들의 코딩 파라미터들의 채택/예측에 의한 중간 세부분할을 활용할 수 있다. 따라서, 복원부(704)는 변환 또는 예측 프로세스를 단순 연결 영역들의 병합된 그룹의 결합된 영역에 대해 적용할 수 있다.
도 21은 도 15의 디코더에 의해 디코딩 가능한 데이터 스트림을 생성하는 가능한 인코더를 보여준다. 인코더는 세부분할/병합 스테이지(750) 및 데이터 스트림 생성부(752)를 포함한다. 세부분할/병합 스테이지는 2-차원 정보 신호 및 그 통합은 복수의 단순 연결 영역들인, 단순 연결 영역들의 두 개의 분리 부분집합들의 공간적 샘플링을 표현하는 정보 샘플들의 배열의 중간 세부분할을 결정하도록 구성되는데, 이는 구문 요소들의 제1 부분집합에 따라 정보 샘플들의 배열이 회귀적 멀티-구획에 의해 비-중첩하는 복수의 단순 연결 영역들로 세부분할되는 구문 요소들의 제1 부분집합, 그리고 제1 부분집합으로부터 분리된, 구문 요소들의 제2 부분집합에 따라 중간 세부분할을 획득하기 위해 복수의 단순 연결 영역들의 공간적으로 이웃하는 단순 연결 영역들이 결합되는 구문 요소들의 제2 부분집합을 수단으로 하여 이러한 중간 세부분할을 정의함으로써 이루어진다. 데이터 스트림 생성부(752)는 정보 샘플들의 배열을 데이터 스트림으로 코딩하기 위해 중간 세부분할을 사용한다. 세부분할/병합 스테이지(750)는 제1 및 제2 부분집합을 데이터 스트림으로 또한 삽입한다.
다시, 도 14의 경우에서와 같이, 데이터 스트림 생성부(752)에 의해 생성된 구문 요소들의 제1 및 제2 부분집합들을 정의하는 프로세스는 반복적으로 동작하는 프로세스일 수 있다. 예를 들어, 세부분할/병합 스테이지(750)는 최적의 세부분할을 사전에 결정할 수 있는데 데이터 스트림 생성부(752)가 세부분할/병합 스테이지를 이용해 샘플 세부분할을 사용함으로써 샘플 배열을 코딩하고 병합을 서술하는 구문 요소를 설정하기 위한 구문 요소들의 상응하는 최적의 집합을 결정하여 보조 정보 오버헤드가 감소된다. 하지만, 인코딩의 프로세스는 여기서 멈추지 않을 수 있다. 그보다는 데이터 스트림 생성부(752)와 함께 세부분할/병합 스테이지(750)는 병합의 긍정적 특성들을 활용함으로써 더 나은 율/왜곡 비율이 얻어질 수 있는지에 관해 결정하기 위해, 데이터 스트림 생성부(752)에 의해 사전에 결정된 세부분할 및 구문 요소들의 최적의 설정으로부터 벗어나기 위해 협력한다.
앞서 언급된 바와 같이, 도 17 내지 21과 관련하여 설명된 실시예들의 앞서 도 1 내지 16과 관련하여 서술된 실시예들의 일반화를 나타내며, 따라서, 도 1 내지 16의 요소들을 도 17 내지 21에 도시된 실시예들에 고유하게 연관시키는 것이 가능하다. 예를 들어, 추출부(102)는 세부 분할부(104a) 및 병합부(104b)와 함께 도 17의 추출부(600)에 의해 수행될 태스크들을 위한 책임을 가정한다. 세부 분할부는 개별적인 단순 연결 영역들 간의 이웃 관계들을 세부분할하고 병합하는 것을 책임진다. 또한, 병합부(104b)는 단순 연결 영역들의 그룹으로의 병합을 관리하고 현재 디코딩되는 병합 정보에 의해 표시되는 병합 이벤트의 경우에 현재의 단순 연결 영역들에 대한 예측으로서 사용될 또는 복사될 적합한 코딩 파라미터들을 확정한다. 추출부(102)는 데이터 추출을 위해 엔트로피 디코딩을 사용하는 경우 적절한 문맥을 이용하여 데이터 스트림으로부터 실제 데이터 추출에 대한 책임을 가정한다. 도 2의 남은 요소들은 복원부(602)에 대한 실시예이다. 물론, 복원부(602)는 도 2에 도시된 것과는 다르게 구현될 수 있다. 예를 들어, 복원부(602)는 움직임-보상 예측 및/또는 인트라-예측을 사용하지 않을 수 있다. 그보다는 다른 가능성들을 또한 적용할 수 있다.
또한, 도 17의 설명과 관련하여 언급된 단순 연결 영역들은, 앞서 이미 표시된 바와 같이, 이미 앞서 언급된 예측 블록들 또는, 잔차 세부분할 또는 필터 세부분할과 같이, 앞서 언급된 다른 세부분할들 중 어느 것에 상응한다.
도 19의 인코더를 도 1의 실시예와 비교할 때, 데이터 생성부(650)는 데이터 스트림 삽입부(18)와 더불어 모든 요소들을 아우를 것이고 후자는 도 19의 삽입부(652)에 상응할 것이다. 다시 데이터 생성부(650)는 도 1에 도시된 하이브리드 코딩 접근법과는 다른 코딩 접근법을 이용할 수도 있다.
도 20의 디코더를 도 2의 실시예와 비교할 때, 세부 분할부(104a) 및 병합부(104b)는 도 20의 세부 분할부(100) 및 병합부(102)에 상응할 것이고, 요소들(106 및 114)는 복원부(704)에 상응할 것이다. 추출부(102)는 도 20에 도시된 모든 요소들의 기능들에 공통적으로 관여할 것이다.
도 21의 인코더가 고려되는 한에서는, 세부분할/병합 스테이지(750)가 세부 분할부(104a) 및 병합부(104b)에 상응할 것이고, 데이터 스트림 생성부(752)는 도 10에 도시된 모든 다른 요소들을 아우를 것이다.
비록 어떤 실시예는 장치의 문맥에서 기술되었지만, 이와 같은 측면은 또한 대응하는 방법을 표현함이 명백하며, 이때, 블록이나 장치가 방법의 단계 또는 방법의 단계의 특징에 대응한다. 유사하게, 방법의 단계의 맥락에서 기술된 측면은 대응하는 블록이나 아이템 또는 대응하는 장치의 특징의 기술을 표현한다. 방법의 일부 또는 전체 단계는 하드웨어 장치, 예를 들면, 마이크로프로세서, 프로그램 가능한 컴퓨터, 또는 전자 회로에 의해 (또는 사용하여) 실행될 수 있다. 몇몇 실시예에서, 하나 이상의 가장 중요한 단계가 장치에 의해 실행될 수 있다.
발명의 인코딩된/압축된 신호들은 디지털 저장 매체에 저장되거나 무선 전송 매체나 인터넷 같은 유선 전송 매체와 같은 전송 매체 상에 전송될 수 있다.
특정 구현 요건에 따라, 본 발명의 실시예는 하드웨어 또는 소프트웨어로 구현될 수 있다. 구현은 디지털 저장 매체, 예를 들면 플로피 디스크, DVD, 블루-레이, CD, ROM, PROM, EPROM, EEPROM, 또는 플레시 메모리와 같이, 내부에 전자적으로 판독 가능한 제어 신호를 갖고, 각 방법이 수행되는 프로그래머블 컴퓨터 시스템과 같이 협업하는(또는 협업할 수 있는), 저장매체를 사용하여 수행될 수 있다. 따라서, 디지털 저장매체는 컴퓨터에서 판독 가능할 수 있다.
본 발명에 따른 몇몇 실시예는 전자적으로 판독 가능한 제어 신호를 갖는 데테 캐리어를 포함하며, 이는 프로그래머블 컴퓨터 시스템과 협업하여, 여기 기술된 방법이 수행되도록 할 수 있다.
일반적으로, 본 발명의 실시예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로 구현될 수 있고, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터에서 수행될 때 상기 방법들 중의 하나를 수행하도록 동작할 수 있다. 프로그램 코드는 예를 들면, 기계 판독가능한 캐리어 상에 저장된다.
다른 실시예들은 여기 기술된 방법들 중의 하나를 수행하는 컴퓨터 프로그램을 포함하며, 이는 기계 판독 가능한 캐리어 상에 저장된다.
즉, 본 발명의 방법의 실시예는, 따라서, 컴퓨터 프로그램이 컴퓨터 상에서 수행될 때, 여기 기술된 방법들 중의 하나를 수행하는 프로그램 코드를 갖는 컴퓨터 프로그램이다.
본 발명의 방법의 다른 실시예들은, 따라서, 데이터 캐리어(또는 디지털 저장 매체, 도는 컴퓨터-판독가능한 매체)이며, 이는 여기 기술된 방법들 중의 하나를 수행하는 컴퓨터 프로그램을 기록하여 포함한다.
본 발명의 또 다른 실시예들은, 따라서, 데이터 스트림 또는 여기 기술된 방법들 중의 하나를 수행하는 컴퓨터 프로그램을 표현하는 일련의 신호이다. 데이터 스트림과 일련의 신호는 예를 들면 데이터 통신 연결, 예를 들면 인터넷, 을 통해 수송되도록 구성될 수 있다.
또 다른 실시예는 처리 수단, 예를 들면 컴퓨터, 또는 여기 기술된 방법들 중의 하나를 수행하도록 적용된, 프로그래머블 논리 장치를 포함한다.
또 다른 실시예는 여기 기술된 방법들 중의 하나를 수행하는 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명의 또 다른 실시예에 따른 디코더는 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들의 배열이 세부분할된 복수의 단순 연결 영역들 각각에 대해, 데이터 스트림으로부터 페이로드 데이터를 추출하도록 구성된 추출부 및 각 단순 연결 영역에 대해, 상기 개별 단순 연결 영역과 연관된 코딩 파라미터들에 의해 규정되는 방식으로 개별 단순 연결 영역들에 대한 페이로드 데이터를 프로세싱함으로써, 정보 샘플들의 배열의 단순 연결 영역들에 대한 페이로드 데이터로부터 정보 샘플들의 배열을 복원하도록 구성된, 복원부를 포함할 수 있고, 상기 추출부는 또한, 미리 결정된 단순 연결 영역에 대해, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 복수의 단순 연결 영역들 내의 단순 연결 영역들을 확인할 수 있고, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 0보다 크면, 상기 데이터 스트림으로부터 미리 결정된 단순 연결 영역에 대한 병합 지시자를 추출할 수 있고, 상기 병합 지시자가 미리 결정된 블록의 병합된 프로세싱을 제시하는 경우, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 1이라면, 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들로서 단순 연결 영역의 코딩 파라미터들을 채택하거나, 또는 상기 데이터 스트림으로부터 미리 결정된 단순 연결 영역에 대한 예측 잔차를 추출하여 상기 미리 결정된 단순 연결 영역에 대해 상기 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 코딩 파라미터들로부터 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들을 예측하도록 구성될 수 있다.
여기서, 상기 추출부는 또한, 만일 미리 결정된 단순 연결 영역에 대해 상기 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 1보다 크다면, 상기 단순 연결 영역들과 연관된 코딩 파라미터들이 서로 일치하는지 체크하고, 만일 그렇다면, 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들로서 상기 단순 연결 영역의 코딩 파라미터들을 채택하거나, 또는 상기 데이터 스트림으로부터 예측 잔차를 추출하여 상기 미리 결정된 단순 연결 영역에 대한 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수의 코딩 파라미터들로부터 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들을 예측하도록 구성될 수 있다.
여기서, 상기 디코더는, 멀티-트리 세부분할을 이용해, 상기 단순 연결 영역들이 다른 사이즈들을 갖도록 회귀적으로(recursively) 멀티-구획함(partitioning)으로써 상기 정보 샘플들의 배열을 상기 단순 연결 영역들로 공간적으로 세부분할하도록 구성된 세부-분할부를 더 포함할 수 있고, 상기 추출부는 상기 단순 연결 영역들을 깊이-우선 횡단 순서(traversal order)로 처리하도록 구성될 수 있다.
여기서, 상기 세부-분할부는, 정보 샘플들의 배열을 최대 영역 사이즈의 트리 루트 영역들로 공간적으로 분할하고, 트리 루트 영역들의 부분집합을 회귀적으로 멀티-구획함으로써 상기 트리 루트 영역들의 적어도 부분집합을, 멀티-트리 세부분할 정보에 따라, 다른 사이즈들의 더 작은 단순 연결 영역들로 세부분할하며, 상기 트리 루트 영역들은 상기 멀티-트리 세부분할 정보에 따라 구획되지 않으며 상기 더 작은 단순 연결 영역들은 복수의 단순 연결 영역들을 형성할 수 있다.
여기서, 상기 추출부는, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들을 확인함에 있어, 상기 미리 결정된 단순 연결 영역의 경계에서의 정보 샘플에 인접한 정보 샘플들이, 만약 있다면, 그 내에 있는 그런 단순 연결 영역들을 확인하도록 구성될 수 있다.
여기서, 상기 추출부는, 상기 확인 전에, 상기 데이터 스트림으로부터 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 제1 부분집합을 추출할 수 있고, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들을 확인함에 있어, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 가지면서, 동시에 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 제1 부분집합에 대해 미리 결정된 관계를 충족하는 연관된 코딩 파라미터들을 갖는 그러한 단순 연결 영역들을 확인할 수 있고, 그리고, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 가지면서, 동시에 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 제1 부분집합에 대해 미리 결정된 관계를 충족하는 연관된 코딩 파라미터들을 갖는 단순 연결 영역들의 개수에 조건부로 의존하여, 상기 코딩 파라미터들의 제1 부분집합으로부터 분리된, 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 제2 부분집합에 대해, 예측 잔차를 추출함으로써 상기 채택 또는 예측을 실행하도록 구성될 수 있다.
여기서, 상기 추출부는, 만약 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수와 연관된 코딩 파라미터들이 서로 다르다면, 상기 데이터 스트림으로부터, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수의 진부분집합(proper subset)을 확인하고, 상기 미리 결정된 단순 연결 영역을 위한 코딩 파라미터들로서 이 적절한 부분집합의 코딩 파라미터들을 채택하거나, 또는 상기 데이터 스트림으로부터 예측 잔차를 추출함으로써, 상기 적절한 부분집합으로부터 상기 미리 결정된 단순 연결 영역의 코딩 파라미터들을 예측하는, 참조 이웃 확인자를 추출하도록 구성될 수 있다.
본 발명의 또 다른 실시예에 따른 디코더는 공간적으로 샘플링된 정보 신호를 표현하는 정보 샘플들의 배열이 세부-분할되는 복수의 단순 연결 영역들 각각에 대해 상기 데이터 스트림으로부터 페이로드 데이터를 추출하도록 구성된 추출부 각 단순 연결 영역에 대해, 상기 개별 단순 연결 영역과 연관된 코딩 파라미터들에 의해 규정되는 방식으로 개별 단순 연결 영역들에 대한 페이로드 데이터를 프로세싱함으로써, 정보 샘플들의 배열의 단순 연결 영역들에 대한 페이로드 데이터로부터 정보 샘플들의 배열을 복원하도록 구성된, 복원부를 포함할 수 있고, 상기 추출부는 또한, 상기 데이터 스트림으로부터 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 제1 부분집합을 추출할 수 있고, 상기 미리 결정된 단순 연결 영역에 대해, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 복수의 단순 연결 영역들 내의 단순 연결 영역들을 확인할 수 있고, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 0보다 크면, 상기 데이터 스트림으로부터 미리 결정된 단순 연결 영역에 대한 병합 지시자를 추출할 수 있고, 상기 병합 지시자가 미리 결정된 블록의 병합된 프로세싱을 제시하는 경우, 미리 결정된 거리 척도(measure)에 따라, 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 복수의 단순 연결 영역들 각각에 대해, 상기 미리 결정된 단순 연결 영역의 코딩 파라미터들의 제1 부분집합 및 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 개별 단순 연결 영역의 코딩 파라미터들의 상응하는 부분집합 간의 거리를 계산하고, 최소 거리를 갖는 단순 연결 영역의 코딩 파라미터들의 상응하는 부분집합을, 상기 제1 부분집합으로부터 분리된, 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 제2 부분집합으로서 채택하거나, 또는 상기 데이터 스트림으로부터 상기 미리 결정된 단순 연결 영역에 대한 예측 잔차를 추출함으로써 최소 거리를 갖는 단순 연결 영역의 코딩 파라미터들의 상응하는 부분집합으로부터 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 제2 부분집합을 예측하도록 구성될 수 있다.
본 발명의 또 다른 실시예에 따른 2-차원(two-dimensional) 정보 신호가 코딩되어진 데이터 스트림을 디코딩하는 디코더는, 상기 데이터 스트림 내에 포함된 구문 요소들의 제1 부분집합에 따라, 회귀적 멀티-구획에 의해 2-차원 정보 신호의 공간적 샘플링을 표현하는 정보 샘플들의 배열을 다른 사이즈들의 복수의 단순 연결 영역들로 공간적으로 세부분할하도록 구성된 세부-분할부, 상기 제1 부분집합으로부터 분리된, 상기 데이터 스트림 내 구문 요소들의 제2 부분집합에 따라, 상기 정보 샘플들의 배열의, 그 통합은 복수의 단순 연결 영역들인, 단순 연결 영역들의 분리 부분집합들로의 중간 세부분할을 획득하기 위해 복수의 단순 연결 영역들의 공간적으로 이웃하는 단순 연결 영역들을 결합하도록 구성된 병합부 및 중간 세부분할을 이용해 상기 데이터 스트림으로부터 상기 정보 샘플들의 배열을 복원하도록 구성된 복원부를 포함할 수 있다.
여기서, 상기 세부-분할부는 정보 샘플들의 배열을 최대 영역 사이즈의 트리 루트 영역들로 공간적으로 분할하고, 트리 루트 영역들의 부분집합을 회귀적으로 멀티-구획함으로써 구문 요소들의 제1 부분집합에 따라, 상기 트리 루트 영역들의 적어도 부분집합을 다른 사이즈들의 더 작은 단순 연결 영역들로 세부분할하며, 상기 트리 루트 영역들은 상기 멀티-트리 세부분할 정보에 따라 구획되지 않으며 상기 더 작은 단순 연결 영역들은 복수의 단순 연결 영역들을 형성할 수 있다.
여기서, 상기 세부-분할부는, 상기 트리 루트 영역들이 최대 영역 사이즈에 의해 결정되는 사이즈의, 상기 정보 샘플들의 배열을 간극없이 커버하기 위해 규칙적으로 배열된, 직사각 블록들이 되도록 상기 정보 샘플들의 배열의 트리 루트 영역들로의 분할을 수행하도록 구성될 수 있다.
여기서, 상기 세부-분할부는, 트리 루트 영역들의 부분집합을 세부분할함에 있어, 각 트리 루트 영역에 대해, 상기 개별 트리 루트 영역이 구획될 것인지에 관해 상기 구문 요소들의 제1 부분집합을 체크할 수 있고, 만약 개별 트리 루트 영역이 구획될 것이라면, 상기 개별 트리 루트 영역을 제1 계층적 레벨과 연관된 구획 규칙에 따라 제1 계층적 레벨의 영역들로 구획할 수 있고, 연관된 구획 규칙을 이용해 더 높은-차수의 계층적 레벨들의 영역들을 획득하기 위해 제1 계층적 레벨의 영역들에 대해 체크 및 구획을 회귀적으로 반복하며, 상기 구문 요소들의 제1 부분집합에 따라 수행될 추가적 구획이 없거나, 또는 최대 계층적 레벨에 도달한 경우 상기 회귀적 반복을 중지하며, 상기 구문 요소들의 제1 부분집합에 따라 추가적으로 구획되지 않은 트리 루트 영역들의 부분집합의 영역들은, 멀티-트리 세부분할의 리프 영역들 및 더 작은 단순 연결 영역들을 각각 나타낼 수 있다.
여기서, 상기 최대 계층적 레벨은 상기 구문 요소들의 제1 부분집합에 의해 표시될 수 있다.
여기서, 상기 세부-분할부는, 상기 제1 및 더 높은-차수의 계층적 레벨들과 연관된 구획 규칙에 따라, 동일한 사이즈의 서브-영역들로의 구획을 수행하고, 따라서 서브-영역들의 개수는 모든 계층적 레벨들에 대해 공통적이 되도록 획득될 수 있다.
여기서, 상기 복원부는 상기 데이터 스트림으로부터 깊이-우선 횡단 순서로 트리 루트 영역들의 부분집합의 리프 영역들과 연관된 제1 구문 요소들을 추출하도록 구성될 수 있다.
여기서, 상기 구문 요소들의 제1 부분집합은 각 트리 루트 영역과 연관된 구획 지시 플래그를 갖고 상기 제1 및 더 높은-차수의 계층적 레벨들의 영역은 각각 최대 계층적 레벨의 영역들에 속하지 않으며, 상기 구획 지시 플래그들은, 상기 관련 트리 루트 영역 및 상기 제1 및 더 높은-차수의 계층적 레벨의 영역이 각각 구획되는지에 대해 표시할 수 있다.
여기서, 상기 복원부는 상기 중간 세부분할에 상응하는 입상도(granularity)로 아래의 조치(measure)들, 적어도 인트라 및 인터 예측 모드 중 어떤 예측 모드를 사용할지를 결정, 스펙트럴로부터 공간적 도메인으로의 변환, 인터-예측에 대한 파라미터들을 설정 및/또는 수행, 인트라 예측에 대한 파라미터들을 설정 및/또는 수행 중 하나 이상을 수행하도록 구성될 수 있다.
여기서, 상기 복원부는 상기 중간 세부분할에 의존하는 입상도로 아래의 조치들, 적어도 인트라 및 인터 예측 모드 중 어떤 예측 모드를 사용할지를 결정, 스펙트랄 도메인으로부터 공간적 도메인으로의 변환, 인터-예측에 대한 파라미터들을 설정 및/또는 수행, 인트라 예측에 대한 파라미터들을 설정 및/또는 수행, 코딩 파라미터들의 추출 및 설정, 코딩 파라미터 잔차들을 추출하여 코딩 파라미터 예측들을 추출하고, 상기 코딩 파라미터 예측 및 작은 단순 연결 영역들의 세부분할에 의해 결정되는 더 조밀한 입상도로 상기 코딩 파라미터 예측들 및 코딩 파라미터 잔차들을 결합함으로써 코딩 파라미터들을 설정하는 것 중 하나 이상을 수행하도록 구성될 수 있다.
본 발명의 또 다른 실시예에 따른 디코딩 방법은 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들의 배열이 세부분할된 복수의 단순 연결 영역들 각각에 대해, 데이터 스트림으로부터 페이로드 데이터를 추출하는 단계 및 각 단순 연결 영역에 대해, 상기 개별 단순 연결 영역과 연관된 코딩 파라미터들에 의해 규정되는 방식으로 개별 단순 연결 영역들에 대한 페이로드 데이터를 프로세싱함으로써, 정보 샘플들의 배열의 단순 연결 영역들에 대한 페이로드 데이터로부터 정보 샘플들의 배열을 복원하는 단계를 포함할 수 있고, 상기 추출하는 단계는, 미리 결정된 단순 연결 영역에 대해, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 복수의 단순 연결 영역들 내의 단순 연결 영역들을 확인하는 단계, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 0보다 크면, 상기 데이터 스트림으로부터 미리 결정된 단순 연결 영역에 대한 병합 지시자를 추출하는 단계, 상기 병합 지시자가 미리 결정된 블록의 병합된 프로세싱을 제시하는 경우, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 1이라면, 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들로서 단순 연결 영역의 코딩 파라미터들을 채택하거나, 또는 상기 데이터 스트림으로부터 미리 결정된 단순 연결 영역에 대한 예측 잔차를 추출하여 상기 미리 결정된 단순 연결 영역에 대한 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 코딩 파라미터들로부터 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들을 예측하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 2-차원(two-dimensional) 정보 신호가 코딩되어진 데이터 스트림을 디코딩하는 방법은, 상기 데이터 스트림 내에 포함된 구문 요소들의 제1 부분집합에 따라, 회귀적 멀티-구획에 의해 2-차원 정보 신호의 공간적 샘플링을 표현하는 정보 샘플들의 배열을 다른 사이즈들의 복수의 단순 연결 영역들로 공간적으로 세부분할하는 단계, 상기 제1 부분집합으로부터 분리된, 상기 데이터 스트림 내 구문 요소들의 제2 부분집합에 따라, 상기 정보 샘플들의 배열의, 그 통합은 복수의 단순 연결 영역들인, 단순 연결 영역들의 분리 부분집합들로의 중간 세부분할을 획득하기 위해 복수의 단순 연결 영역들의 공간적으로 이웃하는 단순 연결 영역들을 결합하는 단계 및 중간 세부분할을 이용해 상기 데이터 스트림으로부터 상기 정보 샘플들의 배열을 복원하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들의 배열을, 정보 샘플들의 배열이 세부분할된 복수의 단순 연결 영역들 각각에 대해 페이로드 데이터, 및 개별 단순 연결 영역에 연관된 코딩 파라미터들로 인코딩하여, 개별 단순 연결 영역에 대한 페이로드 데이터가 개별 단순 연결 영역에 대한 페이로드 데이터로부터 복원되는 방식을 규정하도록 구성된 인코더는 미리 결정된 단순 연결 영역에 대해, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 복수의 단순 연결 영역들 내의 단순 연결 영역들을 확인할 수 있고, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 0보다 크면, 상기 미리 결정된 단순 연결 영역에 대한 병합 지시자를 상기 데이터 스트림 내로 삽입할 수 있고, 상기 병합 지시자가 미리 결정된 블록의 병합된 프로세싱을 제시하는 경우, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 1이라면, 상기 미리 결정된 단순 연결 영역의 코딩 파라미터들을 상기 데이터 스트림 내로 삽입하지 않거나, 또는 상기 데이터 스트림 내로 미리 결정된 단순 연결 영역에 대한 예측 잔차를 삽입하여 상기 미리 결정된 단순 연결 영역에 대한 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 코딩 파라미터들로부터 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들을 예측하도록 구성될 수 있다.
여기서, 상기 인코더는 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 1보다 크다면, 상기 단순 연결 영역들과 연관된 코딩 파라미터들이 서로 일치하는지 체크하고, 만일 그렇다면, 상기 미리 결정된 단순 연결 영역의 코딩 파라미터들을 상기 데이터 스트림 내로 삽입하지 않거나, 또는 상기 데이터 스트림 내로 예측 잔차를 삽입함으로써, 상기 미리 결정된 단순 연결 영역에 대한 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수의 코딩 파라미터들로부터 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들을 예측하도록 구성될 수 있다.
본 발명의 또 다른 실시예에 따른 2-차원(two-dimensional) 정보 신호가 코딩되어진 데이터 스트림을 생성하는 인코더는, 회귀적 멀티-구획에 의해 2-차원 정보 신호의 공간적 샘플링을 표현하는 정보 샘플들의 배열을 다른 사이즈들의 복수의 단순 연결 영역들로 공간적으로 세부분할함을 정의하는 구문 요소들의 제1 부분집합 및 상기 정보 샘플들의 배열의, 그 통합은 복수의 단순 연결 영역들인, 단순 연결 영역들의 분리 부분집합들로의 중간 의 세부분할을 획득하기 위해 복수의 단순 연결 영역들의 공간적으로 이웃하는 단순 연결 영역들의 결합을 정의하는, 상기 제1 부분집합으로부터 분리된 구문 요소들의 제2 부분집합을 결정하도록 구성된 세부분할/병합 스테이지 및 상기 구문 요소들의 제1 및 제2 부분집합을 상기 데이터 스트림 내로 삽입함으로써 상기 중간 세부분할을 이용해 상기 정보 샘플들의 배열을 데이터 스트림으로 코딩하도록 구성된 데이터 스트림 생성부를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들의 배열을, 정보 샘플들의 배열이 세부분할된 복수의 단순 연결 영역들 각각에 대해 페이로드 데이터, 및 개별 단순 연결 영역에 연관된 코딩 파라미터들로 인코딩하여, 개별 단순 연결 영역에 대한 페이로드 데이터가 개별 단순 연결 영역에 대한 페이로드 데이터로부터 복원되는 방식을 규정하도록 구성된 인코더는, 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 제1 부분집합을 상기 데이터 스트림 내로 삽입할 수 있고, 미리 결정된 단순 연결 영역에 대해, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 복수의 단순 연결 영역들 내의 단순 연결 영역들을 확인할 수 있고, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 0보다 크면, 상기 미리 결정된 단순 연결 영역에 대한 병합 지시자를 상기 데이터 스트림 내로 삽입할 수 있고, 상기 병합 지시자가 미리 결정된 블록의 병합된 프로세싱을 제시하는 경우, 미리 결정된 거리 척도(measure)에 따라, 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들 각각에 대해, 상기 미리 결정된 단순 연결 영역의 코딩 파라미터들의 제1 부분집합 및 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 개별 단순 연결 영역의 코딩 파라미터들의 상응하는 부분집합 간의 거리를 계산하고, 상기 제1 부분집합으로부터 분리된, 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 제2 부분집합을 상기 데이터 스트림 내로 삽입하지 않거나, 또는 상기 미리 결정된 단순 연결 영역에 대한 예측 잔차를 데이터 스트림 내로 삽입하여 최소 거리를 갖는 단순 연결 영역의 코딩 파라미터들의 상응하는 부분집합으로부터 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 제2 부분집합을 예측하도록 구성될 수 있다.
본 발명의 또 다른 실시예에 따른 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들의 배열을, 정보 샘플들의 배열이 세부분할된 복수의 단순 연결 영역들 각각에 대해 페이로드 데이터, 및 개별 단순 연결 영역에 연관된 코딩 파라미터들로 인코딩하여, 개별 단순 연결 영역에 대한 페이로드 데이터가 개별 단순 연결 영역에 대한 페이로드 데이터로부터 복원되는 방식을 규정하도록 구성된 인코딩 방법은, 미리 결정된 단순 연결 영역에 대해, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 복수의 단순 연결 영역들 내의 단순 연결 영역들을 확인하는 단계, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 0보다 크면, 상기 미리 결정된 단순 연결 영역에 대한 병합 지시자를 상기 데이터 스트림 내로 삽입하는 단계, 상기 병합 지시자가 미리 결정된 블록의 병합된 프로세싱을 제시하는 경우, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 1이라면, 상기 미리 결정된 단순 연결 영역의 코딩 파라미터들을 상기 데이터 스트림 내로 삽입하지 않거나, 또는 상기 데이터 스트림 내로 미리 결정된 단순 연결 영역에 대한 예측 잔차를 삽입하여 상기 미리 결정된 단순 연결 영역에 대한 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 코딩 파라미터들로부터 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들을 예측하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 2-차원(two-dimensional) 정보 신호가 코딩되어진 데이터 스트림을 생성하는 방법은, 회귀적 멀티-구획에 의해 2-차원 정보 신호의 공간적 샘플링을 표현하는 정보 샘플들의 배열을 다른 사이즈들의 복수의 단순 연결 영역들로 공간적으로 세부분할함을 정의하는 구문 요소들의 제1 부분집합 및 상기 정보 샘플들의 배열의, 그 통합은 복수의 단순 연결 영역들인, 단순 연결 영역들의 분리 부분집합들로의 중간 세부분할을 획득하기 위해 복수의 단순 연결 영역들의 공간적으로 이웃하는 단순 연결 영역들의 결합을 정의하는, 상기 제1 부분집합으로부터 분리된 구문 요소들의 제2 부분집합을 결정하는 단계 및 상기 구문 요소들의 제1 및 제2 부분집합을 데이터 스트림 내로 삽입함으로써 상기 중간 세부분할을 이용해 상기 정보 샘플들의 배열을 상기 데이터 스트림으로 코딩하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 컴퓨터로 판독 가능한 디지털 저장 매체는, 컴퓨터에서 동작할 때, 상술한 디코딩 방법, 인코딩 방법 및 데이터 스트림 생성 방법 중 어느 하나의 방법을 수행하는 프로그램 코드를 갖는 컴퓨터 프로그램을 저장할 수 있다.
본 발명의 또 다른 실시예에 따른 공간적으로 샘플링된 정보 신호를 나타내는 인코딩된 정보 샘플들의 배열을 갖는 데이터 스트림은, 상기 데이터 스트림은 정보 샘플들의 배열이 세부-분할되는 복수의 단순 연결 영역들 각각에 대한 페이로드 데이터, 및 상기 개별 단순 연결 영역과 연관된 코딩 파라미터를 포함하여, 개별 단순 연결 영역에 대한 페이로드 데이터가 개별 단순 연결 영역에 대한 페이로드 데이터로부터 복원되는 방식을 규정할 수 있고, 상기 데이터 스트림은 또한, 미리 결정된 단순 연결 영역들에 대해 미리 결정된 상대적인 위치적 관계를 갖는 복수의 단순 연결 영역들 내의 단순 연결 영역들의 개수가 0보다 큰, 미리 결정된 단순 연결 영역에 대한 병합 지시자, 만약 상기 미리 결정된 단순 연결 영역에 대한 병합 지시자가 병합된 프로세싱을 제시하고, 만약 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 1인 경우, 상기 데이터 스트림 내에서의 개별적 미리 결정된 단순 연결 영역의 코딩 파라미터들의 부재, 또는 상기 미리 결정된 단순 연결 영역에 대한 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 코딩 파라미터들로부터 개별적 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 예측함에 의한 복원을 위한 개별적 미리 결정된 단순 연결 영역에 대한 예측 잔차를 더 포함할 수 있다.
여기서, 상기 데이터 스트림은, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 1보다 크고, 만약 상기 단순 연결 영역들과 연관된 코딩 파라미터들이 서로 일치한다면, 개별적 미리 결정된 단순 연결 영역을 위한 코딩 파라미터들의 부재, 또는 상기 미리 결정된 단순 연결 영역에 대한 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수의 코딩 파라미터들로부터 개별적 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 예측함에 의한 복원을 위한 개별적 미리 결정된 단순 연결 영역에 대한 예측 잔차를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 2-차원(two-dimensional) 정보 신호가 코딩되어진 데이터 스트림은, 회귀적 멀티-구획에 의해 2-차원 정보 신호의 공간적 샘플링을 표현하는 정보 샘플들의 배열을 다른 사이즈들의 복수의 단순 연결 영역들로 공간적으로 세부분할함을 규정하는 구문 요소들의 제1 부분집합 및 상기 제1 부분집합으로부터 분리된, 상기 정보 샘플들의 배열의 단순 연결 영역들의, 그 통합은 복수의 단순 연결 영역들인 분리 부분집합으로의 중간 세부분할을 획득하기 위한 복수의 단순 연결 영역들의 공간적으로 이웃하는 단순 연결 영역들의 결합을 규정하는, 구문 요소들의 제2 부분집합을 포함할 수 있고, 상기 정보 샘플들의 배열은 상기 중간 세부분할에 따라 상기 데이터 스트림으로 코딩될 수 있다.
어떤 실시예에서, 프로그래머블 논리 장치(예를 들면 필드 프로그래머블 게이트 배열)는 여기 기술된 방법의 기능성 일부 또는 전부를 수행하도록 사용될 수 있다. 어떤 실시예에서, 필드 프로그래머블 게이트 배열은 마이크로프로세서와 협업하여 여기 기술된 방법들 중의 하나를 수행할 수 있다. 일반적으로, 상기 방법은 어느 하드웨어 장치에 의해서도 바람직하게 수행될 수 있다.
상술한 실시예들은 단지 본 발명의 사상을 보여줄 뿐이다. 여기 기술된 배열과 세부사항에 대한 수정 및 변경들이 당업자들에게 명백함이 이해되어야 한다. 하기의 특허 청구범위의 영역에 의해서만 제한되며 상술된 실시예의 기술이나 설명의 방법에 의해서 표현되는 특정 사항에 의하여 제한되지 않음이 의도된다.

Claims (30)

  1. 정보 샘플들의 배열(array)을 포함하는 데이터 스트림을 디코딩하는 디코더로서,
    상기 데이터 스트림으로부터, 디코딩되고 있는 현재 영역이 명시된 영역과 병합되어 있는지를 명시하는 제1 구문 요소와, 상기 정보 샘플들의 배열을 분할함으로써 획득되는 후보 영역들 집합 중 어느 것이 병합에 사용되는 상기 명시된 영역인지를 명시하는 제2 구문 요소를 추출하는 추출부; 및
    상기 현재 영역이 상기 명시된 영역과 병합되어 있는 경우, 상기 명시된 영역의 코딩 파라미터를 상기 현재 영역의 코딩 파라미터로서 적용하거나, 상기 명시된 영역의 코딩 파라미터를 사용해서 상기 현재 영역의 코딩 파라미터를 예측하여 상기 현재 영역의 코딩 파라미터에 대한 예측을 획득하고 상기 현재 영역의 코딩 파라미터에 대한 예측을 상기 데이터 스트림으로부터 추출된 예측 잔차와 결합하여 상기 현재 영역의 코딩 파라미터를 획득하며, 상기 현재 영역의 코딩 파라미터에 기초해 상기 현재 영역을 복원하는 복원부를 포함하는, 디코더.
  2. 청구항 1에 있어서,
    단일 확률 모델에 기초한 컨텍스트 모델링을 이용해 상기 제2 구문 요소를 엔트로피 디코딩하는 엔트로피 디코더를 더 포함하는, 디코더.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 청구항 1에 있어서,
    상기 데이터 스트림으로부터 추출된 최대 영역 크기에 따라 상기 정보 샘플들의 배열을 제1 영역들의 집합으로 파티셔닝(partitioning)하고, 연관된 멀티-트리 세부분할 정보를 기초로 상기 제1 영역들의 집합의 적어도 하나의 부분집합(subset)을 부분-영역들의 집합으로 서브-파티셔닝(sub-partitioning)함으로써,
    상기 정보 샘플들의 배열을 분할하도록 구성된 세부-분할부를 더 포함하는, 디코더.
  7. 청구항 1에 있어서,
    상기 정보 샘플들의 배열은 깊이 정보를 포함하는, 디코더.
  8. 청구항 1에 있어서,
    상기 정보 샘플들의 배열은 픽쳐의 컬러 평면들을 형성하는 여러 컬러 성분들과 관련된 샘플 배열들 중 하나이고, 상기 디코더는 상기 픽쳐의 여러 컬러 평면들을 독립적으로 디코드하도록 구성된, 디코더.
  9. 정보 샘플들의 배열(array)을 포함하는 데이터 스트림을 디코드하는 방법으로서,
    상기 데이터 스트림으로부터, 디코딩되고 있는 현재 영역이 명시된 영역과 병합되어 있는지를 명시하는 제1 구문 요소와, 상기 정보 샘플들의 배열을 분할함으로써 획득되는 후보 영역들 집합 중 어느 것이 병합에 사용되는 상기 명시된 영역인지를 명시하는 제2 구문 요소를 추출하는 단계; 및
    상기 현재 영역이 상기 명시된 영역과 병합되어 있는 경우, 상기 명시된 영역의 코딩 파라미터를 상기 현재 영역의 코딩 파라미터로서 적용하거나, 상기 명시된 영역의 코딩 파라미터를 사용해서 상기 현재 영역의 코딩 파라미터를 예측하여 상기 현재 영역의 코딩 파라미터에 대한 예측을 획득하고 상기 현재 영역의 코딩 파라미터에 대한 예측을 상기 데이터 스트림으로부터 추출된 예측 잔차와 결합하여 상기 현재 영역의 코딩 파라미터를 획득하며, 상기 현재 영역의 코딩 파라미터에 기초해 상기 현재 영역을 복원하는 단계를 포함하는, 디코딩 방법.
  10. 청구항 9에 있어서,
    단일 확률 모델에 기초한 컨텍스트 모델링을 이용해 상기 제2 구문 요소를 엔트로피 디코딩하는 단계를 더 포함하는, 디코딩 방법.
  11. 삭제
  12. 삭제
  13. 청구항 9에 있어서,
    상기 데이터 스트림으로부터 추출된 최대 영역 크기에 따라 상기 정보 샘플들의 배열을 제1 영역들의 집합으로 파티셔닝(partitioning)하고, 연관된 멀티-트리 세부분할 정보를 기초로 상기 제1 영역들의 집합의 적어도 하나의 부분집합(subset)을 부분-영역들의 집합으로 서브-파티셔닝(sub-partitioning)함으로써,
    상기 정보 샘플들의 배열을 분할하는 단계를 더 포함하는, 디코딩 방법.
  14. 청구항 9에 있어서,
    상기 정보 샘플들의 배열은 깊이 정보를 포함하는, 디코딩 방법.
  15. 청구항 9에 있어서,
    상기 정보 샘플들의 배열은 픽쳐의 컬러 평면들을 형성하는 여러 컬러 성분들과 관련된 샘플 배열들 중 하나이고, 상기 픽쳐의 여러 컬러 평면들은 독립적으로 디코드되는, 디코딩 방법.
  16. 데이터 스트림을 저장하는 비-일시적이고 컴퓨터로 판독 가능한 매체로서, 상기 데이터 스트림은 복수의 영역들로 분할된 정보 샘플들의 배열을 포함하는 인코딩된 정보를 포함하고,
    상기 데이터 스트림은,
    디코딩되고 있는 현재 영역이 명시된 영역과 병합되어 있는지를 명시하는 제1 구문 요소;
    상기 정보 샘플들의 배열을 분할함으로써 획득되는 후보 영역들 집합 중 어느 것이 병합에 사용되는 상기 명시된 영역인지를 명시하는 제2 구문 요소; 및
    상기 명시된 영역의 코딩 파라미터;를 포함하고,
    상기 현재 영역이 상기 명시된 영역과 병합되어 있는 경우, 상기 명시된 영역의 코딩 파라미터가 상기 현재 영역의 코딩 파라미터로서 적용될 수 있거나, 상기 명시된 영역의 코딩 파라미터를 사용해서 상기 현재 영역의 코딩 파라미터가 예측되어 상기 현재 영역의 코딩 파라미터에 대한 예측이 획득되고 상기 현재 영역의 코딩 파라미터에 대한 예측이 상기 데이터 스트림으로부터 추출되는 예측 잔차와 결합하여 상기 현재 영역의 코딩 파라미터가 획득될 수 있으며,
    상기 현재 영역의 코딩 파라미터에 기초하여 상기 현재 영역이 복원될 수 있는, 비-일시적이고 컴퓨터로 판독 가능한 매체.
  17. 청구항 16에 있어서,
    상기 제2 구문 요소는 단일 확률 모델에 기초한 컨텍스트 모델링을 이용해 엔트로피 디코딩되는, 비-일시적이고 컴퓨터로 판독 가능한 매체.
  18. 삭제
  19. 삭제
  20. 청구항 16에 있어서,
    상기 데이터 스트림은 상기 정보 샘플들의 배열과 연관된 멀티-트리 세부분할 정보 및 최대 영역 크기를 더 포함하고,
    상기 정보 샘플들의 배열은,
    상기 정보 샘플들의 배열을 상기 최대 영역 크기에 따라 제1 영역들의 집합으로 파티셔닝(partitioning)하고, 상기 멀티-트리 세부분할 정보를 기초로 상기 제1 영역들의 집합의 적어도 하나의 부분집합(subset)을 부분-영역들의 집합으로 서브-파티셔닝(sub-partitioning)함으로써 분할되는, 비-일시적이고 컴퓨터로 판독 가능한 매체.
  21. 청구항 16에 있어서,
    상기 정보 샘플들의 배열은 깊이 정보를 포함하는, 비-일시적이고 컴퓨터로 판독 가능한 매체.
  22. 청구항 16에 있어서,
    상기 정보 샘플들의 배열은 픽쳐의 컬러 평면들을 형성하는 여러 컬러 성분들과 관련된 샘플 배열들 중 하나이고, 상기 픽쳐의 여러 컬러 평면들은 독립적으로 상기 데이터 스트림 내로 코딩되는, 비-일시적이고 컴퓨터로 판독 가능한 매체.
  23. 정보 샘플들의 배열을 데이터 스트림 내로 인코딩하는 인코더로서,
    상기 정보 샘플들의 배열을 인코딩되고 있는 현재 영역에 대한 후보 영역들 집합을 포함하는 복수의 영역들로 분할하도록 구성된 세부-분할부; 및
    상기 현재 영역이 명시된 영역과 병합되는지를 명시하는 제1 구문 요소와, 상기 후보 영역들 집합 중 어느 것이 병합에 사용되는 상기 명시된 영역인지를 명시하는 제2 구문 요소를 상기 데이터 스트림으로 인코딩하는 상기 데이터 스트림 생성부;를 포함하고,
    상기 데이터 스트림 생성부는, 상기 현재 영역이 상기 명시된 영역과 병합되는 경우, 상기 명시된 영역의 코딩 파라미터를 상기 현재 영역의 코딩 파라미터로서 적용하거나, 상기 명시된 영역의 코딩 파라미터를 사용해서 상기 현재 영역의 코딩 파라미터를 예측하여 상기 현재 영역의 코딩 파라미터에 대한 예측을 획득하고 상기 현재 영역의 코딩 파라미터에 대한 예측을 상기 데이터 스트림 내에 있는 예측 잔차와 결합하여 상기 현재 영역의 코딩 파라미터를 획득하며, 상기 명시된 영역의 코딩 파라미터를 상기 데이터 스트림으로 인코드하도록 구성된, 인코더.
  24. 청구항 23에 있어서,
    단일 확률 모델에 기초한 컨텍스트 모델링을 이용해 상기 제2 구문 요소를 엔트로피 인코딩하도록 구성된 엔트로피 인코더를 더 포함하는, 인코더.
  25. 삭제
  26. 청구항 23에 있어서,
    상기 세부-분할부는 또한,
    최대 영역 크기에 따라 상기 정보 샘플들의 배열을 제1 영역들의 집합으로 파티셔닝(partitioning)하고, 연관된 멀티-트리 세부분할 정보를 기초로 상기 제1 영역들의 집합의 적어도 하나의 부분집합(subset)을 부분-영역들의 집합으로 서브-파티셔닝(sub-partitioning)함으로써,
    상기 정보 샘플들의 배열을 상기 복수의 영역들로 분할하도록 구성된, 인코더.
  27. 청구항 23에 있어서,
    상기 정보 샘플들의 배열은 깊이 정보를 포함하는, 인코더.
  28. 청구항 23에 있어서,
    상기 정보 샘플들의 배열은, 프레임마다 2개의 크로마(chroma) 샘플들의 배열들과 함께 루마(luma) 샘플들의 배열을 포함하고, 수평 방향에서의 상기 루마 샘플들의 배열에 대한 상기 크로마 샘플들의 배열들의 공간적 해상도에 대한 제1스케일링 팩터는 수직 방향에서의 상기 루마 샘플들의 배열에 대한 상기 크로마 샘플들의 배열들의 공간적 해상도에 대한 제2스케일링 팩터와 다른, 인코더.
  29. 청구항 23에 있어서,
    상기 정보 샘플들의 배열은 픽쳐의 컬러 평면들을 형성하는 여러 컬러 성분들과 관련된 샘플 배열들 중 하나이고, 상기 인코더는 픽쳐의 여러 컬러 평면들을 독립적으로 인코딩하도록 구성된, 인코더.
  30. 청구항 1에 있어서,
    상기 정보 샘플들의 배열은, 프레임마다 2개의 크로마(chroma) 샘플들의 배열들과 함께 루마(luma) 샘플들의 배열을 포함하고, 수평 방향에서의 상기 루마 샘플들의 배열에 대한 상기 크로마 샘플들의 배열들의 공간적 해상도에 대한 제1 스케일링 팩터는 수직 방향에서의 상기 루마 샘플들의 배열에 대한 상기 크로마 샘플들의 배열들의 공간적 해상도에 대한 제2 스케일링 팩터와 다른, 디코더.
KR1020207029023A 2010-04-13 2011-04-13 샘플 영역 병합 KR102360146B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227003716A KR102480988B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
PCT/EP2010/054833 WO2011127963A1 (en) 2010-04-13 2010-04-13 Sample region merging
EP10159799 2010-04-13
EP10159799.5 2010-04-13
WOPCT/EP2010/054833 2010-04-13
PCT/EP2011/055795 WO2011128366A1 (en) 2010-04-13 2011-04-13 Sample region merging
KR1020197029076A KR102166520B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197029076A Division KR102166520B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227003716A Division KR102480988B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합

Publications (2)

Publication Number Publication Date
KR20200119355A KR20200119355A (ko) 2020-10-19
KR102360146B1 true KR102360146B1 (ko) 2022-02-08

Family

ID=44072790

Family Applications (13)

Application Number Title Priority Date Filing Date
KR1020207004587A KR102166519B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020187026913A KR102145722B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020227003716A KR102480988B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020157002237A KR101754507B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020227044824A KR20230003428A (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020207028960A KR102360005B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020207029023A KR102360146B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020197029076A KR102166520B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020127029727A KR101549644B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020187027551A KR102030951B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020207023157A KR102337744B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020177017898A KR101903919B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020147014053A KR101626688B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합

Family Applications Before (6)

Application Number Title Priority Date Filing Date
KR1020207004587A KR102166519B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020187026913A KR102145722B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020227003716A KR102480988B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020157002237A KR101754507B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020227044824A KR20230003428A (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020207028960A KR102360005B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합

Family Applications After (6)

Application Number Title Priority Date Filing Date
KR1020197029076A KR102166520B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020127029727A KR101549644B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020187027551A KR102030951B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020207023157A KR102337744B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020177017898A KR101903919B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합
KR1020147014053A KR101626688B1 (ko) 2010-04-13 2011-04-13 샘플 영역 병합

Country Status (13)

Country Link
US (14) US10621614B2 (ko)
EP (5) EP3490257B1 (ko)
JP (9) JP5718453B2 (ko)
KR (13) KR102166519B1 (ko)
CN (12) CN106303536B (ko)
BR (4) BR112012026393B1 (ko)
DK (1) DK2559246T3 (ko)
ES (1) ES2590686T3 (ko)
HU (1) HUE030688T2 (ko)
PL (2) PL2559246T3 (ko)
PT (1) PT2559246T (ko)
TW (13) TWI756010B (ko)
WO (1) WO2011128366A1 (ko)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106231332B (zh) 2010-04-13 2020-04-14 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
EP3490257B1 (en) 2010-04-13 2024-01-10 GE Video Compression, LLC Sample region merging
CN105959703B (zh) * 2010-04-13 2019-06-04 Ge视频压缩有限责任公司 解码器、编码器、生成数据流的方法及解码数据流的方法
CN106060561B (zh) 2010-04-13 2019-06-28 Ge视频压缩有限责任公司 解码器、重建数组的方法、编码器、编码方法及数据流
KR101791242B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
KR101791078B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
JP2011259093A (ja) * 2010-06-07 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
KR101484281B1 (ko) * 2010-07-09 2015-01-21 삼성전자주식회사 블록 병합을 이용한 비디오 부호화 방법 및 그 장치, 블록 병합을 이용한 비디오 복호화 방법 및 그 장치
EP2897365B1 (en) 2010-07-09 2017-02-01 Samsung Electronics Co., Ltd Apparatus for decoding video by using block merging
KR101366648B1 (ko) * 2010-10-28 2014-02-27 경희대학교 산학협력단 영상 정보 복호화 장치
US9374576B2 (en) * 2011-06-13 2016-06-21 Dolby Laboratories Licensing Corporation Fused region-based VDR prediction
KR101672662B1 (ko) * 2011-06-20 2016-11-03 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램, 또한 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
CN102291583A (zh) * 2011-09-29 2011-12-21 中航华东光电有限公司 一种图像编码装置及其图像编码方法
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
EP2942961A1 (en) * 2011-11-23 2015-11-11 HUMAX Holdings Co., Ltd. Methods for encoding/decoding of video using common merging candidate set of asymmetric partitions
KR101909544B1 (ko) * 2012-01-19 2018-10-18 삼성전자주식회사 평면 검출 장치 및 방법
US9866829B2 (en) 2012-01-22 2018-01-09 Qualcomm Incorporated Coding of syntax elements that correspond to coefficients of a coefficient block in video coding
EP2629156B1 (en) * 2012-01-27 2024-04-17 Samsung Electronics Co., Ltd. Image processing apparatus and method
CN103389879B (zh) 2012-05-10 2016-08-17 慧荣科技股份有限公司 电子装置以及由电子装置传送数据至显示设备的方法
US9332266B2 (en) * 2012-08-24 2016-05-03 Industrial Technology Research Institute Method for prediction in image encoding and image encoding apparatus applying the same
GB2505408A (en) * 2012-08-24 2014-03-05 British Broadcasting Corp Video Encoding and Decoding with Chrominance Sub-sampling
TW201419862A (zh) * 2012-11-13 2014-05-16 Hon Hai Prec Ind Co Ltd 影像切割系統及方法
TW201419863A (zh) * 2012-11-13 2014-05-16 Hon Hai Prec Ind Co Ltd 影像切割系統及方法
TW201419865A (zh) * 2012-11-13 2014-05-16 Hon Hai Prec Ind Co Ltd 影像切割系統及方法
JP5719401B2 (ja) * 2013-04-02 2015-05-20 日本電信電話株式会社 ブロックサイズ決定方法、映像符号化装置、及びプログラム
WO2014163200A1 (ja) * 2013-04-05 2014-10-09 三菱電機株式会社 カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
US9686561B2 (en) * 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering
US9800895B2 (en) * 2013-06-27 2017-10-24 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
US20150063455A1 (en) * 2013-09-02 2015-03-05 Humax Holdings Co., Ltd. Methods and apparatuses for predicting depth quadtree in three-dimensional video
US20150089374A1 (en) * 2013-09-20 2015-03-26 Cyan Inc. Network visualization system and method
US10075266B2 (en) * 2013-10-09 2018-09-11 Qualcomm Incorporated Data transmission scheme with unequal code block sizes
US20150103883A1 (en) * 2013-10-11 2015-04-16 Mediatek Inc. Method and apparatus for fast intra prediction
EP3846469A1 (en) * 2013-10-18 2021-07-07 GE Video Compression, LLC Multi-component picture or video coding concept
US20150189269A1 (en) * 2013-12-30 2015-07-02 Google Inc. Recursive block partitioning
CA2946779C (en) * 2014-05-05 2019-10-01 Mediatek Singapore Pte. Ltd. Method and apparatus for determining residue transform tree representation
CN107734335B (zh) 2014-09-30 2020-11-06 华为技术有限公司 图像预测方法及相关装置
CN105828080B (zh) * 2015-01-26 2020-02-14 同济大学 图像编解码方法及装置
CN109005407B (zh) 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
CN106358042B (zh) * 2015-07-17 2020-10-09 恩智浦美国有限公司 使用视频图像的帧间预测的并行解码器
KR20180059443A (ko) * 2015-09-24 2018-06-04 엘지전자 주식회사 영상 코딩 시스템에서 움직임 벡터 정제 기반 인터 예측 방법 및 장치
CN105357530B (zh) * 2015-10-16 2018-06-19 广州市百果园网络科技有限公司 一种预测编码的方法及装置
EP3375188A1 (en) * 2015-11-10 2018-09-19 VID SCALE, Inc. Systems and methods for coding in super-block based video coding framework
US10306258B2 (en) * 2016-01-29 2019-05-28 Google Llc Last frame motion vector partitioning
US10469841B2 (en) 2016-01-29 2019-11-05 Google Llc Motion vector prediction using prior frame residual
EP3414907A1 (en) * 2016-02-09 2018-12-19 Fraunhofer Gesellschaft zur Förderung der Angewand Concept for picture/video data streams allowing efficient reducibility or efficient random access
US10609423B2 (en) 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
US10110914B1 (en) * 2016-09-15 2018-10-23 Google Llc Locally adaptive warped motion compensation in video coding
CN110178371A (zh) * 2017-01-16 2019-08-27 世宗大学校产学协力团 影像编码/解码方法及装置
EP3358754A1 (en) * 2017-02-02 2018-08-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Antenna array codebook with beamforming coefficients adapted to an arbitrary antenna response of the antenna array
US10430104B2 (en) 2017-05-08 2019-10-01 International Business Machines Corporation Distributing data by successive spatial partitionings
US11064217B2 (en) * 2017-09-18 2021-07-13 Intellectual Discovery Co., Ltd. Method and apparatus for coding video using merging candidate list according to block division
MX2019009406A (es) 2018-01-12 2019-09-26 Guangdong Oppo Mobile Telecommunications Corp Ltd Metodo y dispositivo para transmision de informacion.
JP7285789B2 (ja) * 2018-01-19 2023-06-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP6808889B2 (ja) * 2018-03-29 2021-01-06 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
KR102610110B1 (ko) * 2018-04-13 2023-12-06 엘지전자 주식회사 비디오 처리 시스템에서 인터 예측 방법 및 장치
US11128871B2 (en) 2018-04-25 2021-09-21 Panasonic Intellectual Property Corporation Of America Encoder for adaptively determining information related to splitting based on characteristics of neighboring samples
US10593097B2 (en) 2018-05-08 2020-03-17 Qualcomm Technologies, Inc. Distributed graphics processing
EP3811611A4 (en) * 2018-06-22 2022-06-15 OP Solutions, LLC BLOCK LEVEL GEOMETRIC PARTITIONING
CN109035267B (zh) * 2018-06-22 2021-07-27 华东师范大学 一种基于深度学习的图像目标抠取方法
KR20210020924A (ko) 2018-06-27 2021-02-24 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 삼차원 데이터 부호화 방법, 삼차원 데이터 복호 방법, 삼차원 데이터 부호화 장치, 및 삼차원 데이터 복호 장치
EP3588800A1 (en) 2018-06-29 2020-01-01 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Antenna array codebook with beamforming coefficients adapted to an arbitrary antenna response of the antenna array
JP2020065143A (ja) * 2018-10-16 2020-04-23 セイコーエプソン株式会社 画像処理装置、画像処理装置の制御方法、及び表示装置
JP7157246B2 (ja) 2018-11-06 2022-10-19 北京字節跳動網絡技術有限公司 ジオメトリック分割を用いたインター予測のためのサイド情報信号通知方法
WO2020140862A1 (en) 2018-12-30 2020-07-09 Beijing Bytedance Network Technology Co., Ltd. Conditional application of inter prediction with geometric partitioning in video processing
WO2020190084A1 (ko) * 2019-03-21 2020-09-24 에스케이텔레콤 주식회사 서브블록 단위 복원 방법 및 영상 복호화 장치
CN113924774A (zh) * 2019-05-10 2022-01-11 北京达佳互联信息技术有限公司 用于利用三角形预测进行视频编解码的方法和装置
CN110533454B (zh) * 2019-07-24 2023-07-07 创新先进技术有限公司 一种识别业务对象群体的方法及系统
EP4042686A4 (en) * 2019-10-10 2022-12-07 Beijing Dajia Internet Information Technology Co., Ltd. METHODS AND DEVICES FOR VIDEO CODING WITH TRIANGLE PARTITION
WO2021136821A1 (en) * 2019-12-30 2021-07-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding and decoding of color components in pictures
WO2021222038A1 (en) * 2020-04-27 2021-11-04 Bytedance Inc. Sublayers information in video coding
KR20230033954A (ko) 2021-09-02 2023-03-09 심준원 감염병 유행시 전자출입명부기록용 nfc태그를 사용한 전자출입명부카드와 전자출입명부카드 리더기

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080165855A1 (en) 2007-01-08 2008-07-10 Nokia Corporation inter-layer prediction for extended spatial scalability in video coding
WO2008127597A2 (en) * 2007-04-12 2008-10-23 Thomson Licensing Method and apparatus for context dependent merging for skip-direct modes for video encoding and decoding
WO2008156548A1 (en) 2007-06-12 2008-12-24 Thomson Licensing Methods and apparatus supporting multi-pass video syntax structure for slice data

Family Cites Families (263)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2633468B1 (fr) 1988-06-24 1990-11-09 France Etat Procede de codage de donnees d'assistance a la reconstruction d'images electroniques animees sous-echantillonnees
US5842033A (en) 1992-06-30 1998-11-24 Discovision Associates Padding apparatus for passing an arbitrary number of bits through a buffer in a pipeline system
US7095783B1 (en) 1992-06-30 2006-08-22 Discovision Associates Multistandard video decoder and decompression system for processing encoded bit streams including start codes and methods relating thereto
US5809270A (en) 1992-06-30 1998-09-15 Discovision Associates Inverse quantizer
US6408097B1 (en) 1993-08-30 2002-06-18 Sony Corporation Picture coding apparatus and method thereof
US5446806A (en) 1993-11-15 1995-08-29 National Semiconductor Corporation Quadtree-structured Walsh transform video/image coding
CA2145363C (en) 1994-03-24 1999-07-13 Anthony Mark Jones Ram interface
DE69527525T2 (de) 1995-08-21 2003-04-03 Alcatel Sa Verfahren zur Schachtelung von Datenrahmen, Übertragungsfehlerkorrekturanordnung und Modulator damit
CA2233023A1 (en) 1995-09-25 1997-04-03 Edward A. Taft Optimum access to electronic documents
WO1997015146A1 (en) * 1995-10-18 1997-04-24 Philips Electronics N.V. Method of encoding video images
US6084908A (en) 1995-10-25 2000-07-04 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation
TW346571B (en) 1996-02-06 1998-12-01 Matsushita Electric Ind Co Ltd Data reception apparatus, data transmission apparatus, information processing system, data reception method
US6005981A (en) 1996-04-11 1999-12-21 National Semiconductor Corporation Quadtree-structured coding of color images and intra-coded images
DE19615493A1 (de) * 1996-04-19 1997-10-23 Philips Patentverwaltung Verfahren zur Bildsegmentierung
CN100539695C (zh) 1996-05-28 2009-09-09 松下电器产业株式会社 图像预测编码/解码装置和方法以及记录媒体
US6639945B2 (en) * 1997-03-14 2003-10-28 Microsoft Corporation Method and apparatus for implementing motion detection in video compression
US6057884A (en) 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6269192B1 (en) 1997-07-11 2001-07-31 Sarnoff Corporation Apparatus and method for multiscale zerotree entropy encoding
CN1882093B (zh) 1998-03-10 2011-01-12 索尼公司 利用编码历史信息的编码转换系统
US6067574A (en) 1998-05-18 2000-05-23 Lucent Technologies Inc High speed routing using compressed tree process
US6269175B1 (en) 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6563953B2 (en) 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
US7085319B2 (en) 1999-04-17 2006-08-01 Pts Corporation Segment-based encoding system using segment hierarchies
JP2000350207A (ja) 1999-06-08 2000-12-15 Matsushita Electric Ind Co Ltd 低解像度ビデオ復号化のための一般化直交変換方法および装置
FI116992B (fi) 1999-07-05 2006-04-28 Nokia Corp Menetelmät, järjestelmä ja laitteet audiosignaalin koodauksen ja siirron tehostamiseksi
WO2001031497A1 (en) 1999-10-22 2001-05-03 Activesky, Inc. An object oriented video system
JP3957937B2 (ja) 1999-12-21 2007-08-15 キヤノン株式会社 画像処理装置及び方法並びに記憶媒体
WO2001046647A2 (en) 1999-12-22 2001-06-28 Honeywell International Inc. Method, apparatus and computer program product for estimating airplane attitude with reduced sensor set
EP1404135B1 (en) 2000-01-21 2016-12-14 Nokia Technologies Oy A motion estimation method and a system for a video coder
FI116819B (fi) 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi
US6502920B1 (en) 2000-02-04 2003-01-07 Lexmark International, Inc Ink jet print head having offset nozzle arrays
US6910001B2 (en) 2000-03-22 2005-06-21 Schlumberger Technology Corp. Distributed multiresolution geometry modeling system and method
US6785423B1 (en) 2000-05-26 2004-08-31 Eastman Kodak Company Producing a compressed digital image organized into layers having information relating to different viewing conditions and resolutions
JP2004503964A (ja) 2000-06-14 2004-02-05 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ カラービデオ符号化及び復号方法
KR20020064786A (ko) 2000-07-25 2002-08-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 웨이블릿 분해를 사용하는 비디오 인코딩 방법
AUPR063400A0 (en) 2000-10-06 2000-11-02 Canon Kabushiki Kaisha Xml encoding scheme
US7450641B2 (en) 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US7929610B2 (en) 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
JP2003018602A (ja) 2001-04-24 2003-01-17 Monolith Co Ltd 画像データ符号化および復号のための方法および装置
US6987866B2 (en) * 2001-06-05 2006-01-17 Micron Technology, Inc. Multi-modal motion estimation for video sequences
US7483581B2 (en) 2001-07-02 2009-01-27 Qualcomm Incorporated Apparatus and method for encoding digital image data in a lossless manner
JP2003018604A (ja) 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
KR100642043B1 (ko) 2001-09-14 2006-11-03 가부시키가이샤 엔티티 도코모 부호화 방법, 복호 방법, 부호화 장치, 복호 장치, 화상 처리 시스템, 및 저장 매체
US6950469B2 (en) 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
WO2003034743A1 (en) 2001-10-16 2003-04-24 Koninklijke Philips Electronics N.V. Video coding method and corresponding transmittable video signal
WO2003043345A1 (en) 2001-11-16 2003-05-22 Ntt Docomo, Inc. Image encoding method, image decoding method, image encoder, image decode, program, computer data signal, and image transmission system
RU2237284C2 (ru) 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Способ генерирования структуры узлов, предназначенных для представления трехмерных объектов с использованием изображений с глубиной
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
EP1324615A1 (en) * 2001-12-28 2003-07-02 Deutsche Thomson-Brandt Gmbh Transcoding MPEG bitstreams for adding sub-picture content
KR20030065606A (ko) 2002-01-30 2003-08-09 양송철 개인 자동독립코드를 이용한 멀티트리구조의 보너스 적립순환 시스템과 그 방법
CN101127899B (zh) 2002-04-12 2015-04-01 三菱电机株式会社 提示信息描述方法
JP4130780B2 (ja) 2002-04-15 2008-08-06 松下電器産業株式会社 画像符号化方法および画像復号化方法
US20030198290A1 (en) 2002-04-19 2003-10-23 Dynamic Digital Depth Pty.Ltd. Image encoding system
US7433526B2 (en) * 2002-04-30 2008-10-07 Hewlett-Packard Development Company, L.P. Method for compressing images and image sequences through adaptive partitioning
CN1666532A (zh) 2002-07-02 2005-09-07 松下电器产业株式会社 图像编码方法和图像解码方法
US7154952B2 (en) * 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US6975773B1 (en) 2002-07-30 2005-12-13 Qualcomm, Incorporated Parameter selection in data compression and decompression
JP3975188B2 (ja) 2002-09-30 2007-09-12 三星電子株式会社 色相の空間予測符号化を利用した映像の符号化及び復号化方法及び装置
JP3950777B2 (ja) 2002-09-30 2007-08-01 キヤノン株式会社 画像処理方法、画像処理装置および画像処理プログラム
JP2004135252A (ja) 2002-10-09 2004-04-30 Sony Corp 符号化処理方法、符号化装置及び復号化装置
US7254533B1 (en) 2002-10-17 2007-08-07 Dilithium Networks Pty Ltd. Method and apparatus for a thin CELP voice codec
EP1431919B1 (en) * 2002-12-05 2010-03-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding three-dimensional object data by using octrees
EP1604530A4 (en) 2003-03-03 2010-04-14 Agency Science Tech & Res FAST-DECISION ALGORITHM FOR INTRAPRADICTION FOR ADVANCED VIDEO CODING
US7366352B2 (en) * 2003-03-20 2008-04-29 International Business Machines Corporation Method and apparatus for performing fast closest match in pattern recognition
US7643558B2 (en) * 2003-03-24 2010-01-05 Qualcomm Incorporated Method, apparatus, and system for encoding and decoding side information for multimedia transmission
GB2454195A (en) * 2007-10-30 2009-05-06 Sony Corp Address generation polynomial and permutation matrix for DVB-T2 16k OFDM sub-carrier mode interleaver
DE602004001993T2 (de) 2003-03-28 2007-04-12 Digital Accelerator Corp., Vancouver Transformations basiertes restbewegungsrahmen kodierungsverfahren mit übervollständiger basis und zugehörige vorrichtung zur videokompression
HUP0301368A3 (en) 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
US7333544B2 (en) 2003-07-16 2008-02-19 Samsung Electronics Co., Ltd. Lossless image encoding/decoding method and apparatus using inter-color plane prediction
CN1578477B (zh) 2003-07-16 2011-05-04 三星电子株式会社 用于色彩图像的视频编码/解码装置和方法
US7010044B2 (en) 2003-07-18 2006-03-07 Lsi Logic Corporation Intra 4×4 modes 3, 7 and 8 availability determination intra estimation and compensation
FR2858741A1 (fr) 2003-08-07 2005-02-11 Thomson Licensing Sa Dispositif et procede de compression d'images numeriques
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
CN1322472C (zh) 2003-09-08 2007-06-20 中国人民解放军第一军医大学 基于小波变换的预测四叉树图像压缩及解压方法
EP1684435A4 (en) 2003-10-29 2007-01-10 Nec Corp DECODING DEVICE OR CODING DEVICE WHICH IS INSERTED BETWEEN AN ARITHMETIC SIGNATURE DECODER OR CODIER AND DEBINARIZER OR BINARIZER AN INTERMEDIATE BUFFER
KR20050045746A (ko) 2003-11-12 2005-05-17 삼성전자주식회사 계층 구조의 가변 블록 크기를 이용한 움직임 추정 방법및 장치
DE602004017689D1 (de) 2003-11-21 2008-12-24 Samsung Electronics Co Ltd Vorrichtung und Methode zur Erzeugung von kodierten Blockanordnungen für ein Alpha-Kanalbild sowie Alpha-Kanalkodierungs und -dekodierungsvorrichtung und -methode.
US7418455B2 (en) 2003-11-26 2008-08-26 International Business Machines Corporation System and method for indexing weighted-sequences in large databases
KR100556911B1 (ko) 2003-12-05 2006-03-03 엘지전자 주식회사 무선 동영상 스트리밍 서비스를 위한 동영상 데이터의 구조
US7362809B2 (en) 2003-12-10 2008-04-22 Lsi Logic Corporation Computational reduction in motion estimation based on lower bound of cost function
US7599435B2 (en) 2004-01-30 2009-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video frame encoding and decoding
US7649539B2 (en) * 2004-03-10 2010-01-19 Microsoft Corporation Image formats for video capture, processing and display
US20050206741A1 (en) 2004-03-19 2005-09-22 Raber Gregory W Law enforcement vehicle surveillance system
CN1691087B (zh) 2004-04-26 2011-07-06 图形安全系统公司 用于解码数字编码图像的系统和方法
EP1968063B1 (en) 2004-04-28 2010-06-16 Panasonic Corporation Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus
CN1281065C (zh) 2004-05-20 2006-10-18 复旦大学 基于树状结构的等级树集合划分视频图像压缩方法
CN100534196C (zh) 2004-05-25 2009-08-26 Nxp股份有限公司 用于编码数字视频数据的方法和设备
US20060002474A1 (en) 2004-06-26 2006-01-05 Oscar Chi-Lim Au Efficient multi-block motion estimation for video compression
CN1809161B (zh) * 2004-06-27 2010-11-17 苹果公司 对编码视频数据选择编码类型和预测模式
US7292257B2 (en) 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
CN1268136C (zh) 2004-07-02 2006-08-02 上海广电（集团）有限公司中央研究院 基于图像切片结构的帧场自适应编码方法
KR100657268B1 (ko) 2004-07-15 2006-12-14 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
CN101124589A (zh) 2004-08-09 2008-02-13 图形安全系统公司 通过使用多级图像编码和解码来认证对象的系统和方法
CN1589022A (zh) 2004-08-26 2005-03-02 中芯联合（北京）微电子有限公司 多模式运动估计中由朝向树决定的宏块分割模式选择方法
DE102004059993B4 (de) 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
CN101416149A (zh) 2004-10-21 2009-04-22 索尼电子有限公司 以高级视频编解码器文件格式支持保真度范围扩展
CN1780278A (zh) 2004-11-19 2006-05-31 松下电器产业株式会社 子载波通信系统中自适应调制与编码方法和设备
US20060120454A1 (en) 2004-11-29 2006-06-08 Park Seung W Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
CN101073265B (zh) * 2004-12-03 2012-08-22 汤姆森许可贸易公司 可缩放视频编码方法
KR100703734B1 (ko) * 2004-12-03 2007-04-05 삼성전자주식회사 Ｄｃｔ 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치
KR101138392B1 (ko) 2004-12-30 2012-04-26 삼성전자주식회사 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치
US7970219B2 (en) 2004-12-30 2011-06-28 Samsung Electronics Co., Ltd. Color image encoding and decoding method and apparatus using a correlation between chrominance components
US20060153300A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for motion vector prediction in scalable video coding
US20060153295A1 (en) 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
US20080267291A1 (en) 2005-02-18 2008-10-30 Joseph J. Laks Thomson Licensing Llc Method for Deriving Coding Information for High Resolution Images from Low Resolution Images and Coding and Decoding Devices Implementing Said Method
EP1849303A2 (en) * 2005-02-18 2007-10-31 THOMSON Licensing Method for deriving coding information for high resolution pictures from low resolution pictures
JP4504230B2 (ja) * 2005-03-02 2010-07-14 株式会社東芝 動画像処理装置、動画像処理方法、及び動画像処理プログラム
TWI259727B (en) * 2005-03-09 2006-08-01 Sunplus Technology Co Ltd Method for rapidly determining macroblock mode
US7961963B2 (en) 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
EP1711018A1 (en) 2005-04-08 2006-10-11 Thomson Licensing Method and apparatus for encoding video pictures, and method and apparatus for decoding video pictures
US20060233262A1 (en) 2005-04-13 2006-10-19 Nokia Corporation Signaling of bit stream ordering in scalable video coding
KR101246915B1 (ko) 2005-04-18 2013-03-25 삼성전자주식회사 동영상 부호화 또는 복호화 방법 및 장치
KR100763181B1 (ko) * 2005-04-19 2007-10-05 삼성전자주식회사 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
CN101189641B (zh) 2005-05-12 2012-05-02 布雷克成像有限公司 编码数字图像的像素或体素的方法及处理数字图像的方法
US7548853B2 (en) 2005-06-17 2009-06-16 Shmunk Dmitry V Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
WO2007000657A1 (en) 2005-06-29 2007-01-04 Nokia Corporation Method and apparatus for update step in video coding using motion compensated temporal filtering
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP4444180B2 (ja) 2005-07-20 2010-03-31 株式会社東芝 テクスチャ符号化装置、テクスチャ復号化装置、方法、およびプログラム
KR20070012201A (ko) 2005-07-21 2007-01-25 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
MX2008000906A (es) 2005-07-21 2008-03-18 Thomson Licensing Metodo y aparato para la prediccion ponderada para la codificacion escalable de video.
EP1909508A4 (en) 2005-07-22 2011-05-25 Mitsubishi Electric Corp Image Coding Device, Image Decoding Device, Image Coding Method, Image Decoding Method, Image Coding Program, Image Decoding Program, Computer Readable Recording Medium With Image Recoding Program Recorded Thereon, and Computer Readable Recording Medium With Image Image Coding Program Recorded Thereon
US9113147B2 (en) 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information
US8625678B2 (en) 2005-09-29 2014-01-07 Telecom Italia S.P.A. Method for scalable video coding on a plurality of space resolution levels
WO2007047271A2 (en) 2005-10-12 2007-04-26 Thomson Licensing Methods and apparatus for weighted prediction in scalable video encoding and decoding
KR100763196B1 (ko) 2005-10-19 2007-10-04 삼성전자주식회사 어떤 계층의 플래그를 계층간의 연관성을 이용하여부호화하는 방법, 상기 부호화된 플래그를 복호화하는방법, 및 장치
WO2007047736A2 (en) 2005-10-19 2007-04-26 Thomson Licensing Multi-view video coding using scalable video coding
JP2007135252A (ja) 2005-11-08 2007-05-31 Hitachi Ltd 電力変換装置
KR100873636B1 (ko) 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
KR100717055B1 (ko) * 2005-11-18 2007-05-10 삼성전자주식회사 Ｃａｂａｃ 복호기에서 복수의 이진 값들을 파이프라인방식에 의하여 복호화하는 방법 및 이를 위한 복호화 장치
CN101129063B (zh) 2005-11-18 2010-05-19 索尼株式会社 编码设备和方法、解码设备和方法以及传输系统
GB0600141D0 (en) 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
US8446956B2 (en) 2006-01-05 2013-05-21 Thomson Licensing Inter-layer motion prediction method using resampling
JP4991758B2 (ja) 2006-01-09 2012-08-01 エルジー エレクトロニクス インコーポレイティド 映像信号のエンコーディング／デコーディング方法
KR20070074453A (ko) 2006-01-09 2007-07-12 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
US8315308B2 (en) 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
US8861585B2 (en) 2006-01-20 2014-10-14 Qualcomm Incorporated Method and apparatus for error resilience algorithms in wireless video communication
US7929608B2 (en) 2006-03-28 2011-04-19 Sony Corporation Method of reducing computations in intra-prediction and mode decision processes in a digital video encoder
US8234537B2 (en) 2006-03-31 2012-07-31 Intel Corporation Layered decoder and method for performing layered decoding
US7916934B2 (en) 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
CN101047733B (zh) 2006-06-16 2010-09-29 华为技术有限公司 短信处理方法以及装置
CN101502120B (zh) * 2006-08-02 2012-08-29 汤姆逊许可公司 用于视频解码的自适应几何分割方法和设备
US20080086545A1 (en) 2006-08-16 2008-04-10 Motorola, Inc. Network configuration using configuration parameter inheritance
US8363936B2 (en) 2006-08-25 2013-01-29 Thomson Licensing Method and apparatus for reduced resolution partitioning
US8401085B2 (en) 2006-09-07 2013-03-19 Lg Electronics Inc. Method and apparatus for decoding/encoding of a video signal
CN100471275C (zh) 2006-09-08 2009-03-18 清华大学 用于h.264/avc编码器的运动估计方法
CN100486336C (zh) * 2006-09-21 2009-05-06 上海大学 基于h.264压缩域运动对象实时分割方法
WO2008044511A1 (en) 2006-10-12 2008-04-17 Kabushiki Kaisha Toshiba Method and apparatus for encoding image
US9014280B2 (en) 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
EP2077038B1 (en) 2006-10-18 2013-01-30 Apple Inc. Scalable video coding with filtering of lower layers
US7775002B2 (en) * 2006-11-10 2010-08-17 John Puchniak Portable hurricane and security window barrier
CN101401430B (zh) 2006-11-17 2012-02-29 Lg电子株式会社 用于解码/编码视频信号的方法及装置
EP1933564A1 (en) 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
TWI351883B (en) * 2006-12-28 2011-11-01 Nippon Telegraph & Telephone Video encoding method and decoding method, apparat
EP2105025B1 (en) 2007-01-11 2021-04-07 InterDigital VC Holdings, Inc. Methods and apparatus for using syntax for the coded_block_flag syntax element and the coded_block_pattern syntax element for the cavlc 4:4:4 intra, high 4:4:4 intra, and high 4:4:4 predictive profiles in mpeg-4 avc high level coding
CN101222641B (zh) 2007-01-11 2011-08-24 华为技术有限公司 帧内预测编解码方法及其装置
JP2008193627A (ja) 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
JP5026092B2 (ja) 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
US8718139B2 (en) 2007-01-12 2014-05-06 Mitsubishi Electric Corporation Image decoding device and image decoding method
CN101018333A (zh) 2007-02-09 2007-08-15 上海大学 空域可分级信噪比精细可分级视频编码方法
JP2010135863A (ja) * 2007-03-28 2010-06-17 Toshiba Corp 画像符号化方法及び装置
WO2008127072A1 (en) 2007-04-16 2008-10-23 Electronics And Telecommunications Research Institute Color video scalability encoding and decoding method and device thereof
TW200845723A (en) 2007-04-23 2008-11-16 Thomson Licensing Method and apparatus for encoding video data, method and apparatus for decoding encoded video data and encoded video signal
US20090165041A1 (en) * 2007-12-21 2009-06-25 Penberthy John S System and Method for Providing Interactive Content with Video Content
CN100515087C (zh) 2007-05-30 2009-07-15 威盛电子股份有限公司 决定二相邻的宏区块是否位于相同条带区域的方法和装置
KR100906243B1 (ko) 2007-06-04 2009-07-07 전자부품연구원 Ｒｇｂ 색 공간 신호의 영상 부호화 방법
CN100496129C (zh) 2007-06-05 2009-06-03 南京大学 基于h.264多路视频转码复用的方法
CN101321283B (zh) 2007-06-10 2010-04-07 华为技术有限公司 兼容不同大小块变换的编解码方法及编解码器
JP2008311781A (ja) 2007-06-12 2008-12-25 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
CN101325714B (zh) 2007-06-13 2010-10-27 华为技术有限公司 变换数据处理方法和装置以及编码、解码方法和装置
JP4551948B2 (ja) 2007-06-13 2010-09-29 シャープ株式会社 線状光源装置、面発光装置、面状光源装置、および、液晶表示装置
JP5467651B2 (ja) 2007-06-14 2014-04-09 トムソン ライセンシング 符号化ビット・ストリームの修正
US8619853B2 (en) 2007-06-15 2013-12-31 Qualcomm Incorporated Separable directional transforms
US8085852B2 (en) 2007-06-26 2011-12-27 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding
US20090003449A1 (en) 2007-06-28 2009-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
CN100534186C (zh) 2007-07-05 2009-08-26 西安电子科技大学 基于码率预分配的jpeg2000自适应率控制系统及方法
US8458612B2 (en) * 2007-07-29 2013-06-04 Hewlett-Packard Development Company, L.P. Application management framework for web applications
TWI338869B (en) 2007-08-03 2011-03-11 Via Tech Inc Method and apparatus for block-based digital encoded picture
CN101119493B (zh) 2007-08-30 2010-12-01 威盛电子股份有限公司 区块式数字编码图像的译码方法及装置
KR20090030681A (ko) 2007-09-20 2009-03-25 삼성전자주식회사 영상처리장치, 디스플레이장치, 디스플레이 시스템 및 그제어방법
JP4461165B2 (ja) * 2007-09-26 2010-05-12 株式会社東芝 画像処理装置、方法およびプログラム
WO2009041843A1 (en) 2007-09-28 2009-04-02 Vsevolod Yurievich Mokrushin Method of encoding digital signals (variants), method of decoding digital signals (variants), device for implementation thereof (variants), and system for image transmission via limited throughput communication channels (variants)
KR101403343B1 (ko) 2007-10-04 2014-06-09 삼성전자주식회사 부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치
BRPI0818344A2 (pt) 2007-10-12 2015-04-22 Thomson Licensing Métodos e aparelhos para codificação e decodificação de vídeo de partições de modo bi-preditivo geometricamente particionadas
US7777654B2 (en) * 2007-10-16 2010-08-17 Industrial Technology Research Institute System and method for context-based adaptive binary arithematic encoding and decoding
KR101681443B1 (ko) 2007-10-16 2016-11-30 톰슨 라이센싱 기하학적으로 분할된 수퍼 블록들의 비디오 인코딩 및 디코딩 방법 및 장치
CN101415149B (zh) 2007-10-19 2010-12-08 华为技术有限公司 一种bc业务改进的方法和设备
CN101676744B (zh) 2007-10-31 2012-07-11 北京航空航天大学 一种复杂背景低信噪比下弱小目标高精度跟踪方法
US8270472B2 (en) 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
US8553781B2 (en) 2007-12-07 2013-10-08 Thomson Licensing Methods and apparatus for decoded picture buffer (DPB) management in single loop decoding for multi-view video
US8540158B2 (en) 2007-12-12 2013-09-24 Yiwu Lei Document verification using dynamic document identification framework
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
US8531610B2 (en) 2007-12-28 2013-09-10 Entropic Communications, Inc. Arrangement and approach for image data processing
US8126054B2 (en) 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
CN101911700A (zh) 2008-01-11 2010-12-08 汤姆逊许可证公司 视频和深度编码
US8155184B2 (en) 2008-01-16 2012-04-10 Sony Corporation Video coding system using texture analysis and synthesis in a scalable coding framework
US8311353B2 (en) 2008-01-21 2012-11-13 Telefonaktiebolaget Lm Ericsson (Publ) Prediction-based image processing
JP5214742B2 (ja) 2008-01-21 2013-06-19 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 予測に基づく画像処理
KR101291196B1 (ko) 2008-01-25 2013-07-31 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8179974B2 (en) 2008-05-02 2012-05-15 Microsoft Corporation Multi-level representation of reordered transform coefficients
US20100220469A1 (en) 2008-05-23 2010-09-02 Altair Engineering, Inc. D-shaped cross section l.e.d. based light
TWI373959B (en) 2008-06-09 2012-10-01 Kun Shan University Of Technology Wavelet codec with a function of adjustable image quality
KR101517768B1 (ko) 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20100018810A (ko) 2008-08-07 2010-02-18 전자부품연구원 초고화질 영상 부호화, 복호화 방법 및 장치 및 컴퓨터로판독가능한 기록매체
US8406307B2 (en) 2008-08-22 2013-03-26 Microsoft Corporation Entropy coding/decoding of hierarchically organized data
EP2161936A1 (en) 2008-09-04 2010-03-10 Panasonic Corporation Locally adaptive filters for video coding controlled by local correlation data
US8750379B2 (en) 2008-09-11 2014-06-10 General Instrument Corporation Method and apparatus for complexity-scalable motion estimation
JP5422168B2 (ja) 2008-09-29 2014-02-19 株式会社日立製作所 動画像符号化方法および動画像復号化方法
US7837355B2 (en) 2008-09-30 2010-11-23 Disney Enterprises, Inc. Kinetic flame device
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
US8634456B2 (en) 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks
US20100086031A1 (en) 2008-10-03 2010-04-08 Qualcomm Incorporated Video coding with large macroblocks
US8619856B2 (en) 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
CN101404774B (zh) 2008-11-13 2010-06-23 四川虹微技术有限公司 运动搜索中宏块划分模式的选择方法
JP5394212B2 (ja) 2008-12-19 2014-01-22 トムソン ライセンシング データを挿入する方法、挿入されたデータを読み出す方法
JP5001964B2 (ja) 2009-02-18 2012-08-15 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、方法およびプログラム、並びに、画像復号装置、方法およびプログラム
CN101493890B (zh) * 2009-02-26 2011-05-11 上海交通大学 基于特征的动态视觉注意区域提取方法
WO2010131903A2 (en) 2009-05-12 2010-11-18 Lg Electronics Inc. Method and apparatus for processing a video signal
US8810562B2 (en) 2009-05-19 2014-08-19 Advanced Micro Devices, Inc. Hierarchical lossless compression
US8306355B2 (en) 2009-07-13 2012-11-06 Sharp Laboratories Of America, Inc. Methods and systems for reducing compression artifacts
US8395708B2 (en) * 2009-07-21 2013-03-12 Qualcomm Incorporated Method and system for detection and enhancement of video images
KR101624649B1 (ko) 2009-08-14 2016-05-26 삼성전자주식회사 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101456498B1 (ko) 2009-08-14 2014-10-31 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101452860B1 (ko) 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR101698499B1 (ko) 2009-10-01 2017-01-23 에스케이텔레콤 주식회사 분할 레이어를 이용한 영상 부호화/복호화 방법 및 장치
KR101457418B1 (ko) 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US8594200B2 (en) 2009-11-11 2013-11-26 Mediatek Inc. Method of storing motion vector information and video decoding apparatus
JP5475409B2 (ja) 2009-11-20 2014-04-16 三菱電機株式会社 動画像符号化装置および動画像符号化方法
CN102792699A (zh) 2009-11-23 2012-11-21 通用仪表公司 作为到视频序列的附加通道的深度代码化
US8315310B2 (en) 2010-01-08 2012-11-20 Research In Motion Limited Method and device for motion vector prediction in video transcoding using full resolution residuals
US20110170608A1 (en) 2010-01-08 2011-07-14 Xun Shi Method and device for video transcoding using quad-tree based mode selection
KR20110135471A (ko) 2010-06-11 2011-12-19 (주)휴맥스 블록 병합을 이용한 영상 부호화/복호화 장치 및 방법
US20120300850A1 (en) 2010-02-02 2012-11-29 Alex Chungku Yie Image encoding/decoding apparatus and method
US20110194613A1 (en) 2010-02-11 2011-08-11 Qualcomm Incorporated Video coding with large macroblocks
KR101847072B1 (ko) * 2010-04-05 2018-04-09 삼성전자주식회사 영상 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101750046B1 (ko) * 2010-04-05 2017-06-22 삼성전자주식회사 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
KR101529992B1 (ko) 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
US20110249743A1 (en) 2010-04-09 2011-10-13 Jie Zhao Super-block for high performance video coding
US8942282B2 (en) 2010-04-12 2015-01-27 Qualcomm Incorporated Variable length coding of coded block pattern (CBP) in video compression
CN106231332B (zh) 2010-04-13 2020-04-14 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
EP3490257B1 (en) 2010-04-13 2024-01-10 GE Video Compression, LLC Sample region merging
CN106060561B (zh) 2010-04-13 2019-06-28 Ge视频压缩有限责任公司 解码器、重建数组的方法、编码器、编码方法及数据流
CN105915924B (zh) 2010-04-13 2019-12-06 Ge视频压缩有限责任公司 跨平面预测
CN106028045B (zh) 2010-04-13 2019-06-25 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法及其解码器
CN105959703B (zh) 2010-04-13 2019-06-04 Ge视频压缩有限责任公司 解码器、编码器、生成数据流的方法及解码数据流的方法
CN106878726B (zh) 2010-10-08 2020-01-17 Ge视频压缩有限责任公司 编码器和编码方法与解码器和解码方法
CN107071487B (zh) 2010-11-04 2020-09-15 Ge视频压缩有限责任公司 支持区块合并和跳过模式的图像编码
US20120170648A1 (en) 2011-01-05 2012-07-05 Qualcomm Incorporated Frame splitting in video coding
CN103119944B (zh) 2011-05-20 2017-04-12 太阳专利托管公司 用于使用色彩平面间预测对视频进行编码和解码的方法和装置
IL290229B2 (en) 2011-06-16 2023-04-01 Ge Video Compression Llc Entropy coding of motion vector differences
WO2014043828A1 (en) 2012-09-24 2014-03-27 Qualcomm Incorporated Depth map coding
JP2016519898A (ja) 2013-04-08 2016-07-07 ジーイー ビデオ コンプレッション エルエルシー コンポーネント間予測
US9264728B2 (en) 2014-01-10 2016-02-16 Sony Corporation Intra-plane and inter-plane predictive method for Bayer image coding
EP3173295B1 (en) 2014-07-22 2019-04-24 Autoliv Development AB Side air-bag device
KR102149827B1 (ko) 2015-01-21 2020-08-31 삼성전자주식회사 인터 레이어 비디오 복호화 방법 및 그 장치 및 인터 레이어 비디오 부호화 방법 및 그 장치
CN106325631B (zh) * 2015-07-10 2023-03-07 宸鸿科技(厦门)有限公司 一种具有压力侦测的触控显示模组及其驱动方法
US11284080B2 (en) 2016-12-30 2022-03-22 Telefonaktiebolaget Lm Ericsson (Publ) Decoded picture buffer management for handling cross-picture data prediction
CN113454999A (zh) 2019-01-02 2021-09-28 北京字节跳动网络技术有限公司 划分模式之间的运动矢量推导
CN113711591B (zh) 2019-04-20 2023-10-27 北京字节跳动网络技术有限公司 用于色度残差的联合编解码的语法元素的信令
BR112022003641A2 (pt) 2019-09-01 2022-05-24 Beijing Bytedance Network Tech Co Ltd Método e aparelho para processar dados de vídeo, e, meios de armazenamento e de gravação legíveis por computador não transitórios
WO2021197447A1 (en) 2020-04-01 2021-10-07 Beijing Bytedance Network Technology Co., Ltd. Controlling quantization parameter delta signaling
US20220103847A1 (en) 2020-09-29 2022-03-31 Lemon Inc. Dependent random access point indication in video bitstreams

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080165855A1 (en) 2007-01-08 2008-07-10 Nokia Corporation inter-layer prediction for extended spatial scalability in video coding
WO2008127597A2 (en) * 2007-04-12 2008-10-23 Thomson Licensing Method and apparatus for context dependent merging for skip-direct modes for video encoding and decoding
WO2008156548A1 (en) 2007-06-12 2008-12-24 Thomson Licensing Methods and apparatus supporting multi-pass video syntax structure for slice data

Also Published As

Publication number Publication date
TW201828701A (zh) 2018-08-01
JP5911028B2 (ja) 2016-04-27
EP3703369A1 (en) 2020-09-02
JP2023126788A (ja) 2023-09-12
CN106162189A (zh) 2016-11-23
KR20220020425A (ko) 2022-02-18
US20200019986A1 (en) 2020-01-16
KR102166520B1 (ko) 2020-10-16
CN106303522B9 (zh) 2020-01-31
WO2011128366A1 (en) 2011-10-20
KR20190115119A (ko) 2019-10-10
CN106162171A (zh) 2016-11-23
US10803483B2 (en) 2020-10-13
US20200410532A1 (en) 2020-12-31
TWI718940B (zh) 2021-02-11
KR101754507B1 (ko) 2017-07-06
KR20130020890A (ko) 2013-03-04
TW202114425A (zh) 2021-04-01
US20230098693A1 (en) 2023-03-30
EP3490257B1 (en) 2024-01-10
CN106162169A (zh) 2016-11-23
KR20180108896A (ko) 2018-10-04
JP2013524709A (ja) 2013-06-17
JP6845282B2 (ja) 2021-03-17
US20210304248A1 (en) 2021-09-30
US11810019B2 (en) 2023-11-07
KR20180105277A (ko) 2018-09-27
TWI756010B (zh) 2022-02-21
US10248966B2 (en) 2019-04-02
KR20170078881A (ko) 2017-07-07
TWI605706B (zh) 2017-11-11
CN106162173B (zh) 2020-02-28
KR20200119355A (ko) 2020-10-19
TWI678916B (zh) 2019-12-01
US20200320570A1 (en) 2020-10-08
US11900415B2 (en) 2024-02-13
CN106162172A (zh) 2016-11-23
CN106303522A (zh) 2017-01-04
EP3490257A1 (en) 2019-05-29
JP6778496B2 (ja) 2020-11-04
CN102939754A (zh) 2013-02-20
US20230099885A1 (en) 2023-03-30
PL3089450T3 (pl) 2023-01-09
TWI730420B (zh) 2021-06-11
BR122020007920B1 (pt) 2022-08-23
HUE030688T2 (en) 2017-05-29
CN106303523A (zh) 2017-01-04
KR101549644B1 (ko) 2015-09-03
CN102939754B (zh) 2016-09-07
TW202031043A (zh) 2020-08-16
US20200065855A1 (en) 2020-02-27
BR112012026393A2 (pt) 2020-04-14
KR101903919B1 (ko) 2018-10-02
TW201517598A (zh) 2015-05-01
BR112012026393B1 (pt) 2022-08-23
ES2590686T3 (es) 2016-11-23
JP2014195261A (ja) 2014-10-09
JP2019198081A (ja) 2019-11-14
KR20200098721A (ko) 2020-08-20
TW202349955A (zh) 2023-12-16
EP2559246B1 (en) 2016-06-08
TW202224433A (zh) 2022-06-16
US10460344B2 (en) 2019-10-29
TWI675586B (zh) 2019-10-21
CN106162189B (zh) 2020-03-24
EP4057628A1 (en) 2022-09-14
CN106303536A (zh) 2017-01-04
TWI815295B (zh) 2023-09-11
KR20140074402A (ko) 2014-06-17
KR20230003428A (ko) 2023-01-05
KR20200119353A (ko) 2020-10-19
TWI713356B (zh) 2020-12-11
US10621614B2 (en) 2020-04-14
US11087355B2 (en) 2021-08-10
CN106303523B (zh) 2020-09-11
CN106210736B (zh) 2020-06-16
JP2020092449A (ja) 2020-06-11
US10748183B2 (en) 2020-08-18
JP5718453B2 (ja) 2015-05-13
US20190164188A1 (en) 2019-05-30
KR102145722B1 (ko) 2020-08-20
US20200372537A1 (en) 2020-11-26
KR102030951B1 (ko) 2019-10-10
CN106210736A (zh) 2016-12-07
US11734714B2 (en) 2023-08-22
KR102337744B1 (ko) 2021-12-09
EP3089450B1 (en) 2022-08-31
CN106162170B (zh) 2019-07-02
KR102166519B1 (ko) 2020-10-16
US20190197579A1 (en) 2019-06-27
US11037194B2 (en) 2021-06-15
US10719850B2 (en) 2020-07-21
CN106101700B (zh) 2019-08-13
EP3089450A1 (en) 2016-11-02
JP2016158259A (ja) 2016-09-01
CN106303522B (zh) 2019-08-16
DK2559246T3 (en) 2016-09-19
TWI675587B (zh) 2019-10-21
KR20150022020A (ko) 2015-03-03
JP6909818B2 (ja) 2021-07-28
JP2022188123A (ja) 2022-12-20
CN106303536B (zh) 2021-01-08
EP2559246A1 (en) 2013-02-20
TWI757963B (zh) 2022-03-11
TW202029762A (zh) 2020-08-01
JP2021101548A (ja) 2021-07-08
US10672028B2 (en) 2020-06-02
US20200074503A1 (en) 2020-03-05
CN106162170A (zh) 2016-11-23
US20190087857A1 (en) 2019-03-21
CN106162171B (zh) 2020-09-11
TW201828702A (zh) 2018-08-01
KR102480988B1 (ko) 2022-12-26
US10803485B2 (en) 2020-10-13
TW202139705A (zh) 2021-10-16
PL2559246T3 (pl) 2017-02-28
CN106162172B (zh) 2020-06-02
JP2019083583A (ja) 2019-05-30
BR122020007918B1 (pt) 2022-11-29
BR122020007916B1 (pt) 2022-08-23
CN106101700A (zh) 2016-11-09
KR102360005B1 (ko) 2022-02-08
TW202402058A (zh) 2024-01-01
TW201204047A (en) 2012-01-16
TW201828703A (zh) 2018-08-01
US20130039423A1 (en) 2013-02-14
TWI466548B (zh) 2014-12-21
US20180218397A1 (en) 2018-08-02
KR101626688B1 (ko) 2016-06-01
CN106162173A (zh) 2016-11-23
CN106162169B (zh) 2020-02-28
KR20200019794A (ko) 2020-02-24
PT2559246T (pt) 2016-09-14
TW202025758A (zh) 2020-07-01

Similar Documents

Publication Publication Date Title
KR102360146B1 (ko) 샘플 영역 병합
KR102333225B1 (ko) 샘플 배열 멀티트리 세부분할에서 계승
KR101447796B1 (ko) 평면 간 예측

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant