KR20080004340A - 영상 데이터의 스케일러블 코딩 방법 및 그 장치 - Google Patents

영상 데이터의 스케일러블 코딩 방법 및 그 장치 Download PDF

Info

Publication number
KR20080004340A
KR20080004340A KR1020070040969A KR20070040969A KR20080004340A KR 20080004340 A KR20080004340 A KR 20080004340A KR 1020070040969 A KR1020070040969 A KR 1020070040969A KR 20070040969 A KR20070040969 A KR 20070040969A KR 20080004340 A KR20080004340 A KR 20080004340A
Authority
KR
South Korea
Prior art keywords
block
weight
image data
reference block
macroblock
Prior art date
Application number
KR1020070040969A
Other languages
English (en)
Inventor
정세윤
박광훈
박민우
신승표
서덕영
문경애
홍진우
Original Assignee
한국전자통신연구원
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 경희대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to US12/305,420 priority Critical patent/US8630352B2/en
Priority to KR1020070067031A priority patent/KR101352979B1/ko
Priority to PCT/KR2007/003256 priority patent/WO2008004816A1/en
Publication of KR20080004340A publication Critical patent/KR20080004340A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

본 발명은 스케일러블 비디오 코딩(Scalable Video Coding) 방법의 AR-FGS(Adaptive Reference Fine Grain Scalability)에 있어서, 기본계층의 매크로블럭 모드가 SKIP 모드일 경우 슬라이스 단위로 주어진 기존의 가중치를 보다 높은 값으로 오버라이딩(overriding)하여 참조 블럭을 생성하는 방법 및 그 장치에 관한 것이다.
MPEG, 스케일러블 비디오 코딩(Scalable Video Coding), AR-FGS(Adaptive Reference Fine Grain Scalability)

Description

영상 데이터의 스케일러블 코딩 방법 및 그 장치{Method and the device of scalable coding of video data}
도 1은 종래 기술에 따른 AR-FGS(Adaptive Reference-Fine Grain Scalability)의 개념도이다.
도 2는 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법의 일 실시예의 흐름도이다.
도 3은 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법의 다른 실시예의 흐름도이다.
도 4는 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법의 또 다른 실시예의 흐름도이다.
도 5는 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법의 또 다른 실시예의 흐름도이다.
도 6은 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법을 표현하기 위한 신택스의 일 실시예의 도면이다.
도 7은 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법을 표현하기 위한 신택스의 다른 실시예의 도면이다.
도 8은 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법을 표현하기 위 한 신택스의 또 다른 실시예의 도면이다.
도 9a 내지 도 9c는 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법을 표현하기 위한 신택스가 포함된 Slice 스케일러블 확장 슬라이스 헤더 (slice header in scalabe extension) 신택스의 일 실시예의 도면이다.
도 10은 본 발명에 따른 영상 데이터의 스케일러블 코딩 장치의 일 실시예의 기능별 블럭도이다.
도 11은 본 발명에 따른 영상 데이터의 스케일러블 코딩 장치의 다른 실시예의 기능별 블럭도이다.
도 12는 본 발명에 따른 영상 데이터의 스케일러블 코딩 장치의 또 다른 실시예의 기능별 블럭도이다.
도 13은 본 발명에 따른 영상 데이터의 스케일러블 디코딩 장치의 일 실시예의 기능별 블럭도이다.
도 14는 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법의 일 실시예와 JSVM 5.10에서 제안된 방법과의 비트율 대비 PSNR 성능 비교 그래프이다.
도 15는 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법의 다른 실시예와 JSVM 5.10에서 제안된 방법과의 비트율 대비 PSNR 성능 비교 그래프이다.
도 16은 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법의 또 다른 실시예와 JSVM 5.10에서 제안된 방법과의 비트율 대비 PSNR 성능 비교 그래프이다.
도 17은 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법의 또 다른 실시예와 JSVM 5.10에서 제안된 방법과의 비트율 대비 PSNR 성능 비교 그래프이다.
본 발명은 스케일러블 비디오 코딩 방법 및 그 장치에 관한 것으로, 보다 상세하게는, AR-FGS에서 기본 계층의 매크로블럭 모드가 스킵(SKIP) 블럭인 경우, 향상 계층의 매크로블럭의 가중치 값을 슬라이스 단위로 주어진 기존의 가중치보다 높은 스킵 모드 가중치로 오버라이딩하여 참조 블럭을 생성하여 코딩 효율을 향상시키는 스케일러블 비디오 코딩 방법 및 그 장치에 관한 것이다.
현재 MPEG 및 ITU-T에서 JVT(Joint Video Team)을 구성하여 국제 표준화가 진행중인 스케일러블 비디오 코딩(Scalable Video Coding; SVC)에서 AR-FGS(Adaptive Reference Fine Gradunality Scalability)는 SNR(Signal to Noise Ratio) 스케일러빌티리의 FGS(Fine Gradunality Scalability) 코딩 방법에서 시간 방향의 예측(temporal prediction)을 수행하여 코딩효율(coding efficiency) 향상을 높이는 기술이다.
SNR(signal to noise ratio) 스케일러블은 가변적인 네트워크 상황에 따라서 수신한 비트율에 비례해 화질의 향상을 이루는 기술이다. 이 SNR 스케일러블 기술 중 FGS(Fine Gradunality Scalability)는 임의로 네트워크 상황에 따라 절단된 비트스트림을 전송받고, 전송받은 비트스트림의 양에 비례하여 화질의 향상을 가져오는 기술이다. 하지만 이 FGS기술은 전송받을 비트율을 알 수 없기 때문에 비디오 코덱에서 높은 코딩효율 향상을 가져오는 시간적 예측(temporal prediction) 구조 를 가질 수 없다. 만약 아무런 고려없이 시간적 예측 구조를 적용하게 되면 엔코더와 디코더 단의 움직임보상을 위한 참조영상의 불일치로 인하여 드리프트(drift)가 발생되어 재생된 영상 및 코딩효율 측면에서 급격한 성능 저하가 발생한다.
AR-FGS(Adaptive Reference - Fine Grain Scalability) 기술은 드리프트를 효과적으로 제어하며 시간적인 예측 구조의 성능향상의 이점을 함께 사용한다. 이 AR-FGS기술은 움직임 보상을 위한 참조(reference) 블럭 (또는 매크로블럭)을, 부분적으로(partially) 디코딩된 상위계층과 하위계층에서 얻어진 참조블럭 (reference block)의 가중합으로 사용한다. 이렇게 구현된 AR-FGS방법으로 FGS 코딩성능을 향상시키고 드리프트도 제어할 수 있다.
도 1은 종래 기술에 따른 AR-FGS(Adaptive Reference - Fine Grain Scalability)의 개념도이다.
도 1을 참조하면, 블럭의 크기는 MxN이고
Figure 112007031738924-PAT00001
은 FGS 계층(향상계층)에서 코딩될 블럭의 신호이다.
Figure 112007031738924-PAT00002
는 기본계층과 향상계층의 가중합의 조합으로 만들어지는 움직임보상 참조 블럭의 신호를 의미한다. 향상계층의 참조 블럭의 신호는
Figure 112007031738924-PAT00003
로 기본계층의 양자화된 계수는
Figure 112007031738924-PAT00004
으로 표기하고 변환은
Figure 112007031738924-PAT00005
로 표기하였다. 그리고 기본계층의 양자화된 변환계수는
Figure 112007031738924-PAT00006
로 표기하였다.
AR-FGS에서 참조블럭의 형성은 다음의 두가지 방법으로 수행된다.
1. 기본계층에서 양자화된 계수가 모두 0이라면 (1)의 식, 즉
Figure 112007031738924-PAT00007
를 향상계층의 가중치로,
Figure 112007031738924-PAT00008
를 기본계층의 가중치로 이용하여 기본계층의 대응블럭과 향상계층의 대응블럭의 가중합으로 참조 블럭을 형성한다.
Figure 112007031738924-PAT00009
Figure 112007031738924-PAT00010
2. 그 외의 경우(기본계층에서 0이 아닌 양자화된 계수가 하나 이상 존재하는 경우), 참조블럭은 변환계수 영역에서 형성된다. 대응되는 위치의 기본계층의 변환신호가 0이라면 (2)의 식, 즉 변환계수 영역에서 기본계층에 대응되는 변환계수에는
Figure 112007031738924-PAT00011
를, 향상계층에 대응되는 변환계수에는
Figure 112007031738924-PAT00012
를 곱하고 이들의 가중합으로 변환계수를 얻는다. 변환계수 영역에서 대응되는 기본계층 위치의 변환계수가 0이 아니라면 (3)의 식, 즉 기본계층 신호를 그대로 이용한다. 이렇게 획득한 변환계수를 역변환을 통하여 참조블럭을 형성한다.
Figure 112007031738924-PAT00013
Figure 112007031738924-PAT00014
Figure 112007031738924-PAT00015
Figure 112007031738924-PAT00016
가중치들은 슬라이스 단위로 주어지며, 각 기본계층의 블럭에서 모든 픽셀의 잔여영상의 값이 모두 '0'일 경우의 가중치(
Figure 112007031738924-PAT00017
) 와, 각 기본계층의 블럭에서 잔여영상의 값이 모두 '0'이 아닐 경우 DCT 도메인(domain)으로 변환하여 모든 변환 계수의 값이 '0'이 아닌 계수가 존재할 경우의 가중치(
Figure 112007031738924-PAT00018
)를 따로 전송을 한다. 여기서 가중치(
Figure 112007031738924-PAT00019
,
Figure 112007031738924-PAT00020
)는 상위계층의 가중치로 0 과 1 사이의 값을 가지며, 하위계층의 가중치는 1 - 상위계층의 가중치, 즉, (1-
Figure 112007031738924-PAT00021
또는 1-
Figure 112007031738924-PAT00022
)를 갖는다.
위와 같은 방법으로 형성한 참조블럭으로 시간적인 예측구조의 이점을 이용하여 FGS 코딩을 수행한다. 실시간이 요구되는 비디오 코딩에서 기존 FGS 코딩보다 상대적으로 매우 향상된 성능을 발휘하며 일반적인 비디오 코딩에서도 기존 FGS 코딩보다 향상된 성능을 발휘한다.
스킵(skip) 모드는 기본계층의 블럭 데이터는 존재하지 않고, 참조 픽쳐의 데이터를 그대로 가져와서 사용하는 모드로써, 시간 방향에서 데이터의 변화가 없다는 것을 의미한다. 따라서 향상계층에서도 데이터의 변화가 없을 것을 예상하여 데이터를 그대로 가져와서 사용하면 성능이 향상이 될 수 있고, 만약 전송이 되지 않는다고 하더라도 스킵 블럭에서 잘못된 참조를 통한 드리프트 발생 확률은 낮을 것이다.
본 발명이 이루고자 하는 기술적 과제는 기본계층의 매크로 블럭의 영상 데 이터가 스킵 모드인 경우 코딩 성능을 향상시키고 드리프트 발생 확률을 감소시키는 스케일러블 코딩 방법 및 그 장치를 제공하는 것이다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기의 기술적 과제를 해결하기 위한 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법의 일 실시예로, 현재 프레임의 기본 계층의 매크로 블럭의 영상 데이터와, 상기 매크로 블럭에 대응되는 위치에 있는 참조 프레임의 향상 계층의 매크로 블럭인 대응 블럭의 영상 데이터를 기초로 참조 블럭을 생성하는 영상 데이터의 스케일러블 코딩 방법은, 상기 매크로 블럭의 영상 데이터가 상기 매크로 블럭의 영상 데이터에 대한 참조 픽처들의 영상 데이터로부터 예측 가능하면, 상기 대응 블럭에 대해 설정된 가중치를 이용하여 상기 참조 블럭을 생성하는 단계; 및 상기 매크로 블럭이 움직임이 있는 것으로 판단되면, 상기 현재 프레임이 속하는 슬라이스에 주어진 가중치를 이용하여 상기 참조 블럭을 생성하는 단계;를 포함한다.
상기의 기술적 과제를 해결하기 위한 본 발명에 따른 영상 데이터의 스케일러블 코딩 장치의 일 실시예로, 현재 프레임의 기본 계층의 매크로 블럭의 영상 데이터와, 상기 매크로 블럭에 대응되는 위치에 있는 참조 프레임의 향상 계층의 매크로 블럭인 대응 블럭의 영상 데이터를 기초로 참조 블럭을 생성하는 영상 데이터 의 스케일러블 코딩 장치는, 상기 매크로 블럭의 영상 데이터가 상기 매크로 블럭의 영상 데이터에 대한 참조 픽처들의 영상 데이터로부터 예측 가능한지 판단하는 움직임 판단부; 및 상기 매크로 블럭이 시간 방향에서 움직임이 없는 것으로 판단되면 상기 대응 블럭에 대해 설정된 가중치를 이용하여 상기 참조 블럭을 생성하고, 그렇지 않으면 상기 현재 프레임이 속하는 슬라이스에 주어진 가중치를 이용하여 상기 참조 블럭을 생성하는 참조 블럭 생성부;를 포함한다.
상기의 기술적 과제를 해결하기 위한 본 발명에 따른 스케일러블 비디오 디코딩 방법은, (a) 현재 프레임의 기본 계층의 매크로 블럭을 참조 프레임의 기본 계층의 대응 매크로 블럭으로 예측하여 복원할 수 있는지 여부를 판단하는 단계; (b) 예측하여 복원할 수 있는 경우, 상기 참조 프레임의 향상 계층의 대응 매크로 블럭에 설정된 기존 가중치를 신규 가중치로 오버라이딩하는 단계; (c) 상기 신규 가중치를 적용한 상기 참조 프레임의 향상 계층의 대응 매크로 블럭과 상기 현재 프레임의 기본 계층의 매크로 블럭을 기초로 상기 현재 프레임의 향상 계층의 참조 블럭을 생성하는 단계; 및 (d) 상기 참조 블럭을 이용하여 상기 현재 프레임의 향상 계층의 매크로 블럭을 복원하는 단계;를 포함한다.
상기의 기술적 과제를 해결하기 위한 본 발명에 따른 스케일러블 비디오 디코딩 장치는, 현재 프레임의 기본 계층의 매크로 블럭을 참조 프레임의 기본 계층의 대응 매크로 블럭으로 예측하여 복원할 수 있는지 여부를 판단하는 판단부; 예측하여 복원할 수 있는 경우, 상기 참조 프레임의 향상 계층의 대응 매크로 블럭에 설정된 기존 가중치를 신규 가중치로 오버라이딩하는 가중치 설정부; 상기 신규 가 중치를 적용한 상기 참조 프레임의 향상 계층의 대응 매크로 블럭과 상기 현재 프레임의 기본 계층의 매크로 블럭을 기초로 상기 현재 프레임의 향상 계층의 참조 블럭을 생성하는 참조 블럭 생성부; 및 상기 참조 블럭을 이용하여 상기 현재 프레임의 향상 계층의 매크로 블럭을 복원하는 디코딩부;를 포함한다.
상기의 기술적 과제를 달성하기 위해 스케일러블 비디오 코딩 및 디코딩 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 것을 특징으로 한다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
또한 본 발명에서 용어 "픽쳐" 및 "프레임"은 비디오 시퀀스에서 이미지 데이터를 나타내는 것으로 교환가능하게 사용된다.
도 2는 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법의 일 실시예의 흐름도이다.
도 2를 참조하면, 기본 계층의 블럭(또는 매크로 블럭) 모드가 SKIP 모드인지 여부를 판단한다(210). 즉, 현재 프레임의 기본 계층의 매크로 블럭의 영상 데이터가 참조 픽처들의 영상 데이터로부터 예측 가능한지 여부를 판단한다.
예측 가능하면, 새로운 SKIP 모드 가중치를 AR-FGS의 기존 가중치에 오버라이딩한다(220). 스킵 모드 가중치는 슬라이스 단위로 설정된 기존 가중치보다 크게 설정하는 것이 바람직하다.
가중치 합을 이용하여 참조 블럭을 구성하고 AR-FGS 블럭 인코딩을 수행한다(230). 스킵 모드이면 상기 현재 프레임의 기본 계층의 매크로 블럭에 대응되는 위치에 있는 참조 프레임의 향상 계층의 매크로 블럭인 대응 블럭에 대해 설정된 스킵 모드 가중치를 이용하여 상기 참조 블럭을 생성하고, 스킵 모드가 아니면 현재 프레임이 속하는 슬라이스에 주어진 기존 가중치를 이용하여 참조 블럭을 생성한 후 인코딩을 수행한다.
도 3은 본 발명에 따른 영상 데이터의 스케일러블 디코딩 방법의 일 실시예의 흐름도이다.
도 3을 참조하면, 기본 계층의 블럭(또는 매크로 블럭)의 모드가 SKIP 모드인지 여부를 판단한다(310). 즉, 현재 프레임의 기본 계층의 블럭을 참조 프레임의 기본 계층의 대응하는 위치에 있는 대응 블럭으로 예측하여 복원할 수 있는지 여부를 판단한다. 기본 계층의 현재 프레임의 블럭 모드가 스킵 모드인 경우, 상기 현재 프레임의 기본 계층의 블럭은 참조 프레임의 기본 계층의 대응 블럭에 대해 시간 방향으로 데이터의 변화가 없는 것을 의미한다. 이 경우 상기 현재 프레임의 기본 계층의 블럭의 영상 데이터가 상기 레퍼런스 프레임의 기본 계층의 블럭의 영상 데이터의 평균값과 동일한지 여부로 상기 스킵 모드 여부를 판단할 수 있다.
상기 기본 계층의 블럭 모드가 스킵 모드인 경우, 신규 스킵(SKIP) 모드 가 중치를 상기 참조 프레임의 향상 계층의 대응 블럭에 설정된 기존 가중치에 오버라이딩한다(320). 신규 가중치는 슬라이스 단위로 설정된 기존 가중치보다 크게 설정하는 것이 바람직하다. 이는 기본 계층 블럭이 스킵 모드인 경우 상위 계층에서도 데이터의 변화가 없을 것으로 예상할 수 있으므로 참조 프레임에 좀 더 비중을 두면 코딩 효율이 향상될 수 있기 때문이다.
가중치 합을 이용하여 참조 블럭을 구성하고, AR-FGS 블럭 디코딩을 수행한다(330). 상기 참조 프레임의 향상 계층의 대응 블럭과 상기 현재 프레임의 기본 계층의 블럭에 적용된 상기 신규 가중치의 합을 이용하여 상기 현재 프레임의 향상 계층의 참조 블럭을 생성하고, 상기 참조 블럭으로부터 상기 현재 프레임의 향상 계층의 매크로 블럭을 복원한다. 스킵 모드가 아니면, 기존 가중치를 적용한 참조 프레임의 향상 계층의 대응 블럭과 상기 현재 프레임의 기본 계층의 블럭을 기초로 상기 현재 프레임의 향상 계층의 참조 블럭을 생성하고, AR-FGS 블럭 디코딩을 수행한다.
도 4는 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법의 다른 실시예의 흐름도이다. 도 2와 중복되는 내용의 상세한 설명은 생략하겠다.
도 4를 참조하면, SKIP 모드 가중치 오버라이딩의 수행 여부를 나타내는 플래그가 설정되어 있는지 여부를 판단한다(410).
플래그가 '1'로 셋되어 있으면, 기본 계층의 블럭(또는 매크로 블럭) 모드가 SKIP 모드인지 여부를 판단한다(420).
스킵 모드이면 스킵(SKIP) 모드 가중치를 기존 가중치에 오버라이딩한 다(430).
가중치 합을 이용하여 참조 프레임을 구성하고 AR-FGS 블럭 인코딩을 수행한다(440). 스킵 모드이면 상기 현재 프레임의 기본 계층의 매크로 블럭에 대응되는 위치에 있는 참조 프레임의 향상 계층의 매크로 블럭인 대응 블럭에 대해 설정된 스킵 모드 가중치를 이용하여 상기 참조 블럭을 생성한다. 플래그가 셋되어 있지 않거나 스킵 모드가 아니면 현재 프레임이 속하는 슬라이스에 주어진 기존 가중치를 이용하여 참조 블럭을 생성한다.
도 5는 본 발명에 따른 영상 데이터의 스케일러블 디코딩 방법의 다른 실시예의 흐름도이다. 도 3과 중복되는 내용의 상세한 설명은 생략하겠다.
도 5를 참조하면, SKIP 모드 가중치 오버라이딩의 수행 여부를 나타내는 플래그가 설정되어 있는지 여부를 판단한다(510).
판단 결과 상기 플래그가 '1'로 셋되어 있으면, 기본 계층의 블럭의 모드가 SKIP 모드인지 여부를 판단한다(520).
상기 참조 프레임의 향상 계층의 대응 블럭(또는 매크로 블럭)에 대해 SKIP 모드 가중치를 기존 가중치에 오버라이딩한다(530).
가중치 합을 이용하여 참조 블럭을 구성하고, AR-FGS 블럭 디코딩을 수행한다(540). 만일 스킵 모드이면 스킵 모드 가중치를 적용한 참조 프레임의 향상 계층의 대응 블럭과 현재 프레임의 기본 계층의 블럭을 기초로 현재 프레임의 향상 계층의 참조 블럭을 생성하고, 상기 참조 블럭으로부터 상기 현재 프레임의 향상 계층의 매크로 블럭을 복원한다. 만일 플래그가 셋되어 있지 않거나, 스킵 모드가 아 니면, 기존 가중치를 적용한 참조 프레임의 향상 계층의 대응 블럭과 상기 현재 프레임의 기본 계층의 블럭을 기초로 현재 프레임의 향상 계층의 참조 블럭을 생성하고, 상기 현재 프레임의 향상 계층의 매크로 블럭을 복원한다.
도 2 내지 도 5에서, 기본 계층의 블럭 모드가 SKIP 모드인 경우뿐만 아니라, 상기 블럭이 참조 픽처들(H.264에서 상기 블럭의 왼쪽, 왼쪽 대각선 위쪽, 위쪽의 블럭)로부터 예측된 값에서 일정 범위 내인 경우에도 상기 블럭에 대해 새로운 가중치를 오버라이딩할 수 있을 것이다.
오버라이딩에 사용하는 SKIP 모드 가중치는 슬라이스 헤더에 코딩할 수 있으며, N 비트의 고정 길이(Fixed length) 또는 가변 길이(Variable length) 코딩을 사용할 수 있다.
도 6은 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법을 표현하기 위한 신택스의 일 실시예의 도면이다.
도 6을 참조하면, 실제 스케일러블 비디오 코딩의 slice header in scalable extension 신택스에서 코딩하는 일 실시예로, SKIP 모드 가중치 오버라이딩을 사용할지에 대한 플래그(flag) 정보인 "override_max_diff_ref_scala_for_zero_base_block_flag"를 코딩하고, 플래그가 1이라면, SKIP 모드 가중치 오버라이딩 정보인 "max_diff_ref_scale_for_skipped_base_block"를 2비트로 코딩하고, 플래그가 0이라면, "max_diff_ref_scale_for_skipped_base_block"를 코딩하지 않는다. "max_diff_ref_scale_for_skipped_base_block"의 값은 0부터 3의 값을 갖는다. 0은 향상 계층의 가중치를 32/32로, 1은 31/32로, 2는 30/32, 3은 29/32로 주는 것이다. 기본 계층의 블럭 모드가 SKIP 모드인 향상 계층의 블럭을 코딩할 때, "override_max_diff_ref_scala_for_zero_base_block_flag"가 1일 경우 SKIP 모드 가중치인 "max_diff_ref_scale_for_skipped_base_block"를 "max_diff_ref_scale_for_zero_base_block"에 오버라이딩한다.
도 7은 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법을 표현하기 위한 신택스의 다른 실시예의 도면이다.
도 7을 참조하면, 실제 스케일러블 비디오 코딩의 slice header in scalable extension 신택스에서 코딩하는 일 실시예로 SKIP 모드 가중치 오버라이딩 정보 "max_diff_ref_scale_for_skipped_base_block"를 5비트로 코딩한다.
도 8은 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법을 표현하기 위한 신택스의 또 다른 실시예의 도면이다.
도 8을 참조하면, 실제 스케일러블 비디오 코딩의 slice header in scalable extension 신택스에서 코딩하는 일 실시예로 SKIP 모드 가중치 오버라이딩 정보 "max_diff_ref_scale_for_skipped_base_block"를 가변 길이 코드로 코딩하는 일 실시예로 H.264에서 사용하는 Exp-Golomb 코드를 사용하여 코딩하는 예를 보여준다.
현재 국제표준화가 진행중인 스케일러블 비디오 코딩 표준화에 실제로 적용한 예로 의사코드(Pseudo Code)는 다음과 같다.
Figure 112007031738924-PAT00023
도 9a 내지 도 9c는 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법을 표현하기 위한 신택스가 포함된 스케일러블 확장 슬라이스 헤더 (slice header in scalabe extension) 신택스의 일 실시예의 도면이다.
도 9를 참조하면, 상기 의사코드를 SVC 국제표준안에 맞게 적용된 신택스(Syntax)로서, 도 9에서 사용된 변수의 시맨틱(Semantics)은 다음과 같다.
Figure 112007031738924-PAT00024
다음은 상기 의사코드의 디코딩 프로세스(decoding process)의 실시예들로서, 4x4 휘도(luma) 블럭에 대한 차분 인터 예측 표본의 스케일링 프로세스, 8x8 휘도(luma) 블럭에 대한 차분 인터 예측 표본의 스케일링 프로세스, 및 채 도(chroma) 블럭에 대한 차분 인터 예측 표본의 스케일링 프로세스를 나타낸다.
4x4 휘도 블럭에 대한 차분 인터 예측 표본의 스케일링 프로세스(Scaling process for differential Inter prediction samples of 4x4 luma blocks)
Figure 112007031738924-PAT00025
8x8 휘도 블럭에 대한 차분 인터 예측 표본의 스케일링 프로세스( Scaling process for differential Inter prediction samples of 8x8 luma blocks )
Figure 112007031738924-PAT00026
채도( chroma ) 블럭에 대한 차분 인터 예측 표본의 스케일링 프로세스( Scaling process for differential Inter predictin samples of chroma blocks )
Figure 112007031738924-PAT00027
도 10은 본 발명에 따른 영상 데이터의 스케일러블 코딩 장치의 일 실시예의 기능별 블럭도이다.
도 10을 참조하면, 영상 데이터의 스케일러블 코딩 장치는 판단부(1010), 가중치 선택부(1020) 및 참조 블럭 생성부(1030)로 구성된다.
판단부(1010)는 매크로 블럭의 데이터가 상기 매크로 블럭의 데이터의 참조 픽처들로부터 예측 가능한지 판단한다. 이때 SKIP 모드인 것이 바람직하다.
가중치 선택부(1020)는 매크로 블럭의 데이터가 상기 참조 픽처들로부터 예측 가능하다고 판단되는 경우 새로운 가중치를 적용할 것인지, 또는 기존의 슬라이스 단위로 주어지는 가중치를 적용할 것인지 선택한다.
참조 블럭 생성부(1030)는 가중치 선택부(1020)에서 선택된 가중치를 기초로 참조 블럭을 생성한다.
도 11은 본 발명에 따른 영상 데이터의 스케일러블 코딩 장치의 다른 실시예의 기능별 블럭도이다.
도 11을 참조하면, 영상 데이터의 스케일러블 인코딩 장치로서 도 10의 장치보다 가중치 설정부(1115) 및 인코딩부(1140)를 더 포함한다.
가중치 설정부(1115)는 매크로 블럭이 참조 픽처로부터 예측 가능하다고 판단되는 경우 상기 매크로 블럭에 적용될 가중치를 새롭게 설정한다. 슬라이스 단위로 주어지는 기존의 가중치보다 높게 설정하는 것이 바람직하다.
인코딩부(1140)는 참조 블럭 생성부(1130)에서 생성된 참조 블럭을 기초로 매크로 블럭에 대한 현재 프레임의 향상 계층을 생성한다.
도 12는 본 발명에 따른 영상 데이터의 스케일러블 코딩 장치의 또 다른 실시예의 기능별 블럭도이다.
도 12를 참조하면, 영상 데이터의 스케일러블 디코딩 장치로서 도 10의 장치보다 가중치 확인부(1225) 및 디코딩부(1240)를 더 포함한다.
가중치 확인부(1225)는 매크로 블럭이 참조 픽처들로부터 예측 가능하다고 판단되면, 상기 매크로 블럭의 향상 계층을 생성하기 위해 사용된 가중치가 상기 매크로 블럭에 대해 새롭게 설정된 것인지 또는 슬라이스 단위로 주어진 기존의 가중치인지 확인한다.
참조 블럭 생성부(1230)는 확인된 가중치를 이용하여 참조 블럭을 생성하며, 디코딩부(1240)는 생성된 참조 블럭을 기초로 매크로 블럭의 데이터를 복원한다.
도 13은 본 발명에 따른 영상 데이터의 스케일러블 디코딩 장치의 실시예의 기능별 블럭도이다.
도 13을 참조하면, 디코딩 장치는 판단부(1310), 가중치 설정부(1320), 참조블럭 생성부(1330) 및 디코딩부(1340)를 포함한다.
판단부(1310)는 스킵 모드 가중치 오버라이딩 수행 여부를 나타내는 플래그가 설정되어 있는지 여부 및 상기 플래그가 "1"로 셋되어 있는 경우, 현재 프레임의 기본 계층의 매크로 블럭(또는 블럭)을 참조 프레임의 기본 계층의 대응 매크로 블럭으로 예측하여 복원할 수 있는지 여부를 판단한다. 상기 플래그 설정 여부 판단은 선택적으로 수행될 수 있다.
가중치 설정부(1320)는 현재 프레임의 기본 계층의 블럭이 스킵 모드로서 참조 프레임의 기본 계층의 대응 블럭으로부터 예측하여 복원할 수 있는 경우에는 상기 참조 프레임의 향상 계층의 대응 매크로 블럭에 설정된 기존 가중치를 신규 가중치로 오버라이딩한다.
참조 블럭 생성부(1330)는 현재 프레임의 기본 계층의 블럭이 스킵 모드인 경우에는 신규 가중치를 적용한 참조 프레임의 향상 계층의 대응 매크로 블럭과 상기 현재 프레임의 기본 계층의 매크로 블럭을 기초로 상기 현재 프레임의 향상 계 층의 참조 블럭을 생성하거나, 스킵 모드가 아니거나, 스킵 모드이되 스킵 모드 가중치 오버라이딩 수행이 설정되지 않은 경우에는 기존 가중치를 적용한 참조 프레임의 향상 계층의 대응 매크로 블럭과 현재 프레임의 기본 계층의 매크로 블럭을 기초로 현재 프레임의 향상 계층의 참조 블럭을 생성한다.
디코딩부(1340)는 상기 생성된 참조 블럭을 이용하여 상기 현재 프레임의 향상 계층의 매크로 블럭을 복원하기 위해 AR-FGS 디코딩을 수행한다.
도 14 내지 도 17은 스케일러블 비디오 코딩 표준화의 코덱인 JSVM 5.10에서 코딩한 결과와 본 발명에 따른 코딩 방법의 실시예들을 JSVM 5.10에 구현한 결과들의 비트율 대비 PSNR(Peak Signal to Noise Ratio) 비교 그래프들이다.
상기 SVC 국제표준안에 맞게 적용된 신택스(Syntax)(도 9a 내지 도 9c) 및 시맨틱(Sementics)과 디코딩 프로세스(Decoding Process)를 사용하여 코딩하였고, 기존의 가중치 파라미터 "max_diff_ref_scale_for_zero_base_coeff"는 고정적으로 상위계층의 가중치를 18/32로 하였다. 기본 계층의 SKIP 모드에 해당하는 가중치인 "max_diff_ref_scale_for_zero_base_block"은 상위 계층의 가중치를 28/32(동그라미 모양 그래프), 16/32(세모 모양 그래프), 8/32(마름모 모양 그래프)로 하였다.
도 14를 참조하면, Foreman CIF 15Hz 시퀀스를 "IPPP..."로 코딩하고, FGS 계층을 2계층까지 성능을 비교한 그래프로서, "max_diff_ref_scale_for_zero_base_block"가 28/32일 경우에 "max_diff_ref_scale_for_skipped_base_block"는 30/32로 하였고, 나머지 경우에서는 32/32로 하였다. "max_diff_ref_scale_for_zero_base_block"가 28/32일 경우에 는 0.15dB까지 성능이 향상이 되고, 16/32일 경우에는 1dB까지 성능이 향상되었으며, 8/32일 경우에는 1.35dB까지 성능이 향상이 되는 것을 확인할 수 있다.
도 15를 참조하면, Bus CIF 15Hz 시퀀스를 "IPPP..."로 코딩하고, FGS 계층을 2계층까지 성능을 비교한 그래프로서 "max_diff_ref_scale_for_zero_base_block"가 28/32일 경우에 "max_diff_ref_scale_for_skipped_base_block"는 30/32로 하였고, 나머지 경우에서는 32/32로 하였다. "max_diff_ref_scale_for_zero_base_block"가 28/32일 경우에는 0.1dB까지 성능이 향상이 되고, 16/32일 경우에는 0.43dB까지 성능이 향상되고, 8/32일 경우에는 0.73dB까지 성능이 향상이 되는 것을 확인할 수 있다.
도 16을 참조하면, Mobile CIF 15Hz 시퀀스를 "IPPP..."로 코딩하고, FGS 계층을 2계층까지의 성능을 비교한 그래프이다. "max_diff_ref_scale_for_zero_base_block"가 28/32일 경우에 "max_diff_ref_scale_for_skipped_base_block"는 29/32로 하였고, 나머지 경우에서는 32/32로 하였다. "max_diff_ref_scale_for_zero_base_block"가 28/32일 경우에는 0.09dB까지 성능이 향상이 되고, 16/32일 경우에는 0.84dB까지 성능이 향상되었으며, 8/32일 경우에는 2.07dB까지 성능이 향상이 되는 것을 확인할 수 있다.
도 17을 참조하면, Football CIF 15Hz 시퀀스를 "IPPP..."로 코딩하고, FGS 계층을 2계층까지의 성능을 비교한 그래프로서, "max_diff_ref_scale_for_zero_base_block"가 28/32일 경우에 "max_diff_ref_scale_for_skipped_base_block"는 29/32로 하였고, 나머지 경우에서 는 32/32로 하였다. "max_diff_ref_scale_for_zero_base_block"가 28/32일 경우에는 0.01dB까지 성능이 향상이 되고, 16/32일 경우에는 0.39dB까지 성능이 향상되고, 8/32일 경우에는 0.47dB까지 성능이 향상이 되는 것을 확인할 수 있다.
상기와 같이 본 발명에 따른 스케일러블 비디오 코딩 방법 및 그 장치에 의해 SVC 코딩효율(coding efficiency)을 향상시킬 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
지금까지 본 발명에 대하여 바람직한 실시예들을 중심으로 살펴보았다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다.
그러므로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명 이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 발명에 따라 기본계층의 매크로 블럭의 영상 데이터가 스킵 모드인 경우 향상 계층의 참조 블럭 형성시 슬라이스 단위로 주어진 기존의 가중치값(weight)을 보다 높은 SKIP 모드의 가중치로 오버라이딩함으로써 SVC 코딩 효율을 향상시킬 수 있다.
또한 만약 스킵 모드인지에 대해 아무런 고려없이 시간적 예측 구조를 적용하는 경우에 비해 인코더와 디코더 단의 움직임보상을 위한 참조 영상의 불일치로 인한 드리프트 발생 확률을 감소시킬 수 있다.

Claims (33)

  1. 현재 프레임의 기본 계층의 매크로 블럭의 영상 데이터와, 상기 매크로 블럭에 대응되는 위치에 있는 참조 프레임의 향상 계층의 매크로 블럭인 대응 블럭의 영상 데이터를 기초로 참조 블럭을 생성하는 영상 데이터의 스케일러블 코딩 방법에 있어서,
    (a) 상기 매크로 블럭의 영상 데이터가 상기 매크로 블럭의 영상 데이터에 대한 참조 픽처들의 영상 데이터로부터 예측 가능하면, 상기 대응 블럭에 대해 설정된 가중치를 이용하여 상기 참조 블럭을 생성하는 단계; 및
    (b) 상기 매크로 블럭의 영상 데이터가 상기 참조 픽처들의 영상 데이터로부터 예측 가능하지 않으면, 상기 현재 프레임이 속하는 슬라이스에 주어진 가중치를 이용하여 상기 참조 블럭을 생성하는 단계;를 포함하는 것을 특징으로 하는 영상 데이터의 스케일러블 코딩 방법.
  2. 제1항에 있어서 상기 (a)단계는,
    (a1) 상기 매크로 블럭의 영상 데이터가 상기 참조 픽처들의 영상 데이터로부터 예측 가능하면, 상기 대응 블럭에 대해 설정된 가중치를 이용하여 참조 블럭을 생성할 것인지 선택하는 단계; 및
    (a2) 상기 대응 블럭에 대해 설정된 가중치를 이용하여 참조 블럭을 생성할 것으로 선택되면 상기 대응 블럭에 대해 설정된 가중치를 이용하여 참조 블럭을 생 성하고, 그렇지 않으면 상기 슬라이스에 주어진 가중치를 이용하여 상기 참조 블럭을 생성하는 단계;를 포함하는 것을 특징으로 하는 영상 데이터의 스케일러블 코딩 방법.
  3. 제2항에 있어서,
    상기 (a1)단계는 상기 매크로 블럭의 영상 데이터가 상기 참조 픽처들의 영상 데이터로부터 예측 가능하면, 상기 대응 블럭에 대해 설정된 가중치를 이용하여 상기 참조 블럭을 생성할 것인지를 나타내는 플래그를 설정하는 것을 특징으로 하고,
    상기 (a2)단계는 상기 플래그가 셋되어 있으면 상기 대응 블럭에 대해 설정된 가중치를 이용하여 상기 참조 블럭을 생성하고, 그렇지 않으면 상기 슬라이스에 주어진 가중치를 이용하여 상기 참조 블럭을 생성하는 것을 특징으로 하는 영상 데이터의 스케일러블 코딩 방법.
  4. 제1항에 있어서, 상기 (a)단계는,
    (a1) 상기 매크로 블럭의 영상 데이터가 상기 참조 픽처들의 영상 데이터로부터 예측 가능하면, 상기 대응 블럭에 대한 가중치를 설정하는 단계; 및
    (a2) 상기 대응 블럭에 대해 설정된 가중치를 이용하여 상기 참조 블럭을 생성하는 단계;를 포함하고
    (c) 상기 참조 블럭을 기초로, 상기 현재 프레임의 기본 계층의 매크로 블럭 에 대응되는 위치에 있는 상기 현재 프레임의 향상 계층의 매크로 블럭의 영상 데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 영상 데이터의 스케일러블 코딩 방법.
  5. 제4항에 있어서,
    상기 (a1)단계는 상기 대응 블럭에 대한 가중치는 상기 슬라이스에 주어진 가중치를 기초로 계산된 상기 향상 계층의 가중치보다 크게 설정하는 것을 특징으로 하는 영상 데이터의 스케일러블 코딩 방법.
  6. 제4항에 있어서 상기 (a2)단계는,
    (a21) 상기 대응 블럭에 대해 설정된 가중치를 이용하여 참조 블럭을 생성할 것인지 선택하는 단계; 및
    (a22) 상기 대응 블럭에 대해 설정된 가중치를 이용하여 참조 블럭을 생성할 것으로 선택되면 상기 대응 블럭에 대해 설정된 가중치를 이용하여 참조 블럭을 생성하고, 그렇지 않으면 상기 슬라이스에 주어진 가중치를 이용하여 상기 참조 블럭을 생성하는 단계;를 포함하는 것을 특징으로 하는 영상 데이터의 스케일러블 코딩 방법.
  7. 제6항에 있어서,
    상기 (a21)단계는 상기 대응 블럭에 대해 설정된 가중치를 이용하여 상기 참 조 블럭을 생성할 것인지를 나타내는 플래그를 설정하는 것을 특징으로 하고,
    상기 (a22)단계는 상기 플래그가 셋되어 있으면 상기 대응 블럭에 대해 설정된 가중치를 이용하여 상기 참조 블럭을 생성하고, 그렇지 않으면 상기 슬라이스에 주어진 가중치를 이용하여 상기 참조 블럭을 생성하는 것을 특징으로 하는 영상 데이터의 스케일러블 코딩 방법.
  8. 제1항에 있어서 상기 (a)단계는,
    (a1) 상기 대응 블럭에 대해 설정된 가중치를 이용하여 상기 참조 블럭을 생성하는 것으로 설정되어 있으면 상기 대응 블럭에 대해 설정된 가중치를 이용하여 상기 참조 블럭을 생성하는 단계; 및
    (a2) 상기 대응 블럭에 대해 설정된 가중치를 이용하여 상기 참조 블럭을 생성하는 것으로 설정되어 있지 않으면, 상기 슬라이스에 주어진 가중치를 이용하여 상기 참조 블럭을 생성하는 단계;를 포함하고,
    (d) 상기 참조 블럭을 기초로, 현재 프레임의 영상 데이터를 복구하는 단계;를 더 포함하는 것을 특징으로 하는 영상 데이터의 스케일러블 코딩 방법.
  9. 제9항에 있어서,
    상기 (a1)단계는 상기 대응 블럭에 대해 설정된 가중치를 이용하여 상기 참조 블럭을 생성할 것을 나타내는 플래그가 셋되어 있으면, 상기 대응 블럭에 대해 설정된 가중치를 이용하여 상기 참조 블럭을 생성하는 것을 특징으로 하고,
    상기 (a2)단계는 상기 플래그가 셋되어 있지 않으면, 상기 슬라이스에 주어진 가중치를 이용하여 상기 참조 블럭을 생성하는 것을 특징으로 하는 영상 데이터의 스케일러블 코딩 방법.
  10. 현재 프레임의 기본 계층의 매크로 블럭의 영상 데이터와, 상기 매크로 블럭에 대응되는 위치에 있는 참조 프레임의 향상 계층의 매크로 블럭인 대응 블럭의 영상 데이터를 기초로 참조 블럭을 생성하는 영상 데이터의 스케일러블 코딩 장치에 있어서,
    상기 매크로 블럭의 영상 데이터가 상기 매크로 블럭의 영상 데이터에 대한 참조 픽처들의 영상 데이터로부터 예측 가능한지 판단하는 판단부; 및
    상기 매크로 블럭의 영상 데이터가 상기 참조 픽처들의 영상 데이터로부터 예측 가능하면 상기 대응 블럭에 대해 설정된 가중치를 이용하여 상기 참조 블럭을 생성하고, 그렇지 않으면 상기 현재 프레임이 속하는 슬라이스에 주어진 가중치를 이용하여 상기 참조 블럭을 생성하는 참조 블럭 생성부;를 포함하는 것을 특징으로 하는 영상 데이터의 스케일러블 코딩 장치.
  11. 제10항에 있어서,
    상기 판단부는 상기 매크로 블럭의 영상 데이터가 상기 참조 픽처들의 영상 데이터의 평균값과 동일한지 판단하는 것을 특징으로 하는 영상 데이터의 스케일러블 코딩 장치.
  12. 제10항에 있어서,
    상기 매크로 블럭의 영상 데이터가 상기 참조 픽처들의 영상 데이터로부터 예측 가능하면, 상기 대응 블럭에 대해 설정된 가중치를 이용하여 참조 블럭을 생성할 것인지 선택하는 가중치 선택부;를 더 포함하고,
    상기 참조 블럭 생성부는 상기 대응 블럭에 대해 설정된 가중치를 이용하여 참조 블럭을 생성할 것으로 선택되면 상기 대응 블럭에 대해 설정된 가중치를 이용하여 참조 블럭을 생성하고, 그렇지 않으면 상기 슬라이스에 주어진 가중치를 이용하여 상기 참조 블럭을 생성하는 것을 특징으로 하는 영상 데이터의 스케일러블 코딩 장치.
  13. 제12항에 있어서,
    상기 참조 블럭 생성부는 상기 대응 블럭에 대해 설정된 가중치를 이용하여 참조 블럭을 생성할 것을 나타내는 플래그가 셋되어 있으면 상기 대응 블럭에 대해 설정된 가중치를 이용하여 상기 참조 블럭을 생성하고, 그렇지 않으면 상기 슬라이스에 주어진 가중치를 이용하여 상기 참조 블럭을 생성하는 것을 특징으로 하는 영상 데이터의 스케일러블 코딩 장치.
  14. 제10항에 있어서,
    상기 매크로 블럭의 영상 데이터가 상기 참조 픽처들의 영상 데이터로부터 예측 가능하면, 상기 대응 블럭에 대한 가중치를 설정하여 상기 참조 블럭 생성부에 제공하는 가중치 설정부;를 더 포함하고,
    상기 참조 블럭을 기초로, 상기 현재 프레임의 기본 계층의 매크로 블럭에 대응되는 위치에 있는 상기 현재 프레임의 향상 계층의 매크로 블럭의 영상 데이터를 생성하는 인코딩부;를 더 포함하는 것을 특징으로 하는 영상 데이터의 스케일러블 코딩 장치.
  15. 제14항에 있어서,
    상기 판단부는 상기 매크로 블럭의 영상 데이터가 상기 참조 픽처들의 영상 데이터의 평균값과 동일한지 판단하는 것을 특징으로 하는 영상 데이터의 스케일러블 코딩 장치.
  16. 제14항에 있어서,
    상기 가중치 설정부는 상기 대응 블럭에 대한 가중치는 상기 슬라이스에 주어진 가중치를 기초로 계산된 상기 향상 계층의 가중치보다 크게 설정하는 것을 특징으로 하는 영상 데이터의 스케일러블 코딩 장치.
  17. 제14항에 있어서
    상기 대응 블럭에 대해 설정된 가중치를 이용하여 참조 블럭을 생성할 것인지 선택하는 가중치 선택부;를 더 포함하고,
    상기 참조 블럭 생성부는 상기 대응 블럭에 대해 설정된 가중치를 이용하여 참조 블럭을 생성할 것으로 선택되면 상기 대응 블럭에 대해 설정된 가중치를 이용하여 참조 블럭을 생성하고, 그렇지 않으면 상기 슬라이스에 주어진 가중치를 이용하여 상기 참조 블럭을 생성하는 것을 특징으로 하는 영상 데이터의 스케일러블 코딩 장치.
  18. 제17항에 있어서,
    상기 가중치 선택부는 상기 대응 블럭에 대해 설정된 가중치를 이용하여 상기 참조 블럭을 생성할 것인지를 나타내는 플래그를 설정하는 것을 특징으로 하고,
    상기 참조 블럭 생성부는 상기 플래그가 셋되어 있으면 상기 대응 블럭에 대해 설정된 가중치를 이용하여 상기 참조 블럭을 생성하고, 그렇지 않으면 상기 슬라이스에 주어진 가중치를 이용하여 상기 참조 블럭을 생성하는 것을 특징으로 하는 영상 데이터의 스케일러블 코딩 장치.
  19. 제10항에 있어서,
    상기 매크로 블럭의 영상 데이터가 상기 참조 픽처들의 영상 데이터로부터 예측 가능하면 상기 대응 블럭에 대해 설정된 가중치를 이용하여 상기 참조 블럭을 생성하는 것으로 설정되어 있는지 확인하는 가중치 확인부;를 더 포함하고,
    상기 참조 블럭 생성부는 상기 대응 블럭에 대해 설정된 가중치를 이용하여 상기 참조 블럭을 생성하는 것으로 설정되어 있으면 상기 대응 블럭에 대해 설정된 가중치를 이용하고, 그렇지 않으면 상기 슬라이스에 주어진 가중치를 이용하여 상기 참조 블럭을 생성하는 것을 특징으로 하고,
    상기 참조 블럭을 기초로, 현재 프레임의 영상 데이터를 복구하는 디코딩부;를 더 포함하는 것을 특징으로 하는 영상 데이터의 스케일러블 코딩 장치.
  20. 제19항에 있어서,
    상기 판단부는 상기 매크로 블럭의 영상 데이터가 상기 참조 픽처들의 영상 데이터의 평균값과 동일한지 판단하는 것을 특징으로 하는 영상 데이터의 스케일러블 코딩 장치.
  21. 제19항에 있어서,
    상기 가중치 확인부는 상기 대응 블럭에 대해 설정된 가중치를 이용하여 상기 참조 블럭을 생성할 것을 나타내는 플래그가 셋되어 있는지 확인하는 것을 특징으로 하고,
    상기 참조 블럭 생성부는 상기 플래그가 셋되어 있으면 상기 대응 블럭에 대해 설정된 가중치를 이용하고, 그렇지 않으면 상기 슬라이스에 주어진 가중치를 이용하여 상기 참조 블럭을 생성하는 것을 특징으로 하는 영상 데이터의 스케일러블 코딩 장치.
  22. (a) 현재 프레임의 기본 계층의 매크로 블럭을 참조 프레임의 기본 계층의 대응 매크로 블럭으로 예측하여 복원할 수 있는지 여부를 판단하는 단계;
    (b) 예측하여 복원할 수 있는 경우, 상기 참조 프레임의 향상 계층의 대응 매크로 블럭에 설정된 기존 가중치를 신규 가중치로 오버라이딩하는 단계;
    (c) 상기 신규 가중치를 적용한 상기 참조 프레임의 향상 계층의 대응 매크로 블럭과 상기 현재 프레임의 기본 계층의 매크로 블럭을 기초로 상기 현재 프레임의 향상 계층의 참조 블럭을 생성하는 단계; 및
    (d) 상기 참조 블럭을 이용하여 상기 현재 프레임의 향상 계층의 매크로 블럭을 복원하는 단계;를 포함하는 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
  23. 제22항에 있어서, 상기 (a) 단계는,
    (a1) 상기 신규 가중치 오버라이딩 수행 여부를 나타내는 플래그가 설정되어 있는지 여부를 판단하는 단계; 및
    (a2) 상기 플래그가 셋되어 있으면, 상기 현재 프레임의 기본 계층의 매크로 블럭을 참조 프레임의 기본 계층의 대응 매크로 블럭으로 예측하여 복원할 수 있는지 여부를 판단하는 단계;를 포함하는 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
  24. 제22항에 있어서,
    (e) 예측하여 복원할 수 없는 경우, 상기 기존 가중치를 적용한 상기 참조 프레임의 향상 계층의 대응 매크로 블럭과 상기 현재 프레임의 기본 계층의 매크로 블럭을 기초로 상기 현재 프레임의 향상 계층의 참조 블럭을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
  25. 제23항에 있어서,
    (e) 상기 플래그가 셋되어 있지 않으면, 상기 기존 가중치를 적용한 상기 참조 프레임의 향상 계층의 대응 매크로 블럭과 상기 현재 프레임의 기본 계층의 매크로 블럭을 기초로 상기 현재 프레임의 향상 계층의 참조 블럭을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
  26. 제22항에 있어서, 상기 (a) 단계는,
    상기 현재 프레임의 기본 계층의 매크로 블럭의 영상 데이터가 상기 참조 프레임의 기본 계층의 매크로 블럭의 영상 데이터의 평균값과 동일한지 여부로 상기 예측 복원 가능 여부를 판단하는 단계;를 포함하는 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
  27. 제22항에 있어서,
    상기 신규 가중치는 상기 기존 가중치보다 크게 설정하는 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
  28. 현재 프레임의 기본 계층의 매크로 블럭을 참조 프레임의 기본 계층의 대응 매크로 블럭으로 예측하여 복원할 수 있는지 여부를 판단하는 판단부;
    예측하여 복원할 수 있는 경우, 상기 참조 프레임의 향상 계층의 대응 매크로 블럭에 설정된 기존 가중치를 신규 가중치로 오버라이딩하는 가중치 설정부;
    상기 신규 가중치를 적용한 상기 참조 프레임의 향상 계층의 대응 매크로 블럭과 상기 현재 프레임의 기본 계층의 매크로 블럭을 기초로 상기 현재 프레임의 향상 계층의 참조 블럭을 생성하는 참조 블럭 생성부; 및
    상기 참조 블럭을 이용하여 상기 현재 프레임의 향상 계층의 매크로 블럭을 복원하는 디코딩부;를 포함하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
  29. 제28항에 있어서, 상기 판단부는,
    상기 신규 가중치 오버라이딩 수행 여부를 나타내는 플래그가 설정되어 있는지 여부를 판단하고, 상기 플래그가 셋되어 있으면, 상기 현재 프레임의 기본 계층의 매크로 블럭을 참조 프레임의 기본 계층의 대응 매크로 블럭으로 예측하여 복원할 수 있는지 여부를 판단하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
  30. 제28항에 있어서, 상기 참조 블럭 생성부는,
    예측하여 복원할 수 없는 경우, 상기 기존 가중치를 적용한 상기 참조 프레 임의 향상 계층의 대응 매크로 블럭과 상기 현재 프레임의 기본 계층의 매크로 블럭을 기초로 상기 현재 프레임의 향상 계층의 참조 블럭을 생성하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
  31. 제28항에 있어서, 상기 참조 블럭 생성부는,
    상기 플래그가 셋되어 있지 않으면, 상기 기존 가중치를 적용한 상기 참조 프레임의 향상 계층의 대응 매크로 블럭과 상기 현재 프레임의 기본 계층의 매크로 블럭을 기초로 상기 현재 프레임의 향상 계층의 참조 블럭을 생성하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
  32. 제28항에 있어서, 상기 판단부는,
    상기 현재 프레임의 기본 계층의 매크로 블럭의 영상 데이터가 상기 참조 프레임의 기본 계층의 매크로 블럭의 영상 데이터의 평균값과 동일한지 여부로 상기 예측 복원 가능 여부를 판단하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
  33. 제28항에 있어서,
    상기 신규 가중치는 상기 기존 가중치보다 크게 설정하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
KR1020070040969A 2006-07-04 2007-04-26 영상 데이터의 스케일러블 코딩 방법 및 그 장치 KR20080004340A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US12/305,420 US8630352B2 (en) 2006-07-04 2007-07-04 Scalable video encoding/decoding method and apparatus thereof with overriding weight value in base layer skip mode
KR1020070067031A KR101352979B1 (ko) 2006-07-04 2007-07-04 스케일러블 비디오 인코딩/디코딩 방법 및 그 장치
PCT/KR2007/003256 WO2008004816A1 (en) 2006-07-04 2007-07-04 Scalable video encoding/decoding method and apparatus thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20060062611 2006-07-04
KR1020060062611 2006-07-04

Publications (1)

Publication Number Publication Date
KR20080004340A true KR20080004340A (ko) 2008-01-09

Family

ID=39215198

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070040969A KR20080004340A (ko) 2006-07-04 2007-04-26 영상 데이터의 스케일러블 코딩 방법 및 그 장치

Country Status (2)

Country Link
US (1) US8630352B2 (ko)
KR (1) KR20080004340A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090060035A1 (en) * 2007-08-28 2009-03-05 Freescale Semiconductor, Inc. Temporal scalability for low delay scalable video coding
US8861879B2 (en) * 2009-09-17 2014-10-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image based on skip mode
US9516309B2 (en) 2012-07-09 2016-12-06 Qualcomm Incorporated Adaptive difference domain spatial and temporal reference reconstruction and smoothing
CN104539961B (zh) * 2014-12-12 2017-12-15 上海交通大学 基于分层结构渐进式字典学习的可分级视频编码系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030215011A1 (en) * 2002-05-17 2003-11-20 General Instrument Corporation Method and apparatus for transcoding compressed video bitstreams
KR100621581B1 (ko) 2004-07-15 2006-09-13 삼성전자주식회사 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
KR20060027779A (ko) * 2004-09-23 2006-03-28 엘지전자 주식회사 영상 블록의 시간상 및 공간상 상관관계를 이용한영상신호의 엔코딩 및 디코딩 방법과 장치
KR20060043118A (ko) * 2004-10-07 2006-05-15 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
CN101147399B (zh) * 2005-04-06 2011-11-30 汤姆森许可贸易公司 编码增强层视频数据的方法和设备
US8275040B2 (en) * 2005-07-22 2012-09-25 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
KR101293086B1 (ko) * 2006-02-17 2013-08-06 톰슨 라이센싱 비디오 데이터 밝기 변화를 다루는 지역화된 가중 예측
KR100781525B1 (ko) * 2006-04-06 2007-12-03 삼성전자주식회사 가중 평균합을 이용하여 ｆｇｓ 계층을 인코딩 및디코딩하는 방법 및 장치

Also Published As

Publication number Publication date
US8630352B2 (en) 2014-01-14
US20090175350A1 (en) 2009-07-09

Similar Documents

Publication Publication Date Title
KR102344167B1 (ko) 참조 화상 리스트 변경 정보를 조건부로 시그널링하는 기법
KR100772868B1 (ko) 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
KR101454495B1 (ko) 공간 및 비트 심도 예측을 위하여 적응적 예측 순서를 이용하여 비디오 데이터를 인코딩 및/또는 디코딩하기 위한 방법 및 장치
KR100679035B1 (ko) 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US7848433B1 (en) System and method for processing data with drift control
KR101044934B1 (ko) 움직임 벡터 추정방법 및 부호화 모드 결정방법
CN113330749A (zh) 用于变换跳过模式和块差分脉冲编码调制的改进的残差编解码
KR102219842B1 (ko) 시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치
KR20110071231A (ko) 부호화 방법, 복호화 방법 및 장치
EP2001242A2 (en) Error control system, method, encoder and decoder for video coding
JP2007184871A (ja) 動画像復号装置及び動画像復号方法
KR20090099234A (ko) 영상의 부호화, 복호화 방법 및 장치
KR20080088042A (ko) 영상 부호화, 복호화 방법 및 장치
CN101548549A (zh) 精细粒度可伸缩图像编码和解码
KR20120028843A (ko) 계층적 영상 부호화/복호화 방법 및 장치
KR20060122671A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
WO2012054570A1 (en) Error resilient rate distortion optimization for image and video encoding
KR101462637B1 (ko) 영상 부호화/복호화 방법 및 장치
KR20100102386A (ko) 레지듀얼 값 분포에 적응적인 부호표 선택에 기초한 영상 부호화, 복호화 방법 및 장치
WO2008004816A1 (en) Scalable video encoding/decoding method and apparatus thereof
KR100834757B1 (ko) 엔트로피 부호화 효율을 향상시키는 방법 및 그 방법을이용한 비디오 인코더 및 비디오 디코더
KR20080004340A (ko) 영상 데이터의 스케일러블 코딩 방법 및 그 장치
KR101352979B1 (ko) 스케일러블 비디오 인코딩/디코딩 방법 및 그 장치
KR20190132974A (ko) 영상 부호화/복호화 방법 및 장치
KR20180021733A (ko) 강화 계층의 현재 블록의 예측을 결정하기 위한 방법 및 장치