KR20070023478A - 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더 - Google Patents

잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더 Download PDF

Info

Publication number
KR20070023478A
KR20070023478A KR1020050119785A KR20050119785A KR20070023478A KR 20070023478 A KR20070023478 A KR 20070023478A KR 1020050119785 A KR1020050119785 A KR 1020050119785A KR 20050119785 A KR20050119785 A KR 20050119785A KR 20070023478 A KR20070023478 A KR 20070023478A
Authority
KR
South Korea
Prior art keywords
residual signal
block
obtaining
layer block
representative
Prior art date
Application number
KR1020050119785A
Other languages
English (en)
Other versions
KR100746011B1 (ko
Inventor
이교혁
마누 매튜
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050119785A priority Critical patent/KR100746011B1/ko
Priority to US11/508,951 priority patent/US20070047644A1/en
Priority to PCT/KR2006/003328 priority patent/WO2007024106A1/en
Publication of KR20070023478A publication Critical patent/KR20070023478A/ko
Application granted granted Critical
Publication of KR100746011B1 publication Critical patent/KR100746011B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 다 계층 비디오 코덱에서 잔차 예측의 성능을 개선하는 방법 및 장치에 관한 것이다.
본 발명의 일 실시예에 따른 잔차 예측 방법은, 현재 계층 블록에 대한 제1 잔차 신호를 구하는 단계와, 상기 현재 계층 블록과 대응되는 하위 계층 블록에 대한 제2 잔차 신호를 구하는 단계와, 상기 제2 잔차 신호를 소정의 스케일 인자를 곱함으로써 스케일링하는 단계와, 상기 제1 잔차 신호와 상기 스케일링된 제2 잔차 신호의 차이를 구하는 단계로 이루어진다.
스케일러블 비디오 코딩, 다 계층 비디오, H.264, 잔차 예측, 스케일 인자, 양자화 파라미터, 양자화 스텝

Description

잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오 인코더 및 비디오 디코더{Method for enhancing performance of residual prediction, video encoder, and video decoder using it}
도 1은 다 계층 구조를 이용한 스케일러블 비디오 코딩 방식의 일 예를 보여주는 도면.
도 2는 종래의 스케일러블 비디오 코딩 표준에 따른 잔차 예측 과정을 보여주는 도면.
도 3은 잔차 신호의 가변 범위가 계층 별로 상이함을 보여주는 도면.
도 4는 본 발명의 일 실시예에 따른 잔차 예측 과정을 보여주는 도면.
도 5는 '모션블록 대표 파라미터'를 계산하는 예를 보여주는 도면.
도 6은 본 발명의 일 실시예에 따른 다 계층 비디오 인코더의 구성을 도시하는 도면.
도 7은 도 6의 비디오 인코더에서 생성되는 비트스트림의 구조의 예를 나타낸 도면.
도 8은 본 발명의 일 실시예에 따른 다 계층 비디오 디코더의 구성을 도시하는 도면.
도 9는 본 발명의 다른 실시예에 따른 다 계층 비디오 디코더의 구성을 도시하는 도면.
(도면의 주요부분에 대한 부호 설명)
50 : 비트스트림 51 : 기초계층 비트스트림
52 : 향상계층 비트스트림 81 : mb_type 필드
82 : 모션 벡터 필드 83 : 스케일 인자 필드
84 : 양자화 파라미터 필드 85 : 부호화된 잔차 필드
100 : 기초 계층 인코더 200 : 향상 계층 인코더
105, 205, 210 : 차분기 115, 215 : 공간적 변환부
120, 220 : 양자화부 125, 225 : 엔트로피 부호화부
130, 230 : 역 양자화부 135, 235 : 역 공간적 변환부
140, 240, 450, 550 : 가산기 145, 245, 460, 560 : 프레임 버퍼
150, 250 : 모션 추정부 155, 255 : 모션 보상부
160 : 다운샘플러 165, 480 : 업샘플러
310, 320, 610, 620 : 양자화 스텝 계산부
330, 630 : 스케일 인자 계산부
340, 640 : 승산기 400 : 기초 계층 디코더
410, 510 : 엔트로피 복호화부 420, 520 : 역 양자화부
430, 530 : 역 공간적 변환부 470, 570 : 모션 보상부
500 : 향상 계층 디코더 1000 : 비디오 인코더
2000, 3000 : 비디오 디코더
본 발명은 비디오 압축 기술에 관한 것으로, 보다 상세하게는 다 계층 비디오 코덱에서 잔차 예측의 성능을 개선하는 방법 및 장치에 관한 것이다.
인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.
데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 제거함으로써 데이터를 압축할 수 있다. 일반적인 비디오 코딩 방법에 있어서, 시간적 중복은 모션 보상에 근거한 시간적 필터링(temporal filtering)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다.
데이터의 중복을 제거한 후 생성되는 멀티미디어를 전송하기 위해서는, 전송매체가 필요한데 그 성능은 전송매체 별로 차이가 있다. 현재 사용되는 전송매체는 초당 수십 메가 비트의 데이터를 전송할 수 있는 초고속통신망부터 초당 384 키로 비트의 전송속도를 갖는 이동통신망 등과 같이 다양한 전송속도를 갖는다. 이와 같은 환경에서, 다양한 속도의 전송매체를 지원하기 위하여 또는 전송환경에 따라 이에 적합한 전송률로 멀티미디어를 전송할 수 있도록 하는, 즉 스케일러빌리티(scalability)를 갖는 데이터 코딩방법이 멀티미디어 환경에 보다 적합하다 할 수 있다.
이러한 스케일러빌리티란, 하나의 압축된 비트스트림에 대하여 비트율, 에러율, 시스템 자원 등의 조건에 따라 디코더(decoder) 단 또는 프리디코더(pre-decoder) 단에서 부분적 디코딩을 할 수 있게 해주는 부호화 방식이다. 디코더 또는 프리디코더는 이러한 스케일러빌리티를 갖는 코딩 방식으로 부호화된 비트스트림의 일부만을 취하여 다른 화질, 해상도, 또는 프레임율을 갖는 멀티미디어 시퀀스를 복원할 수 있다.
이러한 스케일러블 비디오 코딩에 관하여, 이미 MPEG-21(moving picture experts group-21) PART-13에서는 그 표준화 작업을 진행 중에 있다. 이 중에서도, 다 계층(multi-layered) 기반의 비디오 코딩 방법에 의하여 스케일러빌리티를 구현하고자 하는 많은 연구들이 있었다. 이러한 다 계층 비디오 코딩의 예로, 기초 계층(base layer), 제1 향상 계층(enhanced layer 1), 제2 향상 계층(enhanced layer 2)의 다 계층을 두어, 각각의 계층은 서로 다른 해상도(QCIF, CIF, 2CIF), 또는 서로 다른 프레임율(frame-rate)을 갖도록 구성할 수 있다.
도 1은 다 계층 구조를 이용한 스케일러블 비디오 코딩 방식의 일 예를 보여준다. 상기 방식에서, 기초 계층은 QCIF(Quarter Common Intermediate Format), 15Hz(프레임율)로 설정되고, 제1 향상 계층은 CIF(Common Intermediate Format), 30hz로, 제2 향상 계층을 SD(Standard Definition), 60hz로 설정된다.
이와 같은 다 계층 비디오 프레임을 인코딩하는 데에는 계층 간의 관련성을 이용할 수 있는데, 예를 들어, 제1 향상 계층의 비디오 프레임 중 어떤 영역(12)은, 기초 계층의 비디오 프레임 중에서 대응되는 영역(13)으로부터의 예측을 통하여 효율적으로 인코딩된다. 마찬가지로 제2 향상 계층 비디오 프레임 중의 영역(11)은 상기 제1 향상 계층의 영역(12)로부터의 예측을 통하여 효율적으로 인코딩될 수 있다. 만약, 다 계층 비디오에 있어서 각 계층 별로 해상도가 상이한 경우에는 상기 예측을 수행하기 이전에 기초 계층의 이미지는 업샘플링 되어야 할 것이다.
현재, ISO/IEC(International Organization for Standardization / International Electrotechnical Commission)와 ITU(International Telecommunication Union)의 비디오 전문가들 모임인 JVT(Joint Video Team)에서 진행중인 스케일러블 비디오 코딩(이하, SVC 라 함) 표준에서는, 기존의 H.264를 기반으로 하여 도 1의 예와 같은 다 계층 기반의 코딩 기술에 관한 연구가 활발히 진행되고 있다.
상기 표준에서는, H.264에서 사용되었던 방향적 인트라 예측(directional intra prediction), 인터 예측(inter prediction) 뿐만이 아니라, 다 계층이라는 특성을 고려하여, 인트라 BL 예측(intra BL prediction), 및 잔차 예측(residual prediction)을 추가적으로 지원하고 있다.
상기 잔차 예측이란 현재 계층의 잔차 신호를 하위 계층의 잔차 신호로부터 예측하여 그 예측치의 차분에 해당되는 신호만을 양자화하는 방식을 의미한다.
도 2는 이러한 종래의 표준에 따른 잔차 예측 과정을 보여주는 도면이다.
먼저, 하위 계층(계층 N-1)에서, 주변 프레임을 이용하여 어떤 블록(OB)에 대한 예측 블록(PB)를 생성한다(S1). 그 다음, 상기 블록(OB)에서 상기 예측 블록(PB)를 차분한다(S2). 상기 차분 결과인 RB는 양자화/역양자화 과정을 거쳐서 복원되어 RB'가 된다(S3)
한편, 현재 계층(계층 N)에서, 주변 프레임을 이용하여 어떤 블록(OC)에 대한 예측 블록(PC)를 생성한다(S4). 그 다음, 상기 블록(OC)에서 상기 예측 블록(PC)를 차분한다(S5).
그 다음, 상기 S4의 차분 과정에서 구한 RC에서 상기 S3에서 구한 RB'를 차분한다(S5). 마지막으로, 상기 S6 단계의 차분 결과 생성되는 R을 양자화한다(S7).
도 2와 같은 종래의 기술은 현재 계층의 예측 신호(PC)를 생성할 때 사용된 참조 프레임의 양자화 파라미터와, 하위 계층의 예측 신호(PB)를 생성할 때 사용된 참조 프레임의 양자화 파라미터가, 도 3에서와 같이 서로 다른 경우에는, 두 잔차 신호(RB, RC)의 가변 범위(dynamic range) 내지 에러 범위(error range)가 서로 상이하게 된 다. 따라서, 잔차 예측에 따른 차분 과정에서 잔차 신호 에너지가 충분히 제거되지 않는다.
즉, 현재 계층의 원 영상 신호와 하위 계층의 원 영상신호는 유사하나 이들을 예측하기 위한 예측 신호(PB, PC)는 현재 계층의 양자화 파라미터와 하위 계층의 양자화 파라미터에 따라 달라진다. 예측 신호가 서로 달라지면 이에 따라 잔차 신호 역시 달라지게 되므로, 그 결과 충분한 잔차 신호 제거가 이루어지지 않게 된다는 것이다.
본 발명은 상기한 문제점을 고려하여 창안된 것으로, 다 계층 기반의 비디오 코덱에서 사용되는 잔차 예측에 있어서 잔차 신호의 에너지를 감소시킴으로써, 코딩된 데이터의 양을 감소시키는 것을 목적으로 한다.
또한, 상기 목적을 달성하기 위한, 개선된 비디오 인코더 및 비디오 디코더의 구성을 제공하는 것으로 또 다른 목적으로 한다.
본 발명의 목적은 상기 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 잔차 예측 방법은, (a) 현재 계층 블록에 대한 제1 잔차 신호를 구하는 단계; (b) 상기 현재 계층 블록과 대응되는 하위 계층 블록에 대한 제2 잔차 신호를 구하는 단계; (c) 상기 제2 잔차 신호를 소정의 스케일 인자를 곱함으로써 스케일링하는 단계; 및 상기 제1 잔차 신호와 상기 스케일링된 제2 잔차 신호의 차이를 구하는 단계를 포함한다.
상기한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 다계층 기반의 비디오 인코딩 방법은, (a) 현재 계층 블록에 대한 제1 잔차 신호를 구하는 단계; (b) 상기 현재 계층 블록과 대응되는 하위 계층 블록에 대한 제2 잔차 신호를 구하는 단계; (c) 상기 제2 잔차 신호를 소정의 스케일 인자를 곱함으로써 스케일링하는 단계; (d) 상기 제1 잔차 신호와 상기 스케일링된 제2 잔차 신호의 차이를 구하는 단계; 및 (e) 상기 차이를 양자화하는 단계를 포함한다.
상기한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 다계층 기반의 비트스트림 생성 방법은 기초 계층 비트스트림을 생성하는 단계 및 향상 계층 비트스트림을 생성하는 단계를 포함하고, 상기 향상 계층 비트스트림은 적어도 하나 이상의 매크로블록(macroblock) 부분을 포함하며, 상기 매크로블록 부분은 모션 벡터를 기록하는 필드와, 부호화된 잔차를 기록하는 필드와, 상기 매크로블록에 대한 스케일링 인자를 기록하는 필드를 포함하는데, 상기 스케일링 인자는 기초 계층 블록에 대한 잔차 신호의 가변 범위를 향상 계층 블록에 대한 잔차 신호의 가변 범위와 실질적으로 일치되도록 하기 위하여 사용된다.
상기한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 다계층 기반의 비디오 디코딩 방법은, (a) 입력된 비트스트림으로부터 현재 계층 블록의 차이 신호를 복원하는 단계; (b) 상기 비트스트림으로부터 하위 계층 블록의 제1 잔차 신호를 복원하는 단계; (c) 상기 제1 잔차 신호를 소정의 스케일 인자를 곱함으로써 스케 일링하는 단계; 및 (d) 상기 복원된 차이 신호와 상기 스케일링된 제1 잔차 신호를 가산하여 상기 현재 계층 블록의 제2 잔차 신호를 복원하는 단계를 포함한다.
상기한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 다계층 기반의 비디오 인코더는, 현재 계층 블록에 대한 제1 잔차 신호를 구하는 수단; 상기 현재 계층 블록과 대응되는 하위 계층 블록에 대한 제2 잔차 신호를 구하는 수단; 상기 제2 잔차 신호를 소정의 스케일 인자를 곱함으로써 스케일링하는 수단; 상기 제1 잔차 신호와 상기 스케일링된 제2 잔차 신호의 차이를 구하는 수단; 및 상기 차이를 양자화하는 수단을 포함한다.
상기한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 다계층 기반의 비디오 디코더는, 입력된 비트스트림으로부터 현재 계층 블록의 차이 신호를 복원하는 수단; 상기 비트스트림으로부터 하위 계층 블록의 제1 잔차 신호를 복원하는 수단; 상기 제1 잔차 신호를 소정의 스케일 인자를 곱함으로써 스케일링하는 수단; 및 상기 복원된 차이 신호와 상기 스케일링된 제1 잔차 신호를 가산하여 상기 현재 계층 블록의 제2 잔차 신호를 복원하는 수단을 포함한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명 기본 개념은, 현재 계층의 예측 신호를 생성할 때 사용된 참조 프레임의 양자화 파라미터와, 하위 계층의 예측 신호(PB)를 생성할 때 사용된 참조 프레임의 양자화 파라미터가 다를 경우에 발생하는 두 잔차 신호(RB, RC)의 사이의 가변 범위 차이를 스케일 인자(scaling factor)를 통해 보상해 주는 것에 있다.
도 4는 본 발명의 일 실시예에 따른 잔차 예측 과정을 보여주는 도면이다.
먼저, 하위 계층(계층 N-1)에서는, 참조되는 주변 프레임(이하 참조 프레임이라고 함)을 이용하여 어떤 블록(OB)에 대한 예측 블록(PB)를 생성한다(S11). 상기 예측 블록(PB)은 상기 블록(OB)과 대응되는 상기 참조 프레임 상의 이미지로부터 생성된다. 상기 참조 프레임은 폐루프 부호화(closed-loop coding)가 사용되는 경우, 원래의 입력 프레임이 아니라 양자화/역양자화 과정을 거쳐 복원된 영상이다.
상기 참조 프레임의 방향 및 종류에 따라서, 순방향 참조(시간적으로 이전 프레임을 참조), 역방향 참조(시간적으로 이후 프레임을 참조), 및 양방향 참조가 있다. 도 4는 양방향 참조를 예로 든 것이지만 순방향 참조 또는 역방향 참조에도 본 발명을 적용할 수 있음은 물론이다. 일반적으로, 순방향 참조의 경우 인덱스는 0으로, 역방향 참조의 경우 인덱스는 1로 표시한다.
그 다음, 상기 블록(OB)에서 상기 예측 블록(PB)를 차분한다(S12). 상기 차분 결과 인 RB는 양자화/역양자화 과정을 거쳐서 복원되어 RB'가 된다(S13). 이하 본 명세서에서 프라임(') 표시는 양자화/역양자화 과정을 거쳐서 복원되었음을 나타내는 부호인 것으로 정의한다.
한편, 현재 계층(계층 N)에서, 주변의 참조 프레임을 이용하여 어떤 블록(OC)에 대한 예측 블록(PC)를 생성한다(S14). 역시, 상기 참조 프레임도 양자화/역양자화 과정을 거쳐 복원된 영상이다. 그 다음, 상기 블록(OC)에서 상기 예측 블록(PC)를 차분한다(S15).
그리고, 하위 계층의 참조 프레임을 양자화할 때 사용된 양자화 파라미터(QPB0, QPB1) 및 상위 계층의 참조 프레임을 양자화할 때 사용된 양자화 파라미터(QPC0, QPC1)를 이용하여 스케일 인자(Rscal)을 계산한다(S16). 가변 범위 차이는 현재 계층의 참조 프레임 및 하위 계층의 참조 프레임의 화질 차이에 의해 발생하며, 두 참조 프레임 화질의 차이는 각 참조 프레임의 양자화시 사용되었던 양자화 파라미터가 다르기 때문에 발생한다. 따라서, 가변 범위 차이는, 현재 계층의 참조 프레임과 하위 계층의 참조 프레임을 양자화 할 때 사용하였던 양자화 파라미터들의 함수로 표현될 수 있는 것이다. 실제로 스케일 인자를 계산하는 구체적인 실시예는 후술하기로 한다.
본 명세서에서, QP는 양자화 파라미터를 표시하며, 아래 첨자 B, C는 각각 하위 계층 및 현재 계층을 표시하고, 아래 첨자 0, 1은 각각 순방향 참조 프레임의 인덱스 및 역방향 참조 프레임의 인덱스를 각각 표시하는 것으로 한다.
그 다음, S13 단계에서 구한 RB'와 상기 Rscal을 곱하고(S17), S15 단계에서 구한 RC에서 상기 곱한 결과를 차분함으로써 현재 계층에서 양자화할 데이터인 R을 구한다(S18). 마지막으로, 상기 구한 R을 양자화한다(S19).
도 4에서 나타난 상기 PB, PC, RB, RC 등은 모두 매크로블록 단위(16*16)인 것이 바람직하지만, 이에 한하지 않고 이보다 크거나 작은 단위의 블록일 수도 있음은 물론이다.
이하에서는, 도 5를 참조하여, 실제로 스케일 인자를 계산하는 구체적인 실시예에 대하여 설명한다.
각 계층의 예측 블록을 구성하기 위한 참조 프레임은 상술한 바와 같이 두 개가 존재할 수 있다. 도 5는 이 중에서 순방향 참조 프레임에 대하여 모션 벡터가 할당되는 단위인 블록(이하, 모션블록이라고 함)을 대표하는 양자화 파라미터(QPn _x_ suby; 이하 "모션블록 대표 파라미터" 내지 "제1 대표 값" 이라고 함)를 계산하는 예를 나타낸 것이다. H.264 표준에 따르면 상기 모션블록은 16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 및 4×4의 7가지 형태 중 하나를 가질 수 있다.
도 5에 도시된 방법은 역방향 참조 프레임에 대하여도 마찬가지로 적용될 수 있다. 여기서, 첨자 n은 계층의 인덱스를 나타내고, x는 참조 방향에 따라서 0 또는 1을 갖는 참조 리스트 인덱스(reference list index)를 나타내며, sub는 모션블록의 약자를 y는 모션블록의 인덱스를 각각 나타낸다.
현재 프레임에서의 하나의 매크로블록은 적어도 하나 이상의 모션블록을 포함한다. 예를 들어, 상기 매크로블록이 0 내지 4의 인덱스(이하 본 명세서에서 "y"로 표시함)를 갖는 4개의 모션블록으로 구성된다고 하면, 상기 4개의 모션블록은 모션 추정 과정을 통하여 구해지는 모션 벡터에 의하여 순방향 참조 프레임 상의 어떤 영역과 대응된다. 이 때, 상기 모션블록은 순방향 참조 프레임 상의 1개, 2개, 또는 4개의 매크로블록과 오버랩(overlap)될 수 있다. 예를 들어, 인덱스 y가 0인 모션블록은 순방향 참조 프레임의 4개의 매크로블록과 오버랩된다.
상기 4개의 매크로블록에 대한 양자화 파라미터를 각각, QP0, QP1, QP2, QP3라고 하면, 모션블록 0에 대한 모션블록 대표 파라미터(QPn _0_ sub0)는 상기 4개의 양자화 파라미터의 함수로 표시될 수 있다.
상기 4개의 양자화 파라미터로부터 상기 QPn _x_ suby를 구함에 있어서는 단순 평균, 메디안(median), 면적 가중 평균 등 다양한 연산을 적용할 수 있겠으나, 본 발명에서는 일 예로서 면적 가중 평균을 이용하는 것으로 한다.
면적 가중 평균을 통하여 QPn _x_ suby를 계산하는 과정은 다음의 수학식 1과 같이 표시될 수 있다. 여기서, Z는 상기 모션블록과 오버랩되는 참조 프레임 상의 매크로블록의 개수를 의미한다.
Figure 112005071834833-PAT00001
이상에서와 같이, 모션블록 대표 파라미터를 구하였다면, 그 다음은 매크로블록을 대표하는 양자화 파라미터(QPn; 이하 "매크로블록 대표 파라미터" 내지 "제2 대표 값" 이라고 함)를 구하여야 할 것이다. 복수의 모션블록에 대하여 각각 계산된 QPn _x_ suby로부터 QPn를 구하는 과정에서도 마찬가지로 상술한 다양한 연산을 적용할 수 있겠지만, 면적 가중 평균을 이용하여 QPn을 구한다고 하면, 상기 QPn은 다음의 수학식 2와 같이 표시될 수 있다.
Figure 112005071834833-PAT00002
수학식 2에서, X는 참조 프레임의 수로서, 단방향 참조(순방향 또는 역방향 참조)인 경우에는 1이고, 양방향 참조인 경우에는 2이다. 그리고, Yx는 참조 리스트 인덱스 x에 대하여 매크로블록을 구성하는 모션블록의 인덱스를 의미한다. 도 5의 경우에 매크로블록은 4개의 모션블록으로 나뉘어지므로, Yx(순방향 참조이므로 정확히는 Y0)는 4이다.
수학식 2와 같이 매크로블록 대표 파라미터(QPn)가 결정되면, 현재 계층의 참조 프레임의 양자화 파라미터와, 하위 계층의 참조 프레임의 양자화 파라미터 간의 차이로 인하여 발생되는 잔차 신호의 가변 범위 차이를 보상하기 위한 스케일 인자(scaling factor)를 구한다.
이와 같이, 모션블록 대표 파라미터 및 매크로블록 대표 파라미터를 구하는 과정은 현재 계층 뿐만 아니라, 그 하위 계층에서도 마찬가지로 계산된다. 다만, 주의할 것은 현재 계층의 해상도가 하위 계층과의 해상도가 높은 경우에는, 잔차 예측을 위해서도 하위 계층의 잔차 신호를 업샘플링하게 되므로, 상기 현재 계층의 매크로블록과 대응되는 하위 계층의 영역이 매크로블록보다 작을 수도 있다. 따라서, 하위 계층에서는 매크로블록에 대응되는 영역 및 그에 포함되는 모션블록을 기준으로 단위로 하여, QPn -1을 구하면 될 것이다. 이 경우, 하위 계층의 QPn -1은 엄밀히 볼 때 매크로블록 단위로 구한 값은 아니지만, 현재 매크로블록에 대응되는 영역을 단위로 구한 값이라는 의미에서, 그대로 매크로블록 대표 파라미터로 명하기로 한다.
현재 계층의 매크로블록 대표 파라미터를 QPn이라고 하고, 이와 대응되는 하위 계층의 매크로블록 대표 파라미터를 QPn -1이라고 할 때, 스케일링 인자(Rscal)는 다음의 수학식 3과 같이 계산될 수 있다.
Figure 112005071834833-PAT00003
여기서, QSn은 QPn를 양자화 파라미터라고 했을 때 이에 대응되는 양자화 스텝(quantization step)을 의미하고, QSn -1은 QPn - 1를 양자화 파라미터라고 했을 때 이에 대응되는 양자화 스텝을 의미한다. 일반적으로 양자화 스텝이란 양자화를 수행시 실제로 적용되는 값인 반면에, 양자화 파라미터는 상기 양자화 스텝과 일대일 대응되는 정수 인덱스이다. 상기 QSn 및 QSn -1을 해당 계층에서의 "대표 양자화 스텝"이라고 명명한다. 상기 대표 양자화 스텝은 해당 계층 블록과 대응되는 참조 프레임상의 영역에서의 양자화 스텝의 추정치라고 해석될 수 있다.
그런데, 양자화 파라미터는 정수 단위의 값을 갖는데, 상기 QPn 및 QPn -1은 실수 단위의 값을 가지므로, 필요한 경우에 상기 QPn 및 QPn -1을 정수 단위로 변환하여야 한다. 이러한 변환으로는, 대표적으로 반올림이 사용될 수 있으나, 올림, 버림 등 다른 방법이 사용되어도 무방하다. 한편, 실수 형태인 QPn 및 QPn -1을 이용하여 QSn, QSn -1을 보간할 수도 있다. 이 때에는 QSn, QSn - 1는 상기 QPn 및 QPn -1에 의하여 보간된 실수 값을 가질 수 있다.
이상의 수학식 1 내지 수학식 3의 설명에서는 서브블록 대표 파라미터 및 매크로블록 대표 파라미터를 구함에 있어서, 모두 양자화 파라미터를 이용하였다. 하지만, 다른 실시예로서, 수학식 1 내지 수학식 3에 있어서, 양자화 스텝을 직접 적용하는 것도 가능하다. 이 경우 도 5의 QP0, QP1, QP2, QP3는 각 매크로블록의 양자화 스텝인 QS0, QS1, QS2, QS3로 대체될 것이다. 이 경우에는, 상기 수학식 3에서 양자화 파라미터로부터 양자화 스텝으로 변환하는 과정은 불필요할 것이다.
도 6은 본 발명의 일 실시예에 따른 다 계층 비디오 인코더(1000)의 구성을 도시하는 도면이다. 먼저, 향상 계층 인코더(200)에서 일어나는 동작 과정을 설명한다.
모션 추정부(250)는 복원된 참조 프레임을 기준으로 현재 매크로블록에 대하여 모션 추정을 수행하고 상기 매크로블록보다 작거나 같은 모션블록 단위로 모션 벡터를 구한다. 이 때, 상기 모션 벡터와 더불어 매크로블록 패턴(매크로블록이 어떠한 형태의 모션블록들로 구성되는지를 나타냄)도 결정될 수 있다. 이와 같이, 모션 벡터 및 매크로블록 패턴을 결정하는 과정은, 현재 매크로블록의 모션 블록을 상기 참조 프레임 상에서 픽셀 단위 또는 서브 픽셀 단위로 이동시키면서, R-D 코스트(rate-distortion cost)가 최소가 되는 모션 벡터 및 매크로블록 패턴의 조합을 결정하는 과정으로 이루어진다.
모션 추정부(250)는 모션 추정 결과 구해지는 모션 벡터, 매크로블록 패턴, 및 참조 프레임 번호 등의 모션 데이터를 엔트로피 부호화부(240)에 제공한다.
모션 보상부(255)는 상기 구한 모션 벡터를 이용하여 상기 참조 프레임을 모션 보상(motion compensation)함으로써 현재 매크로블록에 대한 예측 블록(PC)을 생성한다. 만약, 양방향 참조가 이용되는 경우에 상기 예측 블록(PC)은 2개의 참조 프레임에서 모션 블록과 대응되는 영역을 평균함으로써 생성될 수 있다.
차분기(205)는 상기 현재 매크로블록에서 상기 예측 블록(PC)을 차분하여 잔차 신호 RC를 생성한다.
한편, 기초 계층 인코더(100)에서도, 모션 추정부(150)는 다운 샘플러(160)에 의하여 제공되는 기초 계층 프레임의 매크로블록에 대하여 모션 추정을 수행하여 마찬가지로 모션 벡터 및 매크로블록 패턴을 구한다. 그리면, 모션 보상부(155)는 상기 구한 모션 벡터를 이용하여 기초 계층의 참조 프레임(복원된 프레임)을 모션 보상함으로써 예측 블록(PB)을 생성한다.
차분기(105)는 상기 매크로블록에서 상기 예측 블록(PB)을 차분하여 잔차 신호 RB를 생성한다.
공간적 변환부(115)는 차분기(105)에 의하여 생성된 잔치 신호 RB에 대하여 공간적 변환(spatial transform)을 수행한다. 이러한 공간적 변환 방법으로는 DCT(Discrete Cosine Transform), 웨이브렛 변환(wavelet transform) 등이 사용될 수 있다. 공간적 변환 결과 변환 계수가 구해지는데, 공간적 변환 방법으로 DCT를 사용하는 경우 DCT 계수가, 웨이브렛 변환을 사용하는 경우 웨이브렛 계수가 구해진다.
양자화부(120)는 공간적 변환부(115)에서 구한 변환 계수를 양자화한다. 양자화(quantization)란 임의의 실수 값으로 표현되는 상기 변환 계수를 일정 구간으로 나누어 불연속적인 값(discrete value)으로 나타내는 작업을 의미한다. 이러한 양자화 방법으로는 스칼라 양자화, 벡터 양자화 등의 방법이 있는데, 이 중 간단한 스칼라 양자화 방법은 변환 계수를 양자화 테이블의 해당 값으로 나눈 후 정수 자리로 반올림하는 과정으로 수행된다.
엔트로피 부호화부(240)는 양자화부(120)에서 양자화된 결과, 모션 추정부(150)에 의하여 제공되는 모션 데이터를 무손실 부호화하고 출력 비트스트림을 생성한다. 이러한 무손실 부호화 방법으로는, 산술 부호화(arithmetic coding), 가변 길이 부 호화(variable length coding) 등이 사용될 수 있다.
역 양자화부(130)는 양자화부(120)에서 양자화된 계수를 역 양자화한다. 이러한 역 양자화 과정은 양자화 과정의 역에 해당되는 과정이다. 그리고, 역 공간적 변환부(135)는 상기 역 양자화 결과를 역 공간적 변화하여 이를 가산기(140)에 제공한다.
가산기(140)는 역 공간적 변환부(135)로부터 제공된 신호(복원된 잔차 신호; RB')와 모션 보상부(155)에서 생성된 예측 블록(PB)을 가산하여 기초 계층의 매크로블록을 복원한다. 복원된 매크로블록들이 모여서 하나의 프레임 내지 슬라이스를 형성하며, 이는 프레임 버퍼(145)에 일시 저장된다. 저장된 프레임은 다시 다른 프레임의 참조 프레임으로 사용되기 위하여 모션 추정부(150) 및 모션 보상부(155)에 제공된다.
한편, 역 공간적 변환부(135)로부터 제공되는 복원된 잔차 신호(RB')는 잔차 예측을 위하여 사용된다. 그런데, 만약 향상 계층과 기초 계층의 해상도가 상이하다면, 상기 잔차 신호(RB')는 먼저 업샘플러(165)에 의하여 업샘플링되어야 할 것이다.
양자화 스텝 계산부(310)는 양자화부(120)로부터 제공되는 기초 계층의 참조 프레임의 양자화 파라미터들(QPB0, QPB1) 및 모션 추정부(150)로부터 제공되는 모션 벡터를 이용하여, 수학식 1 내지 2의 과정을 거쳐서, 대표 양자화 스텝(QS0)를 구한다. 마찬가지로 양자화 스텝 계산부(320)는 양자화부(220)로부터 제공되는 향상 계층의 참조 프레임의 양자화 파라미터들(QPC0, QPC1) 및 모션 추정부(250)로부터 제공되는 모션 벡터를 이용하여, 수학식 1 내지 2의 과정을 거쳐서, 대표 양자화 스텝(QS1)을 구한다.
상기 구한 QS0 및 QS1은 스케일 인자 계산부(330)에 제공되며, 스케일 인자 계산부(330)는 상기 QS1을 QS0로 나눔으로써 스케일 인자(Rscal)을 계산한다. 승산기(340)는 기초 계층 인코더(100)로부터 제공된 U(RB')에 상기 계산된 스케일 인자(Rscal)을 곱한다.
차분기(210)는 차분기(205)로부터 출력되는 잔차 신호(RC)에서 상기 곱한 결과를 차분하여 최종 잔차 신호(R)를 생성한다. 이하 본 명세서에서는, 상기 최종 잔차 신호(R)를 원 신호와 예측 신호와의 차분으로부터 구해지는 잔차 신호(RC, RB)와 구분하는 의미에서, "차이 신호(difference signal)"라고 명명하기로 한다.
상기 차이 신호(R)은 공간적 변환부(215)에서 공간적 변환되어 변환 계수의 형태로 양자화부(220)에 입력되고, 양자화부(220)는 이를 양자화한다. 상기 차이 신호(R)의 크기가 일정 임계치 이하로 작을 경우에는, 상기 공간적 변환 과정은 생략되기도 한다.
엔트로피 부호화부(240)는 상기 양자화부(220)에서 양자화된 결과와, 모션 추정부(150)에 의하여 제공되는 모션 데이터를 무손실 부호화하고 출력 비트스트림을 생성한다.
한편, 역 양자화부(230), 역 공간적 변환부(235), 가산부(240), 및 프레임 버퍼 (245)의 동작은 기초 계층 인코더(100)에서의 역 양자화부(130), 역 공간적 변환부(135), 가산부(140), 및 프레임 버퍼(145)의 동작과 마찬가지이므로 중복된 설명은 생략한다.
도 7은 비디오 인코더(1000)에서 생성되는 비트스트림(50)의 구조의 예를 나타낸 것이다. 상기 비트스트림(50)은 기초 계층 비트스트림(51)과 향상 계층 비트스트림(52)을 포함한다. 각 비트스트림(51, 52)는 복수의 프레임 또는 슬라이스(slice; 53, 54, 55, 56)를 포함한다. 일반적으로, H.264 표준 또는 스케일러블 비디오 코딩 표준에서는 비트스트림은 프레임 단위 보다는 슬라이스(slice) 단위로 부호화된다. 상기 슬라이스는 하나의 프레임과 동일할 수도 있고, 하나의 매크로블록과 동일할 수도 있다.
하나의 슬라이스(55)는 슬라이스 헤더(slice header; 60)와, 슬라이스 데이터(slice date; 70)를 포함하며, 슬라이스 데이터(70)는 적어도 하나 이상의 매크로블록(MB; 71 내지 74)으로 구성된다.
하나의 매크로블록(73)은 mb_type 필드(81), 모션 벡터 필드(motion vector; 82), 양자화 파라미터 필드(Q_para; 84), 및 부호화된 잔차 필드(coded residual; 85)를 포함하며, 스케일 인자 필드(R_scal; 83)을 더 포함할 수 있다.
여기서, mb_type 필드(81)에는 매크로블록의 종류를 나타내는 값이 기록된다. 즉, 현재 매크로블록이 인트라 매크로블록(intra macroblock)인지, 인터 매크로블록(inter macroblock)인지, 또는 인트라 BL 매크로블록(intra BL macroblock)인지를 나타낸다. 그리고, 모션 벡터 필드(82)에는 참조 프레임 번호, 해당 매크로블록의 매크로블록 패턴, 및 모션 블록별 모션 벡터 등이 기록된다. 또한, 양자화 파라미터 필드(84)에는 해당 매크로블록의 양자화 파라미터가 기록된다. 마지막으로, 부호화된 잔차 필드(85)에는 해당 매크로블록에 대한 양자화부(220)에서 양자화 결과, 즉 부호화된 텍스쳐 데이터가 기록된다.
스케일 인자 필드(83)에는 스케일 인자 계산부(330)에 의하여 계산된 해당 매크로블록의 스케일 인자(Rscal)가 기록된다. 스케일 인자 필드(83)가 디코더 단으로 전달되지 않더라도, 디코더는 인코더 단에서와 마찬가지 과정으로 스케일 인자를 구해낼 수 있기 때문에 상기 필드(83)는 선택적으로 기록될 수 있다. 만약, 스케일 인자 필드(83)가 기록된다는 비트스트림의 크기는 커지지만, 디코더 단에서의 연산량은 상대적으로 감소하게 된다.
도 8은 본 발명의 일 실시예에 따른 비디오 디코더(2000)의 구성의 일 예를 도시한 블록도이다. 비디오 디코더(2000)는 크게 향상 계층 디코더(500)와, 기초 계층 디코더(400)를 포함하여 구성될 수 있다.
엔트로피 복호화부(510)는 입력되는 향상 계층 비트스트림(52)에 대해 엔트로피 부호화 방식의 역으로 무손실 복호화를 수행하여, 향상 계층의 모션 데이터, 및 텍스쳐 데이터를 추출한다. 엔트로피 복호화부(510)는, 텍스쳐 데이터는 역 양자화부(520)에 제공하고 모션 데이터는 모션 보상부(570)에 제공한다.
역 양자화부(520)는 엔트로피 복호화부(510)로부터 전달된 텍스쳐 데이터를 역 양자화한다. 이 때, 도 7과 같은 비트스트림(52)에 포함된 양자화 파라미터(인코더 측에서 사용한 것과 동일한 값)를 이용한다.
다음으로, 역 공간적 변환부(530)는 상기 역 양자화된 결과에 대하여 역 공간적 변환을 수행한다. 이러한 역 공간적 변환은 비디오 인코더 단에서의 공간적 변환에 대응되는 방식으로 수행된다. 즉, 인코더 단에서 DCT 변환을 수행하였으면 여기서는 역 DCT 변환을, 인코더 단에서 웨이브렛 변환을 수행하였으면 여기서는 역 웨이브렛 변환을 수행하게 된다. 역 공간적 변환 결과, 인코더 단에서의 차이 신호(R')가 복원된다.
한편, 엔트로피 복호화부(410)는 입력되는 기초 계층 비트스트림(51)을 무손실 복호화하여, 기초 계층의 모션 데이터, 및 텍스쳐 데이터를 추출한다. 상기 텍스쳐 데이터는 향상 계층 디코더(500)에서와 마찬가지로, 역 양자화부(420) 및 역 공간적 변환부(430)를 거쳐서 기초 계층의 잔차 신호(RB')가 복원된다.
기초 계층의 해상도가 향상 계층의 해상도보다 낮은 경우, 상기 잔차 신호(RB')는 업샘플러(480)에 의하여 업샘플링된다.
양자화 스텝 계산부(610)는 엔트로피 복호화부(410)로부터 제공되는, 기초 계층의 모션 벡터 및 참조 프레임의 양자화 파라미터들(QPB0, QPB1)을 이용하고, 수학식 1 내지 2의 과정을 거쳐서, 대표 양자화 스텝(QS0)를 구한다. 마찬가지로, 양자화 스텝 계산부(620)는 엔트로피 복호화부(510)로부터 제공되는, 향상 계층의 모션 벡터 및 참조 프레임의 양자화 파라미터들(QPC0, QPC1)을 이용하고, 수학식 1 내지 2의 과 정을 거쳐서, 대표 양자화 스텝(QS0)를 구한다.
상기 구한 QS0 및 QS1은 스케일 인자 계산부(630)에 제공되며, 스케일 인자 계산부(630)는 상기 QS1을 QS0로 나눔으로써 스케일 인자(Rscal)을 계산한다. 승산기(640)는 기초 계층 디코더(400)로부터 제공된 U(RB')에 상기 계산된 스케일 인자(Rscal)을 곱한다.
가산기(540)는 역 공간적 변환부(530)로부터 출력되는 차이 신호(R')와 상기 곱한 결과를 가산하여 향상 계층의 잔차 신호(RC')를 복원한다.
모션 보상부(570)는 엔트로피 복호화부(510)로부터 제공되는 모션 데이터를 이용하여, 프레임 버퍼(560)로부터 제공되는 적어도 하나의 참조 프레임을 모션 보상한다. 모션 보상 결과 생성되는 예측 블록(PC)은 가산기(550)에 제공된다.
가산기(550)는 상기 RC'과 PC'을 가산하여 현재 매크로블록을 복원하고, 이를 조합하여 향상 계층 프레임을 복원한다. 복원된 향상 계층 프레임은 프레임 버퍼(560)에 일시 저장되었다가, 모션 보상부(570)에 제공되거나 외부로 출력된다.
한편, 가산기(450), 모션 보상부(470), 및 프레임 버퍼(460)의 동작은 가산기(550), 모션 보상부(570), 및 프레임 버퍼(560)와 마찬가지이므로 중복된 설명은 생략한다.
도 9는 인코더로부터 스케일 인자가 직접 전달되는 예에서의 비디오 디코더(3000)의 구성을 도시하는 블록도이다. 비디오 디코더(3000)를 비디오 디코더(2000)과 비 교하여 보면, 스케일 인자를 얻는 데 필요한 양자화 스텝 계산부(610, 620), 및 스케일 인자 계산부(630)가 생략되어 있다. 대신에, 향상 계층 비트스트림에 포함된 현재 매크로블록에 대한 스케일 인자(Rscal)는, 직접 승산기(640)에 전달되어 그 이후의 동작 과정이 이루어짐을 알 수 있다.
이와 같이, 인코더로부터 직접 스케일 인자를 전달 받으면, 전송되는 비트스트림의 크기는 다소 커지겠지만, 디코더에서의 연산량은 다소 감소된다. 비디오 디코더(3000)의 구성은 수신 대역폭에 비하여, 기기의 연산 성능이 다소 낮은 기기에 채용될 수 있을 것이다.
이상의 설명에서, 비디오 인코더 및 비디오 디코더는 각각 하나의 기초 계층 및 하나의 향상 계층, 즉 2개의 계층으로 이루어지는 것으로 하여 설명하였다. 그러나 이것은 하나의 예에 불과하고 당업자라면 이러한 본 발명의 설명을 바탕으로 3개 이상의 계층을 갖도록 구현할 수도 있을 것이다.
지금까지 도 6, 도 8 및 도 9의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기 능을 수행하는 하나의 구성요소로 구현할 수도 있다.
이상의 본 발명에 따른 잔차 예측은, 인터 예측에 있어서 계층간의 중복성을 감소시키기 위하여 부가적으로 적용되었다. 그러나, 이외에 어떤 형태로든 잔차 신호가 생성되기만 한다면 적용이 가능하다. 예를 들어, 인트라 예측에 의하여 생성된 잔차 신호 간에도 적용될 수 있으며, 동일한 계층에서 다른 시간적 위치에 존재하는 잔차 신호 간에도 적용이 가능하다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.
본 발명에 따르면, 계층별 예측 신호의 양자화 파라미터가 상이함으로 인하여 발생되는, 잔차 신호의 가변 범위를 보상함으로써, 잔차 예측 과정에서 잔차 신호 에너지를 보다 효율적으로 제거할 수 있다. 이로 인한 잔차 신호 에너지의 감소는 양자화 과정에서 생성되는 비트의 양를 감소시키는 효과가 있다.

Claims (37)

  1. (a) 현재 계층 블록에 대한 제1 잔차 신호를 구하는 단계;
    (b) 상기 현재 계층 블록과 대응되는 하위 계층 블록에 대한 제2 잔차 신호를 구하는 단계;
    (c) 상기 제2 잔차 신호를 소정의 스케일 인자를 곱함으로써 스케일링하는 단계; 및
    (d) 상기 제1 잔차 신호와 상기 스케일링된 제2 잔차 신호의 차이를 구하는 단계를 포함하는 잔차 예측 방법.
  2. 제1항에 있어서,
    상기 구한 제2 잔차 신호를 업샘플링하는 단계를 더 포함하며, 상기 (c) 단계의 제2 잔차 신호는 상기 업샘플링된 제2 잔차 신호인, 잔차 예측 방법.
  3. 제1항에 있어서,
    상기 현재 계층 블록은 매크로블록인, 잔차 예측 방법.
  4. 제1항에 있어서, 상기 (a) 단계는
    (a1) 현재 계층의 참조 프레임으로부터 상기 현재 계층 블록에 대한 예측 블록을 생성하는 단계; 및
    (a2) 상기 현재 계층 블록에서 상기 예측 블록을 차분하는 단계를 포함하는 잔차 예측 방법.
  5. 제4항에 있어서, 상기 참조 프레임은
    순방향 참조 프레임, 역방향 참조 프레임, 및 양방향 참조 프레임 중 하나인, 잔차 예측 방법.
  6. 제4항에 있어서, 상기 참조 프레임은
    양자화 및 역 영자화 과정을 거쳐서 생성되는, 잔차 예측 방법.
  7. 제1항에 있어서, 상기 (b) 단계는
    (b1) 하위 계층의 참조 프레임으로부터 상기 하위 계층 블록에 대한 예측 블록을 생성하는 단계;
    (b2) 상기 하위 계층 블록에서 상기 예측 블록을 차분하는 단계; 및
    (b3) 상기 차분된 결과를 양자화 및 역 양자화하는 단계를 포함하는, 잔차 예측 방법.
  8. 제7항에 있어서, 상기 참조 프레임은
    양자화 및 역 영자화 과정을 거쳐서 생성되는, 잔차 예측 방법.
  9. 제1항에 있어서, 상기 스케일 인자는
    상기 현재 계층 블록에 대한 제1 대표 양자화 스텝을 구하는 단계;
    상기 하위 계층 블록에 대한 제2 대표 양자화 스텝을 구하는 단계; 및
    상기 제1 대표 양자화 스텝을 상기 제2 대표 양자화 스텝으로 나누는 단계를 통하여 구해지는데, 상기 대표 양자화 스텝들은 상기 해당 계층 블록과 대응되는 참조 프레임상의 영역에서의 양자화 스텝의 추정치인, 잔차 예측 방법.
  10. 제9항에 있어서, 상기 대표 양자화 스텝들은
    상기 해당 계층 블록에 포함되는 소정의 모션블록이 참조 프레임상에서 오버랩되는 매크로블록들의 양자화 파라미터의 제1 대표 값을 구하는 단계; 및
    상기 구한 제1 대표 값으로부터 상기 해당 계층 블록에 대한 제2 대표 값을 구하는 단계; 및
    상기 제2 대표 값을 이에 대응되는 대표 양자화 스텝으로 변환하는 단계를 통하여 구해지는, 잔차 예측 방법.
  11. 제10항에 있어서, 상기 제1 대표 값을 구하는 단계는
    상기 오버랩되는 매크로블록 상의 영역을 가중하여, 상기 양자화 파라미터의 평균을 구하는 단계를 포함하는, 잔차 예측 방법.
  12. 제10항에 있어서, 상기 제2 대표 값을 구하는 단계는
    상기 모션블록의 크기를 가중하여, 상기 제1 대표 값의 평균을 구하는 단계를 포함하는, 잔차 예측 방법.
  13. 제9항에 있어서, 상기 대표 양자화 스텝들은
    상기 해당 계층 블록에 포함되는 소정의 모션블록이 참조 프레임상에서 오버랩되는 매크로블록들의 양자화 스텝의 제1 대표 값을 구하는 단계; 및
    상기 구한 제1 대표 값으로부터 상기 해당 계층 블록에 대한 제2 대표 값을 구하는 단계를 통하여 구해지는, 잔차 예측 방법.
  14. (a) 현재 계층 블록에 대한 제1 잔차 신호를 구하는 단계;
    (b) 상기 현재 계층 블록과 대응되는 하위 계층 블록에 대한 제2 잔차 신호를 구하는 단계;
    (c) 상기 제2 잔차 신호를 소정의 스케일 인자를 곱함으로써 스케일링하는 단계;
    (d) 상기 제1 잔차 신호와 상기 스케일링된 제2 잔차 신호의 차이를 구하는 단계; 및
    (e) 상기 차이를 양자화하는 단계를 포함하는, 다계층 기반의 비디오 인코딩 방법.
  15. 제14항에 있어서, 상기 (e) 단계 이전에
    상기 차이를 공간적 변환하는 단계를 더 포함하는, 다계층 기반의 비디오 인코딩 방법.
  16. 제14항에 있어서,
    상기 구한 제2 잔차 신호를 업샘플링하는 단계를 더 포함하며, 상기 (c) 단계의 제2 잔차 신호는 상기 업샘플링된 제2 잔차 신호인, 다계층 기반의 비디오 인코딩 방법.
  17. 제14항에 있어서, 상기 (a) 단계는
    (a1) 현재 계층의 참조 프레임으로부터 상기 현재 계층 블록에 대한 예측 블록을 생성하는 단계; 및
    (a2) 상기 현재 계층 블록에서 상기 예측 블록을 차분하는 단계를 포함하는, 다계층 기반의 비디오 인코딩 방법.
  18. 제14항에 있어서, 상기 (b) 단계는
    (b1) 하위 계층의 참조 프레임으로부터 상기 하위 계층 블록에 대한 예측 블록을 생성하는 단계;
    (b2) 상기 하위 계층 블록에서 상기 예측 블록을 차분하는 단계; 및
    (b3) 상기 차분된 결과를 양자화 및 역 양자화하는 단계를 포함하는, 다계층 기반의 비디오 인코딩 방법.
  19. 제14항에 있어서, 상기 스케일 인자는
    상기 현재 계층 블록에 대한 제1 대표 양자화 스텝을 구하는 단계;
    상기 하위 계층 블록에 대한 제2 대표 양자화 스텝을 구하는 단계; 및
    상기 제1 대표 양자화 스텝을 상기 제2 대표 양자화 스텝으로 나누는 단계를 통하여 구해지는데, 상기 대표 양자화 스텝들은 상기 해당 계층 블록과 대응되는 참조 프레임상의 영역에서의 양자화 스텝의 추정치인, 다계층 기반의 비디오 인코딩 방법.
  20. 제19항에 있어서, 상기 대표 양자화 스텝들은
    상기 해당 계층 블록에 포함되는 소정의 모션블록이 참조 프레임상에서 오버랩되는 매크로블록들의 양자화 파라미터의 제1 대표 값을 구하는 단계; 및
    상기 구한 제1 대표 값으로부터 상기 해당 계층 블록에 대한 제2 대표 값을 구하는 단계; 및
    상기 제2 대표 값을 이에 대응되는 대표 양자화 스텝으로 변환하는 단계를 통하여 구해지는, 다계층 기반의 비디오 인코딩 방법.
  21. 제9항에 있어서, 상기 대표 양자화 스텝들은
    상기 해당 계층 블록에 포함되는 소정의 모션블록이 참조 프레임상에서 오버랩되는 매크로블록들의 양자화 스텝의 제1 대표 값을 구하는 단계; 및
    상기 구한 제1 대표 값으로부터 상기 해당 계층 블록에 대한 제2 대표 값을 구하는 단계를 통하여 구해지는, 다계층 기반의 비디오 인코딩 방법.
  22. 기초 계층 비트스트림을 생성하는 단계 및 향상 계층 비트스트림을 생성하는 단계를 포함하는 다계층 기반의 비디오 비트스트림를 생성하는 방법에 있어서,
    상기 향상 계층 비트스트림은 적어도 하나 이상의 매크로블록(macroblock) 부분을 포함하며, 상기 매크로블록 부분은 모션 벡터를 기록하는 필드와, 부호화된 잔차를 기록하는 필드와, 상기 매크로블록에 대한 스케일링 인자를 기록하는 필드를 포함하는데,
    상기 스케일링 인자는 기초 계층 블록에 대한 잔차 신호의 가변 범위를 향상 계층 블록에 대한 잔차 신호의 가변 범위와 실질적으로 일치되도록 하기 위하여 사용되는, 상기 방법.
  23. 제22항에 있어서, 상기 매크로블록 부분은
    상기 매크로블록에 대한 양자화 파라미터를 기록하는 필드를 더 포함하는, 상기 방법.
  24. 제22항에 있어서, 상기 향상 계층 비트스트림은 복수의 슬라이스 부분을 포함하고, 상기 슬라이스 부분은 상기 적어도 하나 이상의 매크로블록 부분을 포함하는, 상기 방법.
  25. (a) 입력된 비트스트림으로부터 현재 계층 블록의 차이 신호를 복원하는 단계;
    (b) 상기 비트스트림으로부터 하위 계층 블록의 제1 잔차 신호를 복원하는 단계;
    (c) 상기 제1 잔차 신호를 소정의 스케일 인자를 곱함으로써 스케일링하는 단계; 및
    (d) 상기 복원된 차이 신호와 상기 스케일링된 제1 잔차 신호를 가산하여 상기 현재 계층 블록의 제2 잔차 신호를 복원하는 단계를 포함하는, 다계층 기반의 비디오 디코딩 방법.
  26. 제25항에 있어서,
    (e) 상기 현재 계층 블록에 대한 예측 블록과 상기 가산된 결과와 상기 제2 잔차 신호를 가산하는 단계를 더 포함하는, 다계층 기반의 비디오 디코딩 방법.
  27. 제25항에 있어서,
    상기 복원된 제1 잔차 신호를 업샘플링하는 단계를 더 포함하며, 상기 (c) 단계의 제1 잔차 신호는 상기 업샘플링된 제1 잔차 신호인, 다계층 기반의 비디오 디코딩 방법.
  28. 제25항에 있어서, 상기 (a) 단계 및 상기 (b) 단계는
    역 양자화 단계 및 역 공간적 변환 단계를 포함하여 수행되는, 다계층 기반의 비디오 디코딩 방법.
  29. 제25항에 있어서,
    상기 현재 계층 블록은 매크로블록인, 다계층 기반의 비디오 디코딩 방법.
  30. 제25항에 있어서, 상기 스케일 인자는
    상기 비트스트림에 포함되는, 다계층 기반의 비디오 디코딩 방법.
  31. 제25항에 있어서, 상기 스케일 인자는
    상기 현재 계층 블록에 대한 제1 대표 양자화 스텝을 구하는 단계;
    상기 하위 계층 블록에 대한 제2 대표 양자화 스텝을 구하는 단계; 및
    상기 제1 대표 양자화 스텝을 상기 제2 대표 양자화 스텝으로 나누는 단계를 통하여 구해지는데, 상기 대표 양자화 스텝들은 상기 해당 계층 블록과 대응되는 참조 프레임상의 영역에서의 양자화 스텝의 추정치인, 다계층 기반의 비디오 디코딩 방법.
  32. 제31항에 있어서, 상기 대표 양자화 스텝들은
    상기 해당 계층 블록에 포함되는 소정의 모션블록이 참조 프레임상에서 오버랩되는 매크로블록들의 양자화 파라미터의 제1 대표 값을 구하는 단계; 및
    상기 구한 제1 대표 값으로부터 상기 해당 계층 블록에 대한 제2 대표 값을 구하는 단계; 및
    상기 제2 대표 값을 이에 대응되는 대표 양자화 스텝으로 변환하는 단계를 통하여 구해지는, 다계층 기반의 비디오 디코딩 방법.
  33. 제32항에 있어서, 상기 제1 대표 값을 구하는 단계는
    상기 오버랩되는 매크로블록 상의 영역을 가중하여, 상기 양자화 파라미터의 평균을 구하는 단계를 포함하는, 다계층 기반의 비디오 디코딩 방법.
  34. 제32항에 있어서, 상기 제2 대표 값을 구하는 단계는
    상기 모션블록의 크기를 가중하여, 상기 제1 대표 값의 평균을 구하는 단계를 포함하는, 다계층 기반의 비디오 디코딩 방법.
  35. 제31항에 있어서, 상기 대표 양자화 스텝들은
    상기 해당 계층 블록에 포함되는 소정의 모션블록이 참조 프레임상에서 오버랩되는 매크로블록들의 양자화 스텝의 제1 대표 값을 구하는 단계; 및
    상기 구한 제1 대표 값으로부터 상기 해당 계층 블록에 대한 제2 대표 값을 구하는 단계를 통하여 구해지는, 다계층 기반의 비디오 디코딩 방법.
  36. 현재 계층 블록에 대한 제1 잔차 신호를 구하는 수단;
    상기 현재 계층 블록과 대응되는 하위 계층 블록에 대한 제2 잔차 신호를 구하는 수단;
    상기 제2 잔차 신호를 소정의 스케일 인자를 곱함으로써 스케일링하는 수단;
    상기 제1 잔차 신호와 상기 스케일링된 제2 잔차 신호의 차이를 구하는 수단; 및
    상기 차이를 양자화하는 수단을 포함하는, 다계층 기반의 비디오 인코더.
  37. 입력된 비트스트림으로부터 현재 계층 블록의 차이 신호를 복원하는 수단;
    상기 비트스트림으로부터 하위 계층 블록의 제1 잔차 신호를 복원하는 수단;
    상기 제1 잔차 신호를 소정의 스케일 인자를 곱함으로써 스케일링하는 수단; 및
    상기 복원된 차이 신호와 상기 스케일링된 제1 잔차 신호를 가산하여 상기 현재 계층 블록의 제2 잔차 신호를 복원하는 수단을 포함하는, 다계층 기반의 비디오 디코더.
KR1020050119785A 2005-08-24 2005-12-08 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더 KR100746011B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020050119785A KR100746011B1 (ko) 2005-08-24 2005-12-08 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더
US11/508,951 US20070047644A1 (en) 2005-08-24 2006-08-24 Method for enhancing performance of residual prediction and video encoder and decoder using the same
PCT/KR2006/003328 WO2007024106A1 (en) 2005-08-24 2006-08-24 Method for enhancing performance of residual prediction and video encoder and decoder using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US60/710,613 2005-08-24
KR1020050119785A KR100746011B1 (ko) 2005-08-24 2005-12-08 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더

Publications (2)

Publication Number Publication Date
KR20070023478A true KR20070023478A (ko) 2007-02-28
KR100746011B1 KR100746011B1 (ko) 2007-08-06

Family

ID=41631133

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050119785A KR100746011B1 (ko) 2005-08-24 2005-12-08 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더

Country Status (2)

Country Link
US (1) US20070047644A1 (ko)
KR (1) KR100746011B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100824347B1 (ko) * 2006-11-06 2008-04-22 세종대학교산학협력단 다중 영상 압축 장치 및 그 방법, 그리고, 다중 영상 복원장치 및 방법
WO2011145819A3 (ko) * 2010-05-19 2012-03-01 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070038396A (ko) * 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
FR2907630A1 (fr) * 2006-10-19 2008-04-25 Thomson Licensing Sas Dispositif et procede de codage sous forme scalable d'une sequence d'images et dispositif et procede de decodage correspondants
KR101366249B1 (ko) * 2007-06-28 2014-02-21 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
CN101159875B (zh) * 2007-10-15 2011-10-05 浙江大学 二重预测视频编解码方法和装置
KR20090095317A (ko) * 2008-03-05 2009-09-09 삼성전자주식회사 영상 부호화 및 복호화 방법 및 장치
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
KR101432775B1 (ko) 2008-09-08 2014-08-22 에스케이텔레콤 주식회사 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101597987B1 (ko) * 2009-03-03 2016-03-08 삼성전자주식회사 계층 독립적 잔차 영상 다계층 부호화 장치 및 방법
US20110217683A1 (en) * 2010-03-04 2011-09-08 Olga Vlasenko Methods and systems for using a visual signal as a concentration aid
WO2011121227A1 (fr) * 2010-03-31 2011-10-06 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images mettant en œuvre une prediction par compensation de mouvement avant, flux et programme d'ordinateur correspondants
US8891863B2 (en) * 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
US10298939B2 (en) * 2011-06-22 2019-05-21 Qualcomm Incorporated Quantization in video coding
US10390046B2 (en) * 2011-11-07 2019-08-20 Qualcomm Incorporated Coding significant coefficient information in transform skip mode
KR101835360B1 (ko) * 2012-10-01 2018-03-08 지이 비디오 컴프레션, 엘엘씨 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩
US10007836B2 (en) * 2013-03-28 2018-06-26 Nec Corporation Bird detection device, bird detection system, bird detection method, and program extracting a difference between the corrected images
US10142647B2 (en) 2014-11-13 2018-11-27 Google Llc Alternating block constrained decision mode coding
JP6528635B2 (ja) * 2015-10-05 2019-06-12 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP6926940B2 (ja) * 2017-10-24 2021-08-25 株式会社リコー 画像処理装置およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9206860D0 (en) * 1992-03-27 1992-05-13 British Telecomm Two-layer video coder
US6795501B1 (en) * 1997-11-05 2004-09-21 Intel Corporation Multi-layer coder/decoder for producing quantization error signal samples
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
US7463683B2 (en) * 2000-10-11 2008-12-09 Koninklijke Philips Electronics N.V. Method and apparatus for decoding spatially scaled fine granular encoded video signals
KR100541953B1 (ko) * 2003-06-16 2006-01-10 삼성전자주식회사 움직임 보상을 위한 화소값 선택 장치 및 방법
US8213779B2 (en) * 2003-09-07 2012-07-03 Microsoft Corporation Trick mode elementary stream and receiver system
US20060012719A1 (en) * 2004-07-12 2006-01-19 Nokia Corporation System and method for motion prediction in scalable video coding
KR100679026B1 (ko) * 2004-07-15 2007-02-05 삼성전자주식회사 비디오 코딩 및 디코딩을 위한 시간적 분해 및 역 시간적분해 방법과, 비디오 인코더 및 디코더
KR100682761B1 (ko) * 2004-11-30 2007-02-16 주식회사 휴맥스 조명 변화에 대한 적응적 움직임 예측 장치 및 방법
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
US7920628B2 (en) * 2005-07-29 2011-04-05 Broadcom Corporation Noise filter for video compression

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100824347B1 (ko) * 2006-11-06 2008-04-22 세종대학교산학협력단 다중 영상 압축 장치 및 그 방법, 그리고, 다중 영상 복원장치 및 방법
WO2011145819A3 (ko) * 2010-05-19 2012-03-01 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
CN103004194A (zh) * 2010-05-19 2013-03-27 Sk电信有限公司 图像编码/解码设备和方法
US9445101B2 (en) 2010-05-19 2016-09-13 Sk Telecom Co., Ltd. Video decoding method using skip information
US9706204B2 (en) 2010-05-19 2017-07-11 Sk Telecom Co., Ltd. Image encoding/decoding device and method
US9729881B2 (en) 2010-05-19 2017-08-08 Sk Telecom Co., Ltd. Video encoding/decoding apparatus and method

Also Published As

Publication number Publication date
US20070047644A1 (en) 2007-03-01
KR100746011B1 (ko) 2007-08-06

Similar Documents

Publication Publication Date Title
KR100746011B1 (ko) 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더
KR100703788B1 (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
KR100703734B1 (ko) Ｄｃｔ 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치
KR100703778B1 (ko) 고속 ｆｇｓ를 지원하는 비디오 코딩 방법 및 장치
KR100763194B1 (ko) 단일 루프 디코딩 조건을 만족하는 인트라 베이스 예측방법, 상기 방법을 이용한 비디오 코딩 방법 및 장치
KR100763182B1 (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
KR100714689B1 (ko) 다 계층 구조 기반의 스케일러블 비디오 코딩 및 디코딩방법, 이를 위한 장치
KR100703740B1 (ko) 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법및 장치
KR101033548B1 (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
KR100791299B1 (ko) 다 계층 기반의 비디오 인코딩 방법 및 장치
JP5014989B2 (ja) 基礎階層を利用するフレーム圧縮方法、ビデオコーディング方法、フレーム復元方法、ビデオデコーディング方法、ビデオエンコーダ、ビデオデコーダ、および記録媒体
KR100763181B1 (ko) 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
KR100703774B1 (ko) 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
KR100703745B1 (ko) 비동기 프레임을 효율적으로 예측하는 비디오 코딩 방법 및장치
KR20070000022A (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
KR20060135992A (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
KR20070100081A (ko) 가중 평균합을 이용하여 ｆｇｓ 계층을 인코딩 및디코딩하는 방법 및 장치
KR100703746B1 (ko) 비동기 프레임을 효율적으로 예측하는 비디오 코딩 방법 및장치
KR100818921B1 (ko) 모션 벡터 압축 방법, 상기 압축 방법을 이용하는 비디오인코더 및 비디오 디코더
JP2008539646A (ja) 高速ｆｇｓを提供するビデオコーディング方法及び装置
KR100621584B1 (ko) 스무딩 필터를 이용하는 비디오 디코딩 방법 또는 비디오디코더
KR100679027B1 (ko) Ｄｃ 성분의 손실 없이 영상을 코딩하는 방법 및 장치
KR100703751B1 (ko) 가상 영역의 영상을 참조하여 인코딩 및 디코딩 하는 방법및 장치
EP1889487A1 (en) Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction
WO2007024106A1 (en) Method for enhancing performance of residual prediction and video encoder and decoder using the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130627

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140627

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee