KR100754841B1 - 비트율 왜곡 비용에 기초하여 선택된 보간 필터를 이용하여공간 계층간 예측을 수행하는 스케일러블 ｈ.264부호화/복호화 방법 - Google Patents

비트율 왜곡 비용에 기초하여 선택된 보간 필터를 이용하여공간 계층간 예측을 수행하는 스케일러블 ｈ.264부호화/복호화 방법 Download PDF

Info

Publication number
KR100754841B1
KR100754841B1 KR1020050102204A KR20050102204A KR100754841B1 KR 100754841 B1 KR100754841 B1 KR 100754841B1 KR 1020050102204 A KR1020050102204 A KR 1020050102204A KR 20050102204 A KR20050102204 A KR 20050102204A KR 100754841 B1 KR100754841 B1 KR 100754841B1
Authority
KR
South Korea
Prior art keywords
rate distortion
distortion cost
image frame
interpolation
interpolation filter
Prior art date
Application number
KR1020050102204A
Other languages
English (en)
Other versions
KR20070045662A (ko
Inventor
김원하
박성호
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020050102204A priority Critical patent/KR100754841B1/ko
Publication of KR20070045662A publication Critical patent/KR20070045662A/ko
Application granted granted Critical
Publication of KR100754841B1 publication Critical patent/KR100754841B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 H.264 기반의 스케일러블 영상 부호화에 관한 것이며, 보다 구체적으로 상위 계층의 영상 프레임과 보간된 하위 계층의 영상 프레임을 서로 차감하여 생성된 잔여 신호의 비트율 왜곡 비용에 기초하여 상기 하위 계층의 영상 프레임을 보간하는 보간 필터의 차수를 선택하고 선택된 보간 필터의 차수 정보를 부호화되는 잔여 신호와 함께 부호화하는 스케일러블 부호화 방법에 관한 것이다.
상기 본 발명에 상응하는 스케일러블 영상 부호화 방법은 서로 다른 차수를 가지는 복수의 보간 필터를 이용하여 하위 계층의 영상 프레임을 상위 계층의 영상 프레임과 동일한 해상도로 각각 보간하는 단계(a 단계), 상기 보간된 각 하위 계층의 영상 프레임과 상기 상위 계층의 영상 프레임을 차감하여 생성된 잔여 신호의 비트율 왜곡 비용을 계산하는 단계(b 단계), 상기 계산된 비트율 왜곡 비용에 기초하여 가장 낮은 비트율 왜곡 비용(Rate Distortion Cost, Rdc)을 가지는 보간 필터를 선택하는 단계(c 단계) 및 상기 선택된 보간 필터의 차수에 대한 정보 및 상기 선택된 보간 필터에 상응하는 잔여 신호를 부호화하는 단계(d 단계)를 포함하는 것을 특징으로 한다.
H.264, 스케일러블 영상 부호화, 보간 필터

Description

비트율 왜곡 비용에 기초하여 선택된 보간 필터를 이용하여 공간 계층간 예측을 수행하는 스케일러블 Ｈ.264 부호화/복호화 방법{Scalable H.264 encoding/decoding method for performing interlayer prediction using selected interpolator filter based on the rate distortion cost}
도 1은 H.264 기반 스케일러블(scalable) 영상 부호화 장치의 기능 블록도를 도시하고 있다.
도 2는 본 발명의 일 실시예에 상응하는 H.264 기반 스케일러블 영상 부호화 장치에 대한 기능 블록도를 도시하고 있다.
도 3은 본 발명의 일 실시예에 상응하는 보간 필터의 기능 블록도를 도시하고 있다.
도 4는 본 발명의 일 실시예에 상응하는 잔여 신호 생성부(20)의 기능 블록도가 도시하고 있다.
도 5는 본 발명의 일 실시예에 상응하는, H.264 기반 스케일러블 영상 부호화 방법의 흐름도를 도시하고 있다.
도 6은 도 5의 단계 70을 보다 구체적으로 설명하고 있는 흐름도이다.
본 발명은 H.264 기반의 스케일러블 영상 부호화에 관한 것이며, 보다 구체적으로 상위 계층의 영상 프레임과 보간된 하위 계층의 영상 프레임을 서로 차감하여 생성된 잔여 신호의 비트율 왜곡 비용에 기초하여 상기 하위 계층의 영상 프레임을 보간하는 보간 필터의 차수를 선택하고 선택된 보간 필터의 차수 정보를 부호화되는 잔여 신호와 함께 부호화하는 스케일러블 부호화 방법에 관한 것이다.
언제 어디서 누구에게나 영상 정보를 이용하여 통신이 이루어질 수 있도록 하는 이동 통신 서비스나 무선 인터넷 등의 등장으로 사람들은 노트북, 개인 휴대단말기 등과 같은 다양한 컴퓨터와 접합된 정보 가전을 이용하여 원격지의 영상 정보를 얻기를 원한다. 앞으로는 더욱 다양한 형태의 영상 정보 가전들이 출현될 것이며, 출현할 영상 정보 가전제품의 복호화 능력이나 전송 환경 등은 각각의 단말기가 가져야 하는 특성이나 적응 환경에 따라 다르게 된다.
이러한 문제를 해결하기 위해 영상을 부호화하여 전송하는데 있어서 수신 단말기 특성이나 성능에 따라 다양한 화질을 제공할 수 있도록 설계되어 있다. 예를 들어, 수신 단말기의 성능이 우수하고 전송 선로 등의 상태가 좋을 때는 고화질의 동영상을 수신하여 디스플레이할 수 있지만 수신 단말기의 성능이 우수하지 않거나 전송 선로의 상태가 좋지 않을 때는 고화질의 동영상을 수신할 수 없다. 위의 두 경우를 모두 수용하기 위해 H.264 표준안에서는 스케일러블 영상 부호화를 규정하는 중이다.
스케일러블 영상 부호화는 수신 단말기에서 다양한 화질의 영상을 수신할 수 있도록 인코더 측에서 스케일러블한 비트스트림을 만들어서 전송하는 것이다. 즉, 전송 비트스트림이 스케일러블하다면 다양한 종류의 수신 단말기가 존재할 수 있게 되어 저성능 수신기는 하위 계층에서 인코딩된 하위 계층의 영상 비트스트림을 전송받아 디스플레이하고 고성능 수신 단말기는 하위 계층의 비트스트림과 상위 계층에서 인코딩된 화질의 영상 스트림을 전송받아 디스플레이할 수 있다.
도 1은 H.264 기반 스케일러블(scalable) 영상 부호화 장치의 기능 블록도를 도시하고 있다. H.264 기반의 스케일러블 영상 부호화 장치는 공간 스케일러빌리티를 구현하기 위해 서로 다른 해상도를 갖는 영상 프레임들로 계층화하여 부호화한다.
도 1을 참고로, 보간부(2)는 낮은 해상도를 가지는 하위 계층의 영상 프레임을 현재 부호화하고자 하는 상위 계층의 영상 프레임과 동일한 해상도로 보간한다. 상기 하위 계층의 영상 프레임을 보간하기 위해 보간 필터가 사용되며 보간 필터의 차수는 2 내지 6 중 어느 하나로 고정되어 있다. 한편, 잔여 신호 생성부(4)는 상기 보간된 하위 계층의 영상 프레임과 현재 부호화하고자 하는 상위 계층의 영상 프레임 사이의 중복된 영상 신호를 제거하여 부호화되는 잔여 신호를 생성한다. 부호화부(6)는 양자화(quantization)를 통해 상기 부호화되는 잔여 신호를 압축하고 상기 압축된 영상 정보를 소정의 방식, 예를 들어 예측 부호화, 가변 길이 부호화(variable length coding), 산술 부호화 등의 방식에 따라 부호화하여 H.264 비트스트림을 생성한다.
상기 언급한 종래의 H.264 기반 스케일러블 영상 부호화 장치에서 상기 보간부(2)는 하위 계층의 영상 프레임을 고정된 소정 차수의 보간 필터를 이용하여 보간한다. 영상 프레임의 종류에 따라 어떠한 차수의 보간 필터를 사용하느냐에 의해 상기 잔여 신호의 부호화 성능이 달라진다. 예를 들어, 영상 프레임의 변화가 적어서 영상 신호 간에 상관도가 아주 높은 경우 또는 영상 프레임의 변화가 아주 커서 영상 신호 간에 상관도가 아주 낮은 경우에는 낮은 차수의 보간 필터를 사용하는 것이 바람직하다. 한편, 영상 프레임의 변화가 아주 크지 않은 경우에는 상대적으로 높은 차수의 보간 필터를 사용하는 것이 바람직하다.
따라서, 본 발명이 달성하고자 하는 목적은 상위 계층의 영상 프레임과 하위 계층의 영상 프레임을 서로 차감하여 생성된 잔여 신호의 비트율 왜곡 비용에 기초하여 보간 필터의 차수를 선택하고 선택된 보간 필터의 차수 정보를 상기 잔여 신호와 함께 부호화하는 방법 및 장치에 관한 것이다.
상기 본 발명에 상응하는 목적을 달성하기 위한 스케일러블 영상 부호화 방법은 서로 다른 차수를 가지는 복수의 보간 필터를 이용하여 하위 계층의 영상 프레임을 상위 계층의 영상 프레임과 동일한 해상도로 각각 보간하는 단계(a 단계), 상기 보간된 각 하위 계층의 영상 프레임과 상기 상위 계층의 영상 프레임을 차감하여 생성된 잔여 신호의 비트율 왜곡 비용을 계산하는 단계(b 단계), 상기 계산된 비트율 왜곡 비용에 기초하여 가장 낮은 비트율 왜곡 비용(Rate Distortion Cost, RDC)을 가지는 보간 필터를 선택하는 단계(c 단계) 및 상기 선택된 보간 필터의 차 수에 대한 정보 및 상기 선택된 보간 필터에 상응하는 잔여 신호를 부호화하는 단계(d 단계)를 포함하는 것을 특징으로 한다.
바람직하게, 상기 (a) 단계는 보간 필터가 서로 다른 차수를 가지도록 상기 보간 필터의 차수를 제어하는 단계, 상기 제어된 보간 필터의 차수에 의해 서로 다른 차수를 가지는 복수의 보간 필터를 생성하는 단계 및 상기 생성된 복수의 보간 필터를 이용하여 하위 계층의 영상 프레임을 상위 계층의 영상 프레임과 동일한 해상도로 각각 보간하는 단계를 포함하는 것을 특징으로 한다.
바람직하게, 상기 하위 계층의 영상 프레임은 마크로 블록 단위로 보간되며, 상기 잔여 신호는 마크로 블록 단위로 보간된 하위 계층의 영상 프레임과 상위 계층의 영상 프레임을 차감하여 생성되는 영상 신호의 합인 것을 특징으로 한다.
상기 본 발명에 상응하는 목적을 달성하기 위한 스케일러블 영상 부호화 장치는 서로 다른 차수를 가지는 복수의 보간 필터를 이용하여 하위 계층의 영상 프레임을 상위 계층의 영상 프레임과 동일한 해상도로 각각 보간하는 보간부, 상기 각각의 보간 필터에 의해 보간된 영상 프레임과 상기 부호화하고자 하는 영상 프레임을 차감하여 각 보간 필터에 상응하는 잔여 신호를 생성하는 잔여 신호 생성부, 상기 각 보간 필터에 상응하는 잔여 신호의 비트율 왜곡 비용(RDC)을 계산하는 비트율 왜곡 비용 계산부, 상기 계산된 비트율 왜곡 비용에 기초하여 가장 낮은 비트율 왜곡 비용을 가지는 보간 필터를 선택하는 선택부 및 상기 선택된 보간 필터에 대한 정보 및 상기 선택된 보간 필터에 상응하는 잔여 신호를 부호화하는 부호화부를 포함하는 것을 특징으로 한다.
이하 첨부된 도면을 참고로 본 발명의 일 실시예에 상응하는 스케일러블 영상 부호화 방법 및 장치에 대해 보다 구체적으로 설명한다.
도 2는 본 발명의 일 실시예에 상응하는 H.264 기반 스케일러블 영상 부호화 장치의 기능 블록도를 도시하고 있다.
도 2를 참고로, 보간부(10)는 서로 다른 차수를 가지는 복수의 보간 필터를 이용하여 하위 계층의 영상 프레임을 상위 계층의 영상 프레임과 동일한 해상도로 각각 보간한다. 보간부(10)는 보간 필터(12)와 차수 제어부(14)를 구비하고 있다. 보간 필터(12)는 하위 계층의 영상 프레임을 상위 계층의 영상 프레임과 동일한 해상도로 보간한다. 상기 하위 계층의 영상 프레임은 상기 상위 계층의 영상 프레임보다 낮은 해상도를 가지는 영상 프레임이다. 한편, 차수 제어부(14)는 서로 다른 차수를 가지는 복수의 보간 필터를 생성하기 위해 상기 보간 필터의 차수를 제어한다.
스케일러블 부호화하고자 하는 하위 계층의 영상 프레임이 상위 계층의 영상 프레임과 동일한 해상도를 가지는 경우, 하위 계층의 영상 프레임은 보간부(10)에 의해 보간되지 않고 직접 잔여 신호 생성부(20)로 제공될 수 있다.
도 3은 본 발명의 일 실시예에 상응하는 보간 필터의 기능 블록도를 도시하고 있다. 입력 영상 신호(x[n])은 각각 쉬프트 레지스터(12-1 내지 12-L)에 의해 지연되어 계수(g0 내지 gL)와 곱해지고, 모두 합해져 식(1)과 같은 출력 영상 신호(y(n))로 출력된다.
[수학식1]
y(n) = gLx[n-L] + gL -1[n-(L-1)] + ......+ g1x[n-1] + g0x[n]
차수 제어부(14)는 보간 필터(12)의 계수(g0 내지 gL) 값을 제어하여 서로 다른 차수를 가지는 복수의 보간 필터를 생성한다. 바람직하게, 차수 제어부(14)는 보간 필터(12)의 계수(g0 내지 gL)를 제어하여 각각 (1/32, -5/32. 20/32, 20/32, -5/32, 1/32)와 (16/32, 16/32)의 계수를 가지는 H.264 AVC 반화소 필터와 단순 쌍일차 필터를 생성한다. 바람직하게, 하위 계층의 영상 프레임은 마크로 블록 단위로 보간 필터(12)로 입력되어 상위 계층의 영상 프레임으로 보간되는 것을 특징으로 한다.
다시 도 2를 참고로, 잔여 신호 생성부(20)는 현재 부호화하고자 하는 상위 계층의 영상 프레임에서 보간된 하위 계층의 영상 프레임을 차감하여 보간된 하위 계층의 영상 프레임과 현재 부호화하고자 하는 상위 계층의 영상 프레임 사이에 존재하는 중복된 영상 신호를 제거하여 잔여 신호를 생성한다.
도 4는 본 발명의 일 실시예에 상응하는 잔여 신호 생성부(20)의 기능 블록도를 도시하고 있다. 도 4를 참고로, 서로 다른 차수의 보간 필터(12)에 의해 보간된 하위 계층의 영상 프레임과 현재 부호화하고자 하는 상위 계층의 영상 프레임은 제1 감산부(22)로 입력된다. 제1 감산부(22)는 상기 보간된 하위 계층의 영상 프레임과 상위 계층의 영상 프레임을 차감하여, 서로 다른 차수의 보간 필터에 상응하는 각각의 잔여 차감 영상 신호를 생성한다.
한편, 움직임 벡터 보간부(24)는 하위 계층의 영상 프레임으로부터 계산된 움직임 벡터를 이용하여 현재 부호화하고자 하는 상위 계층의 영상 프레임에 대한 움직임 벡터를 보간한다. 움직임 보상부(26)는 상기 보간된 움직임 벡터를 이용하여 참조 영상으로부터 현재 부호화하고자 하는 상위 계층 영상의 영상 프레임에 대한 예측 영상 신호를 생성한다. 제2 감산부(28)는 상기 잔여 차감 영상 신호와 예측 영상 신호를 차감하여 부호화되는 잔여 신호를 생성한다.
바람직하게, 움직임 벡터 보상부(24)와 움직임 보상부(26)는 마크로 블록 단위로 예측 영상 신호를 생성하며, 제1 감산부(22)와 제2 감산부(28)는 각각 마크로 블록 단위로 잔여 차감 영상 신호와 부호화되는 잔여 신호를 생성한다.
다시 도 2를 참고로, 비트율 왜곡 비용 계산부(30)는 잔여 신호 생성부(20)에서 생성된, 각 보간 필터에 상응하는 잔여 신호의 비트율 왜곡 비용(Rate Distortion Cost, RDC)을 계산한다. 상기 잔여 신호의 비트율 왜곡 비용은 아래의 수학식(2)에 의해 계산된다.
[수학식2]
RDC = 왜곡값 + a×부호화 비트값
여기서, 상기 왜곡값은 매크로 블록 단위로 상기 보간된 하위 계층 영상 프레임과 상위 계층 영상 프레임을 차감하여 생성된 영상 신호의 비트량을 합한 값이며, 부호화 비트값은 상기 왜곡값을 실제로 부호화하는 경우 발생되는 비트량을 의미하며, a는 비트율 왜곡 비용 계수를 의미한다.
바람직하게, 상기 비트율 왜곡 비용 계수는 라그랑쥬 승수(Lagrangian Multiplier, λSSD)이며 아래의 수학식(3)에 의해 계산된다.
[수학식3]
λSSD = 0.85 × 2 QP /3-4 , 여기서 QP는 양자화 파라미터이다.
메모리부(40)는 각 보간 필터에 상응하는 보간 필터의 차수 정보, 잔여 신호 및 비트율 왜곡 비용을 저장하고 있으며, 선택부(50)는 상기 각 보간 필터에 상응하는 비트율 왜곡 비용에 기초하여 가장 낮은 비트율 왜곡 비용을 가지는 보간 필터를 선택한다.
상기 선택부(50)는 비교부(52)와 필터 선택부(54)를 구비하고 있다. 비교부(52)는 상기 각 보간 필터에 상응하는 비트율 왜곡 비용의 값을 서로 비교한다. 상기 비교부(52)의 비교 결과에 기초하여 필터 선택부(54)는 각 보간 필터의 비트율 왜곡 비용 중에서 가장 낮은 값을 가지는 보간 필터를 선택한다. 바람직하게, 상기 비교부(52)는 비교 결과에 기초하여 각 보간 필터에 상응하는 비트율 왜곡 비용을 순차적으로 리스트하며, 상기 필터 선택부(54)는 상기 리스트된 각 보간 필터의 비트율 왜곡 비용 중에서 가장 낮은 비트율 왜곡 비용의 보간 필터를 선택한다.
부호화부(60)는 상기 필터 선택부(54)에 의해 선택된 보간 필터의 차수 정보와 상기 선택된 보간 필터에 상응하는 잔여 신호를 부호화한다.
도 5는 본 발명의 일 실시예에 상응하는, H.264 기반 스케일러블 영상 부호화 방법의 흐름도를 도시하고 있다.
서로 다른 차수의 보간 필터를 이용하여 하위 계층의 영상 프레임을 상위 계 층의 영상 프레임과 동일한 해상도로 보간한다(단계 70). 상기 하위 계층의 영상 프레임은 현재 부호화하려는 상위 계층의 영상 프레임보다 낮은 해상도를 가진다. 도 6은 상기 단계 70을 보다 구체적으로 설명하고 있는 흐름도이다.
도 6을 참고로, 보간 필터의 계수, 즉 보간 필터의 차수를 제어한다(단계 80). 상기 보간 필터의 계수값들을 0 또는 0 이외의 값으로 설정함으로써, 상기 보간 필터의 차수를 제어할 수 있다. 예를 들어, 2개의 보간 필터를 사용한다면 상기 보간 필터를 H.264/AVC 반화소 필터와 같이 6의 차수로 설정하기 위해 상기 보간 필터의 계수에 각각 1/32, -5/32, 20/32, 20/32, -5/32,1/32의 값을 설정하고 그 외의 보간 필터의 계수에는 0의 값을 설정한다. 한편, 상기 보간 필터를 단순 쌍일차 필터와 같이 2의 차수로 설정하기 위해 상기 보간 필터의 계수에 각각 16/32, 16/32의 값을 설정하고 그 외의 보간 필터 계수에는 0의 값을 설정한다.
상기 보간 필터의 차수를 제어함으로써 서로 다른 차수를 가지는 복수의 보간 필터를 생성한다(단계 82). 상기 생성된 복수의 보간 필터를 이용하여 하위 계층의 영상 프레임을 상위 계층의 영상 프레임과 동일한 해상도로 보간한다(단계 84). 단계 84를 통해 상기 생성된 보간 필터의 수에 상응하는 수만큼 보간된 하위 계층의 영상 프레임이 생성된다. 바람직하게, 상기 복수의 보간 필터에 의해 하위 계층의 영상 프레임은 마크로 블록 단위로 보간되는 것을 특징으로 한다.
다시 도 5를 참고로, 상기 하위 계층의 영상 프레임과 상위 계층의 영상 프레임 사이의 중복 신호를 제거하여 생성된 잔여 신호의 비트율 왜곡 비용을 계산한다(단계 72). 상기 보간된 하위 계층의 영상 프레임과 상위 계층의 영상 프레임 을 서로 차감하여 각 보간 필터에 상응하는 잔여 신호를 생성하고, 상기 생성된 각 보간 필터에 상응하는 잔여 신호의 비트율 왜곡 비용을 계산한다.
상기 계산된 각 보간 필터에 상응하는 잔여 신호의 비트율 왜곡 비용을 비교하고(단계 74), 상기 비교 결과에 기초하여 가장 낮은 비트율 왜곡 비용을 가지는 보간 필터를 선택한다(단계 76). 상기 선택된 보간 필터의 차수에 대한 정보를 부호화하고자 하는 상위 계층의 영상 프레임의 잔여 신호와 함께 부호화한다(단계 78). 상기 선택된 보간 필터에 의해 보간된 하위 계층의 영상 프레임과 상위 계층의 영상 프레임을 차감하여 생성된 잔여 신호는 소정 메모리에 저장되어 있으며, 상기 저장되어 있는 잔여 신호와 함께 상기 선택된 보간 필터의 차수 정보를 부호화한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록 매체는 마그네틱 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술 적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명에 따른 H.264 기반 스케일러블 영상 부호화 및 복호화 방법은 부호화하고자 하는 하위 계층의 영상 프레임을 복수의 보간 필터를 이용하여 보간하고 보간된 하위 계층의 영상 프레임들 중 비트율 왜곡 비용이 가장 낮은 보간 필터의 계수 정보를 부호화되는 상위 계층의 영상 프레임과 함께 부호화함으로써, 복호화 과정에서 상기 부호화된 보간 필터의 계수 정보를 이용하여 영상 프레임을 복호화할 수 있다.

Claims (15)

  1. 상위 계층의 영상 프레임과 하위 계층의 영상 프레임을 서로 차감하여 생성된 잔여 신호의 비트율 왜곡 비용이 가장 낮은 보간 필터를 선택하고, 상기 선택된 보간 필터의 차수 정보를 부호화하는 단계; 및
    상기 부호화된 보간 필터의 차수 정보를 이용하여 상기 상위 계층의 영상 프레임을 복호화하는 단계를 포함하며,
    상기 부호화 단계는
    서로 다른 차수를 가지는 복수의 보간 필터를 이용하여 하위 계층의 영상 프레임을 상위 계층의 영상 프레임과 동일한 해상도로 각각 보간하는 단계;
    상기 복수의 보간 필터에 의해 보간된 각 하위 계층의 영상 프레임과 상위 계층의 영상 프레임을 차감하여 생성된 잔여 신호의 비트율 왜곡 비용을 계산하는 단계;
    상기 계산된 비트율 왜곡 비용에 기초하여 가장 낮은 비트율 왜곡 비용(Rate Distortion Cost, RDC)을 가지는 보간 필터를 선택하는 단계; 및
    상기 선택된 보간 필터의 차수에 대한 정보 및 상기 선택된 보간 필터에 상응하는 잔여 신호를 부호화하는 단계를 포함하는 것을 특징으로 하는 스케일러블 영상 부호화 및 복호화 방법.
  2. (a) 서로 다른 차수를 가지는 복수의 보간 필터를 이용하여 하위 계층의 영 상 프레임을 상위 계층의 영상 프레임과 동일한 해상도로 각각 보간하는 단계;
    (b) 상기 보간된 각 하위 계층의 영상 프레임과 상기 상위 계층의 영상 프레임을 차감하여 생성된 잔여 신호의 비트율 왜곡 비용을 계산하는 단계;
    (c) 상기 계산된 비트율 왜곡 비용에 기초하여 가장 낮은 비트율 왜곡 비용(Rate Distortion Cost, RDC)을 가지는 보간 필터를 선택하는 단계; 및
    (d) 상기 선택된 보간 필터의 차수에 대한 정보 및 상기 선택된 보간 필터에 상응하는 잔여 신호를 부호화하는 단계를 포함하는 것을 특징으로 하는 스케일러블 영상 부호화 방법.
  3. 제 2 항에 있어서, 상기 (a) 단계는
    보간 필터가 서로 다른 차수를 가지도록 상기 보간 필터의 차수를 제어하는 단계;
    상기 제어된 보간 필터의 차수에 의해 서로 다른 차수를 가지는 복수의 보간 필터를 생성하는 단계; 및
    상기 생성된 복수의 보간 필터를 이용하여 하위 계층의 영상 프레임을 상위 계층의 영상 프레임과 동일한 해상도로 각각 보간하는 단계를 포함하는 것을 특징으로 하는 스케일러블 영상 부호화 방법.
  4. 제 3 항에 있어서, 상기 복수의 보간 필터는
    H.264/AVC 반화소 필터와 단순 쌍일차 필터인 것을 특징으로 하는 스케일러 블 영상 부호화 방법.
  5. 제 3 항에 있어서, 상기 (b) 단계는
    상기 보간된 하위 계층의 영상 프레임과 상기 상위 계층의 영상 프레임을 서로 차감하여 각 보간 필터에 상응하는 잔여 신호를 생성하는 단계; 및
    상기 생성된 각 보간 필터에 상응하는 잔여 신호의 비트율 왜곡 비용을 계산하는 단계를 포함하는 것을 특징으로 하는 스케일러블 영상 부호화 방법.
  6. 제 5 항에 있어서, 상기 하위 계층의 영상 프레임은
    마크로 블록 단위로 보간되며, 상기 잔여 신호는 마크로 블록 단위로 보간된 하위 계층의 영상 프레임과 상위 계층의 영상 프레임을 차감하여 생성되는 영상 신호의 합인 것을 특징으로 하는 스케일러블 영상 부호화 방법.
  7. 제 6 항에 있어서, 상기 비트율 왜곡 비용은
    RDC = 왜곡값 + a×부호화 비트값에 의해 계산되며,
    상기 왜곡값은 매크로 블록 단위로 보간된 하위 계층 영상 프레임과 상위 계층 영상 프레임을 차감하여 생성된 영상 신호의 비트량을 합한 값이며, 부호화 비트값은 상기 왜곡값을 실제로 부호화하는 경우 발생되는 비트량을 의미하며, a는 비트율 왜곡 비용 계수인 것을 특징으로 하는 스케일러블 영상 부호화 방법.
  8. 제 7 항에 있어서, 상기 (c) 단계는
    상기 계산된 각 보간 필터에 상응하는 잔여 신호의 비트율 왜곡 비용을 비교하는 단계; 및
    상기 비교 결과에 기초하여, 가장 낮은 비트율 왜곡 비용을 가지는 보간 필터를 선택하는 단계를 포함하는 것을 특징으로 하는 스케일러블 영상 부호화 방법.
  9. 서로 다른 차수를 가지는 복수의 보간 필터를 이용하여 하위 계층의 영상 프레임을 상위 계층의 영상 프레임과 동일한 해상도로 각각 보간하는 보간부;
    상기 복수의 보간 필터에 의해 보간된 하위 계층의 영상 프레임과 상기 상위 계층의 영상 프레임을 각각 차감하여 각 보간 필터에 상응하는 잔여 신호를 생성하는 잔여 신호 생성부;
    상기 각 보간 필터에 상응하는 잔여 신호의 비트율 왜곡 비용(RDC)을 계산하는 비트율 왜곡 비용 계산부;
    상기 계산된 비트율 왜곡 비용에 기초하여 가장 낮은 비트율 왜곡 비용을 가지는 보간 필터를 선택하는 선택부; 및
    상기 선택된 보간 필터의 차수 정보 및 상기 선택된 보간 필터에 상응하는 잔여 신호를 부호화하는 부호화부를 포함하는 것을 특징으로 하는 스케일러블 영상 부호화 장치.
  10. 제 9 항에 있어서, 상기 보간부는
    하위 계층의 영상 프레임을 상위 계층의 영상 프레임과 동일한 해상도로 보간하는 보간 필터; 및
    서로 다른 차수를 가지는 복수의 보간 필터를 생성하기 위해 상기 보간 필터의 차수를 제어하는 차수 제어부를 포함하는 것을 특징으로 하는 스케일러블 영상 부호화 장치.
  11. 제 10 항에 있어서, 상기 차수 제어부에 의해 생성되는 복수의 보간 필터는
    H.264/AVC 반화소 필터와 단순 쌍일차 필터인 것을 특징으로 하는 스케일러블 영상 부호화 장치.
  12. 제 10 항에 있어서, 상기 잔여 신호 생성부는
    상기 하위 계층의 영상 프레임과 상위 계층의 영상 프레임을 서로 차감하여 잔여 차감 영상 신호를 생성하는 제1 감산부;
    상기 하위 계층의 영상 프레임에 대한 움직임을 보상하여 예측 영상 신호를 생성하는 움직임 보상부; 및
    상기 잔여 차감 영상 신호와 예측 영상 신호를 서로 차감하여 상기 잔여 신호를 생성하는 제2 감산부를 포함하는 것을 특징으로 하는 스케일러블 영상 부호화 장치.
  13. 제 12 항에 있어서, 상기 하위 계층의 영상 프레임은
    마크로 블록 단위로 보간되며, 상기 잔여 신호는 마크로 블록 단위의 잔여 차감 영상 신호와 예측 영상 신호를 차감하여 생성되는 영상 신호의 합인 것을 특징으로 하는 스케일러블 영상 부호화 장치.
  14. 제 13 항에 있어서, 상기 비트율 왜곡 비용(RDC)은
    RDC = 왜곡값 + a×부호화 비트값에 의해 계산되며,
    상기 왜곡값은 매크로 블록 단위로 상기 보간된 하위 계층 영상 프레임과 상위 계층 영상 프레임을 차감하여 생성된 영상 신호의 비트량을 합한 값이며, 부호화 비트값은 상기 왜곡값을 실제로 부호화하는 경우 발생되는 비트량을 의미하며, a는 비트율 왜곡 비용 계수인 것을 특징으로 하는 스케일러블 영상 부호화 장치.
  15. 제 12 항에 있어서, 상기 선택부는
    상기 복수의 보간 필터 각각에 상응하는 잔여 신호의 비트율 왜곡 비용을 비교하는 비교부; 및
    상기 비교 결과에 기초하여 가장 낮은 비트율 왜곡 비용을 가지는 보간 필터를 선택하는 필터 선택부를 포함하는 것을 특징으로 하는 스케일러블 영상 부호화 장치.
KR1020050102204A 2005-10-28 2005-10-28 비트율 왜곡 비용에 기초하여 선택된 보간 필터를 이용하여공간 계층간 예측을 수행하는 스케일러블 ｈ.264부호화/복호화 방법 KR100754841B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050102204A KR100754841B1 (ko) 2005-10-28 2005-10-28 비트율 왜곡 비용에 기초하여 선택된 보간 필터를 이용하여공간 계층간 예측을 수행하는 스케일러블 ｈ.264부호화/복호화 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050102204A KR100754841B1 (ko) 2005-10-28 2005-10-28 비트율 왜곡 비용에 기초하여 선택된 보간 필터를 이용하여공간 계층간 예측을 수행하는 스케일러블 ｈ.264부호화/복호화 방법

Publications (2)

Publication Number Publication Date
KR20070045662A KR20070045662A (ko) 2007-05-02
KR100754841B1 true KR100754841B1 (ko) 2007-09-04

Family

ID=38271358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050102204A KR100754841B1 (ko) 2005-10-28 2005-10-28 비트율 왜곡 비용에 기초하여 선택된 보간 필터를 이용하여공간 계층간 예측을 수행하는 스케일러블 ｈ.264부호화/복호화 방법

Country Status (1)

Country Link
KR (1) KR100754841B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8831086B2 (en) 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
US8971412B2 (en) 2008-04-10 2015-03-03 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US8462842B2 (en) 2008-04-10 2013-06-11 Qualcomm, Incorporated Symmetry for interpolation filtering of sub-pixel positions in video coding
US9967590B2 (en) 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US8705622B2 (en) 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
US8804831B2 (en) 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
US9077971B2 (en) 2008-04-10 2015-07-07 Qualcomm Incorporated Interpolation-like filtering of integer-pixel positions in video coding
KR101210578B1 (ko) 2008-12-23 2012-12-11 한국전자통신연구원 스케일러블 비디오 코딩에서의 비트율-왜곡값을 이용한 상위 계층의 빠른 부호화 방법 및 그 부호화 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4771331A (en) 1986-03-08 1988-09-13 Ant Nachrichtentechnik Gmbh Motion compensating field interpolation method using a hierarchically structured displacement estimator
KR20040075348A (ko) * 2002-01-14 2004-08-27 노키아 코포레이션 동적 필터 부호화

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4771331A (en) 1986-03-08 1988-09-13 Ant Nachrichtentechnik Gmbh Motion compensating field interpolation method using a hierarchically structured displacement estimator
KR20040075348A (ko) * 2002-01-14 2004-08-27 노키아 코포레이션 동적 필터 부호화

Also Published As

Publication number Publication date
KR20070045662A (ko) 2007-05-02

Similar Documents

Publication Publication Date Title
KR100754841B1 (ko) 비트율 왜곡 비용에 기초하여 선택된 보간 필터를 이용하여공간 계층간 예측을 수행하는 스케일러블 ｈ.264부호화/복호화 방법
RU2420915C2 (ru) Операции повторной дискретизации и изменения размера изображения для кодирования и декодирования видео с переменной разрешающей способностью
JP4120301B2 (ja) 画像処理装置およびその方法
US8401079B2 (en) Image coding apparatus, image coding method, image decoding apparatus, image decoding method and communication apparatus
JP4977094B2 (ja) 画像符号化方法
JP4494789B2 (ja) 動的フィルタのコーディング
US10687072B2 (en) Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
JPS634755B2 (ko)
JP4793424B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
US20130223522A1 (en) Method and apparatus for encoding/decoding video using high-precision filter
CN109756739B (zh) 图像预测方法和装置
KR100759870B1 (ko) Ｃｂｐ에 기초하여 선택된 보간 필터를 이용하여 공간 계층 간의 예측을 수행하는 ｈ.264 스케일러블 영상 부호화/복호화 방법 및 그 장치
KR101601848B1 (ko) 인터 예측 프레임 생성장치 및 그 생성방법, 및 거기에 이용되는 참조 프레임 보간장치 및 그 방법
KR20120095814A (ko) 복수 참조 영상을 이용한 영상 부복호화 방법 및 이러한 방법을 사용하는 장치
KR102111437B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
JP2018023121A (ja) 復号方法および復号装置
KR100759722B1 (ko) 영상 프레임의 크기에 따라 계층 간의 영상 프레임들을서로 다른 예측 구조로 움직임 보상을 수행하는 ｈ.264기반 스케일러블 부호화 방법
KR20110129089A (ko) 병렬 프로세서를 구비한 영상 복호화 장치
JP5390458B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
KR100992599B1 (ko) 멀티 연산 기능을 구비한 영상 복호화 장치 및 방법
WO2012115434A2 (ko) 복수 참조 영상을 이용한 영상 부복호화 방법 및 이러한 방법을 사용하는 장치
Schuster et al. Optimal Motion Estimation and Motion Compensated Interpolation for Video Compression
MX2008008762A (en) Resampling and picture resizing operations for multi-resolution video coding and decoding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120829

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130829

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140925

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee