KR100664930B1 - 시간적 스케일러빌리티를 지원하는 비디오 코딩 방법 및장치 - Google Patents

시간적 스케일러빌리티를 지원하는 비디오 코딩 방법 및장치 Download PDF

Info

Publication number
KR100664930B1
KR100664930B1 KR1020040103076A KR20040103076A KR100664930B1 KR 100664930 B1 KR100664930 B1 KR 100664930B1 KR 1020040103076 A KR1020040103076 A KR 1020040103076A KR 20040103076 A KR20040103076 A KR 20040103076A KR 100664930 B1 KR100664930 B1 KR 100664930B1
Authority
KR
South Korea
Prior art keywords
frame
temporal
frames
generated
low frequency
Prior art date
Application number
KR1020040103076A
Other languages
English (en)
Other versions
KR20060035543A (ko
Inventor
한우진
하호진
이교혁
차상창
이재영
이배근
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2005/003031 priority Critical patent/WO2006043754A1/en
Priority to US11/253,610 priority patent/US20060088100A1/en
Publication of KR20060035543A publication Critical patent/KR20060035543A/ko
Application granted granted Critical
Publication of KR100664930B1 publication Critical patent/KR100664930B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 코딩에 관한 것으로서, 보다 상세하게는 MCTF 방식 및 폐루프 부호화 방식을 결합하여 사용함으로써 비디오 코딩 효율을 향상시키는 방법 및 장치에 관한 것이다.
본 발명의 일 실시예에 따른 시간적 스케일러빌리티를 지원하는 비디오 인코딩 방법은, 입력된 프레임에 대하여 제1 시간 레벨까지 모션 보상 시간적 필터링을 수행하는 단계와, 상기 모션 보상 시간적 필터링 결과 생성된 프레임에 대하여 상기 제1 시간 레벨보다 높은 제2 시간 레벨까지 계층적 폐루프 부호화를 수행하는 단계와, 상기 계층적 폐루프 부호화 수행 결과 생성된 프레임에 대하여 공간적 변환을 수행하여 변환 계수를 생성하는 단계와, 상기 생성된 변환 계수를 양자화하는 단계로 이루어진다.
MCTF, 폐루프 부호화, 스케일러빌리티

Description

시간적 스케일러빌리티를 지원하는 비디오 코딩 방법 및 장치{Video coding method supporting temporal scalability and apparatus thereof}
도 1은 MCTF 방식 중 5/3 필터를 이용한 인코딩 과정을 도시한 도면.
도 2는 MCTF에서 시간 지연을 제한하기 위한 방법을 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 비디오 인코더의 구성을 나타낸 블록도.
도 4는 MPEG 등에서 사용하는 프레임 참조 방식을 나타낸 도면.
도 5는 도 3의 비디오 인코더의 구성을 보다 자세히 나타낸 블록도.
도 6은 unconnected 픽셀을 설명하는 도면.
도 7은 MCTF 부에서 시간 레벨 2까지 처리하고, 이후 시간 레벨은 폐루프 부호화부에서 처리하는 경우를 예를 들어 설명하는 도면.
도 8은 MCTF 부에서 특정 시간 레벨의 시간적 예측 단계까지만 처리하는 예를 나타내는 도면.
도 9는 STAR 알고리즘에 폐루프를 적용한 예를 도시한 도면.
도 10은 시간 지연을 고려하지 않고 양방향 추정을 모두 사용하는 경우의 예를 나타내는 도면.
도 11은 다른 GOP까지를 참조할 수 있는 경우를 예시하는 도면.
도 12는 본 발명의 일 실시예에 따른 비디오 디코더의 구성을 도시한 블록 도.
도 13은 도 12의 비디오 디코더의 구성을 보다 자세히 도시한 블록도.
도 14는 도 7의 경우, 디코더에서 계층적 폐루프 복호화 및 MCTF 복호화 과정이 수행되는 과정을 나타내는 도면.
도 15는 본 발명의 일 실시예에 따른 인코딩, 또는 디코딩 과정을 수행하기 위한 시스템의 구성도.
(도면의 주요부분에 대한 부호 설명)
100 : 비디오 인코더 110 : MCTF 부호화부
120 : 폐루프 부호화부 130 : 공간적 변환부
140 : 양자화부 150 : 엔트로피 부호화부
200 : 비디오 디코더 210 : 엔트로피 복호화부
220 : 역 양자화부 230 : 역 공간적 변환부
240 : 폐루프 복호화부 250 : MCTF 복호화부
본 발명은 비디오 코딩에 관한 것으로서, 보다 상세하게는 MCTF 방식 및 폐루프 부호화 방식을 결합하여 사용함으로써 비디오 코딩 효율을 향상시키는 방법 및 장치에 관한 것이다.
인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화 상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 예를 들면 640*480의 해상도를 갖는 24 bit 트루컬러의 이미지는 한 프레임당 640*480*24 bit의 용량 다시 말해서 약 7.37Mbit의 데이터가 필요하다. 이를 초당 30 프레임으로 전송하는 경우에는 221Mbit/sec의 대역폭을 필요로 하며, 90분 동안 상영되는 영화를 저장하려면 약 1200G bit의 저장공간을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.
데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy)을 없애는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 없앰으로서 데이터를 압축할 수 있다. 데이터 압축의 종류는 소스 데이터의 손실 여부와, 각각의 프레임에 대해 독립적으로 압축하는 지 여부와, 압축과 복원에 필요한 시간이 동일한 지 여부에 따라 각각 손실/무손실 압축, 프레임 내/프레임간 압축, 대칭/비대칭 압축으로 나눌 수 있다. 이 밖에도 압축 복원 지연 시간이 50ms를 넘지 않는 경우에는 실시간 압축으로 분류하고, 프레임들의 해상도가 다양한 경우는 스케일러블 압축으로 분류한다. 문자 데이터나 의학용 데이터 등의 경우에는 무손실 압축이 이용되며, 멀티미디어 데이터의 경우에는 주로 손실 압축이 이용된다. 한편 공간적 중복을 제거하기 위해서는 프레임 내 압축이 이용되며 시간적 중복을 제거하기 위해서는 프레임간 압축이 이용된다.
멀티미디어를 전송하기 위한 전송매체는 매체 별로 그 성능이 다르다. 현재 사용되는 전송매체는 초당 수십 메가비트의 데이터를 전송할 수 있는 초고속통신망부터 초당 384 킬로비트의 전송속도를 갖는 이동통신망 등과 같이 다양한 전송속도를 갖는다. MPEG-1, MPEG-2, H.263 또는 H.264와 같은 종전의 비디오 코딩은 모션 보상 예측법에 기초하여 시간적 중복은 모션 보상에 의해 제거하고 공간적 중복은 변환 코딩에 의해 제거한다. 이러한 방법들은 좋은 압축률을 갖고 있지만 주 알고리즘에서 재귀적 접근법을 사용하고 있어 진정한 스케일러블 비트스트림(true scalable bitstream)을 위한 유연성을 갖지 못한다. 이에 따라 최근에는 웨이블릿 기반의 스케일러블 비디오 코딩에 대한 연구가 활발하다. 스케일러블 비디오 코딩은 스케일러빌리티를 갖는 비디오 코딩을 의미한다. 스케일러빌리티란 압축된 하나의 비트스트림으로부터 부분 디코딩, 즉, 다양한 비디오를 재생할 수 있는 특성을 의미한다. 스케일러빌리티는 비디오의 해상도를 조절할 수 있는 성질을 의미하는 공간적 스케일러빌리티와 비디오의 화질을 조절할 수 있는 성질을 의미하는 SNR(Signal-to-Noise Ratio) 스케일러빌리티와, 프레임 레이트를 조절할 수 있는 시간적 스케일러빌리티와, 이들 각각을 조합한 것을 포함하는 개념이다.
웨이블릿 기반의 스케일러블 비디오 코딩에 사용되고 있는 많은 기술들 중에 서, 움직임 보상 시간적 필터링(Motion Compensated Temporal Filtering; 이하, MCTF라 함)은 시간적 중복성을 제거하고 시간적으로 유연한 스케일러블 비디오 코딩을 위한 핵심 기술이다. MCTF에서는 GOP(Group Of Picture) 단위로 코딩작업을 수행하는데 현재 프레임과 기준 프레임의 쌍은 움직임 방향으로 시간적 필터링 된다.
도 1은 MCTF 방식 중 5/3 필터를 이용한 인코딩 과정을 도시한 도면이다. 도 1에서 회색 음영으로 표시된 프레임은 고주파 프레임을, 흰색으로 표시된 프레임은 저주파 프레임을 나타낸다. 비디오 시퀀스는 복수의 시간 레벨에 따른 분해 과정을 거친다. 이러한 시간 레벨에 따라서 시간적 스케일러빌리티가 구현될 수 있다.
시간 레벨 1에서, 비디오 시퀀스는 저주파 프레임과 고주파 프레임으로 분해된다. 먼저, 고주파 프레임은 인접한 3개의 입력 프레임에 대하여 시간적 예측(temporal prediction)을 수행하여 생성된다. 이 때 시간적 예측은 순방향 예측과 역방향 예측을 모두 사용하게 된다. 다음으로, 저주파 프레임은 상기 생성된 고주파 프레임을 이용하여 입력 프레임을 시간적 업데이트(temporal update) 함으로써 생성된다. 이 경우, 인접한 2개의 고주파 프레임을 이용하여 입력 프레임을 업데이트한다.
시간 레벨 2에서는 상기 업데이트된 저주파 프레임으로부터 다시 시간적 예측 및 시간적 업데이트 과정을 수행한다. 이러한 복수의 시간 레벨에 따른 분해 과정을 반복함으로써 최상위 시간 레벨에서의 저주파 프레임 1개와 고주파 프레임 1개를 구할 수 있다.
인코더 단에서는 최상위 시간 레벨에 존재하는 저주파 프레임 1개와 생성된 모든 고주파 프레임 15개를 디코더 단으로 보내면, 이를 수신한 인코더 단에서는 시간 레벨을 역으로 복원함으로써 전체적으로 16개의 디코딩된 프레임을 구할 수 있는 것이다.
이와 같이 MCTF에서 시간적 예측 이외에 시간적 업데이트 단계를 갖는 이유는 인코더와 디코더 간에 발생할 수 있는 드리프팅 에러(drifting error)을 감소시키기 위해서이다. 업데이트 과정을 거치게 되면 이러한 드리프팅 에러가 하나의 GOP(group of pictures) 전체에 골고루 분포하게 되고, 따라서 주기적으로 에러가 증가하고 감소하는 현상은 방지할 수 있다. 다만, 시간 레벨이 증가할 수록 업데이트를 수행할 때의 고주파 프레임과 저주파 프레임의 시간 간격이 큰 경우에는 순방향 예측(forward prediction) 또는 순방향 업데이트(forward update)를 수행하기 위해서는 상당한 시간 지연(time delay)가 발생할 수 있다. 따라서, MCTF 구조에서 낮은 시간 지연을 구현하기 위하여 일정 이상의 순방향 예측 단계 및 순방향 업데이트 단계를 생략하는 방법이 제시되었다.
도 2는 MCTF에서 시간 지연을 제한하기 위한 방법을 도시한 도면이다. "시간 지연 제한 조건"이 4라고 하면 도 2와 같이 시간 레벨 2의 업데이트 단계 이하부터는 순방향 업데이트와 순방향 예측은 수행하지 않는다. 여기서 1 시간 지연은 하나의 프레임 간격만큼의 지연을 의미한다. 예를 들어, 고주파 프레임(15)은 입력 프레임(10)이 입력되기 전에는 생성될 수 없다. 즉, 최소한 시간 지연 4가 발생한다. 그러나, 현지 시간 지연 제한 조건이 4이므로 여기까지는 허용된다. 다음 시간 레 벨 2의 업데이트 과정에서 저주파 프레임(20)에서 순방향 업데이트를 수행하려면 시간 지연 6이 발생하여 상기 제한 조건을 초과하므로, 이 때에는 순방향 업데이트는 수행하지 않는다.
그러나, MCTF 구조에서 이러한 순방향 예측 또는 순방향 업데이트 단계들을 생략하면, 드리프팅 에러가 균등하게 분산되는 효과가 감소되어, 코딩 효율 또는 화질을 명백히 저하시키는 결과를 가져온다.
본 발명은 상기한 문제점을 고려하여 창안된 것으로, MCTF 구조에서 시간 지연 문제를 해결할 수 있는 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 MCTF와 폐루프 부호화 방법의 장점을 모두 사용할 수 있는 방법을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여, 본 발명에 따른 시간적 스케일러빌리티를 지원하는 비디오 인코딩 방법은, (a) 입력된 프레임에 대하여 제1 시간 레벨까지 모션 보상 시간적 필터링을 수행하는 단계; (b) 상기 모션 보상 시간적 필터링 결과 생성된 프레임에 대하여 상기 제1 시간 레벨보다 높은 제2 시간 레벨까지 계층적 폐루프 부호화를 수행하는 단계; (c) 상기 계층적 폐루프 부호화 수행 결과 생성된 프레임에 대하여 공간적 변환을 수행하여 변환 계수를 생성하는 단계; 및 (d) 상기 생성된 변환 계수를 양자화하는 단계를 포함한다.
상기한 목적을 달성하기 위하여, 본 발명에 따른 시간적 스케일러빌리티를 지원하는 비디오 디코딩 방법은, (a) 입력된 비트스트림으로부터 텍스쳐 데이터와 모션 데이터를 추출하는 단계; (b) 상기 텍스쳐 정보를 역 양자화하여 변환 계수를 출력하는 단계; (c) 상기 변환계수로부터 공간적 영역에서의 프레임을 생성하는 단계; (d) 상기 생성된 프레임 중 인트라 프레임 및 인터 프레임을 이용하여 특정 시간 레벨의 저주파 프레임을 복원하는 단계; 및 (e) 상기 생성된 프레임 중 고주파 프레임 및 상기 복원된 저주파 프레임에 대하여 모션 보상 시간적 필터링을 역으로 수행함으로써 비디오 프레임을 복원하는 단계를 포함한다.
상기한 목적을 달성하기 위하여, 본 발명에 따른 시간적 스케일러빌리티를 지원하는 비디오 인코더는, 입력된 프레임에 대하여 특정 시간 레벨까지 모션 보상 시간적 필터링을 수행하는 MCTF 부호화부; 상기 모션 보상 시간적 필터링 결과 생성된 프레임에 대하여 상기 제1 시간 레벨보다 높은 제2 시간 레벨까지 계층적 폐루프 부호화를 수행하는 폐루프 부호화부; 상기 계층적 폐루프 부호화 수행 결과 생성된 프레임에 대하여 공간적 변환을 수행하여 변환 계수를 생성하는 공간적 변환부; 및 상기 생성된 변환 계수를 양자화하는 양자화부를 포함한다.
상기한 목적을 달성하기 위하여, 본 발명에 따른 시간적 스케일러빌리티를 지원하는 비디오 디코더는, 입력된 비트스트림으로부터 텍스쳐 데이터와 모션 데이터를 추출하는 엔트로피 복호화부; 상기 텍스쳐 정보를 역 양자화하여 변환 계수를 출력하는 역 양자화부; 상기 변환계수로부터 공간적 영역에서의 프레임을 생성하는 역 공간적 변환부; 상기 생성된 프레임 중 인트라 프레임 및 인터 프레임을 이용하여 특정 시간 레벨의 저주파 프레임을 복원하는 폐루프 복호화부; 및 상기 생성된 프레임 중 고주파 프레임 및 상기 복원된 저주파 프레임에 대하여 모션 보상 시간적 필터링을 역으로 수행함으로써 비디오 프레임을 복원하는 MCTF 복호화부를 포함한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명에서는 MCTF 과정 중에서 특정 시간 레벨 이상에서는 폐루프 부호화를 적용하여 MCTF를 개선하는 방법을 제안한다. 시간 지연 또는 다른 여타 이유로 인하여 순방향 업데이트 단계를 사용하지 않는 코딩 방법에서는 개루프를 이용하는 것보다 폐루프를 이용하는 것이 코딩 성능의 향상을 가져온다고 알려져 있다. 이러한 사실로부터 전체 시간 레벨 중에서 계층적 폐루프 부호화를 적용될 시간 레벨을 결정한다. 그리고, 결정된 전체 프레임을 디코딩된 프레임으로 교체하여 이후에 예측 과정에서의 참조 프레임으로 이용한다. 그렇게 하면, 고주파 프레임은 인코더와 디코더에서 미스매치(mismatch)가 적게 발생되어 전체적인 코딩 성능이 향상될 수 있다. 이러한 개념은 MCTF와 폐루프 부호화 방법을 결합한 하이브리드 코딩 방식으 로 구현될 수 있다.
도 3은 본 발명의 일 실시예에 따른 비디오 인코더(100)의 구성을 나타낸 블록도이다. 비디오 인코더(100)는 MCTF 부호화부(110), 폐루프 부호화부(120), 공간적 변환부(130), 양자화부(140), 및 엔트로피 부호화부(150)를 포함하여 구성될 수 있다.
MCTF 부호화부(110)는 특정 시간 레벨의 시간적 예측 단계 또는 시간적 업데이트 단계까지 모션 보상 시간적 필터링(motion compensated temporal filtering)을 수행한다. 이러한 모션 보상 시간적 필터링 과정은 복수의 시간 레벨에 대하여 시간적 예측 단계 및 시간적 업데이트 단계를 수행하는 과정이다. 어느 시간 레벨의 어느 단계까지를 수행할 것인지는 여러 가지 조건에 의하여 결정될 수 있지만, 대표적으로 시간 지연 제한 조건에 따라 결정되는 것으로 할 수 있다. MCTF 부호화부(110)의 동작에 의하여 생성된 고주파 프레임들은 공간적 변환부(130)로 바로 전달되고, 최종적으로 남은 저주파 프레임들은 다시 폐루프 부호화부(120)에 전달되어 폐루프 부호화 과정을 거치게 된다.
폐루프 부호화부(120)는 MCTF 부호화부로부터 전달되는 특정 시간 레벨의 저주파 프레임에 대하여 "계층적 폐루프 부호화"를 수행한다. 일반적으로, MPEG 계열의 코덱이나 H.264 등에서 사용하는 폐루프 부호화는 도 4와 같이, B 프레임 또는 P 프레임이 참조 프레임(I 프레임 또는 P 프레임)을 참조하여 시간적 예측을 수행할 때, 상기 참조 프레임으로 원 입력 프레임(original input frame)이 아니라 디코딩된 프레임을 이용한다. 본 발명에서의 폐루프 부호화부(120)도 마찬가지로 디 코딩된 프레임을 이용하여 시간적 예측을 수행하지만, 도 4와는 달리 시간적 스케일러빌리티를 구현하기 위해 계층 구조를 갖는 프레임에 대하여 폐루프 부호화를 수행하게 된다. 그리고, MCTF 부호화와는 달리 시간적으로는 이전 프레임 만을 참조하는(즉 역방향 예측만을 수행하므로) 방식을 사용한다.
따라서, 폐루프 부호화부(120)는 MCTF 부호화부로부터 전달되는 저주파 프레임을 시간적 예측하여 인터 프레임(inter-frame)을 생성하고, 남은 저주파 프레임으로부터 다시 인터 프레임을 생성하는 과정을 최상위 시간 레벨까지 반복하여 수행한다. MCTF 부호화부로부터 전달되는 저주파 프레임의 수가 N개라고 할 때 최종적으로 하나의 인트라 프레임(intra-frame)과, N-1개의 인터 프레임이 생성된다. 다만, 다른 실시예로서 최상위 시간 레벨을 다르게 잡는다면 인트라 프레임의 수가 2개 또는 그 이상인 시간 레벨까지만 폐루프 부호화 과정을 수행할 수도 있을 것이다.
여기서, 혼동을 피하기 위하여 용어를 명확히 정리할 필요가 있다. 본 명세서에서 저주파 프레임 및 고주파 프레임은 모션 보상 시간적 필터링 과정에서 업데이트 과정 및 시간적 예측 과정에 의하여 각각 생성되는 프레임을 의미한다. 그리고, 인트라 프레임, 및 인터 프레임은 폐루프 필터링 과정에서 생성되는 프레임 중 다른 프레임을 참조하지 않는 프레임, 및 다른 프레임을 참조하는 프레임을 각각 의미한다. 폐루프 필터링은 특정 시간 레벨의 저주파 프레임(다른 프레임을 참조하여 업데이트 됨)을 입력 받아서 인트라 프레임 및 인터 프레임을 생성하는 과정이기는 하지만, 폐루프 필터링 과정에서 다른 프레임을 참조하지 않는 프레임이라면 인트라 프레임으로 명명하는 것으로 한다.
이러한 폐루프 부호화 과정에서 시간적 예측을 위하여 참조되는 프레임은 저주파 프레임의 디코딩된 프레임이다. 폐루프 부호화 단계는 상기 MCTF 부호화 단계와는 달리 인트라 프레임에 대한 업데이트 과정을 거치지 않으므로 시간 레벨이 증가하더라도 인트라 프레임은 변경되지 않는다.
공간적 변환부(130)는 MCTF 부호화부(110)에 의하여 생성된 고주파 프레임과, 폐루프 부호화부(120)에 의하여 생성된 인터 프레임 및 인트라 프레임에 대하여 공간적 변환을 수행하여 변환 계수를 생성한다. 이러한 공간적 변환 방법으로는 DCT 변환, 웨이블릿 변환 등의 방법이 사용될 수 있다. 상기 변환 계수는 DCT 변환의 경우에는 DCT 계수가, 웨이블릿 변환의 경우에는 웨이블릿 계수가 될 것이다.
양자화부(140)은 공간적 변환부(130)에 의하여 생성되는 변환 계수를 양자화(quantization) 한다. 양자화(quantization)란 임의의 실수 값으로 표현되는 상기 변환 계수를 일정 구간으로 나누어 불연속적인 값(discrete value)으로 나타내고, 이를 소정의 양자화 테이블에 따른 인덱스로 매칭(matching)시키는 작업을 의미한다.
엔트로피 부호화부(150)은 양자화 모듈(140)에 의하여 양자화된 계수와, MCTF 부호화부(110) 및 폐루프 부호화부(120)에서 시간적 예측을 위하여 구한 모션 데이터(모션 벡터, 블록 정보 등)를 무손실 부호화하여 출력 비트스트림을 생성한다. 이러한 무손실 부호화 방법으로는, 허프만 부호화(Huffman coding), 산술 부호화(arithmetic coding), 가변 길이 부호화(variable length coding) 등의 다양한 무손실 부호화 방법을 사용할 수 있다.
도 5는 도 3의 비디오 인코더(100)의 구성을 보다 자세히 나타낸 블록도이다. MCTF 부호화부(110)는 분리부(111), 시간적 예측부(112), 모션 추정부(113), 프레임 버퍼(114, 115), 및 업데이트부(116)를 포함하여 구성될 수 있다.
분리부(111)는 입력된 프레임을 고주파 프레임 위치(H 위치)의 프레임과, 저주파 프레임 위치(L 위치)의 프레임으로 분리한다. 일반적으로 고주파 프레임은 홀수 위치(2i+1)에, 저주파 프레임은 짝수 위치(2i)에 위치하게 된다. 여기서, i는 프레임 번호를 나타내는 인덱스로서 0이상의 정수 값을 갖는다.
모션 추정부(113)는 고주파 프레임 위치에 있는 현재 프레임에 대하여 주변 프레임을 참조하여 모션 추정을 수행하고 모션 벡터를 구한다. 여기서, 주변 프레임이란 어떤 시간 레벨에 존재하는 프레임에서 가장 인접한 두 프레임 중 적어도 하나의 프레임을 의미한다.
일반적으로 이러한 움직임 추정을 위해 블록 매칭(block matching) 알고리즘이 널리 사용되고 있다. 즉, 주어진 블록을 참조 프레임의 특정 탐색영역 내에서 픽셀단위로 움직이면서 그 에러가 최저가 되는 경우의 변위를 움직임 벡터로 추정하는 것이다. 모션 추정을 위하여 고정된 블록을 이용할 수도 있지만, 계층적 가변 사이즈 블록 매칭법(Hierarchical Variable Size Block Matching; HVSBM)에 의한 계층적인 방법을 사용할 수도 있다.
시간적 예측부(112)는 상기 구한 모션 벡터를 이용하여 참조 프레임을 재구성하여 예측 프레임(predicted frame)을 생성하고, 상기 현재 프레임과 상기 예측 프레임과의 차분을 구함으로써 현재 프레임 위치에서의 고주파 프레임을 생성한다. 이와 같이 생성되는 고주파 프레임(Hi)은 일 예로서 수학식 1과 같이 표현될 수 있다. 여기서, I2i+1는 2i+1 번째 위치의 저주파 프레임 또는 입력된 프레임을 의미하고, P(I2i+1)는 I2i+1에 대한 예측 프레임을 의미한다.
Figure 112004057832317-pat00001
이 때, P(I2i+1)는 다음의 수학식 2와 같이 표현될 수 있다.
Figure 112004057832317-pat00002
여기서, MV2i+1->2i는 2i+1번째 프레임으로부터 2i번째 프레임으로 향하는 모션 벡터를 의미하고, MV2i+1->2i+2는 2i+1번째 프레임으로부터 2i+2번째 프레임으로 향하는 모션 벡터를 의미하고, MC()는 상기 모션 벡터를 이용하여 모션 보상된 프레임(motion compensated frame)을 의미한다.
이와 같은 과정을 통하여 생성되는 고주파 프레임들은 프레임 버퍼(125)에 저장되며, 공간적 변환부(140)에 제공된다.
업데이트부(116)는 모션 추정부(113)로부터 생성된 모션 벡터 및 프레임 버퍼(115)에 저장된 고주파 프레임을 이용하여 저주파 프레임 위치(2i의 위치)에 존 재하는 프레임 중 현재 프레임을 업데이트함으로써 현재 프레임 위치에서의 저주파 프레임(Li)을 생성한다.
이러한 업데이트는 다음의 수학식 3과 같이 상기 현재 프레임의 전후에 존재하는 2개의 고주파 프레임을 이용하여 수행된다. 여기서, U(I2i)는 업데이트를 위하여 현재 프레임에 가산되는 프레임을 의미한다.
Figure 112004057832317-pat00003
이 때, U(I2i)는 다음의 수학식 4와 같이 표현될 수 있다.
Figure 112004057832317-pat00004
여기서, 모션 벡터
Figure 112004057832317-pat00005
는 시간적 예측에서 사용되는
Figure 112004057832317-pat00006
에 음의 부호를 붙인 것과 같은 값을 가진다. 다만, 양 프레임 간 모션 벡터는 일대일 대응 대응이 되지 않으므로 "unconnected" 픽셀(또는 영역)이 발생할 수 있다. 도 6을 참조하면, B 프레임을 참조 프레임으로 하여 A 프레임에 대한 고주파 프레임을 구한다고 할 때, A 프레임에서의 모든 픽셀들은 모션 벡터를 가진다. 그러나, 이를 역으로 보면 B 프레임의 모든 픽셀이 모션 벡터를 갖는 것은 아니다. A 프레임의 복수의 픽셀이 B 프레임의 하나의 픽셀에 대응될 때, 상기 B 프레임의 픽 셀을 "multi-connected" 픽셀이라고 하고, B 프레임의 픽셀 중 A 프레임의 픽셀과 전혀 대응되지 않는 픽셀을 "unconnected" 픽셀이라고 한다. Multi-connected 픽셀의 경우에는 복수의 모션 벡터 중 하나를 선택하면 될 것이지만, unconnected 픽셀의 경우는 해당 모션 벡터가 존재하지 않으므로 U(I2i)를 계산하기 위한 부가적인 정의가 필요하다.
Unconnected 픽셀의 경우,
Figure 112004057832317-pat00007
및
Figure 112004057832317-pat00008
는 단순히 I2i로 대치될 수 있다. 만약, I2i 중에 존재하는 픽셀이, I2i-1와 I2i와의 관계에서는 unconnected 픽셀이지만, I2i+1와 I2i와의 관계에서는 unconnected 픽셀이 아니라고 하면, 수학식 4는 다음의 수학식 5와 같이 변경될 수 있다.
Figure 112004057832317-pat00009
업데이트부(116)에 의하여 업데이트되어 생성된 저주파 프레임은 프레임 버퍼(114)에 저장된다. 그리고, 프레임 버퍼(114)에 저장된 저주파 프레임은 다음 시간 레벨에서의 시간적 예측 및 시간적 업데이트를 수행하기 위하여 다시 분리부(111)에 입력된다. 그리고, 상기와 마찬가지 동작에 의하여 해당 시간 레벨에서의 시간적 예측 및 시간적 업데이트를 수행한다. 만약, MCTF 부(110)에서 처리할 모든 시간 레벨에 대하여 처리가 완료되었다면, MCTF 부(110)에서 처리된 마지막 시간 레벨에서의 저주파 프레임은 폐루프 부호화부(120)에 입력된다.
이상에서 모션 보상 시간적 필터링 과정은 5/3 필터의 예를 들어서 설명한 것이지만, 이에 한정될 필요가 없이 Haar 필터, 또는 보다 긴 탭을 갖는 필터(7/5, 9/7, 등)에도 적용될 수 있음은 당업자에게는 자명한 일이다. 그리고, 실시예와 달리 인접하지 않은 프레임으로부터 시간적 예측 또는 업데이트를 수행하는 경우에도 적용될 수도 있다.
도 7은 MCTF 부(110)에서 시간 레벨 2까지 처리하고, 이후 시간 레벨은 폐루프 부호화부(120)에서 처리하는 경우를 예를 들어 설명한 것이다. 만약, 시간 지연 제한 조건을 6으로 한다면 도 7과 같이 MCTF 부(110)는 시간 레벨 2까지를 처리할 수 있다. 이후, 폐루프 부호화부(120)는 MCTF 부(110)에서 마지막 업데이트된 시간 레벨 2의 저주파 프레임 4개(30 내지 33)를 입력 받아 이로부터 계층적 폐루프 부호화를 수행할 수 있다. 고주파 프레임은 이전 프레임으로부터 현재 프레임의 예측 프레임(역방향 예측 프레임)을 구성하고 현재 프레임과 예측 프레임을 차분함으로써 생성될 수 있다. 다만, 여기서 참조하게 되는 이전 프레임은 MCTF 부(110)로부터 입력 받은 저주파 프레임 자체가 아니라 그 저주파 프레임을 양자화한 후 다시 역 양자화하여 생성되는, 즉 디코딩된 프레임이다. 그러한 의미로 참조 화살표를 실선이 아니라 점선으로 표시하였다. 이와 같이, 폐루프 부호화에서 주목할 점은 원 프레임을 이용하여 인코딩을 하지만, 그 것이 다른 프레임에 참조 프레임으로 사용될 때에는 그 인코딩된 결과를 다시 디코딩하여 사용된다는 점이다.
도 7은 MCTF 부(110)가 특정 시간 레벨까지를 처리하는 예를 설명한 것이지만, 이와 달리 특정 시간 레벨의 시간적 예측 단계까지만 처리하는 예도 있을 수 있다. 도 8은 이러한 예를 도시한 것으로, 만약 시간 지연 제한 조건을 4로 한다면, 시간 레벨 2의 시간적 예측 과정은 수행될 수 있지만, 그 시간 레벨에서의 업데이트 과정은 수행될 수가 없다. 이 경우에는 이전 시간 레벨에서 업데이트된 저주파 프레임 중 해당 위치의 저주파 프레임 4개가 폐루프 부호화부(120)에 전달될 것이고, 폐루프 부호화부(120)에서는 전달된 저주파 프레임에 대한 계층적 폐루프 부호화를 수행하게 될 것이다.
한편, 도 9는 STAR 알고리즘에 폐루프를 적용한 예를 도시한 것이다. STAR(Successive Temporal Approximation and Referencing) 알고리즘에 관한 보다 자세한 내용은 ＇Successive Temporal Approximation and Referencing (STAR) for improving MCTF in Low End-to-end Delay Scalable Video Coding＇이라는 제목의 논문(ISO/IEC JTC 1/SC 29/WG 11, MPEG2003 / M10308, Hawaii, USA, Dec 2003)을 통하여 알 수 있다. 이러한 STAR 알고리즘은 도 7 또는 도 8에서 폐루프 부호화에서 사용되는 방식과 달리 인코딩 순서와 디코딩 순서가 일치하는 계층적 인코딩 방법이다. 따라서, 디코더는 한 GOP 에서 일부의 프레임만 수신하더라도 그 때까지의 프레임으로 낮은 프레임율의 비디오를 복원할 수 있다. 이와 같이, 본 발명에서 폐루프 부호화부(120)는 MCTF 부(110)로부터 수신한 저주파 프레임으로부터 STAR 알고리즘에 따라서 부호화를 수행할 수도 있다. 다만, STAR 알고리즘을 이용하는 경우라 하더라도 원 영상이 아니라 디코딩된 영상을 참조 프레임으로 한다는 점은 종 래의 STAR 알고리즘(개루프 방식)과는 다소 차이가 있다.
다시 도 5로 돌아가면, 폐루프 부호화부(120)는 모션 추정부(121), 모션 보상부(122), 프레임 버퍼(123), 차분기(124), 가산기(125), 역 양자화부(126), 및 역 공간적 변환부(127)를 포함하여 구성될 수 있다.
프레임 버퍼(123)는 MCTF 부(110)로부터 입력되는 저주파 프레임(L) 및 참조 프레임으로 사용하기 위하여 디코딩된 프레임(D)을 일시 저장한다.
도 7의 예에서, 최초 프레임(30)은 프레임 버퍼(123)에 입력된 후 가산기(125)를 통과하여 공간적 변환부(130)로 입력된다. 최초 프레임(30)의 경우 가산기(125)에서 가산되는 예측 프레임이 존재하지 않기 때문에 예측 프레임과 가산하는 과정 없이 그대로 공간적 변환부(130)로 입력되는 것이다. 이후 상기 최초 프레임은 공간적 변환, 양자화, 역 양자화, 및 역 공간적 변환을 거친 후, 이후 프레임들을 위한 참조 프레임으로서 프레임 버퍼(123)에 저장된다. 마찬가지로 그 이후의 프레임들도 고주파 프레임으로 변경된 후 마찬가지의 과정(공간적 변환, 양자화, 역 양자화, 역 공간적 변환)을 거친 후 예측 프레임(P)과 가산되어 다른 프레임의 참조 프레임으로 사용되기 위하여 프레임 버퍼(123)에 저장된다.
모션 추정부(121)는 디코딩되어 저장된 참조 프레임을 참조하여 현재 프레임에 대한 모션 추정을 수행하고 모션 벡터를 구한다. 이러한 움직임 추정을 위해 널리 사용되는 알고리즘은 블록 매칭(block matching) 알고리즘이다.
모션 보상부(122)는 상기 구한 모션 벡터를 이용하여 참조 프레임을 재구성하여 예측 프레임(P)을 생성한다.
그리고, 차분기(124)는 상기 현재 프레임(L)과 상기 예측 프레임(P)과의 차분을 구함으로써 현재 프레임에 대한 인터 프레임을 생성한다. 생성된 인터 프레임은 공간적 변환부(130)에 전달된다. 물론, 전술한 최초 프레임(30)과 같이, 현재 프레임이 다른 프레임의 참조 없이 생성되는 인트라 프레임이라면 차분기(124)의 동작은 바이패스 되고, 상기 인트라 프레임은 다음 공간적 변환부(130)로 바로 입력된다.
역 양자화부(126)는 양자화부(140)에 의하여 양자화된 결과를 역 양자화하여 변환 계수를 복원한다. 그리고, 역 공간적 변환부(127)는 복원된 변환 계수를 역 공간적 변환하여 시간적 잔여 프레임(temporal residual frame)을 복원한다.
그리고, 가산기(125)는 상기 시간적 잔여 프레임과 상기 예측 프레임(P)을 가산함으로써 디코딩된 프레임(D)을 구한다.
도 7의 예에 대하여 계층적 폐루프 부호화 과정이 수행되는 순서를 설명하면, MCTF 부(110)로부터 프레임 버퍼(123)에 전달된 프레임들 중, 최초의 프레임(30)이 먼저 인트라 코딩(다른 프레임을 참조하지 않고 인코딩되는 경우를 지칭함)된다.
다음 프레임(31)은 상기 인트라 코딩된 프레임의 디코딩한 결과를 참조하여 인터 코딩(다른 프레임을 참조하여 인코딩되는 경우를 지칭함)된다. 그리고, 다음 프레임(32)도 마찬가지로, 상기 인트라 코딩된 프레임의 디코딩된 결과를 참조하여 인터 코딩된다.
마지막으로, 최종 프레임(33)은 상기 프레임(32)을 인터 코딩한 후 디코딩한 결과를 참조하여 인터 코딩된다.
이상에서는 본 발명의 일 실시예에 따른 비디오 인코더(100)의 동작을 설명하였다. 본 발명은 이상과 같이 시간 지연 제한 조건에 따라서 시간 레벨을 분리하여 MCTF 방식과 계층적 폐루프 부호화 방식에 따라서 처리하는 경우에만 한정되는 것은 아니고, 시간 지연과 관련이 없는 상황에서 코딩 효율을 올리기 위해서도 MCTF 방식과 계층적 폐루프 부호화 방식을 혼합하여 사용될 수 있다.
실험에 따르면 임의의 비디오를 인코딩하는데 있어서, (1) MCTF 만을 사용하는 경우(업데이트 이용), (2) 계층적 폐루프 부호화만 사용하는 경우, (3) MCTF 및 계층적 폐루프 부호화를 혼용하는 경우를 비교할 때, 코딩 효율은 대략적으로 세 번째 경우, 두번째 경우, 첫번째 경우 순으로 나타나는 것을 알 수 있었다.
실험 결과를 통하여 살펴 보건대, 낮은 시간 레벨에서의 시간적 예측 및 업데이트, 즉 근접한 프레임 간의 필터링에서는 MCTF 가 효율적일 수 있지만 높은 시간적 레벨에서의 필터링은 시간 간격이 큰 프레임간에 이루어지므로 그 효율이 급격하게 떨어지게 된다. 왜냐하면, 시간 간격이 큰 프레임 간에는 시간적 관련성이 상대적으로 적으므로 업데이트에 의한 성능 저하가 커지는 것이다.
그러나, 계층적 폐루프 부호화는 어차피 디코딩된 프레임을 기준으로 하므로, 시간 간격이 커짐에 따른 코딩 효율 감소가 상대적으로 작다고 볼 수 있다. 그러나, 인접한 프레임간에는 여전히 MCTF가 우수한 성능을 나타내기 때문에, 세 번째 경우가 가장 좋은 결과를 나타내는 것으로 추측할 수 있다.
따라서, 도 10의 예와 같이 시간 지연을 고려하지 않고 양방향 추정을 모두 사용하는 경우에 있어서도 MCTF와 계층적 폐루프 부호화를 접목한 하이브리드 구조(hybrid structure)는 여전히 그 효과를 나타낸다. 한편, 지금까지는 하나의 GOP 단위 내에서만 참조를 할 수 있는 것으로 하였지만, 이에 한하지 않고 도 11과 같이 다른 GOP까지를 참조할 수도 있음은 당업자에게는 자명한 내용이다. 도 11에서 붉은 색으로 나타낸 화살표는 현재 GOP 이외의 다른 GOP 내의 프레임을 참조하는 것을 나타낸다.
도 12는 본 발명의 일 실시예에 따른 비디오 디코더(200)의 구성을 도시한 블록도이다. 비디오 디코더(200)는 엔트로피 복호화부(210), 역 양자화부(220), 역 공간적 변환부(230), 폐루프 복호화부(240), 및 MCTF 복호화부(250)를 포함하여 구성될 수 있다.
엔트로피 복호화부(210)는 입력된 비트스트림을 해석하고 엔트로피 부호화를 역으로 수행하고, 그 결과 텍스쳐 데이터(texture data)와 모션 데이터(motion data)를 얻는다. 모션 데이터는 적어도 모션 벡터를 포함하며, 블록 정보(블록의 크기, 블록의 모드 등) 등의 부가 정보도 포함될 수 있다. 또한, 엔트로피 복호화부(210)는 비트스트림에 포함된 시간 레벨 정보를 얻을 수 있다. 시간 레벨 정보는 인코더(100) 단에서 어떤 시간 레벨까지(보다 자세하게는 어떤 시간 레벨의 시간적 예측 단계까지) MCTF 방식으로 부호화되는지에 관한 정보로서, 인코더(100)와 디코더(200) 간에 미리 약속이 되어 있는 경우라면 비트스트림에 포함되지 않을 수도 있다.
역 양자화부(220)는 상기 텍스쳐 정보를 역 양자화하여 변환 계수를 출력한 다. 역 양자화 과정은 인코더(100) 단에서 소정의 인덱스로 표현하여 전달한 값으로부터 이와 매칭(matching)되는 양자화된 계수를 찾는 과정이다. 인덱스와 양자화 계수 간의 매칭 관계는 인코더(100) 단으로부터 전달될 수도 있고, 미리 인코더와 디코더 간의 약속에 의하여 정하여진 것일 수도 있다.
역 공간적 변환부(230)는 공간적 변환을 역으로 수행하여, 상기 변환계수로부터 공간적 영역에서의 프레임을 생성한다. 상기 공간적 영역에서의 프레임이 인터 프레임인 경우에는 복원된 시간적 차분 프레임(temporal residual frame)이 될 것이다.
이러한 역 공간적 변환 방법으로는 인코더(100)에서의 공간적 변환에 대응하여, 역 DCT 변환, 역 웨이블릿 변환 등이 사용될 수 있다.
역 공간적 변환부(230)는 생성된 프레임 중 인트라 프레임과 인터 프레임은 폐루프 복호화부(240)에 전달하고, 고주파 프레임은 MCTF 복호화부(250)에 전달한다.
폐루프 복호화부(240)는 역 공간적 변환부(230)로부터 전달되는 인트라 프레임 및 인터 프레임을 이용하여 상기 특정 시간 레벨의 저주파 프레임들을 복원한다. 상기 복원된 저주파 프레임들은 MCTF 복호화부(250)에 제공된다.
MCTF 복호화부(250)는 폐루프 복호화부(240)로부터 제공되는 저주파 프레임 및 역 공간적 변환부(230)로부터 전달되는 고주파 프레임에 대하여 모션 보상 시간적 필터링을 역으로 수행함으로써 전체 비디오 프레임을 복원한다.
도 13은 비디오 디코더(200)의 구성을 보다 자세히 도시한 블록도이다.
폐루프 복호화부(240)는 가산기(241), 모션 보상부(242), 및 프레임 버퍼(244)를 포함하여 구성될 수 있다. 역 공간적 변환부(230)에 의하여 전달되는 특정 시간 레벨을 초과하는 인트라 프레임 및 인터 프레임은 하나씩 순차적으로 가산기(241)에 입력된다.
먼저, 인트라 프레임이 가산기(241)에 입력되어 프레임 버퍼(244)에 일시 저장된다. 이 경우 모션 보상부(242)로부터 입력되는 프레임은 없으므로 가산되는 데이터는 존재하지 않는다. 상기 인트라 프레임은 특정 시간 레벨의 저주파 프레임 중의 하나이다.
다음으로, 최상위 시간 레벨에 속하는 인터 프레임이 가산기(241)에 입력되고 이것은 상기 저장된 인트라 프레임으로부터 모션 보상된 프레임과 가산되어 상기 특정 시간 레벨에서의 저주파 프레임으로 복원된다. 복원된 저주파 프레임은 다시 프레임 버퍼(243)에 저장된다. 이러한 모션 보상된 프레임은 모션 보상부(242)에 의하여 생성되는데, 모션 보상을 위하여 필요한 모션 데이터(모션 벡터, 블록 정보 등)는 엔트로피 복호화부(210)로부터 제공받는다.
이 후, 그 다음 시간 레벨에 속하는 인터 프레임이 프레임 버퍼(243)에 저장된 프레임을 참조 프레임으로 하여 복원된다. 상기와 같은 과정은 특정 시간 레벨의 저주파 프레임이 모두 복원될 때까지 반복된다.
특정 시간 레벨의 저주파 프레임이 모두 복원되면, 프레임 버퍼(243)에 저장된 상기 저주파 프레임은 MCTF 복호화부(250)에 전달된다.
한편, MCTF 복호화부(250)는 프레임 버퍼(251), 모션 보상부(252), 및 역 필 터링부(253)를 포함하여 구성될 수 있다. 프레임 버퍼(251)는 역 공간적 변환부(230)로부터 전달되는 고주파 프레임 및 폐루프 복호화부(240)로부터 전달되는 저주파 프레임을 일시 저장하고, 역 필터링부(253)에 의하여 필터링된 프레임도 일시 저장한다.
모션 보상부(252)는 역 필터링부(253)의 역 필터링 과정에서 요구되는 모션 보상된 프레임을 제공한다. 이러한 모션 보상된 프레임을 구하기 위하여 모션 보상부(252)는 엔트로피 복호화부(210)로부터 전달되는 모션 데이터를 이용한다.
역 필터링부(253)는 어떤 시간 레벨에서의 시간적 예측 및 시간적 업데이트를 역으로 수행하여 상기 시간 레벨의 하위 레벨에서의 저주파 프레임을 복원한다. 따라서, MCTF 5/3 필터의 경우 복원되는 저주파 프레임(I2i, I2i+1)은 다음의 수학식 6과 같이 계산될 수 있다.
Figure 112004057832317-pat00010
수학식 6은 connected 픽셀 및 multi-connected 픽셀에 대하여 만족되는 식이다. 디코더(100) 단에서는 물론, 인코더(100) 단의 Unconnected 픽셀에서
Figure 112004057832317-pat00011
및
Figure 112004057832317-pat00012
가 단순히 I2i로 대치되었던 것을 고려하여 복원되어야 한다. 만약, 수학식 5에 의하여 업데이트 되었던 unconnected 픽셀이 복원되는 과정에서 I2i는 수학식 7과 같이 변경된다.
Figure 112004057832317-pat00013
이상의 역 필터링 과정은 5/3 필터의 예를 들어서 설명한 것이지만, 만약 인코더(100) 단에서 MCTF 과정에서 Haar 필터, 또는 보다 긴 탭을 갖는 필터(7/5, 9/7, 등)를 사용하였다면, 마찬가지로 디코더(200) 단에서도 그에 대응되는 역 필터링 과정을 사용할 수 있음은 당업자에게는 자명한 일이다.
도 7과 같이 부호화되는 경우에, 디코더에서 계층적 폐루프 복호화 및 MCTF 복호화 과정이 수행되는 순서를 도 14를 참조하여 설명한다. 역 공간적 변환부(230)에 의하여 생성된 프레임은 1개의 인트라 프레임(40)과 15개의 인터 프레임 또는 고주파 프레임(회색으로 표시됨)이다. 이 중에서 특정 시간 레벨, 즉 시간 레벨 2를 초과하는 시간 레벨에서의 프레임은 인트라 프레임(40)과 3개의 인터 프레임(41, 42, 43)으로서 역 공간적 변환부(230)로부터 폐루프 복호화부(240)에 전달된다. 그리고, 나머지 12개의 고주파 프레임은 역 공간적 변환부(230)로부터 MCTF 복호화부(250)에 전달된다.
폐루프 복호화부(240)는 먼저 인트라 프레임(40)을 참조 프레임으로 하여 시간 레벨 4에서의 인터 프레임(42)으로부터 저주파 프레임(45)을 복원한다. 그리고, 마찬가지로 인트라 프레임(40)을 참조 프레임으로 하여 인터 프레임(41)으로부터 저주파 프레임(44)을 복원한다. 마지막으로, 복원된 저주파 프레임(45)을 참조 프레임으로 하여 인터 프레임(43)으로부터 저주파 프레임(46)을 복원한다. 이 결과 시간 레벨 2에서의 모든 저주파 프레임(40, 44, 45, 46)이 복원되었다.
한편, MCTF 복호화부(250)는 상기 복원된 저주파 프레임(40, 44, 45, 46) 및 역 공간적 변환부(230)로부터 전달된 12개의 고주파 프레임 중 시간 레벨 2에 속하는 프레임(51, 52, 53, 54)을 이용하여 시간 레벨 1에서의 저주파 프레임 8개를 복원한다. 마지막으로, MCTF 복호화부(250)는 상기 복원된 8개의 저주파 프레임 및 역 공간적 변환부(230)로부터 전달된 12개의 고주파 프레임 중 시간 레벨 1에 속하는 8개의 인터 프레임(시간 레벨 1의 고주파 프레임)을 이용하여 16개의 비디오 프레임을 복원한다.
도 15는 본 발명의 일 실시예에 따른 인코딩, 또는 디코딩 과정을 수행하기 위한 시스템의 구성도이다. 상기 시스템은 TV, 셋탑박스, 데스크 탑, 랩 탑 컴퓨터, 팜 탑(palmtop) 컴퓨터, PDA(personal digital assistant), 비디오 또는 이미지 저장 장치(예컨대, VCR(video cassette recorder), DVR(digital video recorder) 등)를 나타내는 것일 수 있다. 뿐만 아니라, 상기 시스템은 상기한 장치들을 조합한 것, 또는 상기 장치가 다른 장치의 일부분으로 포함된 것을 나타내는 것일 수도 있다. 상기 시스템은 적어도 하나 이상의 비디오 소스(video source; 510), 하나 이상의 입출력 장치(520), 프로세서(540), 메모리(550), 그리고 디스플레이 장치(530)를 포함하여 구성될 수 있다.
비디오 소스(510)는 TV 리시버(TV receiver), VCR, 또는 다른 비디오 저장 장치를 나타내는 것일 수 있다. 또한, 상기 소스(510)는 인터넷, WAN(wide area network), LAN(local area network), 지상파 방송 시스템(terrestrial broadcast system), 케이블 네트워크, 위성 통신 네트워크, 무선 네트워크, 전화 네트워크 등을 이용하여 서버로부터 비디오를 수신하기 위한 하나 이상의 네트워크 연결을 나타내는 것일 수도 있다. 뿐만 아니라, 상기 소스는 상기한 네트워크들을 조합한 것, 또는 상기 네트워크가 다른 네트워크의 일부분으로 포함된 것을 나타내는 것일 수도 있다.
입출력 장치(520), 프로세서(540), 그리고 메모리(550)는 통신 매체(560)를 통하여 통신한다. 상기 통신 매체(560)에는 통신 버스, 통신 네트워크, 또는 하나 이상의 내부 연결 회로를 나타내는 것일 수 있다. 상기 소스(510)로부터 수신되는 입력 비디오 데이터는 메모리(550)에 저장된 하나 이상의 소프트웨어 프로그램에 따라 프로세서(540)에 의하여 처리될 수 있고, 디스플레이 장치(530)에 제공되는 출력 비디오를 생성하기 위하여 프로세서(540)에 의하여 실행될 수 있다.
특히, 메모리(550)에 저장된 소프트웨어 프로그램은 본 발명에 따른 방법을 수행하는 스케일러블 비디오 코덱을 포함할 수 있다. 상기 인코더 또는 상기 코덱은 메모리(550)에 저장되어 있을 수도 있고, CD-ROM이나 플로피 디스크와 같은 저장 매체에서 읽어 들이거나, 각종 네트워크를 통하여 소정의 서버로부터 다운로드한 것일 수도 있다. 상기 소프트웨어에 의하여 하드웨어 회로에 의하여 대체되거나, 소프트웨어와 하드웨어 회로의 조합에 의하여 대체될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
본 발명에 따르면, MCTF 구조와 계층적 폐루프 부호화 방법을 결합함으로써 시간적 스케일러빌리티를 구현함에 있어 시간 지연 문제를 해결할 수 있다.
또한 본 발명에 따르면, MCTF 구조의 이점과 계층적 폐루프 부호화의 이점을 모두 이용함으로써 비디오 압축 효율을 향상시킬 수 있다.

Claims (20)

  1. (a) 입력된 프레임에 대하여 제1 시간 레벨까지, 적어도 하나 이상의 시간적 업데이트 스텝과 적어도 하나 이상의 시간적 예측 스텝을 포함하는 모션 보상 시간적 필터링(Motion Compensated Temporal Filtering)을 수행하는 단계;
    (b) 상기 모션 보상 시간적 필터링 결과 생성된 프레임에 대하여 상기 제1 시간 레벨보다 높은 제2 시간 레벨까지 계층적 폐루프 부호화를 수행하는 단계;
    (c) 상기 계층적 폐루프 부호화 수행 결과 생성된 프레임에 대하여 공간적 변환을 수행하여 변환 계수를 생성하는 단계; 및
    (d) 상기 생성된 변환 계수를 양자화하는 단계를 포함하는, 시간적 스케일러빌리티를 지원하는 비디오 인코딩 방법.
  2. 제1항에 있어서, 상기 (b) 단계는
    상기 모션 보상 시간적 필터링을 수행한 결과 생성되는 프레임 중 최종 저주파 프레임에 대하여 최상위 시간 레벨까지 계층적 폐루프 부호화를 수행하는 단계를 포함하는, 시간적 스케일러빌리티를 지원하는 비디오 인코딩 방법.
  3. 제1항에 있어서, 상기 (c) 단계는
    상기 (a) 단계의 수행 결과 생성되는 프레임 중 고주파 프레임, 및 상기 (b) 단계의 수행 결과 생성되는 인트라 프레임 및 인터 프레임으로부터 변환 계수를 생성하는 단계를 포함하는, 시간적 스케일러빌리티를 지원하는 비디오 인코딩 방법.
  4. 제1항에 있어서, 상기 시간 레벨은
    시간 지연 제한 조건에 따라서 결정되는, 시간적 스케일러빌리티를 지원하는 비디오 인코딩 방법.
  5. 제3항에 있어서, 상기 (a) 단계는
    (a1) 상기 입력된 프레임을 고주파 프레임 위치의 프레임과, 저주파 프레임 위치의 프레임으로 분리하는 단계;
    (a2) 상기 고주파 프레임 위치에 있는 프레임에 대하여 주변 프레임을 참조하여 모션 추정을 수행하고 모션 벡터를 구하는 단계;
    (a3) 상기 구한 모션 벡터를 이용하여 참조 프레임을 재구성하여 예측 프레임을 생성하고 상기 현재 프레임과 상기 예측 프레임과의 차분을 구함으로써 고주파 프레임을 생성하는 단계; 및
    (a4) 상기 구한 모션 벡터 및 상기 생성된 고주파 프레임을 이용하여 저주파 프레임 위치에 존재하는 프레임을 업데이트하는 단계; 및
    (a5) 상기 입력된 프레임을 상기 업데이트된 프레임으로 대치하고 상기 특정 시간 레벨까지 상기 (a1) 내지 (a4) 단계를 반복하는 단계를 포함하는, 시간적 스케일러빌리티를 지원하는 비디오 인코딩 방법.
  6. 제1항에 있어서,
    상기 모션 보상 시간적 필터링은 5/3 필터를 사용하여 수행되는, 시간적 스케일러빌리티를 지원하는 비디오 인코딩 방법.
  7. 제1항에 있어서,
    상기 모션 보상 시간적 필터링은 Haar 필터를 사용하여 수행되는, 시간적 스케일러빌리티를 지원하는 비디오 인코딩 방법.
  8. 제3항에 있어서, 상기 (b) 단계는
    (b1) 상기 최종 저주파 프레임을 중 다른 프레임에 의하여 참조되는 제1 프레임을 인코딩한 후 디코딩하는 단계;
    (b2) 상기 최종 저주파 프레임 중 상기 디코딩된 프레임을 참조하는 제2 프레임의 모션 벡터를 구하는 단계;
    (b3) 상기 모션 벡터를 이용하여 상기 제2 프레임에 대한 예측 프레임을 생성하는 단계;
    (b4) 상기 제2 프레임과 상기 예측 프레임의 차분을 구함으로써 인터 프레임을 생성하는 단계; 및
    (b5) 상기 최종 저주파 프레임을 상기 제1 프레임으로 대치하고 상기 최상위 시간 레벨까지 (b1) 내지 (b4) 단계를 반복하는 단계를 포함하는, 시간적 스케일러빌리티를 지원하는 비디오 인코딩 방법.
  9. (a) 입력된 비트스트림으로부터 텍스쳐 데이터와 모션 데이터를 추출하는 단계;
    (b) 상기 텍스쳐 정보를 역 양자화하여 변환 계수를 출력하는 단계;
    (c) 상기 변환계수로부터 공간적 영역에서의 프레임을 생성하는 단계;
    (d) 상기 생성된 프레임 중 인트라 프레임 및 인터 프레임을 이용하여 특정 시간 레벨의 저주파 프레임을 복원하는 단계; 및
    (e) 상기 생성된 프레임 중 고주파 프레임 및 상기 복원된 저주파 프레임에 대하여, 적어도 하나 이상의 시간적 업데이트 스텝과 적어도 하나 이상의 시간적 예측 스텝을 포함하는 모션 보상 시간적 필터링(Motion Compensated Temporal Filtering)을 역으로 수행함으로써 비디오 프레임을 복원하는 단계를 포함하는, 시간적 스케일러빌리티를 지원하는 비디오 디코딩 방법.
  10. 제9항에 있어서, 상기 특정 시간 레벨은
    상기 비트스트림에 포함되어 비디오 인코더 단으로부터 전달되는, 시간적 스케일러빌리티를 지원하는 비디오 디코딩 방법.
  11. 입력된 프레임에 대하여 특정 시간 레벨까지, 적어도 하나 이상의 시간적 업데이트 스텝과 적어도 하나 이상의 시간적 예측 스텝을 포함하는 모션 보상 시간적 필터링(Motion Compensated Temporal Filtering)을 수행하는 MCTF 부호화부;
    상기 모션 보상 시간적 필터링 결과 생성된 프레임에 대하여 상기 제1 시간 레벨보다 높은 제2 시간 레벨까지 계층적 폐루프 부호화를 수행하는 폐루프 부호화부;
    상기 계층적 폐루프 부호화 수행 결과 생성된 프레임에 대하여 공간적 변환을 수행하여 변환 계수를 생성하는 공간적 변환부; 및
    상기 생성된 변환 계수를 양자화하는 양자화부를 포함하는, 시간적 스케일러빌리티를 지원하는 비디오 인코더.
  12. 제11항에 있어서, 상기 폐루프 부호화부는
    상기 모션 보상 시간적 필터링을 수행한 결과 생성되는 프레임 중 최종 저주파 프레임에 대하여 최상위 시간 레벨까지 계층적 폐루프 부호화를 수행하는, 시간적 스케일러빌리티를 지원하는 비디오 인코더.
  13. 제12항에 있어서, 상기 공간적 변환부는
    상기 시간적 필터링의 수행 결과 생성되는 프레임 중 고주파 프레임, 및 상기 폐루프 부호화의 수행 결과 생성되는 인트라 프레임 및 인터 프레임에 대하여 변환 계수를 생성하는, 시간적 스케일러빌리티를 지원하는 비디오 인코더.
  14. 제11항에 있어서, 상기 시간 레벨은
    시간 지연 제한 조건에 따라서 결정되는, 시간적 스케일러빌리티를 지원하는 비디오 인코더.
  15. 제13항에 있어서, 상기 MCTF 부호화부는
    상기 입력된 프레임을 고주파 프레임 위치의 프레임과, 저주파 프레임 위치 의 프레임으로 분리하는 분리부;
    상기 고주파 프레임 위치에 있는 프레임에 대하여 주변 프레임을 참조하여 모션 추정을 수행하고 모션 벡터를 구하는 모션 추정부;
    상기 구한 모션 벡터를 이용하여 참조 프레임을 재구성하여 예측 프레임을 생성하고 상기 현재 프레임과 상기 예측 프레임과의 차분을 구함으로써 고주파 프레임을 생성하는 시간적 예측부; 및
    상기 구한 모션 벡터 및 상기 생성된 고주파 프레임을 이용하여 저주파 프레임 위치에 존재하는 프레임을 업데이트하는 업데이트부를 포함하는, 시간적 스케일러빌리티를 지원하는 비디오 인코더.
  16. 제11항에 있어서,
    상기 모션 보상 시간적 필터링은 5/3 필터를 사용하여 수행되는, 시간적 스케일러빌리티를 지원하는 비디오 인코더.
  17. 제11항에 있어서,
    상기 모션 보상 시간적 필터링은 Haar 필터를 사용하여 수행되는, 시간적 스케일러빌리티를 지원하는 비디오 인코더.
  18. 제13항에 있어서, 상기 폐루프 부호화부는
    상기 최종 저주파 프레임을 중 다른 프레임에 의하여 참조되는 제1 프레임을 인코딩한 후 디코딩하는 수단;
    상기 최종 저주파 프레임 중 상기 디코딩된 프레임을 참조하는 제2 프레임의 모션 벡터를 구하는 모션 추정부;
    상기 모션 벡터를 이용하여 상기 제2 프레임에 대한 예측 프레임을 생성하는 모션 보상부; 및
    상기 제2 프레임과 상기 예측 프레임의 차분을 구함으로써 인터 프레임을 생성하는 가산기를 포함하는, 시간적 스케일러빌리티를 지원하는 비디오 인코더.
  19. 입력된 비트스트림으로부터 텍스쳐 데이터와 모션 데이터를 추출하는 엔트로피 복호화부;
    상기 텍스쳐 정보를 역 양자화하여 변환 계수를 출력하는 역 양자화부;
    상기 변환계수로부터 공간적 영역에서의 프레임을 생성하는 역 공간적 변환부;
    상기 생성된 프레임 중 인트라 프레임 및 인터 프레임을 이용하여 특정 시간 레벨의 저주파 프레임을 복원하는 폐루프 복호화부; 및
    상기 생성된 프레임 중 고주파 프레임 및 상기 복원된 저주파 프레임에 대하여, 적어도 하나 이상의 시간적 업데이트 스텝과 적어도 하나 이상의 시간적 예측 스텝을 포함하는 모션 보상 시간적 필터링(Motion Compensated Temporal Filtering)을 역으로 수행함으로써 비디오 프레임을 복원하는 MCTF 복호화부를 포함하는, 시간적 스케일러빌리티를 지원하는 비디오 디코더.
  20. 제19항에 있어서, 상기 특정 시간 레벨은
    상기 비트스트림에 포함되어 비디오 인코더 단으로부터 전달되는, 시간적 스케일러빌리티를 지원하는 비디오 디코더.
KR1020040103076A 2004-10-21 2004-12-08 시간적 스케일러빌리티를 지원하는 비디오 코딩 방법 및장치 KR100664930B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2005/003031 WO2006043754A1 (en) 2004-10-21 2005-09-13 Video coding method and apparatus supporting temporal scalability
US11/253,610 US20060088100A1 (en) 2004-10-21 2005-10-20 Video coding method and apparatus supporting temporal scalability

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US62032104P 2004-10-21 2004-10-21
US60/620,321 2004-10-21

Publications (2)

Publication Number Publication Date
KR20060035543A KR20060035543A (ko) 2006-04-26
KR100664930B1 true KR100664930B1 (ko) 2007-01-04

Family

ID=37144093

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040103076A KR100664930B1 (ko) 2004-10-21 2004-12-08 시간적 스케일러빌리티를 지원하는 비디오 코딩 방법 및장치

Country Status (2)

Country Link
US (1) US20060088100A1 (ko)
KR (1) KR100664930B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100668345B1 (ko) * 2004-10-05 2007-01-12 삼성전자주식회사 움직임 보상된 계층 생성장치 및 방법
KR101021249B1 (ko) * 2008-08-05 2011-03-11 동국대학교 산학협력단 적응적 부호화 모드 선택 방법
JP5071413B2 (ja) * 2009-03-02 2012-11-14 沖電気工業株式会社 動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム
US9307262B2 (en) * 2011-01-13 2016-04-05 Texas Instruments Incorporated Methods and systems for facilitating multimedia data encoding utilizing configured buffer information

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100783396B1 (ko) * 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법

Also Published As

Publication number Publication date
KR20060035543A (ko) 2006-04-26
US20060088100A1 (en) 2006-04-27

Similar Documents

Publication Publication Date Title
KR100703760B1 (ko) 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치
KR100714696B1 (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
US20050169379A1 (en) Apparatus and method for scalable video coding providing scalability in encoder part
KR100679011B1 (ko) 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
KR100664928B1 (ko) 비디오 코딩 방법 및 장치
KR100763182B1 (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
KR100703788B1 (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
KR100763179B1 (ko) 비동기 픽쳐의 모션 벡터를 압축/복원하는 방법 및 그방법을 이용한 장치
KR20060135992A (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
US7042946B2 (en) Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
KR20050078099A (ko) 적응적으로 키 프레임을 삽입하는 비디오 코딩 장치 및 방법
US20030202599A1 (en) Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames
US20050157794A1 (en) Scalable video encoding method and apparatus supporting closed-loop optimization
US20050163217A1 (en) Method and apparatus for coding and decoding video bitstream
KR100678909B1 (ko) 인코더-디코더 간 불일치를 감소시키는 ｍｃｔｆ 기반의비디오 코딩 방법 및 장치
KR100703772B1 (ko) 인코더-디코더 간 불일치를 감소시키는 ｍｃｔｆ 기반의비디오 코딩 방법 및 장치
JP2007519274A (ja) 過剰ウェーブレット領域におけるビデオ符号化
US20060088100A1 (en) Video coding method and apparatus supporting temporal scalability
EP1889487A1 (en) Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction
WO2007027012A1 (en) Video coding method and apparatus for reducing mismatch between encoder and decoder
WO2006043754A1 (en) Video coding method and apparatus supporting temporal scalability
WO2006109989A1 (en) Video coding method and apparatus for reducing mismatch between encoder and decoder
WO2006098586A1 (en) Video encoding/decoding method and apparatus using motion prediction between temporal levels
KR20090059707A (ko) 폐루프 필터링을 이용한 스케일러블 비디오 인코딩 장치 및그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121129

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131128

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141127

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee