KR20070014927A - 영상 신호의 스케일러블 인코딩 및 디코딩 방법 - Google Patents

영상 신호의 스케일러블 인코딩 및 디코딩 방법 Download PDF

Info

Publication number
KR20070014927A
KR20070014927A KR1020050115572A KR20050115572A KR20070014927A KR 20070014927 A KR20070014927 A KR 20070014927A KR 1020050115572 A KR1020050115572 A KR 1020050115572A KR 20050115572 A KR20050115572 A KR 20050115572A KR 20070014927 A KR20070014927 A KR 20070014927A
Authority
KR
South Korea
Prior art keywords
picture
level
temporal
predetermined picture
information
Prior art date
Application number
KR1020050115572A
Other languages
English (en)
Inventor
박지호
박승욱
전병문
윤도현
김동석
엄성현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20070014927A publication Critical patent/KR20070014927A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 신호를 스케일러블하게 인코딩 하고 디코딩 하는 방법에 관한 것이다. 영상 신호를 스케일러블하게 인코딩 할 때, 인코딩 되는 비트 스트림에 대한 디코딩 과정에서 소정의 픽처에 대해 수행해야 할 역갱신 동작의 개수와 관련된 정보를 슬라이스 또는 그보다 높은 레벨의 헤더 영역에 기록한다. 상기 소정의 픽처는 시간적 레벨이 가장 낮은 픽처를 가리키고, 상기 개수와 관련된 정보는 생략되어야 할 역갱신 동작의 개수를 가리킨다. 상기 소정의 픽처에 대해 수행해야 할 역갱신 동작의 개수는 시간적 분해 레벨, 상기 소정의 픽처의 시간적 레벨, 및 상기 정보를 기초로 유추될 수 있다. 따라서, 소정의 픽처에 대해 수행되어야 할 역갱신 동작의 개수를 디코더에 간편하게 제공할 수 있게 되고, GOP 내의 파티션의 형태에 상관없이 MCTF의 구조의 통일성을 유지할 수 있게 된다.
MCTF, 시간적 분해 레벨, 시간적 레벨, 예측, 갱신, GOP, 키 픽처

Description

영상 신호의 스케일러블 인코딩 및 디코딩 방법 { Method for scalably encoding and decoding video signal }
도 1은 MCTF 시간적 분해 구조를 도시한 것이고,
도 2는 GOP 크기를 가변하여 구현된 MCTF 구조를 도시한 것이고,
도 3과 도 4는 서브 바운더리 기법(sub-boundary scheme)에 따라 2개 이상의 서브 파티션(sub-partition)을 갖는 GOP에 대한 MCTF 구조를 각각 도시한 것이고,
도 5는 본 발명에 따른 영상 신호의 스케일러블 인코딩 방법이 적용되는 영상 신호 인코딩 장치의 구성을 도시한 것이고,
도 6은 본 발명에 따라 소정의 픽처에 대해 수행되어야 할 역갱신 동작의 개수를 디코더가 유추할 수 있도록 하는 정보를 제공하는 신택스(syntax)를 도시한 것이고,
도 7은 도 5의 장치에 의해 인코딩 된 데이터 스트림을 디코딩 하는 장치의 구성을 도시한 것이다.
<도면의 주요부분에 대한 부호의 설명>
100 : MCTF 인코더 110 : 텍스처 인코더
120 : 모션 코딩부 130 : 먹서
200 : 디먹서 210 : 텍스처 디코더
220 : 모션 디코딩부 230 : MCTF 디코더
본 발명은, 영상 신호의 스케일러블 인코딩 및 디코딩 방법에 관한 것으로, 좀더 상세하게는 소정의 픽처에 대해서 디코더에서 수행되어야 할 역갱신 동작의 개수를 정의하는 방법에 관한 것이다.
현재 널리 사용되고 있는 휴대폰과 노트북, 그리고 앞으로 널리 사용하게 될 이동(mobile) TV와 핸드헬드 PC 등이 무선으로 송수신하는 디지털 영상 신호에 대해서는 TV 신호에서와 같은 넓은 대역을 할당하기가 여의치 않다. 따라서, 이와 같은 이동성 휴대 장치를 위한 영상 압축 방식에 사용될 표준은 좀 더 영상 신호의 압축 효율이 높아야만 한다.
더욱이, 상기와 같은 이동성 휴대 장치는 자신이 처리 또는 표현(presentation)할 수 있는 능력이 다양할 수 밖에 없다. 따라서, 압축된 영상이 그만큼 다양하게 사전 준비되어야만 하는 데, 이는 동일한 하나의 영상원(source)에 대해서 초당 전송 프레임 수, 해상도, 픽셀 당 비트 수 등 다양한 변수들로 각각 조합된 여러 품질의 영상 데이터를 구비하고 있어야 함을 의미하므로, 컨텐츠 제공자에게 많은 부담이 될 수 밖에 없다.
이러한 이유로, 컨텐츠 제공자는, 하나의 영상원에 대해 고속 비트레이트의 압축 영상 데이터를 구비해 두고, 상기와 같은 이동성 장치가 요청하면 압축 영상 을 디코딩 한 다음 요청한 장치의 영상 처리 능력(capability)에 맞는 영상 데이터로 다시 인코딩 하여 이를 제공한다. 하지만 이러한 방식에는 트랜스코딩(transcoding)(decoding+scaling+encoding) 과정이 필히 수반되므로 이동성 장치가 요청한 영상을 제공함에 있어서 다소 시간 지연이 발생한다. 또한 트랜스코딩도 목표 인코딩이 다양함에 따라 복잡한 하드웨어의 디바이스와 알고리즘을 필요로 한다.
이와 같은 불리한 점들을 해소하기 위해 제안된 것이 스케일러블 영상 코덱(SVC : Scalable Video Codec)이다. 이 방식은 영상 신호를 인코딩함에 있어, 최고 화질로 인코딩 하되, 그 결과로 생성된 픽처(프레임) 시퀀스의 부분 시퀀스(시퀀스 전체에서 간헐적으로 선택된 프레임의 시퀀스)를 디코딩 하여도 영상의 화질을 어느 정도 보장할 수 있도록 하는 방식이다.
MCTF(Motion Compensated Temporal Filter(or Filtering))는 상기와 같은 스케일러블 영상 코덱에 사용하기 위해 제안된 인코딩 방식의 일 예이다. MCTF 방식은 대역폭이 제한된 이동 통신 등과 같은 전송 환경에 적용될 가능성이 높으므로 초당 전송되는 비트 수를 낮추기 위해 높은 압축 효율, 즉 높은 코딩 효율(coding efficiency)을 필요로 한다.
도 1은 영상 신호를 인코딩 하는 일반적인 MCTF 구조를 도시한 것이다.
MCTF 방식에서, 영상 신호는 소정의 시간 간격으로 입력되는 픽처 시퀀스로 이루어지는데, 이중, 예를 들어 홀수의 픽처에 대해서, 기준 픽처를 인접하는 짝수의 픽처로부터 선택하여 이미지 차를 계산하는 예측 동작(Prediction operation)이 수행되어 'H' 픽처가 생성된다. 이 'H' 픽처에 인코딩 된 이미지 차값은 그 이미지 차값을 구할 때 사용되는 기준 픽처에 더해지는데, 이 과정을 갱신 동작(Update operation)이라 하며, 이 갱신 동작에 의해 생성되는 픽처가 'L' 픽처이다.
이러한 예측 및 갱신 동작이 하나의 GOP(Group Of Pictures) 내의 픽처, 예를 들어 8개의 픽처에 대해 수행되어 4개의 'H' 픽처와 4개의 'L' 픽처가 얻어지고, 이중 4개의 'L' 픽처에 대해서 예측 및 갱신 동작이 다시 수행되어 2개의 'H' 픽처와 2개의 'L'픽처가 얻어진다. 이와 같은 예측 및 갱신 동작은 1개의 'H' 픽처와 1개의 'L' 픽처가 생성될 때까지 반복적으로 수행될 수 있다. 이와 같은 과정을 통해 하나의 GOP에 대해 하나의 'L' 픽처와 나머지 'H' 픽처가 생성된다. 이와 같은 과정을 시간적 분해(TD : Temporal Decomposition)라고 하며, 분해 과정의 각 단계(stage)를 '시간적 분해 레벨'이라고 한다. 물론, MCTF 인코더는 상기 예측 동작과 갱신 동작을 'H' 픽처와 'L' 픽처가 두개씩 남는 시간적 분해 레벨까지 또는 그 전 레벨까지만 수행할 수도 있다.
MCTF 인코더에서 상기 예측 동작과 갱신 동작이 수행된 시간적 분해 레벨 값은 슬라이스 헤더 레벨 또는 그보다 상위 신택스(syntax) 레벨에 기록된다.
디코더는 이러한 인코더의 과정을 거슬러 동작하고, 인코더의 시간적 분해 과정의 역과정인 시간적 합성 과정(temporal composition stage)을 수행해야 하는 디코더 입장에서 인코딩 된 픽처를 디코딩 하는 각 단계(시간적 합성 단계)는 상기 시간적 분해 레벨의 역순인 시간적 레벨(Temporal Level)로 정의되고, 이러한 시간적 레벨은 MCTF에 의해 인코딩 되어 생성된 'H' 픽처와 'L' 픽처의 헤더 영역에 기 록된다.
하나의 GOP에서 생성되는 'L' 픽처는 가장 낮은 시간적 레벨을 갖는 픽처로 키 픽처(Key Picture)라고도 한다. 일반적으로 디코더에서 상기 'L' 픽처에 대해 수행해야 할 역갱신 동작의 개수는 상기 시간적 분해 레벨에 의해 결정된다.
한편, GOP 사이에 장면이 전환되는 픽처가 있는 경우 코딩 효율이 떨어지는 문제 및 디코딩 할 때 발생하는 시간 지연 문제 등을 해결하기 위하여, GOP 크기를 가변할 수 있도록 하는 제안이 있다. 예를 들어, 8개의 픽처로 이루어진 GOP를 도 2에 도시한 바와 같이 필요에 따라 각각 4개, 2개, 2개의 픽처로 이루어진 GOP로 나누어 인코딩 하자는 내용이다.
하지만, 각 GOP마다 데이터 양이 많은 'L' 픽처가 생성되어 코딩 효율이 떨어지고, 각 GOP마다 GOP 크기를 정의해야 하고, MCTF 구조가 통일되지 않게 되는 문제가 있다. 예를 들어, GOP 내의 키 픽처의 시간적 분해 레벨이 서로 다르게 된다.
MCTF 방식은, GOP 크기를 조절할 필요성을 고려하고 GOP 크기를 가변할 때 발생하는 상기 문제를 해결하기 위하여, 서브 바운더리 기법(sub-boundary scheme)을 채용하고 있다. 상기 sub-boundary 기법은, 도 3에 도시한 바와 같이, 하나의 GOP를 몇 개의 서브 파티션(sub-partition)으로 나누어, 임의의 서브 파티션 내의 픽처에 대한 예측과 갱신 동작에서, 앞선 서브 파티션 내의 픽처는 참조하지만, 다음 서브 파티션 내의 픽처는 참조하지 않는다.
따라서, 디코더 입장에서는, 인코딩 되어 수신되는 픽처가 다음 서브 파티션 의 픽처를 참조하지 않기 때문에, 해당 서브 파티션과 이전 서브 파티션 내의 픽처만을 참조로 시간 지연을 줄이면서 디코딩 할 수 있게 된다.
다른 서브 파티션 내의 픽처, 주로 다음 서브 파티션 내의 픽처를 참조하지 않도록 하기 위하여, 레퍼런스 인덱스 리스트 0와 리스트 1 각각에 대하여 활성(active) 레퍼런스 픽처의 개수를 조절하는 방법을 사용한다. 파티션의 경계에 있는 픽처에 대한 리스트 1의 활성 픽처의 개수를 0으로 함으로써, 상기 경계에 있는 픽처는 예측과 갱신 동작에서 다음 서브 파티션 내의 픽처를 참조하지 않는다.
또한, 예를 들어 도 3의 MCTF 구조에서 GOP의 마지막 픽처가 갱신되어 생성되는 'L' 픽처에 대해서 도 1의 MCTF 구조와 일치시키기 위하여, 다시 말해 인코딩 되어 생성되는 각 픽처의 위치를 일치시키기 위하여, 첫 번째 시간적 분해 레벨에서 갱신되어 생성된 픽처 'L8'을 더 이상 갱신하지 않은 상태로 마지막 시간적 분해 레벨에 위치시킨다. 또한, 도 4의 MCTF 구조에서는, 두 번째 시간적 분해 레벨에서 갱신되어 생성된 픽처 'L8'을 더 이상 갱신하지 않은 상태로 마지막 시간적 분해 레벨에 위치시킨다.
따라서, 임의의 GOP에서 인코딩 되어 생성되는 각 픽처에 대한 시간적 분해 레벨이 다른 GOP의 각 픽처와 서로 일치하게 되어 MCTF 구조가 통일된다.
하지만, 예를 들어, 도 3에서 가장 낮은 시간적 레벨을 갖는 픽처 'L8'은, 시간적 분해 레벨은 3에 해당하지만 인코딩 과정에서 한 번만 갱신되므로, 디코더에서도 한 번만 역갱신되어야 한다. 또한, 도 4에서 픽처 'L8'도, 시간적 분해 레벨은 3에 해당하지만 인코딩 과정에서 두 번 갱신되므로, 디코더에서도 두 번만 역 갱신되어야 한다.
즉, 가장 낮은 시간적 레벨을 갖는 픽처에 대해 디코더에서 수행되어야 할 역갱신 동작의 개수는, 시간적 분해 레벨과 달라지게 되고, GOP 내의 파티션 형태에 따라 달라지게 되는 문제가 발생한다.
본 발명은 이러한 문제점을 해결하기 위해 창작된 것으로서, 본 발명의 목적은, 가장 낮은 시간적 레벨을 갖는 픽처에 대해 디코더에서 수행되어야 할 역갱신 동작의 개수를 정의하는 방법을 제공하는데 있다.
상기한 목적을 달성하기 위해 본 발명의 일 실시예에 따른 영상 신호를 인코딩 하는 방법은, 영상 신호를 스케일러블하게 인코딩 하여 비트 스트림을 생성하는 단계; 및 상기 인코딩 된 비트 스트림에 대한 디코딩 과정에서 소정의 픽처에 대해 수행해야 할 역갱신 동작의 개수와 관련된 정보를 기록하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
상기 정보는 슬라이스 또는 그보다 높은 레벨의 헤더 영역에 기록되고, 상기 소정의 픽처는 시간적 레벨이 가장 낮은 픽처이며, 상기 정보는 생략되어야 할 역갱신 동작의 개수인 것을 특징으로 한다.
상기 소정의 픽처에 대해 수행해야 할 역갱신 동작의 개수는 시간적 분해 레 벨, 상기 소정의 픽처의 시간적 레벨, 및 상기 정보를 기초로 유추되는데, 시간적 분해 레벨에서 상기 소정의 픽처의 시간적 레벨과 상기 정보를 뺀 값인 것을 특징으로 한다.
상기 소정의 픽처에 대한 역갱신 동작이 생략될 시간적 레벨을 가리키기 위하여, 상기 소정의 픽처에 대한, 역갱신 동작이 생략될 시간적 레벨에서의 레퍼런스 인덱스 리스트의 활성 픽처의 개수를 0 값으로, 슬라이스 또는 그보다 높은 레벨의 헤더 영역에 기록하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 인코딩 된 영상 비트 스트림을 디코딩 하는 방법은, 스케일러블하게 인코딩 되어 수신되는 비트 스트림 내의 소정의 픽처에 대해 수행해야 할 역갱신 동작의 개수와 관련된 정보를 확인하는 단계; 및 상기 확인된 정보를 기초로 상기 소정의 픽처에 대한 역갱신 동작을 제어하면서, 상기 비트 스트림을 디코딩 하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
이하, 본 발명의 바람직한 실시예에 대해 첨부 도면을 참조하여 상세히 설명한다.
도 5는 본 발명에 따른 영상 신호의 스케일러블 코딩 방법이 적용되는 영상 신호 인코딩 장치의 구성을 도시한 것이다.
도 5의 영상 신호 인코딩 장치는, 입력되는 영상 신호를, 예를 들어 MCTF 방식에 의해 매크로 블록(macro block) 단위로 스케일러블하게 인코딩 하고 적절한 관리 정보를 생성하는 MCTF 인코더(100), 상기 인코딩 된 각 매크로 블록의 데이터 를 압축된 비트 열로 변환하는 텍스처(Texture) 코딩부(110), 상기 MCTF 인코더(100)에 의해 얻어지는 영상 블록의 모션 벡터(motion vectors)를 지정된 방식에 의해 압축된 비트 열로 코딩 하는 모션 코딩부(120), 상기 텍스처 코딩부(110)의 출력 데이터, 상기 모션 코딩부(120)의 출력 벡터 데이터를 기 지정된 포맷으로 인캡슐(encapsulate) 한 다음 기 지정된 전송 포맷으로 상호 먹싱하여 출력하는 먹서(130)를 포함하여 구성된다.
상기 MCTF 인코더(100)는, 임의 영상 프레임(또는 픽처) 내의 각 매크로 블록에 대하여 모션 추정(motion estimation)으로 구한 기준 블록을 감하는 예측 동작을 수행하며, 또한 선택적으로 상기 매크로 블록과 기준 블록의 이미지 차를 그 기준 블록에 더하는 갱신 동작을 수행할 수 있다.
상기 MCTF 인코더(100)는, 입력되는 영상 프레임 시퀀스를 이미지 차값을 갖게 될 프레임 및 선택적으로 상기 이미지 차값이 더해질 프레임, 예를 들어 홀수(odd) 프레임과 짝수(even) 프레임으로 분리하여, 예측 동작과 갱신 동작을 여러 시간적 분해 레벨에 걸쳐, 예를 들어 하나의 GOP에 대해 하나의 'L' 프레임이 생성될 때까지 수행할 수 있다.
상기 MCTF 인코더(100)는, 입력 되는 영상 프레임 또는 이전 시간적 분해 레벨에서 얻어진 이미지 차값이 더해진 프레임 중 이미지 차값을 갖게 될 프레임을 기 정해진 크기의 매크로 블록(macro-block)으로 분할하고, 각 분할된 매크로 블록과 이미지가 가장 유사한 블록을 전후의 프레임 내에서 찾아서 예측 영상을 만들고 모션 벡터를 구하는 예측 동작을 수행한다. 상기 MCTF 인코더(100)는, 상기 프레 임 내의 모든 매크로 블록에 대해 상기의 동작을 수행하여, 해당 프레임에 대한 예측 영상인 'H' 프레임을 완성한다.
또한, 상기 MCTF 인코더(100)는, 입력 되는 영상 프레임 또는 이전 시간적 분해 레벨에서 얻어진 이미지 차값이 더해진 프레임 중 이미지 차값이 더해질 프레임 내의 각 매크로 블록에 대해서, 상기 매크로 블록을 기준 블록으로 하여 예측 동작을 수행하여 이미지 차값을 갖도록 인코딩 된 상기 'H' 프레임 내의 대응 블록을 상기 매크로 블록에 더하는 갱신 동작을 수행한다. 상기 MCTF 인코더(100)는, 상기 프레임 내의 모든 매크로 블록에 대해 상기의 동작을 수행하여, 해당 프레임에 대한 'L' 프레임을 완성한다.
상기 MCTF 인코더(100)는, 둘 이상의 서브 파티션으로 분리된 GOP에 대해 상기 예측 동작과 갱신 동작을 수행할 때에는, 해당 프레임이 속하는 서브 파티션보다 앞선 서브 파티션 내의 프레임은 참조하지만, 다음 서브 파티션 내의 프레임은 참조하지 않는다.
또한, 상기 MCTF 인코더(100)는, 인코딩 되어 생성된 각 픽처에 시간적 레벨을 할당하는데, 마지막 시간적 분해 레벨(Lf)에서 생성된 'L' 프레임의 헤더 영역에 시간적 레벨 값 '0'을 기록하고, 임의의 시간적 분해 레벨(Li)에서 생성된 'H' 프레임의 헤더 영역에는 시간적 레벨 값 'Lf-Li+1'을 기록한다.
한편, 가장 낮은 시간적 레벨을 갖도록 인코딩 된 픽처, 예를 들어 키 픽처를 디코딩 하기 위하여 수행되어야 할 역갱신 동작의 개수가 디코더에서 유추될 수 있도록 소정의 값이 디코더에 전달해야 한다.
이를 위해 본 발명에서는 'skip_update_stages'를 새로 정의하고, 슬라이스 헤더 레벨 또는 그보다 상위 신택스 레벨에 기록하여, 디코더가 상기 가장 낮은 시간적 레벨을 갖는 픽처에 대해 수행해야 할 역갱신 동작의 개수를 NumberOfUpdateLevel = decompostion_stages temporal_level skip_update_stages로 유추할 수 있도록 한다. 일반적으로 'L' 픽처(키 픽처)의 시간적 레벨(temporal_level)은 0이기 때문에, 상기 키 픽처에 대해 수행해야 할 역갱신 동작의 개수는 시간적 분해 레벨(decomposition_stages)과 상기 'skip_upadate_stages'의 차이에 해당한다.
도 3에서, 픽처 'L8'에 대해 디코더에서 수행해야 할 역갱신 동작의 개수는 1이 되고, 상기 'decomposition_stages'는 3이므로, 상기 'skip_update_stages'는 2가 된다. 또한, 도 4에서, 픽처 'L8'에 대해 디코더에서 수행해야 할 역갱신 동작의 개수는 2가 되고, 상기 'decomposition_stages'는 3이므로, 상기 'skip_update_stages'는 1이 된다.
또한, 상기 'skip_update_stages'가 1 이상인 경우, 어느 시간적 레벨(또는 시간적 합성 단계)에서 상기 키 픽처에 대한 역갱신 동작을 건너 뛰어야 하는지를 가리키기 위하여, 도 6에 도시한 바와 같이, 역갱신 동작이 생략될 시간적 레벨에서 상기 키 픽처에 대한 레퍼런스 인덱스 리스트 0과 1(l0 or l1)의 활성 픽처의 개수(num_ref_idx_update_lx_active)를 '0'으로 하여 슬라이스 헤더 레벨 또는 그보다 높은 신택스 레벨에 기록할 수 있다.
만약, 상기 'skip_update_stage'가 정의되지 않은 경우 그 값은 '0'으로 간 주되어, 키 픽처에 대한 역갱신 동작은 모든 시간적 레벨에서 수행된다.
지금까지 설명한 방법에 의해 인코딩 된 데이터 스트림은 유선 또는 무선으로 디코딩 장치에 전송되거나 기록 매체를 매개로 하여 전달되며, 디코딩 장치는 이후 설명하는 방법에 따라 원래의 영상 신호를 복원하게 된다.
도 7은 도 5의 장치에 의해 인코딩 된 데이터 스트림을 디코딩 하는 장치의 블록도이다. 도 7의 디코딩 장치는, 수신되는 데이터 스트림에서 압축된 모션 벡터 스트림과 압축된 매크로 블록 정보 스트림을 분리하는 디먹서(200), 압축된 매크로 블록 정보 스트림을 원래의 비압축 상태로 복원하는 텍스처 디코딩부(210), 압축된 모션 벡터 스트림을 원래의 비압축 상태로 복원하는 모션 디코딩부(220), 및 압축 해제된 매크로 블록 정보 스트림과 모션 벡터 스트림을 원래의 영상 신호로 역변환하는 MCTF 디코더(230)를 포함하여 구성된다.
상기 MCTF 디코더(230)는, 슬라이스 헤더 또는 그보다 상위 레벨의 헤더로부터, 수신되는 데이터 스트림의 'decomposition_stages', 'skip_upadate_stages', 'num_ref_idx_update_lx_active'(lx는 l0 또는 l1)를 확인하여, 이를 기초로 가장 낮은 시간적 레벨을 갖는 픽처, 즉 키 픽처에 대해 수행해야 할 역갱신 동작의 개수를 유추하고, 상기 키 픽처에 대해 역갱신이 생략될 시간적 레벨을 확인한다.
상기 MCTF 디코더(230)는, 인코딩 되어 입력되거나 또는 이전 시간적 레벨에서 디코딩 되어 생성된, 'L' 프레임 내의 매크로 블록에 대해, 상기 모션 벡터 디 코딩부(220)로부터 제공되는 모션 벡터를 참조하여, 상기 매크로 블록을 기준으로 인코딩 된 'H' 프레임 내의 영역을 확인하고, 상기 영역의 이미지 차값을 상기 매크로 블록의 이미지 값으로부터 감하는 역갱신 동작을 수행한다. 상기 MCTF 디코더(230)는, 상기 'L' 프레임 내의 모든 매크로 블록에 대해 상기의 동작을 수행하여, 해당 시간적 레벨의 'L' 프레임을 완성한다.
이때, 상기 상기 MCTF 디코더(230)는, 가장 낮은 시간적 레벨을 갖는 픽처에 대해서는, 상기 확인된 시간적 레벨에서의 역갱신 동작을 생략하고, 상기 유추된 개수만큼만 역갱신 동작을 수행한다..
또한, 상기 MCTF 디코더(230)는, 인코딩 되어 입력되는 임의의 시간적 레벨의 'H' 프레임 내의 매크로 블록에 대해, 상기 모션 벡터 디코딩부(220)로부터 제공되는 모션 벡터를 참조하여, 상기 역갱신 동작에 의해 생성된 다음 시간적 레벨의 'L' 프레임 내의 기준 블록을 확인하고, 상기 매크로 블록의 이미지 차값에 상기 기준 블록의 이미지 값을 더하는 역예측 동작을 수행한다. 상기 MCTF 디코더(230)는, 상기 'H' 프레임 내의 모든 매크로 블록에 대해 상기의 동작을 수행하여, 다음 시간적 레벨의 'L' 프레임을 완성한다. 상기 완성된 'L' 프레임은 역갱신되어 완성된 'L' 프레임과 교대로 배열된다.
전술한 방법에 따라, 인코딩 된 데이터 스트림이 완전한 영상 프레임 시퀀스로 복구된다. 특히, MCTF 방식을 예로 들어 설명한 인코딩 과정에서 예측 동작과 갱신 동작을 한 GOP에 대해서 N 신간적 분해 레벨만큼 수행한 경우, MCTF 디코딩 과정에서 역갱신 동작과 역예측 동작을 N회 수행하면 원래 영상 신호의 화질을 얻을 수 있고, 그 보다 작은 횟수로 수행하면 화질이 다소 저하되지만 비트 레이트는 보다 낮은 영상 프레임 시퀀스를 얻을 수 있다. 따라서, 디코딩 장치는 자신의 성능에 맞는 정도로 상기 역갱신 동작과 역예측 동작을 수행하도록 설계된다.
전술한 디코딩 장치는 이동 통신 단말기 등에 실장되거나 또는 기록 매체를 재생하는 장치에 실장될 수 있다.
이상, 전술한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서 또 다른 다양한 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
따라서, 소정의 픽처에 대해 수행되어야 할 역갱신 동작의 개수를 디코더에 간편하게 제공할 수 있게 되고, GOP 내의 파티션의 형태에 상관없이 MCTF의 구조의 통일성을 유지할 수 있게 된다.

Claims (15)

  1. 영상 신호를 스케일러블하게 인코딩 하여 비트 스트림을 생성하는 단계; 및
    상기 인코딩 된 비트 스트림에 대한 디코딩 과정에서 소정의 픽처에 대해 수행해야 할 역갱신 동작의 개수와 관련된 정보를 기록하는 단계를 포함하여 이루어지는 영상 신호를 인코딩 하는 방법.
  2. 제 1항에 있어서,
    상기 정보는 슬라이스 또는 그보다 높은 레벨의 헤더 영역에 기록되는 것을 특징으로 하는 영상 신호를 인코딩 하는 방법.
  3. 제 1항에 있어서,
    상기 소정의 픽처는 시간적 레벨이 가장 낮은 픽처인 것을 특징으로 하는 영상 신호를 인코딩 하는 방법.
  4. 제 1항에 있어서,
    상기 정보는 생략되어야 할 역갱신 동작의 개수인 것을 특징으로 하는 영상 신호를 인코딩 하는 방법.
  5. 제 1항에 있어서,
    상기 소정의 픽처에 대해 수행해야 할 역갱신 동작의 개수는 시간적 분해 레벨, 상기 소정의 픽처의 시간적 레벨, 및 상기 정보를 기초로 유추되는 것을 특징으로 하는 영상 신호를 인코딩 하는 방법.
  6. 제 5항에 있어서,
    상기 개수는 시간적 분해 레벨에서 상기 소정의 픽처의 시간적 레벨과 상기 정보를 뺀 값인 것을 특징으로 하는 영상 신호를 인코딩 하는 방법.
  7. 제 4항에 있어서,
    상기 소정의 픽처에 대한, 역갱신 동작이 생략될 시간적 레벨에서의 레퍼런스 인덱스 리스트의 활성 픽처의 개수를 0으로 기록하는 단계를 더 포함하여 이루어지는 영상 신호를 인코딩 하는 방법.
  8. 제 7항에 있어서,
    상기 0인 활성 픽처의 개수는 슬라이스 또는 그보다 높은 레벨의 헤더 영역에 기록되는 것을 특징으로 하는 영상 신호를 인코딩 하는 방법.
  9. 스케일러블하게 인코딩 되어 수신되는 비트 스트림 내의 소정의 픽처에 대해 수행해야 할 역갱신 동작의 개수와 관련된 정보를 확인하는 단계; 및
    상기 확인된 정보를 기초로 상기 소정의 픽처에 대한 역갱신 동작을 제어하면서, 상기 비트 스트림을 디코딩 하는 단계를 포함하여 이루어지는 인코딩 된 영상 비트 스트림을 디코딩 하는 방법.
  10. 제 9항에 있어서,
    상기 정보는 슬라이스 또는 그보다 높은 레벨의 헤더 영역에 기록되어 있는 것을 특징으로 하는 인코딩 된 영상 비트 스트림을 디코딩 하는 방법.
  11. 제 9항에 있어서,
    상기 소정의 픽처는 시간적 레벨이 가장 낮은 픽처인 것을 특징으로 하는 인코딩 된 영상 비트 스트림을 디코딩 하는 방법.
  12. 제 9항에 있어서,
    상기 정보는 생략되어야 할 역갱신 동작의 개수인 것을 특징으로 하는 인코딩 된 영상 비트 스트림을 디코딩 하는 방법.
  13. 제 9항에 있어서,
    상기 소정의 픽처에 대해 수행해야 할 역갱신 동작의 개수는 시간적 분해 레벨, 상기 소정의 픽처의 시간적 레벨, 및 상기 정보를 기초로 유추되는 것을 특징으로 하는 인코딩 된 영상 비트 스트림을 디코딩 하는 방법.
  14. 제 13항에 있어서,
    상기 개수는 시간적 분해 레벨에서 상기 소정의 픽처의 시간적 레벨과 상기 정보를 뺀 값인 것을 특징으로 하는 인코딩 된 영상 비트 스트림을 디코딩 하는 방법.
  15. 제 12항에 있어서,
    슬라이스 또는 그보다 높은 레벨의 헤더 영역에 0으로 기록된 레퍼런스 인덱스 리스트의 활성 픽처의 개수를 통해 상기 소정의 픽처에 대한 역갱신 동작이 생략될 시간적 레벨이 확인되는 것을 특징으로 하는 인코딩 된 영상 비트 스트림을 디코딩 하는 방법.
KR1020050115572A 2005-07-29 2005-11-30 영상 신호의 스케일러블 인코딩 및 디코딩 방법 KR20070014927A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US70346705A 2005-07-29 2005-07-29
US60/703,467 2005-07-29

Publications (1)

Publication Number Publication Date
KR20070014927A true KR20070014927A (ko) 2007-02-01

Family

ID=38080621

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050115572A KR20070014927A (ko) 2005-07-29 2005-11-30 영상 신호의 스케일러블 인코딩 및 디코딩 방법

Country Status (1)

Country Link
KR (1) KR20070014927A (ko)

Similar Documents

Publication Publication Date Title
KR101053628B1 (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US20090168880A1 (en) Method and Apparatus for Scalably Encoding/Decoding Video Signal
JP2016092837A (ja) 映像圧縮装置、映像再生装置および映像配信システム
CN113228649B (zh) 视频解码方法、装置以及存储介质
CN113475067B (zh) 视频解码方法、装置、计算机设备及存储介质
CN116347100A (zh) 用于视频译码中的参考图像重采样的多个图像大小和符合性窗口的处理
US20060120454A1 (en) Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
KR20060070400A (ko) 영상 신호의 인코딩 및 디코딩 방법
US20080008241A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20070242747A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20060159176A1 (en) Method and apparatus for deriving motion vectors of macroblocks from motion vectors of pictures of base layer when encoding/decoding video signal
US20070280354A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20070223573A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
KR20060059774A (ko) 시간적 분해레벨이 다른 픽처의 모션벡터를 이용하는영상신호의 엔코딩/디코딩 방법 및 장치
CN113796082B (zh) 视频解码方法、装置、计算机设备及存储介质
KR20060101847A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR101102393B1 (ko) 에러 파급을 방지하는 영상신호의 엔코딩 및 디코딩 방법과장치
CN112399180A (zh) 视频解码方法、装置及存储介质
US20160080752A1 (en) Method and apparatus for processing video signal
KR20060059770A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
JP2021057730A (ja) 画像符号化方法、画像符号化装置、画像復号方法および画像復号装置
KR20070014927A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
CN113692745B (zh) 视频解码方法、装置和存储介质
US20060133498A1 (en) Method and apparatus for deriving motion vectors of macroblocks from motion vectors of pictures of base layer when encoding/decoding video signal
US20060133499A1 (en) Method and apparatus for encoding video signal using previous picture already converted into H picture as reference picture of current picture and method and apparatus for decoding such encoded video signal

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination