KR20050107488A - 인터레이스된 디지털 비디오 데이터의 스케일러블 인코딩및 디코딩 - Google Patents

인터레이스된 디지털 비디오 데이터의 스케일러블 인코딩및 디코딩 Download PDF

Info

Publication number
KR20050107488A
KR20050107488A KR1020057016389A KR20057016389A KR20050107488A KR 20050107488 A KR20050107488 A KR 20050107488A KR 1020057016389 A KR1020057016389 A KR 1020057016389A KR 20057016389 A KR20057016389 A KR 20057016389A KR 20050107488 A KR20050107488 A KR 20050107488A
Authority
KR
South Korea
Prior art keywords
sequence
interlaced
sub
video
base layer
Prior art date
Application number
KR1020057016389A
Other languages
English (en)
Other versions
KR100974397B1 (ko
Inventor
그웨날리 마르크앙
갈리아므 보이슨
에도아르드 프랑코즈
지로므 비에론
필립 로버트
크리스틴 길레모트
Original Assignee
톰슨 라이센싱 에스.에이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 에스.에이. filed Critical 톰슨 라이센싱 에스.에이.
Publication of KR20050107488A publication Critical patent/KR20050107488A/ko
Application granted granted Critical
Publication of KR100974397B1 publication Critical patent/KR100974397B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Systems (AREA)

Abstract

인터레이스된 비디오를 위한, 완전히 스케일러블한 인코더 및 디코더
디지털 비디오 데이터의 인터레이스된 시퀀스를 인코딩하는 방법은, 인터레이스된 비디오 시퀀스(I)를 제1(F1) 및 제2(F2) 필드로 분해하고, 디지털 필터링(SF1)을 수행하여, 제1 필드(F1)의 저 주파수(L) 및 고 주파수(H) 성분 신호를 얻고, 수신기에서 순차적 모드 비디오 시퀀스(V1, V2)의 복원에 적합한 기초층 신호(P, MV1)를 생성하기 위해 공간-시간 필터링(STF) 및 모션 추정(ME1)을 사용한다. 바람직하게, 인코더에서의 공간-시간 필터링(STF) 및 수신기에서의 역 처리(STS) 둘 다는 공간 및 시간 차원에서 스케일링을 수행할 수 있다. 제2 필드(F2)는 향상 신호(FF2, MV2)를 생성하는데 사용되고, 이 신호는 수신기가 인터레이스된 비디오 시퀀스를 완전히, 또는 스케일링된, 공간 및/또는 시간 해상도로 재생할 수 있도록 한다.

Description

인터레이스된 디지털 비디오 데이터의 스케일러블 인코딩 및 디코딩{SCALABLE ENCODING AND DECODING OF INTERLACED DIGITAL VIDEO DATA}
본 발명은 비디오 압축 방법에 관한 것입니다. 보다 구체적으로, 본 발명은 디지털 비디오 데이터의 인터레이스된(interlaced) 시퀀스를 인코딩 및 디코딩할 때, 스케일러블리티(scalability)를 얻기 위한 방법에 관한 것이다.
최근 대부분의 비디오 코딩 알고리즘은, 전송 대역폭을 감소시키기 위해 모션 보상된 예측 코딩을 사용한다. 이러한 하이브리드 기법에서, 시간적 리던던시는 모션 보상을 사용해서 감소되고, 공간적 리던던시는 모션 보상 잔여 변환 코딩에 의해 감소된다. 검사용으로 이용가능한 MPEG 비디오 재료를 포함하는 대부분의 표준 정의(SD;standard definition) 비디오 재료가 인터레이스되지만, 스케일러블(scalable) 비디오 코딩에 관한 최근의 조사는 순차적 비디오의 평가에 대해서만 집중되어 있다. 2002년 12월, Awaji의 ISO/IEC JEC1/SC29/WG11, MPEG2002/N5414에 개시된 "스케일러블 비디오 코딩의 연구 실험에 대한 설명"에서 언급한 바와 같이, 예를 들어, MPEG-4에 대한 연구들이 진행되었다. 공지된 알고리즘, 예를 들어, HDTV에 대한 WO9003082에 개시된 바와 같은 알고리즘은, 공간적으로 시간적으로 스케일러블한 인터레이스된 비디오를 전송하기 위해 충분하지 않으며, 이는 더 넓은 범위의 스케일러블리티가 요구되기 때문이다. 새로운 형태의 디스플레이, 예를 들어, 모형 이동 디스플레이는, 낮은 공간 및 시간 해상도를 갖는 순차적 비디오 시퀀스에 의해 얻어지는데 비해, 다른 디스플레이는, 예를 들어, HDTV 수신기는 높은 공간 해상도 및 표준 시간 해상도를 갖는 인터레이스된 시퀀스를 요구한다.
본 발명의 양호한 실시예들은 첨부 도면을 참조하여 설명된다.
도 1은 본 발명에 따른 스케일러블 코딩을 위한 비디오 코더의 구조도이다.
도 2는 본 발명에 따른 스케일러블 비디오 디코더의 구조도이다.
본 발명의 목적은 인터레이스된 비디오의 서브밴드 또는 웨이브렛 코딩을 개선시키는 것이다. 인터레이스된 비디오에서 공간 및 시간 차원이 밀접하게 결합되어 있기 때문에, 본 발명의 새로운 방법은, 공간-시간적 신호 대 잡음비(SNR) 맥락의 추가적인 연구를 사용한다.
본 발명이 해결하고자 하는 과제는, 인터레이스된 비디오의 코딩 및 디코딩에서 충분한 공간 및 시간 스케일러블리티를 가능하게 하는 방법을 제공하는 것이다. 이러한 방법은 청구항 1의 코딩 방법과, 청구항 6의 디코딩 방법에서 개시되어 있다. 이 코딩 방법을 활용하는 장치는 청구항 10에 개시되어 있다. 이 디코딩 방법을 활용하는 장치는 청구항 11에 개시되어 있다. 이 방법은, 서로 다른 레벨의 시간 해상도, 및 다양한 레벨의 공간 해상도로, 수신된 신호를 순차적 또는 인터레이스된 비디오 시퀀스로 변환할 수 있다.
본 발명에 따르면, 인터레이스된 디지털 비디오 데이터는, 공간, 시간 및 품질 스케일러블리티를 지원하는 방식으로, 즉, 적절한 분할 동작 및 공간-시간적 필터링에 의해 처리되어, 스케일러블 공간 및/또는 시간 서브-해상도 시퀀스를 생성하고, 여기에서 품질은 SNR에 대한 품질이다.
이는 인터레이스된 소스 비디오 재료를 2개의 층, 즉, 기초층(BL;base layer)과 향상층(EL;enhancement layer)으로 나누거나, 분해함으로써 달성된다. BL은, 순차적 모드에서, 입력 비디오 소스의 완전한 스케일러블 설명을 포함하고, 여기에서 스케일러블리티는 공간 해상도, 시간 해상도 및 품질을 지칭한다. EL은, BL과 결합될 때, 오리지널 공간 해상도, 시간 해상도 및 SNR 품질을 달성하면서, 오리지널 인터레이스된 비디오 재료의 저비용 스케일러블 복원을 가능하게 한다.
이러한 분해는, 인터레이스된 비디오 시퀀스의 각기 다른 필드들을 동일층과 결합시킴으로써 달성되고, 예를 들어, 1개 층은 짝수 필드를 처리하고, 나머지 다른 층은 홀수 필드를 처리하는 것이다. 바람직하게, EL 처리의 일부에 대해 BL로부터 모션 추정(ME) 벡터를 사용해서 계산 전력을 줄이는 것이 가능하다. 인터레이스된 비디오 시퀀스는 5개의 성분으로 분해되고, 이들은 2개의 층, BL 및 EL에 속한다. 본 발명에 따른 수신기는, 이 성분들을, 공간-시간 해상도 및 SNR에 대해서, 다양한 품질 레벨의 비디오 시퀀스와 결합시킬 수 있다.
본 발명의 바람직한 실시예들은 종속 청구항들, 다음의 설명 및 도면에서 개시된다.
도 1은 본 발명에 따른 비디오 코더의 구조를 도시한다. 입력 신호 I는, 2αHz, 즉, 초당 2α 필드 또는 초당 α 프레임의 시간 해상도를 갖고, 2M×2N, 즉, 각각 2M 픽셀을 갖는 2N 로우를 포함하는 프레임, 또는 각각 2M 픽셀을 갖는 N 로우를 포함하는 필드의 공간 해상도를 갖는 인터레이스된 비디오 시퀀스이다. 분할 블록 SP는 시퀀스를 분배하여, 필드가 제1 또는 제2 브랜치로 번갈아서 통과하도록 한다. 제1 브랜치는 BL 정보 및 EL 정보를 생성하지만, 본 명세서에서는 BL 브랜치로 지칭할 것이다. 다른 브랜치는 EL 정보만을 생성하여, 본 명세서에서 EL 브랜치로 지칭할 것이다. 각 브랜치는, 초당 α 프레임의 시간 해상도와, 2M×N 픽셀의 공간 해상도를 갖는 비디오 시퀀스를 수신한다. 예를 들어, BL 시퀀스 F1은 짝수 필드를 포함하고, EL 시퀀스는 홀수 필드를 포함한다. 일반적으로, 분할 블록 SP는 임의의 분할 변환을 실행하여, 단일의 소스 설명으로부터 2개의 설명들을 생성한다. 또한, 보다 정교한 처리, 예를 들어, 로우/하이 필터링을 처리하기 위해 다양한 필터들을 활용할 수 있다.
BL 브랜치는 x축을 따라, 즉, 라인내에서, F1 시퀀스에서 공간 필터링 SF1을 수행하고, F1의 하위 주파수 부분으로부터, M×N 픽셀의 공간 해상도를 갖는 비디오 시퀀스 L을 생성하고, F1의 상위 주파수 부분으로부터, 공간 해상도 향상 신호 H를 생성한다. 간단한 예에서, 필터링은 로우 패스 필터 LP로우 및 하이 패스 필터 HP로우에 의해 수행될 수 있고, 이들은 모두 예를 들어 팩터 2의 수평 서브샘플링을 수행한다. 다른 팩터들도 또한 사용될 수 있다. 저-해상도 시퀀스 L은 공간-시간 필터 STF로 입력되고, 모션 추정(ME) 블럭 ME1으로 입력된다. 공간-시간 필터 STF는 모션 보상된 시간 변환을 수행하고, 이 변환은 또한 3D 웨이브렛 변환 또는 2D+t 웨이브렛 변환으로도 불린다. 이 필터는, 예를 들어, 길이 2의 Haar 변환 필터, 또는 길이 9 및 7, 또는 길이 5 및 3의 Daubechies 필터로서 구현될 수 있다. ME 블럭 ME1은 모션 벡터 MV1을 생성하고, 이 벡터는 다음 3개의 목적을 위해 제공된다: 첫번째로, 모션 벡터 MV1은 공간-시간 필터링 처리를 최적화하는데 사용되고, 두번째로, 모션 벡터 MV1는 예를 들어, 역 필터링 처리를 위해 사용되기 위해 수신기로 전송되고, 세번째로, 코더의 EL 브랜치에서 사용될 것이다.
공간-시간 필터 STF의 출력 신호 P가 전송되어, 수신기에 의해 모션 벡터 MV1과 결합되어, 예를 들어, M×N 픽셀 αHz의 순차적 모드 비디오 시퀀스를 재생할 수 있다. 바람직하게, 상기 구현을 사용할 때, 이 순차 시퀀스가, x 및 y 방향 둘 다에서 시간 해상도 및 공간 해상도에 대해 스케일러블하도록, 공간-시간 필터를 설계하는 것이 가능하다. 필터는, 대상 프레임 비율 또는 포맷에 따라서, 여러개의 필터링 레벨을 포함할 수 있으며, 예를 들어, M'×N'의 공간 해상도 및/또는 θαHz의 시간 해상도가 달성될 수 있으며, M' 및 N'은 [0, M] [0, N]의 범위에 있고, θ∈Q01이며, Q01은 범위 [0, 1]에서의 유리수이다. 이 필터링은, 필터링, 예를 들어, 데이터 스트림내의 조직이 기초층을 충분히 스케일러블하도록 하는 서로 다른 공간-시간 주파수들을 전달할 수 있다. 이 블럭 STF의 출력 P는 M'×N'의 해상도를 갖는 순차 시퀀스이고, 이 해상도는 오리지널 2M×2N 포맷의 서브-해상도이고, 이는 새로운 시스템이 발생하는 최저의 공간 및 시간 해상도 레벨을 나타낸다.
x축을 따라 고 주파수 필드를 포함하는 공간 해상도 향상 신호 H는 향상층 EL에 속하고, x 방향에서 더 높은 공간 해상도를 갖는 프레임을 오리지널 해상도까지 복원하도록, 고급 수신기들에 의해 사용될 수 있다.
EL 브랜치는 F2 시퀀스에서 모션 보상된 시간 필터링(MCTF;Motion Compensated Temporal Filtering)을 수행한다. 이 브랜치는, 대상이 또 다른 픽쳐에 대해서 1 픽쳐내의 자신의 위치를 이동할 때, 전송될 데이터의 양을 최소화하기 위해서 모션 벡터(MV)를 사용한다. 2개의 서로 다른 MV 세트, 즉, 오리지널 인터레이스된 시퀀스로부터 생성된 MV, 또는 동일한 패리티의 필드들, 홀수 또는 짝수 필드를 비교함으로써 생성되는 MV가 사용될 수 있다. 바람직하게, 후자의 경우에, BL 브랜치의 ME1 블럭에서 생성된 MV1 벡터가 사용될 수 있고, 이는, 예를 들어, 2개의 연속하는 짝수 필드 사이의 모션이 2개의 상응하는 홀수 필드 사이의 모션과 매우 유사하거나, 그 반대일 가능성이 매우 크기 때문이다. 또한, 모션이 4개 필드의 시퀀스내에서 변할 수 있기 때문에, 제2 모션 추정 블럭 ME2에서 인터레이스된 시퀀스 I로부터 생성된, 더 좋은 모션 벡터 MV2를 사용하는 것이 바람직하다. 따라서, 어느 MV 세트가 MCTF에 대해 사용될 지 여부를 결정하기 위해서 EL 브랜치에 결정 블록이 결합된다. 결정 정보를 전송하는 것이 바람직하다.
모션 보상된 시간 필터링(MCTF)은, 필터링된 F2 필드 FF2, 즉, 오리지널 F2 필드보다 비용이 적게드는 F2 필드를 생성하는 것이 가능하다. 이렇게 필터링된 필드 FF2는, 입력 F2 필드와 동일한 공간 및 시간 해상도를 갖는다. 상술한 모션 벡터를 사용함으로써 비용이 절약되고, 이는 전송된 데이터의 양이 감소되기 때문이다. 모션 추정 및 모션 보상은, 필드내 상관 및 상호-필드 상관을 포착하기 위해서, 패리티와 관계없이 필드들을 통해서 수행될 수 있다. 다중 참조 필드 알고리즘 뿐만 아니라 (백워드, 포워드, 또는 양-방향의) 다양한 예측 모드가 사용될 수 있다. MV 코딩 비용 및 추정 복잡성을 줄이기 위해서, 기초층으로부터의 모션 정보가, 원하는 요건들에 따라서, 먼저 또는 후에 사용될 수 있다.
전송을 위해서, 결과적 스트림을 1개의 비트스트림으로 다중화하는 것이 바람직하다. 상술한 인코딩 방법은 인터레이스된 오리지널 비디오 시퀀스를 2개의 층, BL 및 EL로 분해하고, 이는, 결과적 비트스트림이, 디코더측에서 뿐만 아니라 코더측에서도, 다양한 공간 및 시간 해상도 레벨을 지원할 수 있도록 한다. 상술한 EL은 또한 복수의 층들로서 나타낼 수도 있고, 이는 EL이 여러개의 해상도 레벨을 포함하기 때문이다.
구체적인 예로서, 입력 비디오 시퀀스 I는, α=30 또는 60 Hz의 2αHz의 표준 정의(SD) 비디오이고, F1은, 예를 들어, 짝수 필드를 나타내고, F2는, 예를 들어, 홀수 필드를 나타내고, LP로우는 2:1 서브샘플링을 수행하고, L은 30Hz의 공통 이미지 형식(CIF;Common Image Format) 시퀀스이고, STF는 1-레벨의 공간-시간 필터이고, 따라서 P는 15Hz의 CIF 시퀀스이다.
디코더측에서는, 대상 애플리케이션에 따라서 여러개의 시나리오가 고려되어야 한다: 즉, 순차적 또는 인터레이스된 모드에서 비손실(lossless) 또는 손실(lossy) 디코딩이 고려될 수 있다. 도 2는, 기술적 또는 사용자 요구에 따라서 선택가능한, 다양한 품질 레벨을 생성할 수 있는 양호한 고급 디코더를 도시한다. 디코더 모드는 품질 선택기 QS에 의해 선택될 수 있다. 이는, 예를 들어, 송신기 또는 콘텐츠 제공자, 또는 수신기의 기술적 능력, 또는 사용자 선호에 따라서 제어될 수 있다. 상이한 모드에 대한 예로서, 비손실 또는 손실 모드, 상이한 필드 레이트, 상이한 공간 해상도 모드 등이 있다. 디코딩 처리는 선택된 디코드 품질에 따른다.
디코더쪽의 시점에서 가장 간단한 모드는 순차적 비손실 모드이다. 이 경우에는, 순차 시퀀스 P 및 모션 벡터 MV1을 포함하는 기초층 신호 BL만이 충분히 디코딩될 필요가 있다. 디코딩은 공간-시간 합성 STS를 이용해서 수행된다. 이러한 방식으로, 복원된 비디오 시퀀스 V1은 충분한 공간-시간 해상도, 즉, M×N 픽셀의 공간 해상도와 α Hz의 시간 해상도를 갖는다.
또 다른 모드는 순차적 손실 모드이다. 이는, 복원된 비디오 시퀀스 V2의 공간-시간 해상도가 순차적 비손실 모드 V1에서 달성되는 해상도의 서브-해상도라는 것을 의미한다. 디코딩을 위한 공간-시간 합성 STS의 사용이 임의의 M'×N', θ'αHz의 순차 시퀀스를 복원할 수 있도록 하고, M' 및 N'는 [0, M] 및 [0, N] 범위에 있고, θ'는 [0, 1] 범위에 있다. 마찬가지로, 기초층만 디코딩되면 된다.
완전한 오리지널 인터레이스된 비디오 재료가 복원될 때, 즉, 정보의 손실이 없을 때, 인터레이스된 비손실 모드가 요구된다. 이는, 전체 기초층 BL과 향상층 EL 모두가 완전히 디코딩되어야만 한다는 것을 의미한다. 코더에 대해 상술한 바와 같이, EL 신호는, F1 필드의 x 방향에서 고 주파수에 관련된 추가 데이터 H와, 입력 인터레이스된 시퀀스로부터 생성된 모션 벡터 MV2와, F2 필드와 관련된 정보 FF2를 포함한다. 적절한 디코딩을 위해서, 모든 코더 동작은 역으로 행해져야 한다. 역 필터링은 통상적으로 합성으로 불린다. 각각의 역 필터링, 이 경우에는 공간 합성 SS가 추가 데이터 H 및 복원된 BL 신호 V1에 적용될 때, 이는 비디오 시퀀스 V3을 생성하고, 이 비디오 시퀀스 V3은, 2M×N 및 αHz의 해상도의, 코더측의 오리지널 F1 시퀀스에 상응한다. 또한, 동일한 해상도를 갖는, 코더측으로부터의 오리지널 F2 시퀀스는, 모션 보상된 시간 필터 IMCTF를 사용해서, 다른 EL 신호 FF2 및 MV2로부터 합성될 수 있다. 그 다음, F1 필드는, 2M×2N 및 2αHz의 완전한 공간-시간 해상도, 또는 초당 α 인터레이스된 프레임을 갖는, 완전한 인터레이스된 비디오 시퀀스 V4를 복원하기 위해서, 역 분할 동작 ISP에 의해 F2 필드와 병합된다.
또 다른 가능성으로서, 인터레이스된 손실 모드가 사용될 수 있다. 이는, 복원된 공간-시간 해상도가 전체 해상도의 서브-해상도라는 것을 의미한다. 순차적 손실 모드에 대해 상술한 바와 같이, 디코딩은, 소정의 M'×N', θαHz의 인터레이스된 시퀀스를 복원할 수 있도록 한다. 이러한 손실의 경우는, 기초층 또는 향상층, 또는 둘 다가 완전히 디코딩되지 않는다는 것을 의미한다. 이 모드는 공간-시간 합성 STS에 의해 수행되어, V2가 추가의 처리를 위해서 V1 대신에 사용될 수 있게 된다. 또한, 이 모드는 공간 합성 SS 또는 역 모션 보상된 시간 필터링 IMCTF에 의해 수행될 수 있다.
본 발명의 또 다른 실시예에서는, 코더에서 공간-시간 필터 STF를 단순화하여, F1 시퀀스가 바로 전송되는 것이 가능하다. 이 경우에, 수신기에서 공간-시간 합성 STS를 생략하는 것도 가능하다.
바람직하게, 본 발명의 새로운 방법은, 고 해상도의 인터레이스된 모드의 TV와 저 해상도의 순차적 모드의 이동 장치에 대해 사용할 수 있는 동일한 비트스트림을 갖는, 인터레이스된 비디오를 포함하는, 스케일러블 비디오를 생성할 수 있는 가능성을 제공한다. 비트스트림이 완전히 포함되기 때문에, 송신기측 뿐만 아니라 수신기측에서도 모든 희망하는 공간 또는 시간 서브-해상도를 추출할 수 있다.
본 발명의 새로운 방법은 모든 비디오 애플리케이션, 바람직하게 모든 MPEG 적용 시스템에 대해 사용될 수 있다.

Claims (11)

  1. 디지털 비디오 데이터의 인터레이스된(interlaced) 시퀀스를 인코딩하는 방법에 있어서,
    기초층 및 하나 이상의 향상층의, 인코딩된 신호의 다중 층이 생성되고, 적어도 상기 기초층은 비디오 데이터의 기초 복원에 적합하고, 상기 향상층은 상기 비디오 데이터의 상기 기초층 복원을 향상시키기에 적합하고,
    상기 인터레이스된 시퀀스(I)는 2개의 서브-시퀀스(F1, F2)로 분해되고)(SP),
    상기 2개의 서브-시퀀스(F1, F2)는 상이한 방식으로 처리되고,
    상기 제1 서브-시퀀스(F1)는 저 주파수 스트림(L) 및 고 주파수 스트림(H)으로 분해되고(SF1),
    상기 저 주파수 스트림(L)은 제1 디지털 필터(STF)에 의해 처리되고,
    상기 제1 필터(STF)의 출력은 기초층 신호(P)를 생성하기 위해 사용되고,
    상기 저 주파수 스트림(L)은 또한 제1 모션 추정(ME1)을 위해 사용되고, 상기 기초층 신호(P)와 함께 상기 결과적 모션 벡터(MV1)는 디코더에서 순차적 모드로 비디오 시퀀스를 복원하는 것에 적합하고,
    상기 제2 서브-시퀀스는 제2 디지털 필터(MCTF)에 의해 처리되는 방법.
  2. 제1항에 있어서, 상기 제1 디지털 필터(STF)는, 시간 또는 공간, 또는 시간 및 공간 모두의 차원에서 해상도를 변경시키는데 적합한 방법.
  3. 제1항 또는 제2항에 있어서, 제2 모션 추정(ME2)은 인터레이스된 비디오 시퀀스(I)에서 수행되는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 제2 디지털 필터(MCTF)는 또한 상기 인터레이스된 비디오 신호(I), 또는 상기 제1 모션 추정(ME2)의 결과를 사용하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 다음의 서브-시퀀스들, 상기 제1 서브-시퀀스(L)의 저 주파수 스트림(P), 상기 제1 서브-시퀀스(L)의 모션 벡터(MV1), 상기 제1 서브-시퀀스의 고 주파수 스트림(H), 상기 인터레이스된 시퀀스(I)의 모션 벡터(MV2), 상기 필터링된 제2 서브-시퀀스(FF2) 중 적어도 일부가 전송되는 방법.
  6. 비트스트림을 디코딩하는 방법에 있어서, 상기 비트스트림은 다수의 서브스트림으로 구성되고, 상기 서브스트림은 기초층(BL) 또는 향상층(EL) 중 하나와 결합되고, 상기 방법은,
    디코딩 품질을 선택 또는 결정하는 단계(QS);
    상기 비트스트림으로부터, 상기 기초층(BL)과 결합된 서브스트림들(P, MV1)을 추출하는 단계; 및
    상기 서브스트림들(P, MV1)에서 역 디지털 필터링(STS)을 수행하여, 순차적 모드 비디오 시퀀스(V1)를 생성하는 단계
    를 포함하는 방법.
  7. 제6항에 있어서,
    상기 순차적 모드 비디오 시퀀스(V1) 및 상기 향상층(EL)과 결합된 하나 이상의 서브스트림(H)에서 역 디지털 필터링(SS)을 수행하는 단계
    를 더 포함하고,
    상기 필터링(SS)은 향상된 순차적 모드 비디오 시퀀스(V3)를 생성하는 방법.
  8. 제6항 또는 제7항에 있어서,
    상기 향상된 순차적 모드 비디오 시퀀스(V3)에서 역 디지털 필터링(IMCTF, ISP)를 수행하는 단계를 더 포함하고,
    하나 이상의 서브스트림(MV2, FF2)은 상기 향상층(EL)과 결합되고, 상기 필터링(IMCTF, ISP)은, 향상된 또는 완전한 공간-시간 해상도의 인터레이스된 비디오 시퀀스(V4)를 생성하는 방법.
  9. 제6항 내지 제8항 중 어느 한 항에 있어서, 상기 기초층(BL)과 결합된 상기 서브스트림에서의 상기 역 디지털 필터링(STS)은, 공간적으로 또는 시간적으로, 또는 공간적 및 시간적 둘 다로, 순차적 모드 비디오 시퀀스(V2)의 스케일링된(scaled) 표현을 생성하는 방법.
  10. 제1항 내지 제5항 중 어느 한 항에 기재된 방법들 중 임의의 한 방법을 사용하는 비디오 인코딩을 위한 장치.
  11. 제6항 내지 제9항 중 어느 한 항에 기재된 방법들 중 임의의 한 방법을 사용하는 디코딩을 위한 장치.
KR1020057016389A 2003-03-03 2004-02-20 인터레이스된 디지털 비디오 데이터의 스케일러블 인코딩및 디코딩 KR100974397B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03290507.7 2003-03-03
EP03290507A EP1455534A1 (en) 2003-03-03 2003-03-03 Scalable encoding and decoding of interlaced digital video data

Publications (2)

Publication Number Publication Date
KR20050107488A true KR20050107488A (ko) 2005-11-11
KR100974397B1 KR100974397B1 (ko) 2010-08-05

Family

ID=32799089

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057016389A KR100974397B1 (ko) 2003-03-03 2004-02-20 인터레이스된 디지털 비디오 데이터의 스케일러블 인코딩및 디코딩

Country Status (12)

Country Link
US (1) US8155192B2 (ko)
EP (2) EP1455534A1 (ko)
JP (1) JP4587321B2 (ko)
KR (1) KR100974397B1 (ko)
CN (1) CN1778116B (ko)
AT (1) ATE506812T1 (ko)
BR (1) BRPI0407963A (ko)
DE (1) DE602004032322D1 (ko)
MX (1) MXPA05009234A (ko)
MY (1) MY145020A (ko)
TW (1) TWI329457B (ko)
WO (1) WO2004080079A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100809296B1 (ko) * 2006-02-22 2008-03-04 삼성전자주식회사 타입이 일치하지 않는 하위 계층의 정보를 사용하여인터레이스 비디오 신호를 인코딩/디코딩 하는 방법 및장치
KR100825743B1 (ko) * 2005-11-15 2008-04-29 한국전자통신연구원 실시간으로 비트스트림의 공간 해상도를 변환할 수 있는스케일러블 비디오 코딩 방법 및 그 방법을 이용한 코덱

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2867328A1 (fr) * 2004-03-02 2005-09-09 Thomson Licensing Sa Procede de decodage d'une sequence d'images codee avec echelonnabilite spatiale et temporelle
US20050201468A1 (en) * 2004-03-11 2005-09-15 National Chiao Tung University Method and apparatus for interframe wavelet video coding
EP1574995A1 (en) * 2004-03-12 2005-09-14 Thomson Licensing S.A. Method for encoding interlaced digital video data
WO2006043772A1 (en) * 2004-10-18 2006-04-27 Electronics And Telecommunications Research Institute Method for encoding/decoding video sequence based on mctf using adaptively-adjusted gop structure
WO2006043754A1 (en) * 2004-10-21 2006-04-27 Samsung Electronics Co., Ltd. Video coding method and apparatus supporting temporal scalability
KR100664929B1 (ko) 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
JP5213456B2 (ja) 2005-02-18 2013-06-19 トムソン ライセンシング 高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置
US20090222855A1 (en) * 2005-05-24 2009-09-03 Jani Vare Method and apparatuses for hierarchical transmission/reception in digital broadcast
EP1727372A1 (en) * 2005-05-27 2006-11-29 Thomson Licensing Method and apparatus for encoding and decoding video data,
JP2007053554A (ja) * 2005-08-17 2007-03-01 Sony Corp 符号化装置、符号化方法、復号装置、復号方法およびプログラム
FR2894422A1 (fr) * 2005-12-01 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
FR2894423A1 (fr) * 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
FR2894424A1 (fr) * 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
US8446956B2 (en) 2006-01-05 2013-05-21 Thomson Licensing Inter-layer motion prediction method using resampling
CN100584026C (zh) * 2006-03-27 2010-01-20 华为技术有限公司 交织模式下的视频分层编码方法
EP1879399A1 (en) 2006-07-12 2008-01-16 THOMSON Licensing Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
US8676030B2 (en) * 2008-04-15 2014-03-18 Shlomo Selim Rakib Methods and systems for interacting with viewers of video content
US20100250763A1 (en) * 2009-03-31 2010-09-30 Nokia Corporation Method and Apparatus for Transmitting Information on Operation Points
US20100250764A1 (en) * 2009-03-31 2010-09-30 Nokia Corporation Method and Apparatus for Signaling Layer Information of Scalable Media Data
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
JP5619918B2 (ja) * 2010-02-01 2014-11-05 ドルビー ラボラトリーズ ライセンシングコーポレイション 非対称なサンプルを使った画像およびビデオ向上のためのフィルタ処理のための方法、装置および媒体
CN103597839B (zh) 2011-05-31 2017-10-20 杜比实验室特许公司 视频压缩方法、视频重构方法和系统、及编码器
US10432951B2 (en) * 2014-06-24 2019-10-01 Qualcomm Incorporated Conformance and inoperability improvements in multi-layer video coding
JP6635197B2 (ja) * 2016-06-06 2020-01-22 日本電気株式会社 映像符号化装置、映像符号化方法およびプログラム
US11140368B2 (en) 2017-08-25 2021-10-05 Advanced Micro Devices, Inc. Custom beamforming during a vertical blanking interval
US11539908B2 (en) 2017-09-29 2022-12-27 Advanced Micro Devices, Inc. Adjustable modulation coding scheme to increase video stream robustness
US11398856B2 (en) 2017-12-05 2022-07-26 Advanced Micro Devices, Inc. Beamforming techniques to choose transceivers in a wireless mesh network
US10938503B2 (en) * 2017-12-22 2021-03-02 Advanced Micro Devices, Inc. Video codec data recovery techniques for lossy wireless links
US11699408B2 (en) 2020-12-22 2023-07-11 Ati Technologies Ulc Performing asynchronous memory clock changes on multi-display systems

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2240230B (en) * 1990-01-18 1994-04-13 British Broadcasting Corp Field-rate upconversion of television signals
JPH04372292A (ja) * 1991-06-20 1992-12-25 Nippon Hoso Kyokai <Nhk> 動きベクトル検出装置
US5253056A (en) * 1992-07-02 1993-10-12 At&T Bell Laboratories Spatial/frequency hybrid video coding facilitating the derivatives of variable-resolution images
JP3545000B2 (ja) * 1992-11-02 2004-07-21 ソニー株式会社 画像信号符号化装置、画像信号復号化装置
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
JPH08172630A (ja) * 1994-12-16 1996-07-02 Matsushita Electric Ind Co Ltd 動画像符号化装置
JP3534465B2 (ja) * 1994-12-28 2004-06-07 パイオニア株式会社 サブバンド符号化方法
US6728775B1 (en) * 1997-03-17 2004-04-27 Microsoft Corporation Multiple multicasting of multimedia streams
JP3164031B2 (ja) * 1997-05-30 2001-05-08 日本ビクター株式会社 動画像符号化復号化装置、動画像符号化復号化方法、及び動画像符号化記録媒体
JPH1175184A (ja) * 1997-08-28 1999-03-16 Sanyo Electric Co Ltd 画像符号化装置及び画像符号化方法
US6058143A (en) * 1998-02-20 2000-05-02 Thomson Licensing S.A. Motion vector extrapolation for transcoding video sequences
US6961383B1 (en) * 2000-11-22 2005-11-01 At&T Corp. Scalable video encoder/decoder with drift control
KR100783396B1 (ko) * 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
US7042946B2 (en) * 2002-04-29 2006-05-09 Koninklijke Philips Electronics N.V. Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
US7116828B2 (en) * 2002-09-25 2006-10-03 Lsi Logic Corporation Integrated video decoding system with spatial/temporal video processing
US7321625B2 (en) * 2002-12-13 2008-01-22 Ntt Docomo, Inc. Wavelet based multiresolution video representation with spatially scalable motion vectors
KR100782829B1 (ko) * 2003-06-10 2007-12-06 렌슬러 폴리테크닉 인스티튜트 움직임 보상 시간 필터링에서 ｉ-블록들을 처리하는 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100825743B1 (ko) * 2005-11-15 2008-04-29 한국전자통신연구원 실시간으로 비트스트림의 공간 해상도를 변환할 수 있는스케일러블 비디오 코딩 방법 및 그 방법을 이용한 코덱
KR100809296B1 (ko) * 2006-02-22 2008-03-04 삼성전자주식회사 타입이 일치하지 않는 하위 계층의 정보를 사용하여인터레이스 비디오 신호를 인코딩/디코딩 하는 방법 및장치

Also Published As

Publication number Publication date
BRPI0407963A (pt) 2006-04-11
EP1455534A1 (en) 2004-09-08
DE602004032322D1 (de) 2011-06-01
TW200420134A (en) 2004-10-01
MY145020A (en) 2011-12-15
KR100974397B1 (ko) 2010-08-05
US8155192B2 (en) 2012-04-10
EP1606950B1 (en) 2011-04-20
ATE506812T1 (de) 2011-05-15
EP1606950A1 (en) 2005-12-21
JP2006521727A (ja) 2006-09-21
US20070147492A1 (en) 2007-06-28
CN1778116B (zh) 2010-09-29
JP4587321B2 (ja) 2010-11-24
WO2004080079A1 (en) 2004-09-16
TWI329457B (en) 2010-08-21
CN1778116A (zh) 2006-05-24
MXPA05009234A (es) 2006-05-19

Similar Documents

Publication Publication Date Title
KR100974397B1 (ko) 인터레이스된 디지털 비디오 데이터의 스케일러블 인코딩및 디코딩
US7027512B2 (en) Spatio-temporal hybrid scalable video coding apparatus using subband decomposition and method
CN1722838B (zh) 使用基础层的可伸缩性视频编码方法和设备
US8031776B2 (en) Method and apparatus for predecoding and decoding bitstream including base layer
US7961785B2 (en) Method for encoding interlaced digital video data
KR100716992B1 (ko) 스테레오 영상 부호화 및 복호화 방법과 그 장치
JP2004502358A (ja) ビデオ系列の圧縮のための符号化方法
US20060008000A1 (en) Fully scalable 3-d overcomplete wavelet video coding using adaptive motion compensated temporal filtering
US20070064791A1 (en) Coding method producing generating smaller amount of codes for motion vectors
US20060146937A1 (en) Three-dimensional wavelet video coding using motion-compensated temporal filtering on overcomplete wavelet expansions
US20060159173A1 (en) Video coding in an overcomplete wavelet domain
JP2005516494A (ja) ドリフトフリー映像符合化及び復号化方法並びに対応する装置
Wang Fully scalable video coding using redundant-wavelet multihypothesis and motion-compensated temporal filtering
KR100577364B1 (ko) 적응형 프레임간 비디오 코딩방법, 상기 방법을 위한 컴퓨터로 읽을 수 있는 기록매체, 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130701

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140701

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150619

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160628

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170704

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 9