KR20050061483A - 스케일링 가능한 비디오 인코딩 - Google Patents

스케일링 가능한 비디오 인코딩 Download PDF

Info

Publication number
KR20050061483A
KR20050061483A KR1020057005222A KR20057005222A KR20050061483A KR 20050061483 A KR20050061483 A KR 20050061483A KR 1020057005222 A KR1020057005222 A KR 1020057005222A KR 20057005222 A KR20057005222 A KR 20057005222A KR 20050061483 A KR20050061483 A KR 20050061483A
Authority
KR
South Korea
Prior art keywords
data
frames
video
subsets
motion compensation
Prior art date
Application number
KR1020057005222A
Other languages
English (en)
Inventor
이호르 키렌코
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20050061483A publication Critical patent/KR20050061483A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

비디오 인코더는 수신된 비디오 프레임들 및 예측된 프레임들로부터 상대 프레임들을 도출하는 프로세서(103)에 연결된 비디오 프레임 수신기(101)를 포함한다. 프로세서는 이산 푸리에 변환(DCT: Discrete Fourier Transformation) 프로세서(105)에 연결되고, 이것은 다시 상대 프레임에 대한 양자화된 공간 주파수 계수들을 생성하기 위하여 양자화기(107)에 연결된다. 양자화기(107)의 출력은 저주파수 성분들을 가지는 데이터 서브세트 및 주파수 성분들을 가지는 제 2 데이터 서브세트을 분할하는 분할기로 공급된다. 제 1 서브세트는 역양자화기(111), 역 DTC 프로세서(113), 움직임 보상 프로세서(115, 117) 및 예측된 프레임 프로세서(104)를 포함하는 인코딩 루프에서 사용된다. 따라서 인코딩 루프는 단지 각각의 프레임에 대한 감소된 데이터 세트를 고려함으로써 단순화된다. 전송기(119)가 제 1 및 제 2 데이터 서브세트들에 대하여 프로그레시브하게 스케일링 가능한 스트림으로서 비디오 데이터를 전송한다.

Description

스케일링 가능한 비디오 인코딩{Scalable video encoding}
본 발명은 비디오 인코더 및 비디오 인코딩 방법에 관한 것이고, 특히, 그러나 배제적이지는 않게, 압축된 비디오 신호들을 생성하는 비디오 인코딩 시스템에 관한 것이다.
비디오 신호들은 디지털 비디오 신호들로서 점점 더 많이 방송되고 퍼지고 있다. 저 데이터율들을 유지하기 위하여, 비디오 압축의 다양한 형태들이 일반적으로 사용된다. 결과적으로, 다수의 상이한 비디오 압축 표준들이 정의되었다. 널리 사용되는 압축 표준은 MPEG-2(동화상 전문가 그룹) 표준이고, 이것은 예를 들어, 지상 및 위성 디지털 TV 방송, DVD들 및 디지털 비디오 레코더들에서 사용된다.
MPEG-2 비디오 표준은 상이한 데이터율들 및 비디오 품질과 교환되는 인코더들 및 디코더들의 복잡성을 허용하는, 다수의 상이한 레벨들 및 프로파일들을 포함한다.
주어진 비디오 시스템에서, 다수의 상이한 비디오 코딩 구조들 또는 변환들이 사용될 수 있다. 따라서, 하나의 압축된 비디오 스트림을 상이한 기능들, 능력들 및 요청들을 가지는 디코더들에게 전송하기 위하여, 스케일링 가능한 코딩된 비디오 스트림들이 종종 사용된다. 스케일 가능성은 디코더로 하여금 비디오 스트림의 부분을 취하여 그것으로부터 전체 영상을 디코딩하는 것을 허용한다. 압축 해제된 이미지의 품질 레벨은 얼마나 많은 비디오 스트림이 디코더에 의해 사용되었고, 어떻게 스케일링 가능한 압축된 스트림이 구성되었는 지에 의존한다.
현재 비디오 압축 표준에서, 공간적 신호 대 노이즈 비율(SNR) 및 시간적 스케일 가능성은 층으로 된 구조를 통하여 달성될 수 있다. 인코딩된 비디오 정보는 상이한 층들에 대응하는 2개 이상의 분리된 스트림들로 분할된다. 그러한 표준 스케일링 가능한 구조들에서, 기본층(BL)은 층으로 되지 않은 구성에서와 같이 하이브리드 예측 인코딩 루프를 사용하여 코딩된다. 이것은 디코딩될 때, 저품질이지만 완전한 영상을 생산할 수 있는 데이터 스트림으로 귀결된다. 확장층들(EL)은 기본층에 링크되어 있고 기본층의 영상에 관련된 잔류 신호에 대한 데이터를 포함한다. 이로 인해, EL은 인헨스먼트 데이터 스트림을 전달하고, 이것은, 기본층 정보와 결합될 때 상위 비디오 품질을 준다. 따라서, 부가적인 확장층은, 비디오 신호의 품질에 있어서 향상을 제공하기 위해 디코더에 의해 부가적으로 사용되기 때문에, 비디오 신호의 스케일 가능성을 제공한다.
종래의 스케일 가능성은 다수의 단점을 가지고 있다. 예를 들어, 단지 스케일 가능성이 확장층들에서 사용 가능하기 때문에, 스케일 가능성은 매우 유연하지 않다. 더 높은 스케일 가능성을 달성하기 위하여, 더 많은 확장층들이 필요되고, 증가된 코딩 오버헤드 및 감소된 압축 효율로 유도한다.
최근에, 스케일링 가능한 비디오 인코딩에 대한 다른 구성들 출현하기 시작했다. 어떤 구성들은 단일 프로그레시브 스트림이 전달되는 완전한 프로그레시브 구조를 제공한다. 이 데이터 스트림은 부분적으로 디코딩될 수 있어서, 다양한 전송 조건들, 수신기 능력들 및 애플리케이션 요청들에 적응하는 능력을 제공한다. 그러나, 움직임 예측적인 비디오-코딩 구성 내의 완전한 프로그레시브 스케일 가능성의 구현에 대한 중요한 문제는 소위 드리프트 효과에 대해 취약하다. 이것은, 인코딩 루프 내에서 움직임 보상을 위해 사용된 참조 프레임이 디코더 측에 사용 가능하지 않고, 상당히 감소된 비디오 품질로 귀결될 때, 일어난다. 이 문제에 대한 제안된 해결책들은 높은 증가된 디코더들의 복잡성을 요구한다.
미세 입상 스케일 가능성(FGS: fine granular scalability) 인코더로서 알려진 비디오 인코더는 엠. 반 데르 스차(M. van der Schaar), 와이. 첸(Y. Chen), 에이치. 라다(H. Radha) 공저, 비디오 통신 및 프로세싱 2000, Proc. SPIE, 2000년 1월, "미세 입상 스케일 비디오를 위한 임베딩된 DCT 및 웨이브렛 방법들(Embedded DCT and Wavelet Methods for Fine Granular Scale Video): 분석 및 비교(Analysis and comparison)", vol.2974, p.643-653에 제안되었다. FGS 인코더는 프로그레시브 및 층으로 된 접근들을 결합하고, 2개 이상의 층들을 포함하도록 인코딩된 비디오 신호를 제공한다. 기본층은 기본 비디오 데이터를 포함하고, 그것은 움직임 예측을 사용하여 스케일링 가능하지 않은 코더에 의해 효과적으로 압축된다. 확장층은 원래의 영상 및 전송된 기본층 영상 간의 차이에 대응하는 데이터를 포함한다. 확장층의 데이터는 프로그레시브 데이터 스트림으로서 전송된다. 이것은, 모든 데이터 값들의 최하위 비트가 전송될 때까지 모든 데이터 값들의 최상위 비트가 우선 전송되고 이어서 모든 데이터 값들 중 다음 상위 비트를 전송하는 식으로 전송하는 비트 플레인 코딩(bit plane coding)에 의해 달성된다.
그러나, 다수의 단점들은 FGS 인코더가 비교적 높은 복잡성 디코더이고, 상당한 계산의 리소스 및 메모리 크기를 요구하는 디코더이고, SNR 스케일 가능성을 제공하여, 부가적인 층들이 예를 들어, 공간 스케일 가능성을 위하여 요구되는 것을 포함하는 FGS 인코더에 관련된다. 디지털 비디오 인코더들에 대한 일반적인 문제는 또한, 저 데이터율을 달성하기 위하여, 복잡한 디지털 신호 처리가 요구되는 것이다. 특히, 움직임 보상에 관련된 추정, 예측 및 처리는 복잡하고 상당히 리소스를 많이 요구하는 편이다. 이것은 고성능 디지털 신호 처리의 사용을 요구하고,증가되는 비용 및 비디오 인코더들의 전력 소비를 초래한다.
결과적으로, 현존하는 코딩 시스템들은 리소스를 요구하고, 복잡하며, 융통적이지 않은 편이고, 개선된 비디오 인코딩 시스템은 유리할 것이다.
도 1은 본 발명의 실시예에 따른 비디오 인코더를 도시한 도면;
도 2는 본 발명의 실시예에 따른 DCT 계수 블록의 분할의 예를 도시한 도면; 및
도 3은 본 발명의 실시예에 따른 DCT 계수들의 리그룹핑(regrouping)의 예를 도시한 도면.
따라서, 본 발명은 단일 또는 조합으로서 하나 이상의 위의 단점들을 완화하고 가볍게 해주는 개선된 비디오 인코딩 시스템을 제공하는 것을 추구한다.
따라서, 본 발명의 제 1 양태에 따라 비디오 프레임들을 인코딩하는 비디오 인코더가 제공되고; 상기 비디오 인코더는, 비디오 프레임들을 수신하는 수신기; 상기 수신된 비디오 프레임들 및 예측 프레임들로부터 상대 프레임들을 도출하는 프로세서; 상기 상대 프레임들의 상기 데이터를 제 1 데이터 서브세트들(subset) 및 제 2 데이터 서브세트들로 분할하는 분할기; 상기 수신된 비디오 프레임들 및 상기 제 1 및 제 2 서브세트들 중 단지 제 1 서브세트들에 응답하여 움직임 보상 파라미터들을 생성하는 움직임 보상 프로세서; 상기 움직임 보상 파라미터들, 상기 제 1 데이터 서브세트들 및 상기 수신된 비디오 프레임들에 응답하여 상기 예측 프레임들을 생성하는 예측 프레임 프로세서; 및 상기 움직임 보상 파라미터들, 상기 제 1 데이터 서브세트들 및 상기 제 2 데이터 서브세트들을 포함하는 비디오 신호를 전송하는 전송기를 포함한다.
따라서 본 발명의 장점들은 단지 감소된 데이터 세트가 인코딩 루프에서 사용되기 때문에 인코더의 상당히 감소된 복잡성을 포함한다. 스케일 가능성은 제 1및 제 2 서브세트들로의 분할에 의하여 제공될 수 있다. 또한 움직임 보상은 단지 제 1 데이터 서브세트들에 기초하고, 이것은 기본층으로서 전송될 수 있고, 드리프트 에러들에 대한 개선된 저항은 달성될 수 있다.
본 발명의 제 1 특징에 따르면, 비디오 인코더는 분할 이전에 관련된 프레임들 상에 주파수 변환을 수행하기 위한 주파수 변환 프로세서, 및 움직임 보상 파라미터들의 생성 이전에 상기 제 1 데이터 서브세트들 상에서 역주파수 변환을 수행하는 역주파수 변환 프로세서를 더 포함한다. 이것은 주파수 범위 내에서 처리를 허용하고, 이로 인해, 제 1 및 제 2 데이터 서브세트로의 분할로 하여금 주파수 범위 내에서 수행될 수 있는 것을 허용한다. 바람직하게, 주파수 변환은 이산 코사인 변환이다.
본 발명의 다른 특징에 따르면, 비디오 인코더는 분할 이전에 상기 관련된 프레임들을 양자화하는 양자화기, 및 움직임 보상 파라미터들의 재생 이전에 상기 제 1 데이터 서브세트들 상에 역양자화를 수행하는 역양자화기를 더 포함한다. 더 높은 주파수들이 0으로 계산이 종결되는 낮은 계수들을 가지는 경향이 있기 때문에, 양자화는 상당한 데이터의 압축을 가능하게 한다.
본 발명의 상이한 특징에 따르면, 상기 전송기는 기본층으로서 상기 움직임 보상 파라미터들과 상기 제 1 데이터 서브세트들, 및 적어도 하나의 확장층으로서 상기 제 2 데이터 서브세트들을 전송하도록 동작된다. 이것은 인코딩된 비디오 스트림의 효율적 가능성을 제공한다. 또한 움직임 보상이 기본층에 제한되기 때문에, 드리프트 효과들의 영향은 상당히 감소된다.
본 발명의 다른 특징에 따르면, 상기 제 1 데이터 서브세트는 상기 제 2 데이터 서브세트들의 데이터보다 상대적으로 더 높은 품질 중요도의 데이터를 포함한다. 바람직하게 제 1 데이터 서브세트들은 제 2 데이터의 서브세트들의 데이터 보다 더 낮은 공간 주파수들에 대응하는 데이터를 포함한다. 따라서, 제 1 데이터 서브세트들은 인코딩되는 비디오 프레임에 대하여 비정상적으로 높은 정보 콘텐트를 포함한다. 따라서, 그 처리는 가장 중요한 데이터의 처리이기 때문에, 감소된 데이터 세트에 기초한 움직임 보상의 영향은 감소된다.
본 발명의 다른 특징에 따라, 상기 분할기는 임계값 이하의 공간 주파수들을 가지는 상기 상대 프레임들의 데이터를 상기 제 1 데이터 서브세트들로 분할하고, 상기 임계값 이하가 아닌 공간 주파수들을 가지는 상기 상대 프레임들의 데이터를 상기 제 2 데이터 서브세트로 분할하도록 동작된다. 이것은 매우 쉽고 단순한 분할을 구현하는 것을 제공하지만 고성능을 가진다.
본 발명의 다른 특징에 따르면, 상기 전송기는 상기 제 1 및 제 2 데이터 서브세트들 중 적어도 하나의 데이터 서브세트에 대하여 프로그레시브하게 스케일링이 가능한 데이터 스트림들을 생성 및 전송하도록 동작된다. 바람직하게, 상기 전송기는 비디오 품질 중요도가 감소하는 순서으로 상기 제 1 및 제 2 서브세트들 중 적어도 하나의 데이터 서브세트의 상기 데이터를 전송하도록 동작되고, 특히, 상기 전송기는 연관된 공간 주파수가 증가하는 순서로 상기 제 1 및 제 2 데이터 서브세트들 중 적어도 하나의 데이터 서브세트의 데이터를 전송하도록 동작된다. 따라서 하나 이상의 데이터 서브세트는 스케일링 가능한 프로그레시브 방식으로 전송되고 이로 인해, 향상된 에러 성능 뿐만 아니라, 사용되는 디코더들의 다양성을 허용한다.
본 발명의 다른 특징에 따르면, 상기 제 1 및 제 2 데이터 서브세트들 중 상기 적어도 하나의 데이터 서브세트의 상기 데이터를 실질적으로 동일한 연관된 공간 주파수들을 가지는 상기 관련된 프레임들 중 적어도 하나의 프레임의 모든 데이터 값들을 포함하는 서브밴드(subband) 그룹들로 정렬하고, 실질적으로 연관된 공간 주파수가 증가하는 순서로 각각의 서브밴드 그룹을 전송하도록 동작된다. 따라서, 매우 효율적인 프로그레시브 스케일링 가능한 데이터 스트림은, 디코더로 하여금 단지 수신된 데이터의 서브세트에 기초하여 전체 프레임을 생성하게 하는 것을 허용하여 생성된다. 더 많은 데이터가 수신됨에 따라, 프레임의 품질은 개선될 수 있다. 또한 시스템은 공간적 및 신호 대 노이즈 비율(SNR) 스케일 가능성 모두를 허용한다.
본 발명의 상이한 특징에 따르면, 상기 비디오 인코더는 비디오 트랜스코더(transcoder)이고, 상기 수신된 비디오 프레임들은 압축된 비디오 프레임들이다. 따라서 비디오 인코더는 비트율의 감소 및/또는 압축률 및/또는 이미 압축된 비디오 신호로부터의 프로그레시브하게 스케일링 가능한 데이터 스트림의 증가를 제공한다.
본 발명의 제 2 양태에 따르면, 본 방법은 상기 비디오 프레임들을 수신하는 단계; 상기 수신된 비디오 프레임들 및 예측 프레임들로부터 상대 프레임들을 도출하는 단계; 상기 관련된 프레임들의 상기 데이터를 제 1 데이터 서브세트들 및 제 2 데이터 서브세트들로 분할하는 단계; 상기 수신된 비디오 프레임들 및 상기 제 1 및 제 2 데이터 서브세트들 중 단지 제 1 데이터 서브세트들에 응답하여 움직임 보상 파라미터들을 생성하는 단계; 상기 움직임 보상 파라미터들, 상기 제 1 데이터 서브세트들 및 상기 수신된 프레임들에 응답하여 상기 예측 프레임들을 생성하는 단계; 및 상기 움직임 보상 파라미터들, 상기 제 1 데이터 서브세트들 및 상기 제 2 데이터 서브세트들을 포함하는 비디오 신호를 전송하는 단계를 포함한다.
본 발명의 이들 및 다른 양태들과 장점들은 다음에 기술되는 실시예를 참조하여 명백하고 명확해 질 것이다.
본 발명의 실시예는 도면들을 참조하여 예시에 의하여 기술될 것이다.
본 발명의 바람직한 실시예는 다음에서, MPEG-2 비디오 압축 구성을 특히 참조하여 기술될 것이지만, 본 발명이 이 애플리케이션에 제한되지 않고 압축되지 않는 비디오 인코딩 구성들 및 트랜스코딩 구성들을 포함하는 많은 다른 비디오 인코딩 구성들에 동등하게 적용된다.
도 1은 바람직한 본 발명의 실시예에 따른 비디오 인코더의 도면이다.
비디오 인코더(100)은 비디오 프레임들을 수신하는 수신기(101)를 구성한다. 바람직한 실시예에서, 비디오 수신기는 인코딩될 비디오 프레임들을 생산하는 비디오 소스(도시되지 않음)로의 적절한 인터페이스를 제공하는 단순한 기능적 블록이다. 애플리케이션에 따라서, 비디오 소스는 예를 들어, 비디오 카메라, 비디오 저장 유닛, 비디오 인코딩 시스템 또는 비디오 프레임들을 제공하는 다른 어떤 적절한 수단일 수 있다.
비디오 인코더(100)는 수신된 비디오 프레임들 및 예측 프레임들로부터 상대 프레임들을 도출하는 제 1 프로세서(103)을 포함한다. 제 1 프로세서(103)는 수신기(101) 및 예측 프레임을 생성하는 예측 프레임 프로세서(104)에 연결된다. 바람직한 실시예에서, 제 1 프로세서(103)은 단순히 수신된 비디오 프레임으로부터 예측 프레임을 감산하는 감산 유닛을 포함한다. 다음에서 설명될 바와 같이, 예측 프레임은 이전 프레임들의 처리에 기초하여 생성된다. 따라서 상대 프레임은 실제 수신된 비디오 프레임 및 디코더에 의해 생성된 예측 프레임 간의 비교로부터의 잔여 데이터와 관련된 데이터를 포함한다.
제 1 프로세서(103)의 출력은 주파수 변환 프로세서(105)에 연결되고, 주파수 변환 프로세서(105)는 상대 프레임의 데이터 값들을 2차원 공간 주파수 범위로 변환한다. 바람직한 실시예에서, 주파수 변환은 이산 코사인 변환(DCT)이고, 이것의 구현은 공지되어 있다. 주파수 변환 프로세서(105)의 출력은 바람직한 실시예에서 양자화기(107)에 연결된다. 양자화기(107)은, 바람직한 실시예에서 단순히 계수 값들을 동일 크기의 양자화 단계들로 매핑하는 양자화 프로파일에 따른 주파수 변환의 계수들을 양자화한다. 비디오 신호들이 일반적으로 높은 공간 주파수 성분들보다 낮은 공간 주파수 성분들을 더 많이 포함하고 있기 때문에, 더 높은 공간 주파수들에 대한 많은 계수들이 비교적 작다. 양자화는 일반적으로 많은 이들 값들이 0으로 양자화되도록 설정된다. 이것은 비디오 품질에 비교적 적은 영향을 주지만, 제로 계수들이 매우 효율적으로 통신될 수 있기 때문에 효율적인 압축을 제공한다.
본 발명은 주파수 변환들 및 양자화를 수행하는 기능을 포함하지 않는 인코딩 시스템들에게 동등하게 적용될 수 있고, 이들 양태들이 효율적인 압축을 제공하여 상당히 감소된 데이터율 전송 요청들을 제공하기 때문에 바람직한 실시예는 이들 양태들을 포함한다.
양자화기(107)는 관련된 프레임의 데이터를 제 1 데이터 서브세트 및 제 2 데이터 서브세트로 분할하는 분할기(109)에 연결된다. 어떤 실시예에서, 제 2 데이터 서브세트는 다수의 서브세트들로 더 분할된다. 바람직한 실시예에서, 분할은, 비디오 품질에 비교적 높은 영향을 끼치는 양자화기의 출력 데이터가 제 1 데이터 서브세트에 포함되고, 비디오 품질에 비교적 영향을 적게 끼치는 출력 데이터가 제 2 데이터 서브세트에 포함되는 것이다. 따라서, 제 1 데이터 서브세트는 감소된 데이터의 양에 대응하지만 비디오 프레임에 관련된 비정상적으로 높은 정보 콘텐트를 가진다.
분할기(109)는 역양자화기(111)에 연결된다. 그러나, 이 연결은 전체 상대 프레임을 운반하지 않고 단지 제 1 서브세트의 데이터만 운반한다. 따라서, 다음의 동작들은 상대 프레임의 전체 데이터 세트 상에서보다 단지 감소된 서브세트 상에서 수행될 필요가 있다. 역양자화기는 양자화기(107)에서 수행된 양자화에 대하여 (어느 정도 까지)보완하는 동작을 수행한다. 그것은 양자화기(107)에 의해 수행된 동작에 대하여 보완하는 스케일링 또는 가중(weighting) 동작을 수행한다. 따라서, 예를 들어, 양자화가 2의 인수에 의해 분할된 데이터를 포함했으면, 역양자화는 2의 인수에 의해 데이터를 곱할 것이다. 그러나, 그것은 원래의 양자화에서 손실되었던 단편의 값들을 가산하지 않을 것이다. 이러한 방식으로, 역양자화는 수신 비디오 디코더에서 수행된 동작을 모방하고, 따라서 역양자화기의 출력은 (주파수 범위에서) 디코더에서 생성될 프레임에 대응한다.
역양자화기(111)는 제 1 데이터 서브세트 상에서의 역주파수 변환을 수행하는 역주파수 변환(113)에 연결된다. 수행된 역변환은 주파수 변환 프로세서(105)에 의해 수행된 동작에 대한 보완적인 동작이고, 따라서 바람직한 실시예에서 역 DCT 동작이다. 역양자화와 유사하게, 역주파수 변환은 비디오 디코더에서 수행되는 그것에 대응하고, 따라서 역주파수 변환 프로세서(113)으로부터의 출력 데이터는 상대 프레임이 디코더에 의해 재생될 것과 같은 상대 프레임에 대응하는 상대 프레임이다.
바람직한 실시예에서, 역주파수 변환 프로세서(113)은 주파수 변환 프로세서(113)에 의해 생성된 상대 프레임을 제 1 프로세서(103)에 의해 사용된 예측 영상에 부가하는 결합기(115)에 연결된다. 결과적으로, 결합기(115)의 출력은 예측 프레임 및 제 1 데이터 서브세트로부터 비디오 디코더에 의해 생성될 비디오 프레임에 대응한다.
결합기(115)의 출력은 움직임 보상 프로세서(117)에 연결된다. 움직임 보상 프로세서(117)는 또한 수신기(101)에 연결되고, 거기서부터 원래의 비디오 프레임들을 수신한다. 비디오 프레임들 및 제 1 데이터 서브세트로부터 생성된 프레임들에 기초하여, 움직임 보상 프로세서(117)는 움직임 보상 파라미터들을 생성한다. 어떤 공지된 비디오 신호들에 대한 움직임 보상 방법이 본 발명으로부터 감산되지 않고 사용될 수 있다는 것은 본 발명의 고려 내에 있다. 특히, 움직임 보상은 이어지는 프레임들의 영상 세그먼트들의 비교에 의한 움직임 검출을 포함할 수 있다. 그것은 특정 영상 세그먼트가 어떻게 하나의 프레임에서 다음 프레임으로 이동되는 지를 지시하는 움직임 벡터들을 포함하는 움직임 보상 파라미터들을 생성할 수 있다. 따라서, 특히 움직임 보상 처리 및 움직임 보상 파라미터들은 MPEG-2 비디오 압축 구성과 연계하여 규정되고 알려진 처리 및 파라미터들을 포함할 수 있다.
움직임 보상 프로세서(117)는 예측 프레임 프로세서(104)와 연결된다. 예측 프레임 프로세서(104)는 움직임 보상 파라미터들 및 수신된 비디오 프레임들에 응답하여 예측 프레임들을 생성한다. 바람직한 실시예에서, 예측 프레임 프로세서(104) 및 움직임 보상 프로세서(117)는 단일 기능적 유닛으로서 구현되고, 예측 프레임의 생성은 결합기(115)의 출력에서 생성된 데이터의 고찰을 포함한다.
따라서, 바람직한 실시예에서 움직임 보상 및 예측 프레임들의 생성은 수신된 프레임들 및 하나 이상의 프레임들의 제 1 데이터 서브세트들에 기초한다. 그러나, 제 2 서브세트의 데이터는 이들 처리들에 포함되지 않고, 결과적으로, 처리는 단지 감소된 데이터 세트 상에서 동작될 필요가 있고, 이로 인해 복잡성 및 리소스 요청들은 현저히 감소된다.
비디오 인코더는 움직임 보상 파라미터들, 제 1 데이터 서브세트들 및 제 2 데이터 서브서트들을 포함하는 비디오 신호를 전송하기 위한 전송기(119)를 포함한다. 간단한 실시예에서 이 데이터는 단순히 비디오 신호가 통신되는 통신 채널을 위한 적당한 전송기에 의해 단일 데이터 스트림으로서 전송된다. 그러나, 바람직하게 비디오 인코더는 움직임 보상 파라미터들, 제 1 데이터 스트림으로서 제 1 데이터 서브세트들 및 적어도 제 2 분할된 데이터 스트림으로서 제 2 데이터 서브세트들을 전송한다. 바람직한 실시예에서, 전송기(119)는 움직임 보상 파라미터들 및 기본층으로서 제 1 데이터 서브세트들과 적어도 하나의 확장층으로서 제 2 데이터 서브세트들을 전송하도록 동작된다.
바람직한 실시예에서 제 1 데이터 서브세트가 제 2 데이터 서브세트들보다 비디오 품질에 대하여 더 높은 중요도의 데이터를 포함하기 때문에, 이 간단한 실시예에서 디코더는 단지 움직임 보상 파라미터들 및 제 1 데이터 서브세트들의 데이터에 기초하여 완전한 프레임을 도출할 수 있다. 도출된 영상은 감소된 품질의 영상일 것이지만, 선택적으로 제 2 데이터 서브세트들의 데이터를 처리하여 디코더들에 의하여 더 향상될 수 있다. 종래의 기술들에 반하여, 이 실싱예에서 상이한 층들은 최종 인코딩된 비디오 신호를 분할 또는 나눔으로써 달성되지 않지만, 비디오 인코딩의 통합된 부분으로서 수행된다. 특히 비디오 인코딩 루프는 단지 기본층에 관련된 데이터를 사용하여 구현되고, 이로 인해 상당한 복잡성 감소를 제공한다.
루프의 움직임 보상이 또한 단지 제 1 데이터 서브세트에 기초하기 때문에, 비디오 임코더 및 비디오 디코더 내의 움직임 보상 처리는 단지 기본층에 의해 영향을 받는다. 그러므로, 확장층 정보(제 2 데이터 서브세트)의 어떤 손실은 드리프트 에러의 출현으로 이끌지 않는다. 기본층(제 1 데이터 서브세트)이 더 낮은 주파수 정보를 꼭 포함하기 때문에, 재구성된 이미지는 선명하지 않을 수 있으나, 그것은 또한 움직임 추정 보상을 복잡하게 할 수 있는 고주파수 노이즈로부터 자유로울 것이다. 결론적으로, 저주파수 이미지들(제 1 데이터 서브세트)에 대한 움직임 추정 보상 처리는 인코딩 및 디코딩 측면들 모두에서 원래의 프레임들에 대한 움직임 추정 보상 처리보다 더 간단하다.
(바람직한 실시예에서 DCT 및 양자화에 이어지는)제 1 및 제 2 데이터 서브세트로의 상대 프레임의 데이터의 분할을 위한 알고리즘 및 어떤 적당한 크라이테리온(criterion)은 본 발명을 손상시키지 않고 사용될 수 있다. 바람직하게, 제 1 데이터 서브세트는 제 2 데이터 서브세트들보다 비교적 더 높은 품질 중요도의 데이터를 포함하고, 특히 바람직한 실시예에서, 제 1 데이터 서브세트는 제 2 데이터 서브세트의 데이터보다 더 낮은 공간 주파수들에 대응하는 데이터를 포함한다. 바람직한 실시예에서, 이것은 주어진 임계값 이하의 공간 주파수들을 가지는 상대 프레임의 데이터를 제 1 데이터 서브세트로 분할하고, 임계값 이하가 아닌 공간 주파수들을 가지는 상대 프레임들의 데이터를 제 2 서브세트로 분할하는 수단을 포함하는 분할기에 의해 구현된다.
도 2는 64개의 계수들을 포함하는 양자화된 DCT 블럭(201)(예 MPEG-2에서 표준으로 사용됨)을 2개의 데이터 서브세트로 분할하는 바람직한 실시예의 과정을 도시한다. 예에서, 분할을 위해 주어진 임계값(203)은 진한 선에 의해 지시된 2차원 공간 주파수 레벨로서 주어진다. 분할 레벨 위에 위치한 모든 계수들(즉, 더 낮은 공간 주파수들에 대응하는 상부 좌측 코너로)은 제 1 데이터 서브세트에 포함된다. 분할 레벨 밑에 위치한 잔여 고주파수 DCT 계수들(즉, 더 낮은 우측 코너)은 제 2 데이터 서브세트에 포함된다. 분할의 레벨은 제 1 및/또는 제 2 데이터 서브세트 데이터 스트림 내에 부호화된 계수들을 따라서 비디오 디코너에 전송된다. 이것은 매우 단순하고 유연한 분할의 방법을 제공하고, 분할 레벨이 다이나믹하게 변경되는 것을 허용한다. 이 실시예에 따라서, 분할의 레벨은 각각의 DCT 계수 블럭에 대하여 개별적으로 설정될 수 있고, DCT 계수들의 적응적 양자화의 과정에 의존할 수 있다. 분할 레벨의 제어는 바람직하게 데이터율 제어 메카니즘의 부분으로서 구현될 수 있다.
바람직한 실시예에서, 따라서 분할은 대각선 분할 레벨 및 지그 재그 스캐닝 구조에 기초하지만, 예를 들어, 직사각형 구역 선택(rectangular zonal selection)과 같은 저주파수 영역을 선택하는 다른 방법들을 포함하는 많은 다른 분할 알고리즘들이 가능하다는 것은 명백하다.
FGS 비디오 디코더와 같은 예에 반하여, 비트플레인 스케일 가능성은 단지 SNR 스케일 가능성을 제공하고, 바람직한 실시예에서 수행된 것과 같은 주파수 계수들의 분할은 공간 해상도 스케일 가능한 스트림의 생성을 허용한다. 특히, 지배적인 저주파수 정보를 포함하는 기본층은 더 낮은 공간 해상도에서 프레임들을 디코딩하기 위해 사용될 수 있다.
또한, 바람직한 실시예에서, 전송기(119)는 각각의 제 1 및 제 2 데이터 서브세트들 중 적어도 하나의 바람직하게 둘다에 대한 개별적으로 스케일링 가능한 데이터 스트림들을 생성하기 위한 기능을 포함한다. 바람직하게, 이것은 비디오 품질 중요도가 감소하는 순서로, 특히, 연관된 공간 주파수가 증가하는 순서로 제 1 및 제 2 데이터 서브세트들 중 적어도 하나의 데이터 서브세트의 데이터를 전송하는 기능을 포함하는 전송기(119)에 의해 이행된다.
특히, 바람직한 실시예에서, 전송기(119)는 제 1 및/또는 제 2 데이터 서브세트들의 데이터를, 실질적으로 동일한 연관된 공간 주파수들을 가지는 상대 프레임들 중 적어도 하나의 상대 프레임의 모든 데이터 값들을 포함하는 서브밴드 그룹들로 배열하도록 동작된다. 전송기(119)는 또한 연관된 공간 주파수가 증가하는 순서로 실질적으로 각각의 서브밴드 그룹을 전송하는 기능을 포함한다.
바람직한 실시예에서, 전송기(119)의 구현은 도 1에 도시된다. 분할기(109)는 제 1 서브밴드 프로세서(121) 및 제 2 서브밴드 프로세서(123)에 연결된다. 제 1 서브밴드 프로세서(121)는 제 1 데이터 서브세트로부터 데이터를 공급받고, 제 2 서브밴드 프로세서(123)는 제 2 데이터 서브세트로부터 데이터를 공급받는다. 서브밴드 프로세서들(121, 123)은 복수의 DCT 블럭들로부터의 계수들을 동일한 또는 유사한 공간 주파수들을 가지는 전체 프레임의 DCT 블럭으로부터의 계수들의 그룹들로 재그룹핑한다(regroup). 바람직하게, 프레임의 모든 DCT 블록들은 각각의 그룹이 대응하는 공간 주파수의 모든 DCT 계수들을 포함하도록 재그룹핑된다.
도 3은 본 발명의 바람직한 실시예에 따른 DCT 계수들의 재그룹핑의 예를 도시한 도면이다. 이 예에서, 제 1 프레임(301)은 16개의 DCT 블럭들(303) 각각이 도면에 1, 2, 3, 4로 표기된 4개의 서브밴드에 대응하는 4개의 개수들을 가지는 16개의 DCT 블럭들(303)을 포함한다. 계수들은 서브밴드(1)에 대한 모든 계수들이 함께 그룹핑되도록 각각의 서브밴드 프로세서에서 재순서화된다. 결과적으로, 특정 예에서, 서브밴드 프로세서(121, 123)은 각각 16개의 계수들을 가지는 4개의 그룹들(305)을 생성한다. 따라서, 서브밴드 프로세서(121, 123)는, 하나의 DCT 주파수 또는 서브밴드에 대응하는 각각의 그룹을 가진 DCT 내의 계수들의 수에 대응하는 다수의 그룹들을 생성한다. 각각의 그룹 내의 계수들의 수는 주어진 프레임에서 DCT 블럭들의 수와 일치한다.
각각의 서브밴드 프로세서들(121, 123)은 순차적인 데이터 스트림을 생성하기 위하여 재구성된 계수들을 판독하는 스캐닝 프로세서(125, 127)에 연결된다. 바람직하게, 더 낮은 공간 주파수들이 더 많은 정보를 포함하고, 결과 비디오 품질에 대하여 더 높은 중요도를 가지기 때문에, 재구성된 계수들은 공간 주파수가 증가하는 순서로 판독된다. 따라서, 도 2의 예에서, 서브밴드 그룹(1)은 먼저 판독되고, 이어서 서브밴드 그룹(3)이 판독되며, 그 후 서브밴드 그룹(2) 및 최종적으로 서브밴드 그룹(4)이 판독된다. 따라서, 바람직한 실시예에서, 지그 재그 스캔은 사용되고, 다른 실시예들에서 다른 스캔이 사용될 수 있다.
각각의 스캔닝 프로세서(125, 127)은 적절한 통신 채널 상에서 전송을 위하여 적절한 데이터의 코딩을 수행하는 코더들(129, 131)에 연결된다. 바람직하게, 코더들(129, 131)은 런 렝스 코딩(run length coding) 및/또는 가변 길이 코딩(variable length coding)을 포함한다. 공지된 바와 같이, 이들 코딩 구성들은 동일한 값들의 긴 시퀀스들을 가진 데이터 스트림에 특히 효율적인 무손실 데이터 압축을 제공한다. 특히, 런 렝스 코딩 및 가변 길이 코딩 구성들은 제로 값들의 긴 시퀀스를 가지는 데이터 스트림들에 매우 효율적이고, 이들 코딩 구성들은 따라서, 양자화된 계수들을 압축하는 데 아주 효율적이다.
따라서, 바람직한 실시예에서, DCT 블럭들의 더 낮은 주파수 계수들은 서브밴드 그룹들로 재구성되고, 기본층으로 기능할 수 있는 데이터 스트림을 형성하기 위해서 적절히 스캐닝된다. 각각의 블럭의 잔여 더 높은 주파수 계수들은 더 높은 주파수 서브밴드 그룹들로 재구성되고, 확장층으로 기능될 수 있는 제 2 데이터 스트림을 형성하기 위하여 적절히 스캐닝될 수 있다. 이 방식으로, 프로그레시브하게 스케일링 가능한 또는 임베딩된 스트림은 기본층 및 확장층 모두에 대하여 생성된다. 특히, 전체 영상의 가장 중요한 데이터가 먼저 전송됨에 따라, 전체 비디오 프레임을 나타내는 영상은 단지 기본층의 데이터의 개시 서브세트로부터 재생성(재구성)될 수 있다. 더 많은 데이터가 수신될수록, 비디오 품질은 향상된다.
또한, 기술된 시스템은, 프로그레시브한 충실도 및/또는 프로그레시브한 해상도 모두를 제공하기 때문에, 공간 및 SNR 스케일 가능성 모두를 허용한다. 제 1 경우에서, 부분적으로 수신된 스트림은 전체 크기 이미지를 디코딩하기 위하여 사용될 수 있다. 기본층은 단지 저주파수 컨텐트를 가진 전체 크기의 불분명한 이미지를 제공하고, 이것은 인헨싱된 층 스트림으로부터의 계수들에 의해 정제된다. 프로그레시브한 해상도의 경우에, 기본층의 저주파수 계수들은 더 낮은 공간 해상도를 가진 이미지의 구성을 위하여 사용된다. 확장층 정보는 증가하는 해상도를 가진 이미지를 얻기위해 사용된다.
부가적으로, 움직임 예측 및 보상은 기본층 내에서 이용되고, 따라서, 디코딩 동안 참조로서 기본층 정보의 사용은 가능한 드리프트 효과를 제거하고 감소시킬 것이다. 또한, 단지 기본층 정보의 부분이 디코더에 의해 수신되면, 나타난 드리프트 효과의 결과들은, 전체 이미지의 (저주파수 서브밴드로부터의) 가장 중요한 계수들이 먼저 전송된다는 사실 때문에 감소될 수 있다. 드리프트 에러의 정도는 기본층으 수신된 서브밴드 그룹들의 수에 프로그레시브하게 의존될 것이다.
또한, 동일한 공간 주파수의 서브밴드로 전체 프레임의 모든 블럭으로부터의 DCT 계수들의 재그룹핑은 연속적으로 전송된 계수값들 간의 상관성을 증가시킬 것이다. 이 증가된 상관성은 변수-길이 코더들에 의해 더 높은 무손실 압축을 제공하고, 이로 인해 동일한 비디오 품질에 대한 더 낮은 데이터율을 달성하기 위하여 사용될 수 있다.
어떤 실시예들에서, 전송기는 부가적 또는 대안적으로 비트플레인 스캐닝을 사용한다. 예를 들어, 제 1 서브밴드 그룹의 모든 계수들의 모든 최상위 비트들은 먼저 전송되고, 이어서 제 1 서브밴드 그룹의 모든 계수들의 모든 다음 최상위 비트들이 전송되는 방식으로 전송된다. 제 1 서브밴드 그룹의 계수들의 모든 또는 대부분의 비트들이 통신될 때, 제 2 서브밴드 그룹의 모든 계수들의 최상위 비트들이 통신될 것이고 이런 식으로 통신된다.
어떤 실시예들에서, 수신된 비디오 프레임들은 그들 자체가 압축된 프레임들이다. 따라서, 인코더는 어떤 실시예들에서는 특정 트랜스코더이다. 바람직하게, 이들 실시예들 중 일부에서는 인코더는 스케일링 불가능한 압축된 스트림으로부터 스케일 가능한 압축된 스트림까지 수신되고, 생성된 비디오 신호 또는 트랜스코딩 간의 데이터율에서의 변화를 제공한다. 특히, 비디오 인코더는 수신된 압축된 비디오 프레임들을 피셀 범위에서 디코딩을 못 할 것이지만, 주파수 범위 내에서 동작된다. 따라서, 이 경우에, 비디오 인코더는 주파수 변환들 간의 주파수 변환들 또는 기능적 관계를 포함하지 않고, 다른 처리 유닛들은 변경될 수 있다.
MPEG-2 구성의 바람직한 실시예에서, 다수의 상이한 유형의 프레임들은 인트라(I:intra) 프레임들, 예측(P:predicted) 프레임들 및 쌍방향(B:bidirectional) 프레임들을 포함하여 전송된다. 이 실시예에서, 관계 프레임들은 수신된 비디오 프레임으로부터 예측 프레임을 감산함으로써 결정되는 P-프레임들을 위한 것이고 따라서, 잔여 프레임을 생성한다. B-프레임들에 있어서, 2개의 예측 프레임들은 사용될 수 있거나, 동등하게 예측 프레임은 2개의 프레임들을 포함할 수 있거나 2개의 프레임들의 구성일 수 있다. 따라서, 관계 프레임은 적어도 하나 이상의 프레임들에 관련된 정보를 포함하는 잔여 프레임이다. I-프레임들에 있어서, 관계 프레임은 수신된 프레임과 동일하고, 예측 프레임의 어떤 감산도 수행되지 않는다. 다른 말로, I-프레임들에 대하여, 관계 프레임은 블랭크인(즉, 널(null) 데이터를 포함) 프레임에 대응하는 빈 예측 프레임과 관련된다. 따라서, 바람직한 실시예에서, 수신된 프레임은 예를 들어, MPEG-2 I-프레임, P-프레임 또는 B-프레임일 수 있다.
본 발명은 모든 프레임들 또는 프레임들의 서브세트에 적용될 수 있다. 이렇게, 본 발명은 구성된 방식 또는 다른 적절한 방식으로 프레임들에 랜덤하게 적용된다. 특히, MPEG-2 비디오 인코딩 구성에서, 다수의 상이한 유형들의 프레임들은 I 프레임들, P 프레임들 및 B 프레임들을 포함하여 전송된다. 상대 프레임들을 2개 이상의 서브세트들로 분할하는 것은 이들 프레임들 모두, 단지 한개 또는 두개의 프레임 유형들에서 수행될 수 있고, 단지 상이한 프레임 유형들의 프레임들의 서브세트에 적용될 수 있다.
예를 들어, 종래의 비디오 인코딩은, 단지 전체 또는 일부의 I-프레임들에 적용되는 데이터 서브세트들로의 분할을 모든 P-프레임들 및/또는 B-프레임들에게 제공할 수 있다.
본 발명은, 하드웨어, 소프트웨어, 펌웨어 또는 이들의 어떤 조합을 포함한어떤 적절한 형태로 구현될 수 있다. 그러나, 바람직하게 본 발명은 하나 이상의 데이터 프로세서들 및/또는 디지털 신호 프로세서들 상에서 구동되는 컴퓨터 소프트웨어로서 구현될 수 있다. 본 발명의 실시예의 요소들 및 성분들은 물리적, 기능적, 논리적으로 어떤 적절한 방식으로 구현될 수 있다. 기능은 단일 유닛, 복수의 유닛들 또는 다른 기능적 유닛들의 부분으로서 구현될 수 있다. 이렇게 본 발명은 단일 유닛으로서 구현될 수 있거나, 물리적 및 기능적으로 상이한 유닛들 및 프로세서들 간에 분할될 수 있다.
본 발명이 바람직한 실시예와 연계하여 기술되었지만, 여기서의 특정 형태에 제한되는 것은 의도되지 않는다. 오히려, 본 발명의 범주는 청구범위에 의해서만 제한된다.

Claims (14)

  1. 비디오 프레임들을 인코딩하는 비디오 인코더에 있어서,
    상기 비디오 프레임들을 수신하는 수신기;
    상기 수신된 비디오 프레임들 및 예측 프레임들로부터 상대 프레임들(relative frames)을 도출하는 프로세서;
    상기 상대 프레임들의 데이터를 제 1 데이터 서브세트들(subset) 및 제 2 데이터 서브세트들로 분할하는 분할기;
    상기 수신된 비디오 프레임들과, 상기 제 1 및 제 2 서브세트들 중 단지 상기 제 1 서브세트들에만 응답하여 움직임 보상 파라미터들을 생성하는 움직임 보상 프로세서;
    상기 움직임 보상 파라미터들, 상기 제 1 데이터 서브세트들 및 상기 수신된 비디오 프레임들에 응답하여 상기 예측 프레임들을 생성하는 예측 프레임 프로세서; 및
    상기 움직임 보상 파라미터들, 상기 제 1 데이터 서브세트들 및 상기 제 2 데이터 서브세트들을 포함하는 비디오 신호를 전송하는 전송기를 포함하는, 비디오 인코더.
  2. 제 1 항에 있어서,
    분할 이전에 상기 상대 프레임들에 대해 주파수 변환을 수행하는 주파수 변환 프로세서, 및
    움직임 보상 파라미터들의 생성 이전에 상기 제 1 데이터 서브세트들에 대해 역주파수 변환을 수행하는 역주파수 변환 프로세서를 더 포함하는, 비디오 인코더.
  3. 제 1 항에 있어서,
    분할 이전에 상기 관련된 프레임들을 양자화하는 양자화기, 및
    움직임 보상 파라미터들의 생성 이전에 상기 제 1 데이터 서브세트들에 대해 역양자화를 수행하는 역양자화기를 더 포함하는, 비디오 인코더.
  4. 제 1 항에 있어서, 상기 전송기는 기본층으로서 상기 움직임 보상 파라미터들과 상기 제 1 데이터 서브세트들을, 적어도 하나의 확장층으로서 상기 제 2 데이터 서브세트들을 전송하도록 동작되는, 비디오 인코더.
  5. 제 1 항에 있어서, 상기 제 1 데이터 서브세트는 상기 제 2 데이터 서브세트들의 데이터보다 상대적으로 높은 품질 중요도의 데이터를 포함하는, 비디오 인코더.
  6. 제 5 항에 있어서, 상기 제 1 데이터 서브세트들은 상기 제 2 데이터 서브세트들의 데이터보다 낮은 공간 주파수들에 대응하는 데이터를 포함하는, 비디오 인코더.
  7. 제 6 항에 있어서,
    상기 분할기는 임계값 이하의 공간 주파수들을 갖는 상기 상대 프레임들의 데이터를 상기 제 1 데이터 서브세트들로 분할하고,
    상기 임계값 이하가 아닌 공간 주파수들을 가지는 상기 상대 프레임들의 데이터를 상기 제 2 데이터 서브세트로 분할하도록 동작되는, 비디오 인코더.
  8. 제 1 항에 있어서, 상기 전송기는 상기 제 1 및 제 2 데이터 서브세트들 중 적어도 하나의 데이터 서브세트에 대하여 프로그레시브하게 스케일링이 가능한 데이터 스트림들을 생성 및 전송하도록 동작되는, 비디오 인코더.
  9. 제 1 항에 있어서, 상기 전송기는 비디오 품질 중요도가 감소하는 순서로 상기 제 1 및 제 2 서브세트들 중 적어도 하나의 데이터 서브세트의 데이터를 전송하도록 동작되는, 비디오 인코더.
  10. 제 9 항에 있어서, 상기 전송기는 연관된 공간 주파수가 증가하는 순서로 상기 제 1 및 제 2 데이터 서브세트들 중 적어도 하나의 데이터 서브세트의 데이터를 전송하도록 동작되는, 비디오 인코더.
  11. 제 10 항에 있어서,
    상기 전송기는,
    상기 제 1 및 제 2 데이터 서브세트들 중 상기 적어도 하나의 데이터 서브세트의 상기 데이터를 실질적으로 동일한 연관된 공간 주파수들을 가지는 상기 관련된 프레임들 중 적어도 하나의 프레임의 모든 데이터 값들을 포함하는 서브밴드(subband) 그룹들로 배열하고, 연관된 공간 주파수가 증가하는 순서로 각각의 서브밴드 그룹을 순차적으로 전송하도록 동작되는, 비디오 인코더.
  12. 제 1 항에 있어서,
    상기 비디오 인코더는 비디오 트랜스코더(transcoder)이고, 상기 수신된 비디오 프레임들은 압축된 비디오 프레임들인, 비디오 인코더.
  13. 비디오 프레임들에 대한 비디오 인코딩 방법에 있어서,
    상기 비디오 프레임들을 수신하는 단계;
    상기 수신된 비디오 프레임들 및 예측 프레임들로부터 상대 프레임들을 도출하는 단계;
    상기 관련된 프레임들의 상기 데이터를 제 1 데이터 서브세트들 및 제 2 데이터 서브세트들로 분할하는 단계;
    상기 수신된 비디오 프레임들과, 상기 제 1 및 제 2 데이터 서브세트들 중 단지 제 1 데이터 서브세트들에만 응답하여 움직임 보상 파라미터들을 생성하는 단계;
    상기 움직임 보상 파라미터들, 상기 제 1 데이터 서브세트들 및 상기 수신된 프레임들에 응답하여 상기 예측 프레임들을 생성하는 단계; 및
    상기 움직임 보상 파라미터들, 상기 제 1 데이터 서브세트들 및 상기 제 2 데이터 서브세트들을 포함하는 비디오 신호를 전송하는 단계를 포함하는, 비디오 인코딩 방법.
  14. 제 13 항에 따른 방법의 수행을 가능하게 하는 컴퓨터 프로그램.
KR1020057005222A 2002-09-27 2003-08-18 스케일링 가능한 비디오 인코딩 KR20050061483A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02079064 2002-09-27
EP02079064.8 2002-09-27

Publications (1)

Publication Number Publication Date
KR20050061483A true KR20050061483A (ko) 2005-06-22

Family

ID=32039179

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057005222A KR20050061483A (ko) 2002-09-27 2003-08-18 스케일링 가능한 비디오 인코딩

Country Status (7)

Country Link
US (1) US20060008002A1 (ko)
EP (1) EP1547392A1 (ko)
JP (1) JP2006500849A (ko)
KR (1) KR20050061483A (ko)
CN (1) CN1685731A (ko)
AU (1) AU2003253190A1 (ko)
WO (1) WO2004030368A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101341111B1 (ko) * 2007-01-18 2013-12-13 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 화질 스케일러블 비디오 데이터 스트림

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050201629A1 (en) * 2004-03-09 2005-09-15 Nokia Corporation Method and system for scalable binarization of video data
KR100703746B1 (ko) * 2005-01-21 2007-04-05 삼성전자주식회사 비동기 프레임을 효율적으로 예측하는 비디오 코딩 방법 및장치
US20060233255A1 (en) * 2005-04-13 2006-10-19 Nokia Corporation Fine granularity scalability (FGS) coding efficiency enhancements
KR100891662B1 (ko) 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
KR20070038396A (ko) 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR20070096751A (ko) * 2006-03-24 2007-10-02 엘지전자 주식회사 영상 데이터를 코딩/디코딩하는 방법 및 장치
US8401082B2 (en) * 2006-03-27 2013-03-19 Qualcomm Incorporated Methods and systems for refinement coefficient coding in video compression
AU2007309044B2 (en) * 2006-10-23 2011-04-28 Vidyo, Inc. System and method for scalable video coding using telescopic mode flags
EP1944978A1 (en) * 2007-01-12 2008-07-16 Koninklijke Philips Electronics N.V. Method and system for encoding a video signal. encoded video signal, method and system for decoding a video signal
CN101272587B (zh) * 2007-03-19 2011-03-09 展讯通信（上海）有限公司 一种视频渐进接收方法及应用其的视频彩铃接收方法
EP2086237B1 (en) * 2008-02-04 2012-06-27 Alcatel Lucent Method and device for reordering and multiplexing multimedia packets from multimedia streams pertaining to interrelated sessions
US9762912B2 (en) * 2015-01-16 2017-09-12 Microsoft Technology Licensing, Llc Gradual updating using transform coefficients for encoding and decoding
US10938503B2 (en) * 2017-12-22 2021-03-02 Advanced Micro Devices, Inc. Video codec data recovery techniques for lossy wireless links
CN113473139A (zh) * 2020-03-31 2021-10-01 华为技术有限公司 一种图像处理方法和图像处理装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6785330B1 (en) * 1999-08-19 2004-08-31 Ghildra Holdings, Inc. Flexible video encoding/decoding method
US6614936B1 (en) * 1999-12-03 2003-09-02 Microsoft Corporation System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding
JP3496613B2 (ja) * 2000-02-10 2004-02-16 日本電気株式会社 デジタルコンテンツのコピー制御方法及び装置
US7068717B2 (en) * 2000-07-12 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for dynamic allocation of scalable selective enhanced fine granular encoded images
US6940905B2 (en) * 2000-09-22 2005-09-06 Koninklijke Philips Electronics N.V. Double-loop motion-compensation fine granular scalability
US20020126759A1 (en) * 2001-01-10 2002-09-12 Wen-Hsiao Peng Method and apparatus for providing prediction mode fine granularity scalability
US20020118743A1 (en) * 2001-02-28 2002-08-29 Hong Jiang Method, apparatus and system for multiple-layer scalable video coding
US7062096B2 (en) * 2002-07-29 2006-06-13 Matsushita Electric Industrial Co., Ltd. Apparatus and method for performing bitplane coding with reordering in a fine granularity scalability coding system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101341111B1 (ko) * 2007-01-18 2013-12-13 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 화질 스케일러블 비디오 데이터 스트림
US9113167B2 (en) 2007-01-18 2015-08-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Coding a video signal based on a transform coefficient for each scan position determined by summing contribution values across quality layers

Also Published As

Publication number Publication date
EP1547392A1 (en) 2005-06-29
WO2004030368A1 (en) 2004-04-08
US20060008002A1 (en) 2006-01-12
JP2006500849A (ja) 2006-01-05
AU2003253190A1 (en) 2004-04-19
CN1685731A (zh) 2005-10-19

Similar Documents

Publication Publication Date Title
US8031776B2 (en) Method and apparatus for predecoding and decoding bitstream including base layer
US6639943B1 (en) Hybrid temporal-SNR fine granular scalability video coding
KR100954816B1 (ko) 비디오 및 비디오 신호를 코딩하는 방법, 비디오를 코딩하기 위한 장치 및 컴퓨터 판독 가능한 기록 매체, 및 베이스 층 데이터-스트림과 강화층 데이터-스트림을 디코딩하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US6501797B1 (en) System and method for improved fine granular scalable video using base layer coding information
AU2006201490B2 (en) Method and apparatus for adaptively selecting context model for entropy coding
US6130911A (en) Method and apparatus for compressing reference frames in an interframe video codec
US20060120450A1 (en) Method and apparatus for multi-layered video encoding and decoding
US6961383B1 (en) Scalable video encoder/decoder with drift control
KR20010080644A (ko) 기저층 양자화 데이터를 이용하여 향상층 데이터를 엔코딩및 디코딩하는 시스템 및 방법
US20060262985A1 (en) System and method for scalable encoding and decoding of multimedia data using multiple layers
US20070116125A1 (en) Video encoding/decoding method and apparatus
US7245662B2 (en) DCT-based scalable video compression
KR20040047977A (ko) 공간적으로 스케일가능한 압축
JP2005535250A (ja) 後方向適応化を使用した映像符号化のレート歪最適化データ・パーティショニングのシステム及び方法
EP1145561A1 (en) System and method for encoding and decoding the residual signal for fine granular scalable video
KR20060006328A (ko) 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
US8340181B2 (en) Video coding and decoding methods with hierarchical temporal filtering structure, and apparatus for the same
CN101077011A (zh) 运用精细粒度可伸缩性技术进行数字视频实时代码转换的系统和方法
KR20050061483A (ko) 스케일링 가능한 비디오 인코딩
US20060250520A1 (en) Video coding method and apparatus for reducing mismatch between encoder and decoder
WO2005032138A1 (en) System and method for combining advanced data partitioning and fine granularity scalability for efficient spatio-temporal-snr scalability video coding and streaming
US20070165717A1 (en) System and method for rate-distortion optimized data partitioning for video coding using parametric rate-distortion model
KR20070033313A (ko) 콘벡스 훌 탐색을 이용한 레이트-왜곡 비디오 데이터 분할
AU2008201768A1 (en) Method and apparatus for adaptively selecting context model for entropy coding
Lambert et al. BITPLANE INTRA CODING WITH DECODER-SIDE MODE DECISION IN DISTRIBUTED VIDEO CODING

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid