KR20060132977A

KR20060132977A - 비디오 프로세싱 방법 및 대응하는 인코딩 디바이스

Info

Publication number: KR20060132977A
Application number: KR1020067020416A
Authority: KR
Inventors: 스테판 미에텐스
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2004-03-31
Filing date: 2005-03-22
Publication date: 2006-12-22
Also published as: CN1939064A; US20070183673A1; JP2007531445A; WO2005096633A1; EP1733563A1

Abstract

본 발명은 연속적인 프레임들로 구성되는 입력 이미지 시퀀스를 프로세싱하도록 제공되며, 각각의 연속적인 프레임에 대해 (a) 이른바 CCS(content-change strenth)를 각각의 프레임에 대해 계산하는 제 1 부단계와, 상기 연속적인 프레임들 및 상기 CCS로부터 프로세싱될 상기 연속적인 프레임들의 구조를 규정하는 제2 부단계에 의해 각각의 연속적인 현재 프레임을 사전 프로세싱하는 단계와, (b) 상기 사전 프로세싱된 프레임들을 프로세싱하는 단계들을 포함하는 비디오 프로세싱 방법에 관한 것이다. 상기 프레임들은 블록들, 세그먼트들, 또는 어떠한 종류의 형상의 오브젝트들과 같은 하부 구조들로 가능한 한 또는 바람직하도록 더 분할된다. 이러한 방법은 예를 들어 비디오 콘텐츠 분석 시스템들에서 비디오 인코딩 방법의 구현에 적용될 수 있다.

인코딩 디바이스, 콘텐츠-변화 강도, 기준 프레임, 움직임 보상, 움직임 벡터, 코딩 모듈

Description

비디오 프로세싱 방법 및 대응하는 인코딩 디바이스{Video processing method and corresponding encoding device}

본 발명은 연속적인 프레임들로 구성되는 입력 이미지 시퀀스를 프로세싱하도록 제공되는 비디오 프로세싱 방법에 관한 것이며, 각각의 연속적인 프레임에 대해 상기 프로세싱 방법은,

a) - 각각의 프레임에 대해 이른바 콘텐츠-변화 강도(content-change strength; CCS)를 계산하는 부단계와,

- 상기 연속적인 프레임들 및 상기 계산된 콘텐츠 체인지 강도로부터 프로세싱될 상기 연속적인 프레임들의 구조를 규정하는 부단계에 의해, 각각의 연속적인 현재 프레임을 사전 프로세싱하는 단계; 및

b) 상기 사전 프로세싱된 프레임들을 프로세싱하는 단계들을 포함한다.

상기 방법은 예를 들어 컴퓨터 비전(computer vision) 및 콘텐츠 분석 시스템들에서 사용될 수 있다. 이러한 애플리케이션들에 있어서, 상기 프로세싱 방법을 구현할 때 그러한 시스템들에 의해 생성되는 정보는 예를 들어 MPEG-7 표준의 사용을 포함하는 애플리케이션들에 저장될 수 있거나, 예를 들어 주변 광 제어, 스케일러블 시스템들(scalable systems) 내 프로세싱 리소스 할당(processing-resource allocation), 및 보안 시스템들 내 웨이크-업 트리거(wake-up trigger)와 같은 애 플리케이션들에 직접적으로 사용될 수 있다.

비디오 압축에 있어서, 코딩된 비디오 시퀀스의 송신에 대한 낮은 비트 레이트들은 연속적인 픽쳐들 사이에서 다른 것들 중에서 시간적인 리던던시(temporal redundancy)의 감소에 따라 획득될 수 있다. 그러한 감소는 움직임 추정(motion estimation; ME) 및 움직임 보상(motion compensation; MC) 테크닉들에 기초한다. 그러나, 비디오 시퀀스의 현재 프레임에 대해 ME 및 MC를 수행하는 것은 (또한, 앵커 프레임들(anchor frames)로도 불리는) 기준 프레임들을 요구한다. 예로서, 서로 다른 프레임들 형태들, 즉 I, P, B 프레임들과 같이 MPEG-2를 취하는 것은 상기 ME 및 MC 테크닉들이 서로 다르게 수행되는 것으로 규정되어 있다: P-프레임들(또는 포워드 예측된 픽쳐들(forward predicted picture))이 과거 프레임과 비교하여(즉, 이전 기준 프레임으로부터 움직임 보상을 통해) 각각이 인코딩되는 반면에, I-프레임(또는 인트라 프레임들(intra frames))은 그것들 자체에 의해 독립적으로 코딩되며, B-프레임들(또는 양방향 예측된 프레임들)은 2개의 기준 프레임들(과거 프레임 및 장래 프레임)과 비교하여 인코딩된다. I 및 P 프레임들 모두 기준 프레임들로 사용될 수 있다.

양호한 프레임 예측들을 얻기 위해, 이러한 기준 프레임들은 고품질일 필요가 있으며, 즉 많은 비트들이 그것들을 코딩하기 위해 소모되어야 하는 반면에, 비-기준 프레임들(non-reference frames)은 더 낮은 품질일 수 있다(이러한 이유에 따라, 더 높은 수의 비-기준 프레임들, MPEG-2의 경우에 B 프레임들은 일반적으로 더 낮은 비트 레이트들을 사용하도록 허용한다). 어느 입력 프레임이 I 프레임, P 프레임, 또는 B 프레임으로 프로세싱되는지를 표시하기 위해, GOP들(groups of pictures)에 기초하는 구조가 MPEG-2에서 규정되어 있다. 보다 정확하게는, GOP는 2개의 파라미터들 N 및 M을 사용하며, 여기서 N은 2개 I 프레임들 사이의 시간적 거리이고 M은 기준 프레임들(I 및 P 프레임들) 사이의 시간적 거리이다. 예를 들어, N=12 및 M=4를 갖는 (N,M)-GOP는 "I B B B P B B B P B B B" 구조를 규정하여 공통으로 사용되며, 그 후에 그것이 반복된다.

계속되는 프레임들은 일반적으로 그것들 사이의 더 큰 시간적 거리를 갖는 프레임들보다 더 높은 시간적 상관성을 가진다. 그러므로, 한편으로 현재 예측된 프레임 및 기준 프레임 사이의 더 짧은 시간적 거리들이 더 높은 예측 품질을 이끌어 내지만, 다른 한편으로 더 적게 비-기준 프레임들이 사용될 수 있다. 더 높은 예측 품질 및 더 높은 수의 비-기준 프레임들은 일반적으로 더 낮은 비트 레이트들을 결과로 나타내지만, 그것들은 프레임 예측 품질이 더 짧은 시간적 거리들만을 결과로 나타내기 때문에 서로에 대해 작용한다.

그러나, 상기 품질은 실제로 기준들로 작용하도록 기준 프레임들의 유용성에 의존한다. 예를 들어, 장면 변화 바로 이전에 위치된 기준 프레임과 함께 장면 변화 바로 이후에 위치되는 프레임의 예측은 그것들이 단지 1의 프레임 거리(frame distance)를 가질 수 있을지라도 상기 기준 프레임과 관련하여 가능하지 않다는 것이 명백하다. 반대로, (비디오 회의 또는 뉴스들과 같은) 끊김 없거나 거의 끊김 없는 콘텐츠를 통한 장면들에서 심지어 100 이상의 프레임 거리는 여전히 고품질 예측으로 될 수 있다.

상기 언급된 예들로부터, 공통으로 사용되는 (12,4)-GOP와 같은 고정된 GOP 구조가 비디오 시퀀스를 코딩하기에 불충분할 수 있으며, 그 이유는 기준 프레임들이 장면 변화 바로 이전에 위치된다면, 끊김 없는 콘텐츠의 경우에서 또는 부적절한 포지션에서 그것들이 너무 자주 유입되기 때문이라는 것이 나타난다. 장면 변화 검출은 프레임의 양호한 예측(I 프레임이 이러한 장소에 위치되지 않는 경우)이 장면 변화로 인해 가능하지 않은 포지션에서 I 프레임을 받아들이도록 개발될 수 있는 공지된 테크닉이다. 그러나, 시퀀스들은 몇 개의 프레임들이 전혀 장면 변화가 없는 높은 움직임을 가진 후에(예를 들어, 테니스 선수가 단독 장면 내에서 연속적으로 추적되는 시퀀스에서) 프레임 콘텐츠가 거의 완전히 서로 다른 경우, 그러한 테크닉들로부터 이득을 얻지 못한다.

출원 번호 03300155.3(PHFR030124)를 갖는 2003년 10월 14일에 출원인에 의해 이미 출원된 이전 유럽 특허 출원서에서는 보다 양호한 기준 프레임들을 찾는 방법을 기술하고 있다. 상기 이전 솔루션의 원리는 도 1에 도시되고 이하 열거되는 몇 가지 단순한 규칙들에 기초하여 콘텐츠 변화의 강도(또는 레벨)를 측정하는 것이다(수평 축은 관련된 프레임의 수에 대응하고, 수직축은 콘텐츠 변화의 강도의 레벨에 대응한다): 콘텐츠 변화의 측정된 강도는 레벨들에 따라 양자화되고(일반적으로, 레벨들의 수가 제한적일 수 없을지라도, 레벨들의 적은 수, 예를 들어 5로 충분하다), I 프레임들은 P 프레임들이 CCS의 레벨 증가가 발생하기 이전이나 CCS의 레벨 감소가 발생한 이후에 삽입되는 반면에, 레벨 0의 콘텐츠-변화 강도(CCS) 를 갖는 프레임들의 시퀀스의 초기에 삽입된다. 상기 측정은 예를 들어 수평 및 수직 에지들이나, 휘도, 움직임 벡터들 등등에 기초하는 다른 형태들의 측정들을 검출하는 단순한 블록 분류일 수 있다.

MPEG 인코딩 경우에서 이러한 이전 방법의 구현의 예가 도 2에 도시되어 있다. 예시된 인코더는 코딩 브랜치(coding branch; 101) 및 예측 브랜치(prediction branch; 102)를 포함한다. 브랜치(101)에 의해 수신되는 코딩될 신호들은 DCT 및 양자화 모듈(11)에서 계수들로 변환되며, 그 후 양자화된 계수들은 움직임 벡터들(MV)과 함께 코딩 모듈(13)에서 코딩된다. DCT 및 양자화 모듈(11)의 출력에서 사용가능한 신호들을 입력 신호들로서 수신하는 예측 브랜치(102)는 직렬로 역 양자화 및 역 DCT 모듈(21), 가산기(23), 프레임 메모리(24), 움직임 보상(MC) 회로(25), 및 감산기(26)를 포함한다. MC 회로(25)는 또한 프레임 메모리(24)의 출력과 (이하 설명되는 바와 같이 규정되는) 입력 재정렬된 프레임들로부터의 움직임 추정(ME) 회로(27)(많은 형태들의 움직임 추정기들이 사용될 수 있다)에 의해 생성되는 움직임 벡터들을 수신하며, 이러한 움직임 벡터들(MV)은 또한 코딩 모듈(13)로 향해 전송되고, 그것의 출력("MPEG 출력")은 멀티플렉싱된 비트스트림의 형태로 저장되거나 송신된다.

인코더의 비디오 입력(계속되는 프레임들(Xn))은 사전 프로세싱 브랜치(103)에서 사전 프로세싱된다. 우선적으로, GOP 구조 규정 회로(31)가 GOP들의 구조를 계속되는 프레임들로부터 규정하도록 제공된다. 프레임 메모리들(32a, 32b, .....)은 그 후 회로(31)의 출력에서 사용가능한 I, P, B 프레임들의 시퀀스를 재정렬하 도록 제공된다(기준 프레임들은 상기 기준 프레임들에 의존하는 비-기준 프레임들 이전에 코딩 및 송신되어야 한다). 이러한 재정렬된 프레임들은 감산기(26)의 양의 입력에 대해 전송된다(그것의 음의 입력은 상기 기술된 바와 같이 MC 회로(25)의 출력에서 사용가능한 출력 예측된 프레임들을 수신하고, 이러한 출력 예측된 프레임들은 또한 가산기(23)의 제 2 입력에 다시 전송된다). 감산기(26)의 출력은 코딩 브랜치(101)에 의해 프로세싱되는 코딩될 신호들인 프레임 차이들을 전달한다. GOP 구조, CCS 계산 회로(33)의 정의에 대해, 회로(31)를 향해 전송되는 출력이 마지막으로 제공된다. CCS의 측정은 상기 표시된 바와 같이 얻어진다.

그에 따라, 본 발명의 목적은 서로 다른 애플리케이션들에 대해 새로운 구조를 이끌어 내는 상기 CCS 표시에 기초하는 프로세싱 방법을 제공하는 것이다.

이러한 목적을 위해, 본 발명은 본 발명의 서두에 기술된 바와 같은 방법에 관한 것이며, 그것은 더욱이 상기 CCS 표시가 상기 콘텐츠의 어떠한 특징의 검출을 위해 추가적인 입력을 제공하는 비디오 콘텐츠 분석 단계에서 재사용되는 것을 특징으로 한다.

상기 방법이 수행될 때, 각각의 프레임은 블록들, 세그먼트들, 또는 어떠한 종류의 형상의 오브젝트들과 같은 하부 구조들로 그 자체가 재분할될 수 있다.

본 발명의 다른 목적은 본 발명의 원리에 기초하는 콘텐츠 분석 단계를 포함하는 비디오 인코딩 방법의 구현으로 상기 프로세싱 방법의 애플리케이션을 제공하는 것이다.

이러한 목적을 위해, 본 발명은 연속적인 프레임들로 구성되는 입력 이미지 시퀀스를 인코딩하도록 제공되는 비디오 인코딩 방법의 구현에 대해 청구항 1에 따른 방법의 애플리케이션에 관한 것이며, 상기 인코딩 방법은,

a) - 각각의 프레임에 대해 이른바 콘텐츠-변화 강도(CCS)를 계산하는 부단계와,

- 상기 연속적인 프레임들 및 상기 계산된 콘텐츠-변화 강도로부터 인코딩될 상기 연속적인 프레임들의 구조를 규정하는 부단계와,

- 프레임들의 원 시퀀스의 순서와 관련하여 변경된 순서로 인코딩될 상기 프레임들을 저장하는 부단계에 의해, 각각의 연속적인 현재 프레임을 사전 프로세싱하는 단계; 및

b) 상기 재정렬된 프레임들을 인코딩하는 단계

를 각각의 연속적인 프레임에 대해 포함하며, 여기서 상기 CCS 표시는 상기 콘텐츠의 어떠한 특징의 검출을 위해 추가적인 입력을 제공하는 비디오 콘텐츠 분석 단계에서 재사용된다.

본 발명은 또한 상기 비디오 인코딩 방법을 구현하기 위한 디바이스에 관한 것이다.

도 1은 코딩될 비디오 시퀀스의 기준 프레임들의 장소를 규정하는 상기 인용된 이전 유럽 특허 출원서에서 사용되는 규칙들을 도시하는 도면.

도 2는 상기 유럽 특허 출원서에서 기술된 방법을 MPEG 인코딩에서 수행하게 하는 인코더를 도시하는 도면.

도 3은 MPEG-7 프로세싱 체인의 개략적인 블록도.

도 4는 본 발명에 따른 방법을 수행하는 인코더를 도시하는 도면.

본 발명은 첨부된 도면들을 참조하여 예를 따라 이제부터 기술될 것이다.

본 발명의 실시예는 예를 들어 다음과 같을 수 있다. 수십 년 동안 (텍스트, 이미지들, 사운드 등등과 같은 미디어의 몇 가지 형태들로 구성된) 정보의 대량의 데이터베이스들의 개발이 이루어져 왔으며, 상기 정보가 특징지어지고, 표현되고, 인덱싱되고, 저장되고, 송신되며, 검색되어야 한다는 것은 알려져 있다. 적절한 예는 예를 들어 MPEG-7 표준, 즉 "멀티미디어 콘텐츠 기술 인터페이스(Multimedia Content Description Interface)"에 관련하여 제시될 수 있으며, 콘텐츠 기반 검색 문제들에 초점을 맞춘다. 이러한 표준은 그러한 멀티미디어 콘텐츠를 기술하기 위한 일반적인 방식들을 제안하며, 즉 멀티미디어 정보의 이러한 다양한 형태들을 기술하기 위해 사용될 수 있는 기술자들의 표준 세트와, 또한 텍스트, 색상, 텍스쳐, 움직임, 시맨틱 콘텐츠(semantic content) 등등과 같은 다양한 형태들의 특징들에 기초하여 빠르고 효율적인 검색을 허용하기 위해 이러한 기술자들(기술 방식들)의 관련성을 규정하는 방식들을 명시한다.

어떠한 멀티미디어 콘텐츠를 프로세싱하도록 제공되는 가능한 MPEG-7 프로세싱 체인의 개략적인 블록도가 도 3에 도시되어 있다. 이러한 프로세싱 체인은 코딩 측에서 MPEG-7 표준이 적용되어 이러한 결과를 위해 MPEG-7 정의 언어를 산출하기 위한 ㅁ모듈(321)과 MPEG-7 기술자들 및 기술 방식들을 규정하기 위한 모듈(322)을 포함하는 상기 멀티미디어 콘텐츠에 대해 동작하는 피쳐 추출 서브-어셈블리(feature extraction sub-assembly; 301), 표준 서브-어셈블리(standard sub-assembly; 302), 표준 기술 서브-어셈블리(standard description sub-assembly; 303), 코딩 서브-어셈블리(coding sub-assembly; 304)를 포함한다(도 3은 또한 이러한 저장된 코딩된 데이터의 판독 동작이나 코딩된 데이터의 송신 동작 바로 이후에 디코딩 서브-어셈블리(306), 및 사용자에 의해 제어되는 행동들에 응답하여 작동하는 탐색 엔진(307)을 포함하는 디코딩 측을 개략적으로 도시하고 있다).

그 후, 서브-어셈블리들(303, 304)을 포함하는 디바이스의 보다 상세한 것이 도 4에 도시되어 있으며, 몇 가지 참조 부호들은 그것들이 유사한 회로들에 대응할 때 도 2에 표시된 것들과 유사한 번호들로 병기된다. 코딩 서브-어셈블리(304)는 코딩 브랜치를 포함하며, 상기 브랜치에 의해 수신되는 코딩될 신호들이 양자화 모듈(412)에서 양자화되는 DCT 모듈에서 계수들로 변환되며, 그 후에 양자화된 계수들은 상기 모듈(413)에 의해 또한 수신되는 움직임 벡터들(MV)과 함께 코딩 모듈(413)에서 코딩된다. 코딩 서브-어셈블리(304)는 또한 양자화 모듈(412)의 출력에서 사용가능한 신호들을 입력 신호들로 수신하는 예측 브랜치를 포함하며, 그것은 직렬로 역 양자화 모듈(421), 역 DCT 모듈(422), 가산기(423), 프레임 메모리(424), MC 회로(425), 및 감산기(426)를 포함한다. MC 회로(425)는 또한 (이하 설명된 바와 같이 규정되는) 입력 재정렬된 프레임들 및 프레임 메모리(424)의 출력으로부터 ME 회로(427)에 의해 생성되는 움직임 벡터들을 수신하고, 이러한 움직 임 벡터들은 또한 상기 언급된 바와 같이 코딩 모듈(413)을 향해 전송되며, 그것("비디오 스트림 출력")의 출력은 멀티플렉싱된 비트스트림의 형태로 저장되거나 송신된다.

본 명세서에서 제안되는 방법에 따라, 인코더의 비디오 입력(연속적인 프레임들(Xn))은 사전 프로세싱 브랜치에서 사전 프로세싱되며, GOP 구조 규정 회로(531)는 GOP들의 구조를 연속적인 프레임들로부터 규정하고 프레임 메모리들(532a, 532b, ......)이 회로(531)의 출력에서 사용가능한 I, P, B 프레임들의 시퀀스를 재정렬하도록 제공된다(기준 프레임들은 비-기준 프레임들이 상기 기준 프레임들에 의존하기 이전에 코딩 및 송신되어야 한다). 이러한 재정렬된 프레임들은 감산기(426)의 양의 입력에 대해 전송되며, 그것의 음의 입력은 상기 기술된 바와 같이 MC 회로(425)의 출력에서 사용가능한 출력 예측된 프레임들을 수신하고(이러한 예측된 프레임들은 또한 가산기(423)의 제 2 입력에 다시 전송된다) 그것의 출력은 코딩 브랜치에 의해 프로세싱되는 신호들인 프레임 차이들을 전달한다. GOP 구조, CCS 계산 회로(533)의 정의에 따라, 회로(531)를 향해 전송되는 그것의 출력이 마지막으로 제공되고, 상기 표시된 바에 따라 얻어지는 CCS의 측정은 실제로 서브-어셈블리(303)의 메인 회로인 콘텐츠 분석 회로(540)를 향해 전송된다. 그것은 이와 같이 분석된 콘텐츠를 기술할 표준 요소들을 규정하기 위해 표준 서브-어셈블리(302)에 접속된다.

따라서, 회로(540)는 예를 들어 비디오 요약의 관점에서 상기 비디오를 사전에 필터링하기 위해 다른 형태들의 프로세싱들에 대해서나 최초 비디오의 장르 및 무드와 같은 것을 검출하기 위해 어떠한 종류의 검출에 대해서도 추가적인 입력을 제공할 수 있다: 예를 들어, 변화없는 콘텐츠를 나타내는 장면의 단지 하나의 프레임이 상기 장면에서 프레임들의 유사성 때문에 추가로 프로세싱된다.

본 발명이 상기 언급된 실시예들에 제한되지 않으며, 변형들 및 수정들이 첨부된 특허청구범위에서 규정된 바와 같이 본 발명의 취지 및 범위로부터 벗어나지 않으며 제공될 수 있다는 것을 이해해야 한다.

하드웨어 또는 소프트웨어나, 둘 모두의 아이템들에 의해 본 발명에 따른 방법의 기능들을 구현하는 다양한 방식들이 존재한다. 도면들은 매우 개략적이며, 단지 본 발명의 한가지 가능한 실시예를 나타낸다. 도면들이 서로 다른 블록들로 서로 다른 기능들을 나타내는 경우, 소프트웨어 또는 하드웨어의 단일 아이템이 몇 가지 기능들을 수행하는 것이나 하드웨어 또는 소프트웨어나 둘 모두의 아이템들의 조합이 기능을 수행한다는 것을 배제하지 않는다. 상기 하드웨어 또는 소프트웨어 아이템들은 유선 전자 회로들이나 적절한 방식에 따라 적절히 프로그래밍되는 집적 회로에 의해서 몇 가지 방식들로 구현될 수 있다.

다음의 특허청구범위 내 어떠한 참조 부호도 그것들을 제한하는 것으로 해석되지 않아야 한다. 동사 "포함하다"와 그것의 활용의 사용이 어떠한 청구항에 규정된 것들과는 다른 단계들 또는 요소들의 존재를 배제하지 않는다는 것이 명백할 것이다. 요소 또는 단계에 선행하는 관사 "하나"는 복수의 그러한 요소들 또는 단계들의 존재를 배제하지 않는다.

Claims

연속적인 프레임들로 구성되는 입력 이미지 시퀀스를 프로세싱하도록 제공되는 비디오 프로세싱 방법에 있어서,

상기 프로세싱 방법은 각각의 연속적인 프레임에 대해:

a) - 각각의 프레임에 대해 이른바 콘텐츠-변화 강도(content-change strength; CCS)를 계산하는 부단계와,

- 상기 연속적인 프레임들 및 상기 계산된 콘텐츠-변화 강도로부터 프로세싱될 상기 연속적인 프레임들의 구조를 규정하는 부단계에 의해, 각각의 연속적인 현재 프레임을 사전 프로세싱하는 단계; 및

b) 상기 사전 프로세싱된 프레임들을 프로세싱하는 단계들을 포함하고,

상기 CCS 표시는 상기 콘텐츠의 어떠한 특징의 검출을 위해 추가적인 입력을 제공하는 비디오 콘텐츠 분석 단계에서 다시 사용되는, 비디오 프로세싱 방법.
제 1 항에 있어서,

각각의 프레임은 그 자체가 하부 구조들로 재분할되는, 비디오 프로세싱 방법.
제 2 항에 있어서,

상기 하부 구조들은 블록들인, 비디오 프로세싱 방법.
제 2 항에 있어서,

상기 하부 구조들은 어떠한 종류의 형상들의 오브젝트들(objects)인, 비디오 프로세싱 방법.
제 2 항에 있어서,

상기 하부 구조들은 세그먼트들인, 비디오 프로세싱 방법.
연속적인 프레임들로 구성되는 입력 이미지 시퀀스를 인코딩하도록 제공되는 비디오 인코딩 방법의 구현에 대한 제 1 항에 따른 방법의 애플리케이션에 있어서,

상기 인코딩 방법은 각각의 연속적인 프레임에 대해:

a) - 각각의 프레임에 대해 이른바 콘텐츠-변화 강도(CCS)를 계산하는 부단계와,

- 상기 연속적인 프레임들 및 상기 계산된 콘텐츠-변화 강도로부터 인코딩될 상기 연속적인 프레임들의 구조를 규정하는 부단계와,

- 프레임들의 원 시퀀스의 순서와 관련하여 변경된 순서로 인코딩될 상기 프레임들을 저장하는 부단계에 의해, 각각의 연속적인 현재 프레임을 사전 프로세싱하는 단계; 및

b) 상기 재정렬된 프레임들을 인코딩하는 단계를 포함하고,

상기 CCS 표시는 상기 콘텐츠의 어떠한 특징의 검출을 위해 추가적인 입력을 제공하는 비디오 콘텐츠 분석 단계에서 재사용되는, 애플리케이션.
제 6 항에 있어서,

각각의 프레임은 하부 구조들로 그 자체가 재분할되는, 애플리케이션.
제 7 항에 있어서,

상기 하부 구조들은 블록들인, 애플리케이션.
제 7 항에 있어서,

상기 하부 구조들은 어떠한 종류의 형상들의 오브젝트들인, 애플리케이션.
제 7 항에 있어서,

상기 하부 구조들은 세그먼트들인, 애플리케이션.
각각의 프레임이 블록들로 그 자체가 재분할되는 프레임들의 연속적인 그룹들로 구성되는 입력 이미지 시퀀스를 인코딩하도록 제공되는 비디오 인코딩 디바이스에 있어서,

상기 인코딩 디바이스는, 각각의 연속적인 프레임에 적용되는,

a) 각각의 연속적인 현재 프레임에 적용되는 사전 프로세싱 수단;

b) 각각의 블록에 대해 움직임 벡터를 추정하도록 제공되는 추정 수단;

c) 상기 현재 프레임의 블록들과 각각 연관되는 상기 움직임 벡터들에 기초하여 예측된 프레임을 생성하도록 제공되는 생성 수단;

d) 상기 현재 프레임 및 마지막 예측된 프레임 사이의 차이 신호에 복수의 계수들을 생성하는 변환을 적용하도록 제공되고 상기 계수들의 양자화가 후속되는 변환 및 양자화 수단; 및

e) 상기 양자화된 계수들을 인코딩하도록 제공되는 코딩 수단을 포함하고,

상기 사전 프로세싱 수단은 그 자체가:

- 이른바 콘텐츠-변화 강도(CCS)를 각각의 프레임에 대해 계산하도록 제공되는 계산 수단;

- 상기 연속적인 프레임들 및 상기 계산된 콘텐츠-변화 강도로부터 인코딩될 프레임들의 상기 연속적인 그룹들의 구조를 규정하도록 제공되는 규정 수단; 및

-프레임들의 원 시퀀스의 순서와 관련하여 변경된 순서로 인코딩될 상기 프레임들을 저장하도록 제공되는 저장 수단을 포함하며,

상기 CCS 표시는 상기 콘텐츠의 어떠한 특징의 검출을 위해 추가적인 입력을 제공하는 비디오 콘텐츠 분석 단계에서 재사용되는, 비디오 인코딩 디바이스.