KR101161052B1

KR101161052B1 - 비디오 전화통신에서의 비트 레이트 감소를 위한 방법 및 장치

Info

Publication number: KR101161052B1
Application number: KR1020097013271A
Authority: KR
Inventors: 제랄드 알. 조이스; 티모시 엠. 버크; 데이비드 알. 플라나간
Original assignee: 제너럴 인스트루먼트 코포레이션
Priority date: 2006-12-27
Filing date: 2007-11-07
Publication date: 2012-06-28
Also published as: WO2008082790A2; EP2127110A4; KR20090085128A; WO2008082790A3; EP2127110A2; US7653130B2; WO2008082790A4; US20080159385A1; EP2127110B1

Abstract

비디오를 인코딩하기 위한 방법 및 장치가 설명된다. 일 실시예에서, 복수의 블록 각각에 대한 모션 벡터들의 평균이 비디오 내의 인터 코딩된(inter-coded) 프레임들의 임계 수에 대해 유지된다. 복수의 블록 각각에 대한 모션 벡터들의 이동 평균이 임계치와 비교된다. 임계치를 만족시키지 못하는 이동 평균을 갖는 복수의 블록 각각은 제1 양자화 파라미터를 이용하여 인코딩된다. 임계치를 만족시키는 이동 평균을 갖는 복수의 블록 각각은 제2 양자화 파라미터를 이용하여 인코딩된다. 제2 양자화 파라미터는 제1 양자화 파라미터보다 거친(coarse) 변환된 계수들의 양자화로 이어진다.

비디오 전화통신, 비트 레이트 감소, 비디오 인코딩, 양자화 파라미터, 이동 평균

Description

비디오 전화통신에서의 비트 레이트 감소를 위한 방법 및 장치{METHOD AND APPARATUS FOR BIT RATE REDUCTION IN VIDEO TELEPHONY}

본 발명은 일반적으로 비디오 인코딩에 관한 것으로서, 구체적으로는 비디오 전화통신에서 비트 레이트를 감소시키기 위한 방법 및 장치에 관한 것이다.

비디오 전화통신은 많은 통신 및 케이블 회사들이 시행을 후원하고 있는 유망한 서비스 제안인 것으로 생각된다. 비디오 전화 통신에서의 비디오 스트림은 인터넷 프로토콜(IP) 네트워크를 통해 전송된다. 대역폭을 보존하기 위해, 비디오 데이터는 국제 통신 연합(ITU-T) H.264 표준들(MPEG-4 파트 10 또는 향상된 비디오 코딩(AVC)이라고도 함)과 같은 효율적인 비디오 코딩 표준들을 이용하여 압축된다. H.264는 H.263, MPEG-2 및 MPEG-4(단순 프로파일)와 같은 기존의 압축 알고리즘들에서 사용되는 것들에 비해 새로운 기술들 및 향상된 자유도들의 조합을 제공한다. H.264에서 정의되는 새로운 기술들 중에는, 4x4 픽셀 매크로블록, 이산 코사인 변환을 대체하기 위한 정수 변환, 멀티 프레임 예측, 컨텍스트 적응 가변 길이 코딩(CAVLC), SI/SP 프레임 및 컨텍스트 적응 이진 산술 코딩(CABAC)이 있다. 향상된 자유도들은 예측을 위한 다수의 기준 프레임 및 더 많은 16x16 픽셀 매크로블록의 테셀레이션(tessellation)을 허가함으로써 실현된다.

비디오 전화통신 스트림들은 오락 비디오보다 낮은 해상도로 인코딩되지만, 여전히 상당한 대역폭을 소비한다. 오락 비디오는 종종 352x288 픽셀의 해상도를 갖는 공통 중간 포맷(CIF)을 사용한다. 통상적으로, 비디오 전화통신은 예를 들어 176x144 픽셀의 쿼터 CIF(QCIF)를 이용한다. QCIF는 초당 30 프레임을 위해 약 300 kbps를 필요로 한다. 비디오 전화통신이 많은 동시 사용자에게 대중화되는 경우, 각각의 사용자에 대해 300 kbps는 큰 대역폭 양일 것이다. 따라서, 비디오 전화통신 시스템에서의 비트 레이트 감소를 위한 비용 효과적인 방법 및 장치가 필요하다.

<발명의 개요>

비디오를 인코딩하기 위한 방법 및 장치가 설명된다. 일 실시예에서, 복수의 블록 각각에 대한 모션 벡터들의 평균이 비디오 내의 인터 코딩된(inter-coded) 프레임들의 임계 수에 대해 유지된다. 복수의 블록 각각에 대한 모션 벡터들의 이동 평균이 임계치와 비교된다. 임계치를 만족시키지 못하는 이동 평균을 갖는 복수의 블록 각각은 제1 양자화 파라미터를 이용하여 인코딩된다. 임계치를 만족시키는 이동 평균을 갖는 복수의 블록 각각은 제2 양자화 파라미터를 이용하여 인코딩된다. 제2 양자화 파라미터는 제1 양자화 파라미터보다 거친(coarse) 변환된 계수들의 양자화로 이어진다. 더 거친 양자화는 (B 및 P 프레임의) 인터 코딩 및 (I 프레임의) 인터 코딩 양자에 적용된다.

본 발명의 교시 내용은 첨부 도면들과 관련하여 아래의 상세한 설명을 고찰 함으로써 쉽게 이해될 수 있다.

도 1은 비디오 전화통신 네트워크의 일반 아키텍처 개요를 나타내는 블록도이다.

도 2는 비디오 인코더의 일 실시예를 나타내는 블록도이다.

도 3은 본 발명의 하나 이상의 양태에 따른, 비디오 인코딩 동안에 양자화 파라미터를 조정하는 방법의 일 실시예를 나타내는 흐름도이다.

도 4는 본 발명의 하나 이상의 양태에 따른, 인터 코딩된 비디오 프레임들을 인코딩하기 위한 방법의 일 실시예를 나타내는 흐름도이다.

도 5는 본 발명의 하나 이상의 양태에 따른, 인터 코딩된 비디오 프레임들을 인코딩하기 위한 방법의 일 실시예를 나타내는 흐름도이다.

도 6은 본 발명의 하나 이상의 양태에 따른, 인터 코딩된 비디오 프레임들을 인코딩하기 위한 방법의 다른 실시예를 나타내는 흐름도이다.

도 7은 본 발명의 하나 이상의 양태에 따른, 레이트 제어기의 일 실시예를 나타내는 블록도이다.

도 1은 비디오 전화통신 네트워크(100)의 일반 아키텍처 개요를 나타내는 블록도이다. 네트워크(100)는 인터넷 프로토콜(IP) 네트워크(110)에 의해 접속되는 비디오 전화(102) 및 비디오 전화(104)를 포함한다. 비디오 전화(102) 및 비디오 전화(104)는 IP 네트워크(110)에 대한 유선 또는 무선 접속을 통해 음성 및 비디오 데이터를 전송할 수 있는 임의 타입의 통신 장치일 수 있다. 비디오 전화들(102, 104) 각각은 비디오 인코더(112) 및 비디오 디코더(114)를 포함한다. 비디오 인코더(112)는 네트워크(110)를 통한 전송을 위해 비디오 캡처 장치(도시되지 않음)로부터의 입력 비디오를 인코딩하도록 구성된다. 비디오 디코더(114)는 비디오 인코더(112)에 의해 생성되는 코딩된 비디오 스트림을 디코딩하도록 구성된다. 도 1에는 2개의 비디오 전화만이 도시되어 있지만, 이 분야의 전문가들은 임의 수의 비디오 전화가 네트워크(110)에 결합될 수 있다는 것을 알 것이다.

도 2는 비디오 인코더(112)의 일 실시예를 나타내는 블록도이다. 일 실시예에서, 비디오 인코더(112)는 H.264 표준을 따른다. 비디오 인코더(112)는 감산기(202), 이산 코사인 변환(DCT) 모듈(204), 양자화기(206), 엔트로피 코더(208), 역양자화기(210), 역 DCT 모듈(212), 합산기(214), 디블로킹 필터(216), 프레임 메모리(218), 모션 보상기(220), 모션 추정기(224) 및 레이트 제어기(228)를 포함한다.

비디오 인코더(112)는 소스 프레임들의 시퀀스를 수신한다. 소스 프레임들 각각은 본 명세서에서 블록으로서 지칭되는 영역들로 분할된다. H.264에서는, 7개의 가능한 블록 크기, 즉 16x16, 16x8, 8x16, 8x8, 8x4, 4x8 및 4x4(테셀레이션 또는 파티션이라고도 함)가 존재한다. 일반적으로, 16x16 픽셀 블록이 매크로블록으로 지칭된다. 모든 블록 크기는 사실상 매크로블록의 테셀레이션들 또는 파티션들이다. 따라서, 16x16 픽셀 매크로블록(MB)은 (A) 하나의 16x16 매크로블록 영역; (B) 2개의 16x8 파티션; (C) 2개의 8x16 파티션; 및 (D) 4개의 8x8 파티션으로 테셀레이션화될 수 있다. 또한, 8x8 파티션들 각각은 (a) 하나의 8x8 파티션; (b) 2개의 8x4 파티션; (c) 2개의 4x8 파티션 및 (d) 4개의 4x4 파티션으로 분해될 수 있다. 또한, 프레임은 소스 프레임 내의 개별 블록들을 포함하는 "슬라이스들"로 분할될 수 있다.

감산기(202)는 예를 들어 인터(INTER) 코딩 모드를 위해 입력 시퀀스로부터 소스 프레임 및 모션 보상기(220)로부터 예측 프레임을 수신한다. 감산기(202)는 소스 프레임과 예측 프레임 간의 차이를 계산하며, 이 차이는 DCT 모듈(204)에 제공된다. 모션 보상기(220)는 두 가지 모드, 즉 인터 및 인트라(INTRA) 모드에서 동작한다. 인터 모드에서, 예측 프레임은 이전에 인코딩된 프레임들 및 모션 추정기(224)로부터의 모션 추정 데이터로부터 생성된다. 인트라 모드에서, 예측은 이전 프레임들로부터가 아니라, 현재 프레임 내의 자료(material)와 관련하여 행해진다. 인트라 모드와 인터 모드 사이에서 결정하는 데 사용되는 알고리즘은 이 분야에 공지되어 있다.

DCT 모듈(204)은 DCT 알고리즘을 이용하여 차이 신호를 픽셀 도메인에서 주파수 도메인으로 변환하여 한 세트의 계수를 산출한다. 본 발명은 DCT 모듈의 사용으로 한정되지 않는다는 점에 유의해야 하는데, 예를 들어 일부 인코더들은 정수 변환 등을 이용할 수 있다. 양자화기(206)는 DCT 계수들을 양자화한다. 양자화기(206)는 레이트 제어기(228)에 의해 제공되는 양자화 파라미터에 따라 계수들을 양자화한다. H.264에서, 양자화 파라미터는 52개의 가능한 값으로부터 선택된다. 이러한 값들은 양자화 파라미터의 1의 증가가 양자화 단차 크기의 12% 증가로 이어지도록 배열된다(즉, 6의 증가는 정확히 2배의 단차 크기 증가로 이어진다). 주목할 만한 점은, 약 12%의 단차 크기의 증가가 약 12%의 비트 레이트 감소로도 이어진다는 것이다. 레이트 제어기(228)는 후술하는 바와 같이 모션 추정기(224)로부터의 모션 추정 정보에 따라 양자화 파라미터를 제공한다. 주목할 만한 점은, 소스 프레임 내의 슬라이스들이 차이 양자화 파라미터들을 이용하여 인코딩될 수 있다는 점이다. 엔트로피 인코더(208)는 양자화된 DCT 계수들을 코딩하여 코딩된 프레임을 생성한다.

역 양자화기(210)는 양자화기(206)의 역동작을 수행하여 DCT 계수들을 복원한다. 역 DCT 모듈(212)은 DCT 모듈(204)의 역동작을 수행하여, 추정 차이 신호를 생성한다. 추정 차이 신호는 합산기(214)에 의해 예측 프레임에 추가되어, 디블로킹 필터(216)에 결합되는 추정 프레임이 생성된다. 디블로킹 필터는 추정 프레임을 디블로킹(deblocking)하고, 추정 프레임을 프레임 메모리(218)에 저장한다. 모션 보상기(220) 및 모션 추정기(224)는 프레임 메모리(218)에 결합되며, 이전에 추정된 하나 이상의 프레임(이전에 코딩된 프레임)을 얻도록 구성된다.

모션 추정기(224)는 또한 소스 프레임을 수신한다. 모션 추정은 이전에 코딩된 프레임(들)으로부터 소스 비디오 내의 현재 프레임의 모션을 추정하는 프로세스이다. 모션 추정기(224)는 소스 프레임 및 이전 추정 프레임(즉, 기준 프레임)을 이용하여 모션 추정 알고리즘을 수행하여, 모션 추정 데이터를 생성한다. 모션 추정 데이터는 소스 프레임의 블록들에 대한 모션 벡터들 및 최소 절대차 합(SAD)을 포함한다. 단일 매크로블록의 259개의 가능한 테셀레이션들이 존재한다. 모션 벡터들은 매크로블록의 각각의 파티션에 대해 고유할 수 있으며, 상이한 기준 프레임들을 가리킬 수 있다. 모션 추정기(224)는 압축 효율을 최대화하기 위해 16x16 매크로블록들이 더 작은 블록들로 분할될 수 있는 최적의 방식을 식별한다. 이러한 매크로블록의 특정 패턴의 파티션들로의 분할은 "모드 선택" 또는 "모드 결정"이라고 한다.

모션 추정 데이터는 엔트로피 코더(208) 및 모션 보상기(220)에 제공된다. 엔트로피 코더(208)는 모션 추정 데이터를 코딩하여 코딩된 모션 데이터를 생성한다. 모션 보상기(220)는 인터 또는 인트라 모드를 이용하여 모션 보상 알고리즘을 수행하며, 예측 프레임을 감산기(202)에 결합한다. 인터 모드에서, 이전 추정 프레임 및 모션 추정 데이터는 추정 프레임을 생성하는 데 사용된다. 인트라 모드에서, 모션 추정은 현재 프레임 자체 내의 자료에 기초하여 예측 프레임을 생성한다. 모션 추정 및 모션 보상 알고리즘들은 이 분야에 공지되어 있다.

본 발명의 일 실시예에서, 비디오 인코더(112)는 비디오의 프레임들을 중요한 슬라이스 및 덜 중요한 슬라이스로 분할하도록 구성된다. 중요한 슬라이스는 모션을 나타내는 비디오의 영역들을 포함한다. 비디오 전화통신에서, 중요 슬라이스는 통화자의 얼굴 및 신체를 포함할 것이다. 덜 중요한 슬라이스는 정적인 비디오의 영역들을 포함한다. 비디오 전화통신에서, 덜 중요한 슬라이스는 통화자에 관한 정적 배경을 포함할 것이다. 즉, 비디오 전화통신에서는, 통상의 비디오와 달리, 사용자의 초점이 다른 사람의 얼굴에 있다. 중요한 것은 다른 사람의 얼굴의 화질이다. 배경은 덜 중요하다. 높은 얼굴 화질이 유지되는 경우에는 배경 화질이 저하되는 것이 허용될 수 있다. 따라서, 중요한 슬라이스는 덜 중요한 슬라이스보다 정밀한 양자화 파라미터를 이용하여 인코딩된다. 따라서, 덜 중요한 슬라이스는 중요한 슬라이스보다 낮은 비트 레이트로 인코딩될 것이다. 즉, 덜 중요한 슬라이스에 대해 대역폭이 감소된다.

레이트 제어기(228)는 양자화 파라미터를 조정하여 중요한 슬라이스 및 덜 중요한 슬라이스를 생성하도록 구성된다. 인터 코딩된 프레임들(예를 들어, P 및 B 프레임들)에 대해, 레이트 제어기(228)는 모션 추정기(224)로부터의 모션 정보를 이용하여 양자화 파라미터를 동적으로 조정한다. 인트라 코딩된 프레임들(I 프레임)에 대해, 레이트 제어기(228)는 모션 보상기(220)로부터의 정보를 이용하여 양자화 파라미터를 동적으로 조정한다. 도 6과 관련하여 후술하는 바와 같이, 레이트 제어기(228)는 모션 추정기(224)로부터의 동일 모션 정보를 이용하여 인트라 코딩된 I 프레임들에 대한 양자화 파라미터를 조정할 수 있다는 점에 유의해야 한다.

도 3은 본 발명의 하나 이상의 양태에 따른, 비디오 인코딩 동안에 양자화 파라미터를 조정하는 방법(300)의 일 실시예를 나타내는 흐름도이다. 방법(300)은 레이트 제어기(228)에 의해 수행된다. 방법(300)은 단계 302에서 시작되며, 여기서 다음 프레임이 현재 프레임으로서 선택된다. 단계 304에서, 현재 프레임이 인트라 프레임(I 프레임) 또는 인터 프레임(예를 들어, P 또는 B 프레임)으로서 인코딩되고 있는지에 대한 판정이 이루어진다. 현재 프레임이 인터 프레임으로서 인코딩되고 있는 경우, 방법(300)은 단계 306으로 진행한다. 단계 306에서, 양자화기(206)에 의해 사용되는 양자화 파라미터가 인터 조정 알고리즘에 따라 레이트 제어기(228)에 의해 조정된다. 현재 프레임이 인트라 프레임으로서 인코딩되고 있는 경우, 방법(300)은 단계 304에서 단계 308로 진행한다. 단계 308에서, 양자화기(206)에 의해 사용되는 양자화 파라미터는 인트라 조정 알고리즘에 따라 레이트 제어기(228)에 의해 조정된다. 인트라 조정 및 인터 조정 알고리즘들의 실시예들이 아래에 설명된다. 방법(300)은 단계 302로 복귀하고, 각각의 프레임에 대해 반복된다.

도 4는 본 발명의 하나 이상의 양태에 따른, 인터 코딩된 비디오 프레임들을 인코딩하기 위한 방법(400)의 일 실시예를 나타내는 흐름도이다. 방법(400)은 다수의 인터 프레임을 통해 방법(300)의 단계 306 동안에 수행될 수 있다. 방법(400)은 단계 402에서 시작되며, 여기서 복수의 블록의 각각에 대한 모션 벡터들의 이동 평균이 인터 코딩된 프레임들의 임계 수에 대해 유지된다. 하나의 인터 코딩된 프레임에서 다음 프레임까지 발생하는 이미지의 일부(일반적으로 매크로블록)의 분명한 모션에 사실상 관심이 있다는 점에 주목할 만하다. 통상적으로, 매크로블록들에 대한 모션 벡터들은 이전 I 프레임 또는 P 프레임을 역참조한다. 따라서, 이미지의 일부의 모션은 하나의 인터 코딩된 프레임에서 다음 프레임까지의 모션 벡터들의 변화에 의해 표현된다. 또한, 인터 코딩된 프레임들에 대한 모션 벡터들의 이동 평균을 계산하는 다양한 방법이 존재한다. 하나의 방법은 하나의 인터 코딩된 프레임에서 다음 프레임까지의 특정 매크로블록들에 대한 모션 벡터들의 변화를 평균하거나, 각각의 모션 벡터를, 최종 I 프레임(이 프레임이 기준 프레임이므로) 이후의 총 모션을 나타내는 것으로서 취급하거나, 하나의 인터 코딩된 프레임에서 다음 프레임까지의 모션 벡터들의 변화들의 절대값들을 평균할 수 있다. 이 분야에 공지된 다른 이동 평균 계산 방법들이 여전히 존재한다. 일 실시예에서, 비디오 프레임들은 176x144 픽셀들 또는 16x9 매크로블록들인 QCIF에 따라 포맷팅된다. 프레임 주변의 블록들은 종종 큰, 일반적으로 16x16 픽셀들(예를 들어, 매크로블록)일 것이다. 프레임 내부의 블록들은 더 작을 수 있다(예를 들어, 매크로블록의 파티션들). 일 실시예에서, 모션 벡터들의 이동 평균은 프레임 내의 각각의 블록에 대해 유지된다. 대안으로, 모션 벡터들의 이동 평균은 프레임 주변의 블록들에 대해서만 유지될 수 있다. 어느 경우에나, 각각의 선택된 블록에 대한 모션 벡터 값들은 다수의 프레임을 통해 얻어지며, 모션 벡터의 평균 값이 계산된다.

단계 404에서, 블록들 각각에 대한 이동 평균이 임계치와 비교된다. 임계치의 목적은 얼굴과 같은 이미지의 중요 이동 부분들로부터 방문과 같은 중요하지 않은 정적 배경 자료를 구별하는 것이다. 얼굴은 초당 1 매크로블록(16 픽셀 x 16 픽셀)의 눈에 띄는 레이트로 움직일 수 있다. 초당 30 프레임이 존재하는 경우, 모션을 위한 임계치는 초당 0.5 픽셀일 수 있다. 단계 406에서, 단계 404의 비교 결과에 기초하여 블록들 각각에 대한 양자화 파라미터가 선택된다. 모션 벡터의 이동 평균이 임계치를 만족시키지 못하는 블록들 각각에 대해 정밀한 양자화 파라미터가 선택된다. 모션 벡터의 이동 평균이 임계치를 만족시키는 블록들 각각에 대해서는 거친 양자화 파라미터가 선택된다. H.264에서, 거친 양자화 파라미터의 값은 정밀한 양자화 파라미터의 값보다 크다. 따라서, 정적 배경의 화질은 저하되고, 사전 설정된 레벨로 유지되는 것이 허용된다. 일 실시예에서, 디코더(114)는 거친 양자화 파라미터로 양자화된 블록들을 검출하도록 구성될 수 있다. 그러한 블록들의 검출시, 디코더(114)는 거칠게 양자화된 블록들 대신에 백색 배경을 삽입할 수 있다. 어느 경우에나, 통화자의 화질은 높게 유지되며, 디코더(114)에 의해 정상적으로 처리될 것이다. 방법(400)은 다수의 인터 코딩된 프레임들의 시퀀스들을 통해 반복될 수 있다.

인터 코딩된 프레임들에 대해, 정적 배경의 블록들은 아마도 매우 적은 잔여 에러를 가질 것이다. 이것은, 비디오 캡처 장치가 정적이고, 배경이 정적이므로, 배경 자료 내에는 거의 모션이 존재하지 않는다는 사실에 따른다. 또한, 배경은 아마도 변경되지 않는다. 따라서, 공간 변환된 잔여 에러의 계수들도 낮을 것이다. 양자화 단차 크기를 보다 큰 값(거친 양자화 파라미터)으로 설정함으로써, 측정되는 잔여 에러는 0일 수 있으며, 이는 덜 중요한 정적 배경에 대해 허용 가능하다.

도 5는 본 발명의 하나 이상의 양태에 따른, 인터 코딩된 비디오 프레임들을 인코딩하기 위한 방법(500)의 일 실시예를 나타내는 흐름도이다. 방법(500)은 방법(300)의 단계 308 동안에 수행될 수 있다. I 프레임들의 경우에, 모션 보상은 동일 프레임 내의 다른 자료로부터의 인트라 예측에 기초하여 행해진다. 그러나, I 프레임 내의 정적 배경 자료에 대한 더 큰 양자화 파라미터를 사용하는 것도 유용하다. 단계 502에서, 현재 프레임 내의 블록에 대한 인트라 코딩된 모션 추정치가 이전 I 프레임(들) 내의 등가 블록에 대한 인트라 코딩된 모션 추정치(들)와 비교된다. 인트라 코딩된 모션 추정치들은 모션 보상기(220)로부터 얻어진다. 단계 504에서, 단계 502에서의 비교 결과에 기초하여 블록에 대한 양자화 파라미터가 선택된다. 배경 자료가 참으로 정적인 경우, 그 자료에 대한 모션 보상 벡터들은 0이 아니면서, 하나의 I 프레임에서 다음 프레임까지 변하지 않을 것이다. I 프레임에서, "모션 보상" 벡터들은 사실상 모션을 표현하는 것이 아니라, 동일 프레임 내에서 동시에 해당 매크로블록에서 유사 매크로블록까지의 변위를 표현한다. 인트라 코딩된 모션 추정치들이 (서로의 임계치 내에서) 변하지 않는 경우, 양자화 파라미터는 거친 양자화 파라미터로 설정된다. 그렇지 않은 경우에는, 정밀한 양자화 파라미터가 사용된다. 방법(500)은 I 프레임의 각각의 블록에 대해 반복된다. 대안으로, 방법(500)은 I 프레임의 주변 블록들에 대해서만 반복될 수 있다.

도 6은 본 발명의 하나 이상의 양태에 따른, 인터 코딩된 비디오 프레임들을 인코딩하기 위한 방법(600)의 다른 실시예를 나타내는 흐름도이다. 방법(600)은 방법(300)의 단계 308 동안에 수행될 수 있다. 방법(600)은 현재 프레임 내의 블록에서 시작된다. 단계 602에서, 현재 I 프레임에 선행하는 인터 코딩된 프레임 내의 등가 블록에 대한 평균 모션 벡터가 얻어진다. 평균 모션 벡터는 (예를 들어, 도 3에서 점선으로 도시된) 단계 306 동안에 방법(400)의 실행의 결과로서 얻어질 수 있다. 즉, 그 인터 코딩된 프레임에서 양자화 레벨을 설정하는 데 사용된 (현재 I 프레임에 선행하는) 인터 코딩된 프레임 내의 등가 블록에 대한 동일 이동 평균을 사용할 수 있다. 단계 604에서, 평균 모션 벡터의 값에 기초하여 블록에 대한 양자화 파라미터가 선택된다. 이전 인터 프레임 내의 등가 블록의 평균 모션 벡터가 임계치(예를 들어, 방법(400)에서 사용된 동일 임계치)를 만족시키는 경우, I 프레임 내의 블록은 정적인 것으로 간주되며, 양자화 파라미터는 거친 양자화 파라미터로 설정된다. 그렇지 않은 경우에는 양자화 파라미터가 정밀한 양자화 파라미터로 설정된다. 방법(600)은 I 프레임의 각각의 블록에 대해 반복된다. 대안으로, 방법(600)은 I 프레임의 주변 블록들에 대해서만 반복될 수 있다.

때때로, 정적 배경 자료는 갑자기 변경되어 비정적이 될 것이다. 이것은 예를 들어 비디오 캡처 장치의 재배치로부터 또는 조명의 턴온으로부터 발생할 수 있다. 이 경우, 정적 배경은 중요한 것으로 재분류되어야 하며, 대역폭 절약 기능은 비활성화되어야 한다. 일 실시예에서는, 전술한 방법들이 수행된다. 모션 보상 벡터들의 이동 평균이 임계치를 초과할 때, 블록은 더 이상 정적이 아닌 것으로 간주된다.

다른 실시예에서는, 방법(400)의 옵션 단계 405에서, 블록들 각각에 대한 이동 평균이 이전 프레임 시퀀스로부터의 이전 이동 평균과 비교된다. 단계 406에서, 단계 405에서의 비교 결과에 기초하여 양자화 파라미터가 더 선택된다. 모션 벡터의 이동 평균이 이전 이동 평균의 임계 배수인 각각의 블록에 대해, 양자화 파라미터는 정밀한 양자화 파라미터로서 선택된다. 즉, 이전 이동 평균에 대한 모션 벡터 크기의 갑작스런 증가는 배경의 갑작스런 동적 증가를 지시할 것이다. 그렇지 않은 경우, 양자화 파라미터는 단계 404의 결과에 기초하여 선택된다.

도 7은 본 발명의 하나 이상의 양태에 따른 레이트 제어기(228)의 일 실시예를 나타내는 블록도이다. 레이트 제어기(228)는 프로세서(701), 메모리(703), 다양한 지원 회로(704) 및 I/O 인터페이스(702)를 포함한다. 프로세서(701)는 마이크로컨트롤러, 디지털 신호 프로세서(DSP), 명령어 세트 프로세서, 전용 처리 로직 등과 같은, 이 분야에 공지된 임의 타입의 처리 요소일 수 있다. 프로세서(701)에 대한 지원 회로들(704)은 종래의 클럭 회로, 데이터 레지스터, I/O 인터페이스 등을 포함한다. I/O 인터페이스(702)는 메모리(703)에 직접 결합되거나, 프로세서(701)를 통해 결합될 수 있다. I/O 인터페이스(702)는 프레임 버퍼 및 모션 보상기에 결합되는 것은 물론, 입력 프레임들을 수신할 수도 있다. 메모리(703)는 랜덤 액세스 메모리, 판독 전용 메모리, 자기 저항 판독/기록 메모리, 광 판독/기록 메모리, 캐시 메모리, 자기 판독/기록 메모리 등은 물론, 후술하는 바와 같은 신호 보유 매체 중 하나 이상을 포함할 수 있다.

일 실시예에서, 메모리(703)는 후술하는 바와 같이 프로세서(701)에 의해 실행되고 그리고/또는 프로세서에 의해 사용될 수 있는 프로세서 실행가능 명령어들 및/또는 데이터를 저장한다. 이러한 프로세서 실행가능 명령어들은 하드웨어, 펌웨어, 소프트웨어 등 또는 이들의 소정 조합을 포함할 수 있다. 프로세서 실행가능 명령어들은 전술한 방법들(300, 400, 500, 600)을 수행하도록 구성된다. 본 발명의 하나 이상의 양태가 소프트웨어 프로그램을 실행하는 프로세서로서 구현되는 것으로 개시되지만, 이 분야의 전문가들은 본 발명이 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다는 것을 알 것이다. 그러한 구현들은 다양한 프로그램을 독립적으로 실행하는 다수의 프로세서 및 ASIC과 같은 전용 하드웨어를 포함할 수 있다.

본 발명의 일 양태는 프로세서에 의해 실행하기 위한 프로그램 제품으로서 구현된다. 프로그램 제품의 프로그램(들)은 실시예들의 기능들을 정의하며, (i) 기록 불가능 저장 매체(예를 들어, CD-ROM 드라이브 또는 DVD 드라이브에 의해 판독가능한 CD-ROM 또는 DVD-ROM 디스크들과 같은 컴퓨터 내의 판독 전용 메모리 장치들)에 영구 저장된 정보, (ii) 기록 가능 저장 매체(예를 들어, 디스켓 드라이브 내의 플로피 디스크 또는 하드 디스크 드라이브 또는 판독/기록 가능 CD 또는 판독/기록 가능 DVD)에 저장된 변경 가능 정보, 또는 (iii) 통신 매체에 의해, 예를 들어 무선 통신들을 포함하는 컴퓨터 또는 전화 네트워크를 통해 컴퓨터로 전달되는 정보를 포함하지만, 이에 한정되지 않는 다양한 신호 보유 매체(컴퓨터 판독가능 매체) 상에 포함될 수 있다. 후자의 실시예는 특히, 인터넷 및 다른 네트워크들로부터 다운로드되는 정보를 포함한다. 그러한 신호 보유 매체는, 본 발명의 기능들을 지시하는 컴퓨터 판독가능 명령어들을 보유할 때, 본 발명의 실시예들을 나타낸다.

다양한 실시예가 위에서 설명되었지만, 이들은 한정이 아니라, 단지 예시적으로 제공된다는 것을 이해해야 한다. 예를 들어, 여기에 개시된 본 발명은 실시예들에서 2개의 비디오 전화와 관련하여 설명되었지만, 이 분야의 전문가는 여기에 설명된 방법 및 시스템이 음성 및 비디오 데이터를 동시에 전송할 수 있는 임의 타입의 통신 장치와 관련하여 이용될 수도 있다는 것을 알 것이다. 따라서, 바람직한 실시예의 폭 및 범위는 전술한 임의의 실시예로 한정되는 것이 아니라, 아래의 청구범위 및 그 균등물들에 의해서만 정의되어야 한다.

Claims

프로세서 및 메모리를 갖는 비디오 인코더에서 비디오를 인코딩하는 방법으로서, 상기 프로세서는,

상기 비디오 내의 임계 수의 인터 코딩된(inter-coded) 프레임들에 대해 복수의 블록의 각각에 대한 모션 벡터들의 이동 평균(running average)을 상기 메모리에 유지하는 단계 - 상기 이동 평균은 개개의 상기 모션 벡터들의 절대값들의 평균임 -;

상기 복수의 블록의 각각에 대한 이동 평균과 임계치를 비교하는 단계;

이동 평균이 상기 임계치를 초과하는 상기 복수의 블록의 각각을 제1 양자화 파라미터를 이용하여 인코딩하는 단계; 및

이동 평균이 상기 임계치 미만인 상기 복수의 블록의 각각을 제2 양자화 파라미터를 이용하여 인코딩하는 단계 - 상기 제2 양자화 파라미터는 상기 제1 양자화 파라미터보다 거친(coarse) 변환된 계수들의 양자화를 야기함 - 를 포함하는 방법을 수행하는, 비디오 인코딩 방법.
제1항에 있어서, 상기 복수의 블록은 상기 인터 코딩된 프레임들 각각의 주변에 위치하는 비디오 인코딩 방법.
제1항에 있어서,

상기 비디오 내의 인트라 코딩된(intra-coded) 프레임 내의 블록들에 대한 인트라 코딩된 모션 추정치들과, 상기 비디오 내의 이전에 인트라 코딩된 프레임 내의 등가 블록들에 대한 인트라 코딩된 모션 추정치들을 비교하는 단계; 및

상기 인트라 코딩된 프레임 내의 블록들에 대한 인트라 코딩된 모션 추정치들이 상기 등가 블록들에 대한 인트라 코딩된 모션 추정치들의 임계치 내에 있는 경우에, 상기 인트라 코딩된 프레임 내의 블록들을 상기 제2 양자화 파라미터를 이용하여 인코딩하는 단계

를 더 포함하는 비디오 인코딩 방법.
제3항에 있어서, 상기 인트라 코딩된 프레임 내의 블록들은 상기 인트라 코딩된 프레임의 주변에 위치하는 비디오 인코딩 방법.
제1항에 있어서, 상기 복수의 블록 중 대응하는 블록의 이동 평균이 상기 임계치를 만족시키는 경우에, 인트라 코딩된 프레임 내의 블록을 상기 제2 양자화 파라미터를 이용하여 인코딩하는 단계를 더 포함하는 비디오 인코딩 방법.
제5항에 있어서, 상기 인트라 코딩된 프레임 내의 블록은 상기 인트라 코딩된 프레임의 주변에 위치하는 비디오 인코딩 방법.
제1항에 있어서,

상기 복수의 블록 각각에 대한 이동 평균과 상기 복수의 블록 각각에 대한 이전 이동 평균을 비교하는 단계; 및

상기 이전 이동 평균의 임계 배수(threshold multiple)인 이동 평균을 갖는 복수의 블록 각각을 상기 제2 양자화 파라미터를 이용하여 인코딩하는 단계

를 더 포함하는 비디오 인코딩 방법.
비디오를 인코딩하기 위한 장치로서,

상기 비디오 내의 임계 수의 인터 코딩된 프레임들에 대해 복수의 블록의 각각에 대한 모션 벡터들의 이동 평균을 유지하기 위한 수단 - 상기 이동 평균은 개개의 상기 모션 벡터들의 절대값들의 평균임 -;

상기 복수의 블록의 각각에 대한 이동 평균과 임계치를 비교하기 위한 수단;

이동 평균이 상기 임계치를 초과하는 상기 복수의 블록의 각각을 제1 양자화 파라미터를 이용하여 인코딩하기 위한 수단; 및

이동 평균이 상기 임계치 미만인 상기 복수의 블록의 각각을 제2 양자화 파라미터를 이용하여 인코딩하기 위한 수단

을 포함하고,

상기 제2 양자화 파라미터는 상기 제1 양자화 파라미터보다 거친(coarse) 변환된 계수들의 양자화로 이어지는 비디오 인코딩 장치.
제8항에 있어서, 상기 복수의 블록은 상기 인터 코딩된 프레임들 각각의 주변에 위치하는 비디오 인코딩 장치.
제8항에 있어서,

상기 비디오 내의 인트라 코딩된 프레임 내의 블록들에 대한 인트라 코딩된 모션 추정치들과, 상기 비디오 내의 이전에 인트라 코딩된 프레임 내의 등가 블록들에 대한 인트라 코딩된 모션 추정치들을 비교하기 위한 수단; 및

상기 인트라 코딩된 프레임 내의 블록들에 대한 인트라 코딩된 모션 추정치들이 상기 등가 블록들에 대한 인트라 코딩된 모션 추정치들의 임계치 내에 있는 경우에, 상기 인트라 코딩된 프레임 내의 블록들을 상기 제2 양자화 파라미터를 이용하여 인코딩하기 위한 수단

을 더 포함하는 비디오 인코딩 장치.
제10항에 있어서, 상기 인트라 코딩된 프레임 내의 블록들은 상기 인트라 코딩된 프레임의 주변에 위치하는 비디오 인코딩 장치.
제8항에 있어서, 상기 복수의 블록 중 대응하는 블록의 이동 평균이 상기 임계치를 만족시키는 경우에, 인트라 코딩된 프레임 내의 블록을 상기 제2 양자화 파라미터를 이용하여 인코딩하기 위한 수단을 더 포함하는 비디오 인코딩 장치.
제12항에 있어서, 상기 인트라 코딩된 프레임 내의 블록은 상기 인트라 코딩된 프레임의 주변에 위치하는 비디오 인코딩 장치.
제8항에 있어서,

상기 복수의 블록 각각에 대한 이동 평균과 상기 복수의 블록 각각에 대한 이전 이동 평균을 비교하기 위한 수단; 및

상기 이전 이동 평균의 임계 배수인 이동 평균을 갖는 상기 복수의 블록 각각을 상기 제2 양자화 파라미터를 이용하여 인코딩하기 위한 수단

을 더 포함하는 비디오 인코딩 장치.
프로세서에 의해 실행될 때, 상기 프로세서로 하여금 비디오를 인코딩하기 위한 양자화 파라미터를 선택하는 방법을 수행하게 하는 명령어들이 저장된 컴퓨터 판독가능 저장 매체로서,

상기 저장된 명령어들은,

상기 비디오 내의 임계 수의 인터 코딩된 프레임들에 대해 복수의 블록 각각에 대한 모션 벡터들의 이동 평균을 유지하는 단계 - 상기 이동 평균은 개개의 상기 모션 벡터들의 절대값들의 평균임 -;

상기 복수의 블록 각각에 대한 이동 평균과 임계치를 비교하는 단계;

이동 평균이 상기 임계치를 초과하는 상기 복수의 블록 각각에 대해 제1 양자화 파라미터를 선택하는 단계; 및

이동 평균이 상기 임계치 미만인 상기 복수의 블록 각각에 대해 제2 양자화 파라미터를 선택하는 단계

를 포함하고,

상기 제2 양자화 파라미터는 상기 제1 양자화 파라미터보다 거친 변환된 계수들의 양자화로 이어지는 컴퓨터 판독가능 저장 매체.