KR100391027B1

KR100391027B1 - 비디오정보를예측부호화하는방법및장치

Info

Publication number: KR100391027B1
Application number: KR1019960014627A
Authority: KR
Inventors: 홍 찬 밍; 사바티어 트리스탠
Original assignee: 톰슨 콘슈머 일렉트로닉스, 인코포레이티드
Priority date: 1995-05-08
Filing date: 1996-05-06
Publication date: 2003-11-03
Anticipated expiration: 2016-05-06
Also published as: KR960043903A; CN1130921C; CN1140380A; US5812197A; JPH08322052A

Abstract

MPEG에 기초한 비디오 신호 압축 시스템은 예측 모드의 준최적 선택에 의해 야기되는 화질 저하를 감소시킨다. 전술한 방법은 비디오 입력 신호로부터 압축된 비디오 출력 신호를 작성한다. 비디오 입력 신호는 픽셀 블록으로 변환된다(57). 그리고, 다수의 예측된 블록은 입력 블록의 대표로서 형성된다(60). 각각의 예측된 블록은 다른 예측 기능에 의해 작성되고 입력 블록과 예측된 블록 사이의 상관도를 나타내는 관련 상관 계수 CF를 구비한다. 상기 계수는 상관 인덱스로부터 저주파수로 변화하는 상관 성분의 척도를 감함으로써 얻어진다(35). 상관 계수는 비교되고(45), 최저 CF 값을 갖는 예측된 블록과 관련된 압축된 블록은 출력 블록으로서 선택된다. 상기 처리는 다른 입력 블록에 대해 반복되고, 선택 압축된 출력 블록은 출력 신호를 형성하기 위해 결합된다. 결정 계수 CF는 예측 모드 선택 및 페이딩 검파 회로 없이도 당면한 이미지 페이딩에서 이미지 동작 평가를 개선한다.

Description

비디오 정보를 예측 부호화하는 방법 및 장치{A METHOD AND APPARATUS FOR PREDICTIVE ENCODING OF VIDEO INFORMATION}

본 발명은 디지탈 이미지 신호 처리에 관한 것으로, 특히 정상 휘도에서 블랙으로 및 블랙에서 정상 휘도로의 이미지 페이딩(fading)에 관련된 휘도 구배를 포함한 비디오 신호를 부호화하는 방법 및 장치에 관한 것이다.

지상파 또는 위성 방송 시스템에 사용되는 디지탈 텔레비전 전송 채널은 이용할 수 있는 대역폭이 제한되어 있다. 이것은 정교한 디지탈 비디오 데이타 압축 기술을 사용하여 신호 대역폭을 확보할 필요가 있다는 것을 의미한다. 데이타는 전송시 특정 포맷으로 압축되고 수신시 해제된다. 통상적으로 사용되는 이러한 포맷의 하나는 MPEG 이미지 부호화 표준규격(ISO/IEC 13818-2, 93년 11월)에 기재되어 있다. 상기 포맷으로 부호화된 비디오 데이타는 연속적인 화상 시퀀스 또는 부호화된 데이타의 프레임으로 구성된다. 특정 화상(I 화상)은 내부-부호화된다. 즉, 화상 자체내의 정보만을 부호화한다. 다른 화상(P)은 순방향 예측 부호화된다. 즉, 지난 I 화상 또는 P 화상으로부터 동작 보상 예측을 사용하여 부호화된다. 나머지 화상(B 화상)은 순방향 및 역방향 예측 부호화 된다. 즉, B화상은 지난 또는 다음의 I 화상 또는 P 화상으로부터 동작 보상 예측을 사용하여 부호화된다. 그러므로 P 및 B 화상은 예측하여 부호화 되므로 P 및 B 화상으로부터의 이미지 재생은 과거의 복호화된 I 또는 P 화상으로부터 유도된 정보를 요구한다. 반대로, I 화상은 예측하여 부호화되지 않고 이미지는 단독 I 화상 또는 프레임으로부터 재생될 수 있다.

다른 방법은 P 및 B 화상을 예측하여 부호화하는 MPEG 표준 규격에 의해 허용된다. 상기 방법은 프레임을 기초로 한 부호화, 필드를 기초로 한 부호화 및 "듀얼 프라임(dual prime)" 부호화를 포함한다. 예측하여 부호화되는 필드 또는 프레임은 블록으로 분배되고, 그 블록은 블록 기초에 의해 블록으로 예측된다. MPEG 표준 규격 포맷에서, 이미지 블록은 16 ×16 화상 요소(픽셀)의 지정 사이즈를 갖는 "매크로 블록"으로 불리어진다. 다른 방법은 P 및 B 화상 매크로 블록을 예측하여 부호화하는 MPEG 표준 규격에 의해 허용된다. 상기 방법은 순방향/역방향 프레임 또는 필드를 기초로 한 방법을 포함하고 예측된 매크로 블록에 관련된 동작 벡터의 여부에 달려 있는 다른 방법은 제로 값을 갖는다. 상기 방법은 MPEG 이미지 부호화표준 규격(ISO/IEC 13818-2, 93년 11월) Annex B 테이블 B-2 내지 B-8에 상세히 기술된다. 부호화 장치는 전송에 앞서 다수의 상기 방법에 의해 P 및 B 화상 매크로 블록을 통상적으로 예측하여 부호화한다. 일정 매크로 블록에 대한 다양한 예측은 그 특정 매크로 블록에 대해 최적의 예측 방법을 식별하기 위해 비교된다.

예측은 특정 결정 기준을 사용하여 비교된다. 최적 부호화 방법은 상기 기준에 의해 측정된 바와 같이 "베스트" 예측 데이타 결과를 제공하는 방법으로 확인된다, 최적 부호화 방법에 의해 예측된 매크로 블록은 비디오 신호 수신기에 전송하기 위해 선택된다.

비디오 결정 기준은 데이타의 임의의 특정 섹션에 대해 최적 부호화 방법을 선택하는데 사용될 수 있다. 주로 사용된 방법은 비디오 휘도 데이타의 평균 제곱 예측 에러(MSE)를 결정한다. 최적 부호화 방법은 최저 계산된 MSE 값을 갖는 하나의 방법이다. 최저 MSE 값은 최저 MSE 값이 예측된 값에서 휘발성이 적고 추량(guesswork)이 적은 것을 나타내기 때문에 더 나은 예측을 표시한다.

MSE는 총 에러 즉, 원래의 휘도값과 예측된 휘도값의 차이 에너지를 나타내는 것으로 해석될 수 있다. 또한, 상기 에너지는 DC 에러 에너지 성분 및 AC 에러 에너지 성분의 합산으로 해석될 수 있다. DC 에너지 성분은 각각의 원래의 휘도값이 동일 상수 계수에 의해 각각 대응하는 예측된 휘도값에 관련될 때 발생하는 에너지의 차이를 나타낸다. 이러한 DC 에너지 차이의 예는 연속적인 두 이미지 프레임 사이의 페이딩 동안에 발생한다. 그리고, 이미지 장면이 교체되지 않은 상태에 있다고 가정해 보면, 실질적으로 일정 계수에 의해 제1 이미지에 관한 제2 이미지의 휘도의 페이딩은 높은 DC 에너지 성분을 나타내는 MSE 값을 야기한다. MSE 값에서의 높은 DC 에러 에너지 성분의 결과로서, 부족한 웨이트(weight)는 시각적으로 더 중요한 AC 에러 에너지 성분에 기인한다. 그러므로, MSE 값은 다양한 예측에 관련된 에러를 정확하게 반영하지 못할 수 있다. 이로 인해 이미지 신호 처리 동안에 불완전한 결정을 하고, 특정 이미지 블록에 대해 선택된 예측 모드는 최적 이하 일 수 있다. 결국, 저화질이 디스플레이될 수 있다.

본 발명의 원리에 따라 개시된 비디오 신호 압축 시스템은 준최적(sub-optimal) 예측 모드 선택에 의해 야기된 화질 저하를 감소시킨다. 전술한 비디오 신호 압축 시스템은 각각의 이미지 블록을 동작시키므로, 이미지 부분만이 에러에 영향을 받기 쉬운 준최적 예측 모드의 선택을 감소시킬 수 있다. 이것은 예를 들어, 이미지 부분에서만 페이딩이 있을 때 야기한다. 또한, 시스템은 동작 및 페이딩이 이미지 내에서 발생하는 더 복잡한 경우의 예측 모드 선택을 개선한다. 추가로, 상기 이점은 흔히 정교하고 비싼 페이딩 검파 회로 없이도 실현된다.

전술한 비디오 신호 압축 시스템은 다수의 압축된 블록으로부터 압축된 픽셀 블록의 선택을 개선한다. 전술한 방법은 비디오 입력 신호로부터 압축된 비디오 출력 신호를 제공한다. 비디오 입력 신호는 입력 픽셀 블록 데이타로 변환된다. 그리고, 다수의 예측된 픽셀 블록은 입력 블록의 대표로 형성된다. 각각의 예측된 블록은 다른 예측 기능에 의해 작성되고 관련된 상관 계수를 갖는다. 상관 계수 CF는 입력 블록과 예측된 블록 사이의 상관도를 나타내고 상관 인덱스로부터 저주파수로 변화하는 상관 성분의 척도를 감산함으로써 얻어진다. 상관 계수는 비교되고 양호한 예측 블록에 관련된 압축 블록은 상관 계수 비교에 기초하여 출력 블록으로 선택된다. 상기 처리는 다른 입력 블록에 대해 반복되고, 비교로부터 선택되어 압축된 출력 블록은 출력 신호를 형성하도록 결합된다.

발명자는 부가적인 이점이 상관 인덱스로부터 감산된 저주파 변동 상관 성분에 비례하여 변동함으로써 실현될 수 있다는 것을 인식했었다. 상기 비례는, 예를 들어 MPEG 부호화 동작의 P 및 B 매크로 블록에 대해 최적 예측 모드를 얻는데 사용되는 멀티-스텝 결정 처리의 다른 결정 포인트에서 변동될 수 있다. 선택적으로, 예를 들어, 비례는 디스프레이될 화상 형태의 변화를 나타내는 외부 파라미터에 응답하여 동적으로 변동될 수 있다.

새로운 결정 기준 CF는 CF가 부호화 동작의 다른 결정에 적용될 때 이점을 또한 제공한다. 예를 들어, 이미지내의 동작 정도 추정에서, 기준 CF는 화상 사이의 이미지 요소 배치를 결정하는데 사용될 수 있다. 통상 동작 추정 방법은 픽셀 휘도값에 의하여 기준 픽셀 블록에 거의 일치된 탐색 이미지에서의 픽셀 블록을 식별한다. 이것은 주로, 예를 들어, MSE(Mean Squared Error) 또는 MAE(Mean Absolute Error) 결정 기준을 이용하여 식별된다. 상기 또는 다른 기준에 대한 새로운 결정 기준 CF의 대용은 이미지 블록을 배열하는 준최적 선택을 감소시킴으로써 이미지 동작 평가를 개선한다. 새로운 기준은 또한 이미지 페이딩의 당면에서 동작 평가에 사용될 때 실행을 개선한다. 발명자는 또한 예측 모드 선택 및 모드 평가가 CF의 AC 및 DC 에너지 성분 비선형 결합에 의해 개선될 수 있다는 것을 인식했었다.

다양한 결정 기준은 MPEG 표준 규격에 따른 P 및 B 화상을 예측하여 부호화하는 최적 부호화 방법을 선택하는데 사용될 수 있다. 주로 사용되는 기준은 비디오 휘도 데이타의 평균 제곱 예측 에러(MSE) 이다. 제1도는 P 화상 예측 절차 내의 매크로 블록에 대해 최적 부호화 방법을 선택하는 예시적인 결정 절차에 사용된 상기 기준을 도시한다. 유사하게, 제2도는 예시적인 B 화상 매크로 블록 선택 절차에 적용된 기준을 도시한다.

각각의 픽셀이 픽셀 밝기(블랙 및 화이트 화상을 띠는 회색 명암)를 정의하는 휘도값을 갖는 N 픽셀을 포함하는 매크로 블록에서, MSE 값은 다음과 같이 주어질 것이다:

원래의 픽셀 휘도값 u_i에서 i = 1-N 이고, 예측 픽셀 휘도값에서 i = 1-N 이다. 예를 들어, 16×16 픽셀 매크로 블록이 사용되는 MPEG 표준 규격에서 N=256 으로 N이 예측되는 이미지 블록에서의 많은 픽셀 휘도값과 동일하다. 최적 부호화 방법은 최저 계산된 MSE 값을 갖는 것이다. MSE 값은 다른 방법에도 사용될 수 있다. 예를 들어, 부호화 방법은 지정 임계값 미만인 MSE 값을 기초하여 선택될 수 있다. 최저 MSE 값은 예측된 값에서 불휘발성이 낮고 추량이 적은 것을 나타내기 때문에 더 나은 예측을 나타낸다.

MSE는 총 에러 즉 원래의 휘도값과 예측 휘도값 사이의 차이 에너지를 나타낸다. 상기 에너지는 또한 DC 에러 에너지 성분 및 AC 에러 에너지 성분의 합산으로 간주될 수 있다. DC 에너지 성분은 각각의 원래의 휘도값이 동일 일정 계수에 의해 각각 대응하는 예측된 휘도값에 관련될 때 발생하는 에너지의 차이를 나타낸다. 연속적인 두 프레임 사이의 이러한 DC 에너지 차이의 예는 페이딩 동안에 발생한다. 이미지 장면이 무리없이 동일 장면(움직임이 없는)을 유지한다고 가정하면, 이미지 전체에 실질적으로 일정 계수에 의해 제1 이미지에 관련한 제2 이미지의 휘도 페이딩이 MSE 값 내의 높은 DC 에너지 성분을 작성한다. MSE 값의 높은 DC 에너지 성분의 결과로서, 부족한 웨이트는 외관상으로 더 중요할 AC 에너지 성분에 기인한다. 그러므로, MSE 값은 다양한 예측과 관련된 에러를 정확하게 반영하지 못할 수 있다. 이로 인해 이미지 신호 처리 동안에 잘못된 결정을 야기할 수 있고 특정 이미지 블록에 대해 선택된 예측 모드는 최적 이하일 수 있다.

제1도의 공지된 P 화상 결정 절차에서, 최적 매크로 블록 예측 "베스트 예측"은 4개 각각의 예측 중에서 선택된다. 노드 A1에서 프레임을 기초로 한 매크로 블록 예측 또는 제로 값 동작 벡터를 갖는 매크로 블록 예측은 선택된다. 어느 한쪽의 선택된 예측, 필드를 기초로 한 예측 또는 "듀얼 프라임" 예측 중 하나가 노드 B1에서 선택된다. 매크로 블록 예측의 상기 형태는 MPEG 이미지 부호화 표준 규격(ISO/IEC 13818-2, 93년 11월) 섹션 7.6.1 및 Annex B 테이블 B-2 내지 B-8에 알려졌고 규정되었다. MSE 기준은 제1도 결정 절차의 A1및 B1 결정 노드에서 사용된다. 이것은 노드 A1 또는 B1 또는 모두에서 잘못된 결정을 야기할 수 있다. 이것은 예를 들어 선택된 베스트 순방향 예측이 필드를 기초로 한 매크로 블록 예측일 수 있지만, 사실상 프레임을 기초로 한 예측이 최적일 수 있다.

제2도의 공지된 B 화상 결정 절차에서, "베스트 예측"은 결국 4개 각각의 예측 중에서 선택된다. 이것은 베스트 순방향이고, 베스트 프레임 평균, 베스트 필드 평균 및 베스트 역방향 예측이다. 상기 4 개 각각의 예측은 차례로 선택되거나 6 개의 원래의 예측으로부터 유도된다. 노드 A1에서 순방향 프레임을 기초로 한 예측 또는 순방향 제로 값 동작 벡터 예측이 선택된다. 그리고, 상기 선택 또는 순방향 필드를 기초로 한 예측 중 하나는 노드 B1에서 베스트 순방향 예측으로서 선택된다. 유사하게는, 제2도의 다른 두 노드 A2 및 B2에서 베스트 역방향 예측은 역방향 프레임을 기초로 한 예측, 역방향 제로 값 동작 벡터 예측 및 역방향 필드를 기초로 한 예측으로부터 선택된다. 부가적으로, 노드 A1 및 A2에서 선택된 예측 매크로 블록은 베스트 프레임 평균 예측을 형성하기 위해 매크로 블록 평균 노드 10에서 평균을 낸다. 역방향 필드 및 순방향 필드를 기초로 한 예측은 베스트 필드 평균 예측을 제공하기 위해 노드 20에서 평균을 낸다. 결국, 베스트 예측은 베스트 순방향, 베스트 프레임 평균 베스트 필드 평균 및 베스트 역방향 예측으로부터 노드 C에서 선택된다.

제1도의 절차에 따라서, MSE 기준은 제2도의 절차에서의 결정 노드 A1, A2, B1, B2 및 C에서 사용된다. 이것은 상기 노드의 약간 또는 모든 노드에서 잘못된 결정을 야기할 수 있다, 결국, 예를 들어 선택된 베스트 예측은 역방향 필드를 기초로 한 예측일 수 있지만, 사실상 순방향 프레임을 기초로 한 예측이 최적일 수 있다. 궁극적인 결과는 저화질이 디스플레이될 수 있다는 데 있다.

제3 및 제4도는 본 발명의 원리에 따른 새로운 결정 기준이 노드 A1-A4 및B1 및 B2에서 사용되는 것을 제외하고, 제1 및 제2 각각의 결정 절차와 비슷한 결정 절차를 도시한다. 상관 계수 CF라고 불리어지는 새로운 기준은 최적 매크로 블록 예측을 선택하기 위해 결정 절차를 상당히 개선한다.

새로운 결정 기준의 한 형태의 실행이 제5도의 흐름도에 도시된다. 새로운 결정 기준은 예측된 매크로 블록의 범위로부터 최적의 예측 매크로 블록을 선택하기 위해 제3 및 4도의 노드 A 및 B에서 사용된다. 제5도에서, 예측된 매크로 블록의 번호 "W"는 입력 기준 매크로 블록에 대해 형성된다. 결정 기준 'CF'의 새로운 값은 예측된 매크로 블록 각각에 대해 계산된다. 예측된 매크로 블록 각각에 대한 CF 값은 비교되고, 그리고 최저 CF 값을 제공하는 예측된 매크로 블록이 선택된다. 제5도의 절차는 요구에 따라 다른 입력 매크로 블록에 대해 반복된다.

제5도의 스타트 블록(200) 다음 단계 205에서, 원래의 입력 매크로 블록이 선택되고 매크로 블록의 휘도값이 저장된다. 단계 210에서, W 다른 매크로 블록 예측이 입력 매크로 블록에 대해 형성되고 W 예측된 매크로 블록 각각에 대한 휘도값이 또한 저장된다. 상기 예측된 매크로 블록 휘도값이 예를 들어 제3 및 제4도에 관련하여 논의되고 MPEG 부호화 장치에 의해 형성되는 것과 같은 공지된 예측 방법에 의해 얻어진다. 그리고 단계 215, 220 및 225에서의 CF 값은 매크로 블록 예측 각각에 대해 계산된다. 첫째로, 단계 215에서, 상관 'V'의 인덱스는 V가 AC 및 DC 에러 에너지 값의 합산을 나타내는 예측된 매크로 블록 각각에 대해 계산된다. 더 정확하게는, V는 원래의 매크로 블록의 휘도값과 예측된 매크로 블록 휘도값 사이의 총 차이 에너지를 나타낸다, 그리고 단계 225에서, 단계 220에서 범위 0 내지 1까지의 계수 K에 대한 값을 경험적으로 선택한 후에 DC 값을 나타내는 "KY" 또는 관련 예측된 매크로 블록과 원래의 매크로 블록 사이의 저주파수로 변화하는 상관 성분의 척도는 상관 인덱스 V로부터 감산된다. 상기 계산은 각각의 예측된 매크로 블록에 대한 결정 기준 CF를 작성하기 위해 매크로 블록 각각에 대해 실행된다. 이것은 CF 값은 관련 예측된 매크로 블록과 원래의 매크로 블록 사이의 상관도를 나타낸다. N 픽셀 휘도값을 포함하는 이미지 블록에서의 새로운 결정 기준 CF의 형태는 다음과 같이 주어진다:

항 u_i는 원래의 픽셀 휘도값을 나타내고,는 예측된 픽셀 휘도값을 나타내고, N은 예측될 이미지 블록의 많은 픽셀 휘도값과 동일하다. 예를 들어 MPEG 표준 규격 16 ×16 픽셀 매크로 블록에서 N=256 이다.

매크로 블록 예측 선택에서의 결정 기준으로서의 CF 사용은 다른 선택의 방법에 중요한 개선을 나타낸다. 이것은 CF의 계산에서 총 DC 또는 저주파 변동 에러 에너지 Y가 상관 인덱스 값 V에서 감산될 때 동일하다. 파라미터 CF는 DC 화상 휘도 에너지 비율보다 적은 평균 제곱 에러 에너지를 나타낸다. 만약 K=1이면, 모든 DC 에러 에너지는 제거되고 CF는 변하거나 예측 에러 중 DC 에러 에너지가 된다.만약 K=0이면, CF는 MSE 값으로 된다. 그러나, 발명자는 계수 K를 변화시킴으로써 상관 인덱스 값 V로부터 감산되는 에러 에너지 Y의 비율을 변화시킴으로써 부가적인 이점을 얻어질 수 있다라는 것을 인식했다. 상기 비율은, 예를 들어 MPEG 부호화 동작에서 P 및 B 화상 매크로 블록에 대해 최적 예측 모드를 얻는데 사용되는 멀티-스텝 결정 절차에서의 다른 결정 포인트에서 K를 변화시킴으로써 변동될 수 있다. 선택적으로, 비율은 외부 파라미터에 응답하여 동적으로 변동될 수 있다. 예에 따르면, 이러한 파라미터는 화상 시퀀스에서 동작의 정도를 나타낸다.

특정 결정에 대해 최적의 선택된 K 값은 결정 기준 CF 값 내의 DC 에러 에너지에 관련한 AC 에러 에너지에 할당된 최적 웨이트에 달려있다. 차례로, 최적 웨이트 할당은 응용에 좌우된다. K 값 변화는 또한 결정 기준의 선택 실행에서 이점이 있다. 상기 선택 실행은 AC 및 DC 에러 에너지의 다른 결합들을 포함할 수 있다. 예를 들어, 또한 결정 기준에서 AC 에러 에너지 성분에 관련한 DC 에러 에너지 성분의 웨이트를 조정하는 비선형 결합이 사용될 수 있다. 이러한 결합은 또한 페이딩과 같은 조건에서 매크로 블록 예측 선택을 개선하는데 사용될 수 있다.

일단 제5도의 단계 215, 220 및 225에서 CF 값이 계산되고 매크로 블록 예측에 대해 저장되면, CF 값은 단계 230에서 비교된다. 단계 230에서, 각각의 예측 형태에 대한 CF 값은 상호 비교되고 최적 매크로 블록 예측은 최저 계산된 CF 값을 갖는 값으로 선택된다. 이것은 수신기 복호화 장비로 방송하기 위한 전송 장치에 의해 추가로 부호화하기 위해 선택되는 매크로 블록이다. 제5도의 절차는 특정 입력 매크로 블록에 대해 블록 235에서 종료한다. 그러나, 제5도의 절차는 다른 입력매크로 블록에 대해 요구될 때 반복된다.

새로운 결정 기준에 관한 많은 다른 실행이 사용될 수도 있다. 예를 들어, 매크로 블록 예측은 CF 값이 계산되고 저장되기 전에 실행될 수 있는 것은 아니다. 예측은 실행될 수 있고 CF 값은 임의의 적절한 순서로 계산된다. 게다가, 최적 매크로 블록 예측은 최저 CF 값을 갖는 매크로 블록 예측과는 다른 예측에 기초하여 선택될 수 있다.

제3도의 P 화상 최적 매크로 블록 예측은 제1도의 절차에서와 같이 4개의 선택 예측으로부터 선택된다. 그러나, 제1도와는 달리 제5도의 단계(215-230)의 결정 기준이 제3도의 A 및 B 결정 노드에서 사용된다. 노드 A1에서 프레임을 기초로 한 매크로 블록 예측(3A) 또는 제로값 동작 벡터 예측(3B)중 하나의 매크로 블록 예측이 선택된다. 그 다음, 상기 선택된 예측 또는 필드를 기초로 한 예측 3C또는 "듀얼 프라임" 예측(3D)은 노드(B1)에서 선택된다.

제4도의 B 화상 결정 절차에서 제5도의 단계(215-230)의 결정 기준은 상기 기준을 사용하지 않는 제2도에 반하여 결정 노드(A,B)에서 사용된다. 제4도의 결정 절차는 또한 제2도의 절차에는 나타나지 않은 (A3,A4)로 표시된 2개의 추가 결정 노드를 포함한다. 상기 2개의 결정 노드는 필드를 기초로 한 예측(4C,4F) 및 제로값 동작 벡터 예측(4B,4E) 사이에서의 선택권을 제공한다. 결국, 제4도에서의 베스트 필드 평균 예측은 제2도 절차에서는 가능하지 않은 제로값 동작 벡터 예측(4B,4E)을 사용하여 제공될 수 있다.

추가 노드는 제4도의 결정 절차를 한층 개선시킨다. 이것은 새로운 결정 기준을 사용하여 결정 절차를 변화시키는 것은 특정 결정 절차 응용에서 개선된 실행을 변형할 수 있기 때문이다. 결정 절차는 특별한 응용의 요구에 따라 결정 노드를 추가하거나 제거함으로써 변화될 수 있다. 제4도의 응용에서, 2개의 추가 노드는 필드를 기초로 한 예측(4C,4F)과 제로값 동작 벡터 예측(4B,4E)을 비교 점검을 인서팅함으로써 최적 매크로 블록 선택을 개선한다. 이것은 동작이 없는 화상에 페이딩이 있을 경우의 실행을 개선한다.

추가적인 장점은 서로 다른 결정 기준과 함께 새로운 결정 기준을 사용함으로써 실현될 수 있다. 예컨대, 제4도의 결정 절차에서 최적 매크로 블록 선택에서의 개선은 노드(C)에서 MSE의 사용과 함께 노드(A,B)에서 새로운 기준을 사용함으로써 이루어진다. 상기 이유로 인해 상기 특정 결정이 DC 에러 에너지 콘텐트에 민감할 필요가 있다. 예컨대, 제4도의 실행은 노드(C) 결정 기준으로서 MSE를 사용함으로써 DC 에러 에너지에 민감한 노드(C)에서의 결정 기준을 결정함으로써 개선된다. 결정 노드(C)에서 통상적으로 낮은 DC 에러 에너지를 나타내기 때문에 베스트 필드를 평균화한 옵션 및 베스트 프레임을 강조함으로써 최적의 선택은 상기 경우에 개선된다.

제4도의 나머지 결정 절차는 제2도의 B 화상 절차와 관련하여 기술된 것과 동일하다. 베스트 예측은 베스트 순방향, 베스트 프레임 평균, 베스트 필드 평균 및 베스트 역방향 예측으로부터 노드(C)에서 궁극적으로 선택된다.

새로운 결정 기준 즉, CF는 바람직하게는 다양한 다른 결정 절차에 적용된다. 예와 같이, 기준 CF는 MPEG 부호화 동작 동안에 이미지 동작의 정도를 추정하는데 사용된다. 통상적인 동작 추정 방법은 픽셀 휘도값에 의하여 기준 픽셀 블록에 거의 일치된 검색 이미지(검색 블록)에서 픽셀 블록을 식별하는 것이다. 상기 식별은 일반적으로 MSE(Mean squared Error) 또는 MAE(Mean Absolute Error) 식별 기준을 사용하여 이루어진다. 상기 기준 또는 다른 기준에 대하여 새로운 결정 기준 CF의 대응은 일치하는 이미지 블록의 준최적 선택을 감소시킴으로써 이미지 동작 추정을 개선시킨다. 다른 예에서와 같이, 제5도의 흐름도에서 CF의 실행은 이미지 동작을 추정하는데 사용될 수 있다. 상기의 경우에서 입력 매크로 블록은 기준 픽셀 블록이 되며 예측된 매크로 블록은 검색 픽셀 블록이 된다. 또한 파라미터(K)는 제5도와 관련하여 논의된 원리에 따라 선택된다. 그 다음, 최적의 예측된 매크로 블록 선택에 대해 전술한 것과 같이 제5도에서의 흐름도의 단계(215-230)는 최저 CF값을 갖는 블록으로서 최적 검색 픽셀 블록을 식별한다. 추가로 예측된 매크로 블록 선택과 같이 새로운 기준은 또한 이미지 페이딩에 당면하여 동작 추정을 위해 사용될 때 실행을 개선한다.

다른 결정 절차는 MPEG 및 다른 응용에서도 가능하다. 본 발명에 따라 기준 결정의 조합 및 다른 결정 기준 그리고 사용되는 결정 절차의 형태는 특정 시스템에서 필요 조건 기능이다. 새로운 기준은 다수의 세트 값으로부터 최적 세트 값을 선택하도록 설계된 어떤 응용에서 결정 절차를 개선시킬 수 있다.

제6도는 본 발명의 원리에 따른 MPEG 호환성 압축기 장치를 나타낸다. 결정 프로세서(32)는 제5도의 흐름도에 나타난 새로운 결정 기준을 실시한다. 간단히, 픽셀 휘도값의 형태에서의 디지탈 비디오 신호는 공지된 것과 같이 변환기(57)에의해 입력 기준 매크로 블록으로 변환되어 압축기(60)에 입력된다. 제6도의 시스템은 입력 매크로 블록의 공급이 제어되는 공지된 환경에서 동작한다. 이것은 매크로 블록 예측 사이클의 완성 및 각 입력 매크로 블록에 대한 출력 압축된 블록의 작성을 가능하게 한다. 압축기(60)는 각 입력 기준 매크로 블록상의 서로 다른 매크로 블록 예측을 실행하며 예측 유니트(95)의 메모리(91)에 해제된 형태에서의 결과 매크로 블록 예측을 저장한다. 상기 예측은 입력 기준 매크로 블록에 대하여 최적 매크로 블록 예측이 선택될 수 있는 것으로부터의 "후보(candidate)" 예측이다. 예측되는 입력 기준 매크로 블록 및 메모리(91)에 저장된 후보 매크로 블록 예측 모두는 결정 프로세스(32)에 입력된다. 결정 프로세서(32)는 압축된 입력 기준 매크로 블록에 대응하는 후보 예측 매크로 블록 각각에 대하여 상기 입력 데이타에 근거하여 상관 계수를 계산하고 비교한다. 그런 다음 프로세서(32)는 예측 유니트(95)의 선택기(97)에 상기 비교로부터 결과 선택 정보를 제공한다. 최적 매크로 블록 예측은 상기 선택 정보에 근거하여 선택기(97)에 의해 메모리(91)로부터 선택된다. 그런 다음 상기 최적 매크로 블록 예측은 감산기(65)에 의해 입력 기준 매크로 블록으로부터 감산된다. 감산기(65)로부터의 결과의 나머지는 전송을 위해 추가 처리하도록 출력 데이타를 제공하기 위해 유니트(70)에 의해 압축된다. 상기 과정은 각 입력 기준 매크로 블록에 대해 반복된다.

제6도의 부호화 장치의 동작을 좀 더 상세히 설명하면, 압축기(60)의 동작은 I 및 P 화상 매크로 블록에 대해서만 고려된다. 제6도 장치의 동작의 원리는 B 화상 매크로 블록 동작에서 쉽게 추정된다. 첫째로, I 화상 예측이 프레임을 기초로한 예측이라고 가정하면 I 프레임 매크로 블록은 감산기(65)에 의해 부호화기 유니트(70)로 변경되지 않고 전송된다. 유니트(70)는 공지된 바와 같이 DCT 계수를 작성하기 위해 8 ×8 픽셀의 블록 상에 이산 코사인 변환(DCT;Discrete Cosine Transform)을 수행한다. 그 다음 계수는 유니트(70)에서 양자화된다. DCT 조합 및 유니트(70)에서의 양자화는 다수의 DCT 주파수 계수를 제로로 만든다. 그 다음 유니트(70)는 런-렝스(run-length) 및 통계적으로 부호화하여 긴 제로 열을 작성하고, 작성된 출력 데이타를 최소화으로 억제한다. 동시에 유니트(70)는 입력 매크로 블록 데이타에서 공간의 중복을 제거함으로써 I 프레임 매크로 블록을 압축한다. 결과적으로, 압축된 I 프레임 매크로 블록은 DCT의 반전 및 유니트(70)에 의해 수행되는 양자화 기능을 실행하는 해제기(75)에 제공된다. 유니트(75)의 출력은 압축기(60)로 입력되는 I 프레임 매크로 블록의 재작성이다. 그런 다음 상기 해제된 I 프레임 매크로 블록은 가산기(80)에 의해 변경되지 않고 전송되며 차후 P 프레임 매크로 블록의 예측 압축을 위해 메모리(90)에 저장된다, 상기 전술된 I 프레임 매크로 블록 압축 과정은 매크로 블록의 완전한 I 프레임이 메모리(90)에 저장될 때까지 반복된다.

P 프레임 매크로 블록 예측에 대해, 현재 예측되는 입력 P 프레임 기준 매크로 블록은 동작 추정기(85)에 적용된다. 공지된 서치 블록 방법을 사용하여, 유니트(85)는 메모리(90)에 저장된 이전 프레임으로부터 다양한 후보 매크로 블록 예측을 추출하기 위해 예측 유니트(95)의 추출기(93)에 의해 사용되는 상기 기준 매크로 블록에 대해 다양한 변위 벡터(동작 벡터), 필드 및 프레임을 기초로 한 부호화를 결정한다. 식별된 후보 매크로 블록 예측은 기준 매크로 블록에 가장 유사한 하나의 매크로 블록이며 추출기(93)에 의해 메모리(91)에 저장된다. 상기 후보 매크로 블록 예측은 필드를 기초로 한 변위 벡터 및 프레임을 기초로 한 변위 벡터에 의해 식별된 것 그리고 제로값 동작 벡터 및 듀얼 프라임 예측에 해당되는 것을 포함한다. 상기 후보 예측 중 하나는 프로세서(32)에 의해 제공되는 선택 정보에 근거하여 선택기(97)에 의해 최적의 매크로 블록 예측으로서 선택된다. 감산기(65)는 픽셀 기본에 의한 픽셀 상에서 압축되는 입력 기준 P 프레임 매크로 블록으로부터 선택기(97)에 의해 출력되는 최적의 매크로 블록 예측을 감산한다. 그 다음 감산기(65)로부터의 차 또는 나머지 출력은 유니트(70)에 의해 압축되며 I 프레임 매크로 블록 데이타와 동일하게 처리된다. 또한 I 프레임 매크로 블록에서와 같이 압축된 P 프레임 매크로 블록 나머지는 가산기(80)에 인가되기 전에 유니트(75)에 의해 해제된다. 동시에, 예측되는 매크로 블록으로부터 감산기(65)에 의해 감산되는 최적 매크로 블록 예측은 해제된 매크로 블록 나머지에 다시 가산된다. 이는 매크로 블록을 복원하기 위해 픽셀 기초에 의한 픽셀상의 데이타를 가산하는 가산기(80)의 제2 입력에 최적의 매크로 블록 예측값을 인가하는 선택기(97)에 의해 이루어진다. 상기 복원된 P 프레임 매크로 블록은 복구된 화상의 일부분을 형성하며 차후 P 프레임 매크로 블록의 예측 압축을 위해 메모리(90)에 저장된다.

메모리(91)에서 후보 매크로 블록 예측의 휘도값 및 입력 기준 매크로 블록 휘도값은 프로세서(32)의 계산 유니트(35)에 제공된다. 상기 값은 각 후보 매크로 블록 예측에 대하여 새로운 결정 기준 CF값을 제공하기 위해 계산 유니트(35)에 의해 처리된다. 각 계산 내에서 사용되는 'K'값은 K값 선택 유니트(50)에 의해 결정된다. 유니트(50)는 제6도의 장치가 형성하는 매크로 블록 예측 선택의 형태에 근거하여 적절한 K값을 결정한다. 특정 결정에 대해 최적의 선택된 K값은 결정 기준 CF값 내의 DC 에러 에너지에 관련된 AC 에러 에너지에 할당된 최적의 웨이트에 의존한다. 예컨대 만일 장치가 제4도의 B 화상 기준 절차 내에서 결정하는데 사용된다면 K는 이들 특정 결정에 대해 최적의 웨이트에 의존하여 노드(A1,A2,A3,A4,B1 및 B2)에서 서로 다른 값으로 할당될 수 있다. 노드(C)에서 형성된 선택에 대해 K의 값은 CF 계산이 효과적으로 MSE 계산이 되도록 제로로 세트된다.

제어 유니트(55)는 개별 유니트 기능 및 프로세서(32)의 차후의 동작을 제어함으로써 최적 매크로 블록 예측 선택을 제어한다. 유니트(55)로부터 K 선택 유니트(50)에 제공되는 신호는 행해지고 있는 특정 결정을 식별한다. 또한 각 결정에 대한 적절한 K값은 유니트(50)내에 저장된다. 따라서 유니트(50)는 메모리로부터 상기 특정 결정에 대해 적절한 K값을 획득하며 K값을 계산 유니트(35)에 제공한다. 계산 유니트(35)는 유니트(50)로부터 K값을 각 예측된 매크로 블록에 대하여 새로운 결정 기준 CF를 계산하기 위해 사용한다. 유니트(45)는 유니트(35)에 의해 계산된 CF 값들을 비교하고, 출력 신호를 최적의 예측된 매크로 블록을 식별하는 유니트(55)에 제공한다. 이것은 최저의 CF값을 갖는 예측된 매크로 블록이다. 그런 다음 유니트(55)는 예측 유니트(95)의 선택기(97)에 선택 정보를 제공한다. 유니트(55)로부터의 선택 정보에 근거하여 최적의 매크로 블록 예측은 선택기(97)에 의해 메모리(91)로부터 선택된다. 그런 다음 상기 최적의 매크로 블록 예측은입력 기준 매크로 블록으로부터 감산기(65)에 의해 감산된다. 최종적으로, 결과로 생기는 나머지는 예컨대 식별 헤더를 포함하는 데이타 패킷으로 출력 데이타를 형성하는 전송 프로세서에 의해 전송 전에 추가 처리하기 위한 출력 데이타를 제공하기 위해 유니트(70)에 의해 압축된다. 상기 처리는 각 입력 기준 매크로 블록에 대해 반복된다.

제6도의 장치는 다른 방식으로 실시될 수 있다. 유니트(70)에 의해 출력되는 후보 매크로 블록을 나타내는 압축된 데이타는 추가 메모리에 저장될 수 있다. 그런 다음 결정 프로세서(32)가 제6도에 도시된 바와 같이 최적의 예측 모드를 식별할 때마다 해당 압축된 매크로 블록은 추가 메모리로부터 프로세서(32)의 제어 하에 출력 데이타로서 선택될 수 있다. 이것은 압축된 데이타가 각 후보 매크로 블록 예측에 대해 작성되기 때문에 더 많은 정보가 전송에 요구되는 많은 비트 또는 대역폭에 의해 개별 메리트와 관련하여 유용하다는 장점을 갖는다. 상기 추가 정보는 최적의 매크로 블록 선택에 대해 추가적인 기준으로서 프로세서(32)에 의해 사용될 수 있다.

제6도의 유니트 기능(35,45,50 및 55)은 마이크로프로세서 내에서 전체 또는 부분으로 실시될 수 있다. 또한 다른 공지된 압축기(60)의 구성 및 압축기(60) 기능을 실시하는 방식이 있다. 예컨대, 입력 기준 매크로 블록에 대한 예측은 직렬 예측 방법의 대안으로 다중 병렬 예측 방법을 사용함으로써 달성될 수 있다. 이것은 현재 입력 기준 매크로 블록에 대해 다른 매크로 블록 예측을 동시에 작성하는 각 예측기를 갖는 압축기(60)의 병렬 버젼의 사용에 관련한다. 매크로 블록 예측은상기 설명된 것과 같이 최적의 매크로 블록 선택을 위해 결정 프로세서(32)에 제공된다.

제1도는 MPEG 표준 규격에 따른 P 화상내의 매크로 블록 예측의 예시적인 범위로부터 최적 매크로 블록 예측을 선택하기 위해 공지된 MSE 결정 기준을 사용한 결정 트리를 도시한 도면.

제2도는 B 화상내의 매크로 블록 예측의 예시적인 범위로부터 최적 매크로 예측을 선택하기 위해 공지된 MSE 결정 기준을 사용한 결정 트리를 도시한 도면.

제3도는 P 화상내의 매크로 블록의 예시적인 범위로부터 최적 매크로 블록 예측을 선택하기 위해 본 발명에 따른 결정 기준 CF를 사용한 결정 트리를 도시한 도면.

제4도는 B내의 매크로 예측의 예시적인 범위로부터 최적 매크로 블록 예측을 선택하기 위해, 본 발명에 따른 결정 기준 CF 및 MSE 기준을 사용한 결정 트리를 도시한 도면.

제5도는 예측된 매크로 블록의 범위로부터 최적 예측 매크로 블록을 결정하기 위해 본 발명에 따른 새로운 결정 기준 CF를 실행하는 흐름도.

제6도는 본 발명의 원리에 따른 MPEG 호환성 부호기 장치를 도시한 도면.

< 도면의 주요 부분에 대한 부호의 설명 >

32 : 결정 프로세서

35 : 계산 유니트

45 : CF 선택 유니트

50 : K 선택 유니트

57 : 변환기

60 : 압축기

85 : 추정기

90 : 메모리

93 : 추출기

97 : 선택기

Claims

압축된 비디오 출력 데이타를 제공하는 방법에 있어서,

(a) 비디오 입력 데이타를 제공하는 단계(57)와,

(b) 상기 비디오 입력 데이타를 입력 픽셀 블록을 나타내는 이미지로 변환하는 단계(57)와,

(c) 하나의 입력 픽셀 블록에 대해, 상기 입력 픽셀 블록과 예측된 블록사이의 상관도를 나타내기 위하여 서로 다른 예측 기능에 의해 각각 작성되고, 상관 인덱스로부터 저주파수로 변화하는 상관 성분의 척도를 삭제함으로써 얻어지는 관련 상관 계수를 각각 갖는 복수개의 예측 픽셀 블록을 형성하는 단계(60, 32)와,

(d) 상기 예측된 블록 상관 계수를 상호 비교하는 단계(97)와,

(e) 각각의 예측된 블록 상관 계수의 상기 상호 비교에 기초하여 상기 예측된 블록 중 하나를 선택하는 단계(97)와,

(f) 상기 선택된 예측 블록을 압축하여 출력 블록을 제공하는 단계(70)와,

(g) 다른 픽셀 블록에 대해 단계 (c)-(f)를 반복하는 단계와,

(h) 단계 (f)에서 작성된 출력 블록을 조합시켜 상기 출력 데이타를 형성하는 단계를 포함하는 것을 특징으로 하는 압축 비디오 출력 데이타 제공 방법.
제1항에 있어서,

단계 (c)에서 상기 저주파수로 변화하는 상관 성분은 상기 예측된 블록과 상기 입력 블록 사이의 평균 휘도차 에너지를 나타내는 것을 특징으로 하는 방법.
제1항에 있어서,

단계 (c)에서 상기 저주파수로 변화하는 상관 성분은 상기 예측된 블록과 상기 입력 블록 사이의 DC 휘도차 에너지를 나타내는 것을 특징으로 하는 방법.
제1항에 있어서,

단계 (e)에서 상기 선택 예측된 블록 상관 계수 값은 상기 예측된 블록의 최저값을 나타내는 것을 특징으로 하는 방법.
제1항에 있어서,

단계 (c)에서 상기 상관 계수는 상기 저주파수로 변화하는 상관 성분의 상기 척도를 상기 상관 인덱스와 비선형 결합함으로써 얻어지는 것을 특징으로 하는 방법.
제1항에 있어서,

단계 (c)에서 상기 상관 계수는 상기 저주파수로 변화하는 상관 성분의 상기 가변 척도를 상관 인덱스로부터 감산함으로써 얻어지는 것을 특징으로 하는 방법.
제6항에 있어서,

단계 (c)는 상기 저주파수로 변화하는 상관 성분의 상기 가변 척도를 선택하여 상기 상관 계수를 최소화하는 단계를 더 포함하는 것을 특징으로 하는 방법.
입력 픽셀 블록의 형태로 디지탈화된 입력 비디오 데이타를 압축하고 출력 단말에서 압축된 출력 비디오 블록을 제공하는 장치에 있어서,

상기 입력 픽셀 블록을 나타내는 압축된 출력 픽셀 블록을 제공하는 압축 네트워크(70)와,

상기 압축된 픽셀 블록을 해제하여 해제된 픽셀 블록을 제공하는 해제 네트워크(75)와,

상기 해제된 블록으로부터의 입력 블록에 대해 상기 해제된 블록으로부터 다수의 예측된 픽셀 블록을 형성하는 예측 네트워크(95, 85, 80, 90)와,

상기 다수의 예측된 블록으로부터 입력 블록과 소정의 상관도를 갖는 예측된 블록을 선택하는 선택 정보를 제공하는 결정 프로세서(32)와,

입력 선택 정보에 응답하여 상기 예측된 블록 중 하나를 선택하는 선택 네트워크(97)를 포함하고,

상기 압축 네트워크는 상기 선택 예측된 블록에 응답하여 상기 출력 단말에서 출력 압축된 블록을 작성하는 것을 특징으로 하는 압축된 출력 비디오 블록 제공 장치.