KR100646385B1

KR100646385B1 - 화상 압축 방법과 그 방법을 실행하기 위한 장치

Info

Publication number: KR100646385B1
Application number: KR1019990039301A
Authority: KR
Inventors: 길로텔필리프
Original assignee: 톰슨 멀티미디어
Priority date: 1998-09-15
Filing date: 1999-09-14
Publication date: 2006-11-17
Also published as: FR2783388B1; MY128350A; JP2000102021A; BR9904108B1; ZA995802B; KR20000023133A; CN1166210C; JP4733800B2; ID23263A; PL335413A1; BR9904108A; EP0987903A1; FR2783388A1; EP0987903B1; US6480540B1; HK1026097A1; CN1248864A

Abstract

본 발명은 화상 압축, 특히 MPEG 2 타입의 화상 압축에 관한 것으로, 상기 화상은 그룹(GOP)에 따라 코딩되는데, 여기서 각 그룹은 N 화상과, 내부 모드에 코딩된 I 화상과 내부 화상 I 또는 선행 P 화상의 함수로써 예측되는 P 화상을 포함하는데, 각 P 화상은 선행되고, n 개의 양방향성 예측 B 화상이 뒤에 이어지는데, n은 제로가 될 수 있다. 여기서, M = n + 1 은 그룹의 구조를 나타낸다.

그룹에 따라 코딩된 소스 화상을 특징으로 하는 하나 이상의 매개 변수는 테스트 코딩(70)을 사용하여 결정되고, N 과 M은 이러한 매개 변수에 따라 지정된다. 테스트 코딩의 과정에서, 정의된 값들은 N, M값이나, 양자화 인터벌 Q를 지정한다.

Description

화상 압축 방법과 그 방법을 실행하기 위한 장치{METHOD OF IMAGE COMPRESSION AND DEVICE FOR IMPLEMENTING THIS METHOD}

도 1은 4.2.0 표준 매크로블록을 도시한 도면.

도 2는 DCT 변환을 도시한 도면.

도 3은 MPEG 표준 또는 유사한 표준에 따른 화상 그룹(GOP: Group of Images)를 도시한 도면.

도 4 내지 도 7은 본 발명에 따른 방법을 도시한 도면.

도 8은 본 발명에 따른 방법의 실시 설계도.

<도면 주요 부분에 대한 부호의 설명>

70,74 : 코더 72 : 변환기

78 : 버퍼 메모리

본 발명은 화상을 가변 길이 그룹에 따라 코딩하는 데 있어서의 화상 압축 방법에 관한 것이다.

본 발명은 더욱 상세하게는 MPEG 유형, 특히 MPEG2 유형의 화상 압축 방법에 대한 것이다. 본 발명은 상기 MPEG2 표준에 제한되는 것은 아니지만 이하 설명부에서 주로 MPEG2에 근거해서 설명하기로 한다.

상기 압축 방식의 원리에 대하여 다시 말하자면 다음과 같다.

비디오의 MPEG2 표준에 있어서, 디지털 비디오 신호의 압축은 코딩된 화상의 공간적 중복성(spatial redundancy) 및 시간적 중복성(temporal redundancy)을 이용하여 달성된다.

공간적 중복성은 연속적으로 수행되는 세 개의 처리에 의해서 주로 평가되는데, 상기 처리들은 DCT("Discrete Cosine Transform")라고 표기되며 일반적으로 이산 코사인 변환이라고 불리우는 처리와, DCT에서 발생하는 계수들에 대한 양자화 처리, 및 DCT에서 발생한 양자화 계수들을 표시하기 위한 가변 길이 코딩 처리이다.

시간적 중복성은 움직임 보상 처리를 통해 분석되는데, 상기 움직임 보상 처리는 현재 화상의 각 블록을 옮김으로써 기준 화상에 있는 가장 유사한 블록을 탐색하는 것이다. 시간적 중복성의 분석은 보통 움직임 벡터라고 불리는 옮겨진 벡터의 필드를 결정할 뿐만 아니라, 현재 화상의 신호와 움직임 보상에 의하여 예측된 화상 신호간의 차이에 해당하는 예측 오차를 초래한다. 이때 예측 오차는 공간적 중복성의 원리에 의거하여 분석된다.

MPEG 코딩은 예측 코딩 유형이다. MPEG 코딩과 연관된 디코딩은 임의의 전송 에러 또는 하나의 프로그램에서 다른 프로그램으로 스위칭 오버되는 디코더로 인해 신호가 중단되는 것을 막기 위해 신호를 보호하도록 규칙적으로 재 초기화(re-initialised)되어야 한다는 것을 알 수 있다.

이를 위해서, MPEG 2 표준에서는 주기적으로 화상이 공간 모드, 즉 공간 중복성만을 이용하는 모드에 따라 코딩되어야 한다. 공간 모드로 코딩된 화상은 INTRA 화상 또는 I 화상이라고 한다.

시간 중복성을 이용하여 코딩된 화상은 두 가지 유형이 있는데, 하나는 전방 예측(front prediction)을 기초로 한 시간적인 이전 화상을 참조하여 구성된 화상과, 다른 하나는, 전방 예측과 후방 예측(back prediction)을 기초로 하여 두개의 시간적인 이전 화상과, 후속 화상을 참조하여 구성된 화상이다.

전방 예측을 기초로 구성된 코딩된 화상은 예측 화상이라 불리는 P 화상과, 전방 및 후방 예측을 기초로 하여 구성된 코딩된 화상은 양방향 화상이라 불리는 B 화상이다.

I 화상은 그 자체 이외의 화상에 대한 참조없이 디코딩된다. P 화상은 P 화상 또는 P를 선행하는 I 화상을 참조하여 디코딩된다. B 화상은 I 화상 또는 I 화상을 선행하는 B 화상 및 I 또는 I 화상 다음에 오는 P 화상에 의존하여 디코딩된다.

I 화상의 주기성은 폭넓게 GOP("화상 그룹")으로 표기되는 화상 그룹을 정의한다.

단일 GOP 내에서, I 화상에 포함된 데이터의 양은 일반적으로 P 화상에 포함된 데이터의 양보다 더 크고, P 화상에 포함된 데이터의 양은 일반적으로 B 화상에 포함된 데이터의 양보다 더 크다.

50 Hz에서 GOP는 I 화상에 이어서 B 와 P 화상의 시퀀스가 따르며, 대부분의 경우에 다음의 시퀀스가 나타난다.

I, B, B, P, B, B, P, B, B, P, B, B.

그렇지만, 표준은 일반적인 경우에서와 같이 N = 12인 화상이 GOP에 제공되는 것을 요구하지 않거나, 또는 두개의 P 화상 사이의 간격 M이 항상 3이 되어야 하는 것은 아니다. 더욱 상세히 말하자면, 간격 M은 P 화상에 선행하거나 뒤따르는 B 화상의 수 n을 한 단위씩 증가시킨 것이다, 다시 말해, M = n + 1이다.

숫자 N은 GOP의 크기 또는 길이를 나타내고, 숫자 M은 GOP의 구조를 나타낸다.

본 발명은 압축 레벨을 증가 및/또는 코딩 품질을 증가하기 위해 M 및 N 매개변수에 대해 작용할 수 있다는 관측에서 시작된다.

본 발명에 따른 코딩 방법은 적어도 하나의 매개 변수가 결정되어 한 그룹에 따라 코딩될 소스 화상을 특징화하고, 상기 그룹의 길이와 구조는 상기 매개변수(들)에 따라 이루어지는 것을 특징으로 한다.

한 실시예에서, 소스 화상을 특징짓는 매개 변수(들)는 N, M 및 양자화 인터벌(interval) Q에 한정된 값이 할당되는 과정에서 테스트 코딩을 이용하여 정해진다.

테스트 코딩은 예를 들자면 개방 루프에서 수행된다.

특히, 단순한 한 실시예에서, 테스트 코딩동안 획득된 P 화상을 특징짓는 매개변수(Pcost)와, 테스트 코딩동안 획득된 B 화상을 특징짓는 매개변수(Bcost)가 각각 결정되고, P와 B 화상을 특징짓는 이러한 매개변수는 바람직하게 P와 B 화상의 코딩의 평균 비용이 된다. 화상을 코딩할 때의 코스트는 코딩에 필요한 비트의 수(헤더 포함)가 된다.

이 경우에 있어서, 숫자 N은 P 화상을 특징짓는 매개변수에 따라 형성될 수 있고, 숫자 M은 B 화상을 나타내는 매개 변수에 따라 형성될 수 있다.

본 발명의 환경에서 시도가 처리되는 동안, 다양한 유형의 화상 시퀀스에서, 각 시퀀스 유형에 대해, 기존의 최적의 숫자 N은 P 화상에 대한 최소 코딩 코스트(또는 처리량)을 제공하고, 최적의 숫자 M은 B 화상에 대한 최소의 코딩 코스트(또는 처리량)을 제공하며, 이러한 코스트는 테스트 코딩 동안에 얻어 진다. 이러한 시퀀스는 가변 진폭의 이동, 다른 물체, 다른 공간 정의, 및 다른 콘텐트에 의해 서로 구별된다.

더욱이, 최적의 숫자 N과 P 화상의 처리량(throughput)사이에 존재한다는 점에 유의한다. 유사하게, 숫자 M과 B 화상의 처리량 사이에 실제로 선형인 관계가 존재한다. 그러므로, P 와 B 화상의 처리량을 안다면, 최상의 결과를 제공하는 N과 M을 계산하기가 쉬어 진다.

MPEG2 표준, 50Hz에 해당하는 한 예에서, 테스트 코딩은 N = 12, M = 3과 Q = 15로 실행되고, N과 P 화상의 처리량 사이의 관계는 대략 다음과 같다.

M과 B 화상의 처리량 또는 코스트(Bcost) 사이의 관계는 다음과 같다.

또한 M을 5까지 제한할 수 있다.

상기 식에서, INT는 정수 부분을 나타낸다.

N을 12와 30 사이로 제한하고, M을 최대값 7로 제한하면, 코더를 간단하게 실시할 수 있고, 프로그램-변경 시간을 제한할 수 있다. 동일한 목적으로, 다른 제한값이나 구속값도 강제할 수 있는데, 특히, M은 GOP내 상수 및/또는 N의 약수가 된다.

한 실시예에서, 개별적으로, 그리고 함께 취해진 N 과 M의 값들이 구속값과 호환되지 않는다면, 계산된 값에 가장 가깝고 규정된 호환성을 만족시키는 M과 N 값이 선택될 것이다. 이런 경우에, M의 값이 선호된다. 다시 말하면, 여러 M과 N 쌍 사이에서 선택해야 한다면, M값이 계산 결과와 가장 유사하게 얻어진 쌍이 선택될 것이다.

위의 식(2)는 Bcost가 179000을 넘지 않는 경우에만 적용된다. 반대의 경우에, 말하자면, Bcost > 179000이라면, 이러한 예시에서 M이 다음과 같은 방식으로 선택될 필요가 있음을 실험으로 알 수 있다.

선택되야 함을 보여준다.

B 화상의 코스트가 P 화상의 코스트보다 더 높다면, GOP에 B 화상이 포함되지 않는 것이 바람직하며, 다시 말해, M = 1 이 된다. 이것은 P 화상이 B 화상보다 더 나은 예측 품질을 나타내고 더 적은 코스트인 것으로 가정되기 때문에, 이러한 B 화상의 존재는 이러한 경우에 있어서 단점이 된다.

각 P 화상과 각 B 화상의 코스트(비트)는 예컨대, 이러한 화상이 나타날 때 결정된다. 한 실시예에서, M과 N의 값은 테스트 코딩의 전체 P와 B 화상에 대한 평균값을 취함으로써 선택되고, 적절한 코딩은 N 소스 화상의 테스트 코딩 후에만 수행되고, N은 P 화상의 코딩 코스트에 의해 결정된다. 이러한 경우에, 매개변수 M은 GOP내의 상수로 유지될 수 있다.

장면 내용의 변화에 더 빠르게 적응하게 하고, 소스 화상의 도달과 적절한 코딩 사이의 지연을 감소시키는(따라서, 저용량 버퍼 메모리를 사용하는) 다른 실시예에서, 테스트 코딩이 데이터를 공급하여 적절한 코딩이 개시되는 것을 허용하자마자 이러한 코딩이 시작된다. 따라서, 테스트 코딩의 제 1 B 화상이 숫자 M을 제공하여 코딩 개시를 허용하고, 테스트 코딩의 제 1 P 화상에 의해 숫자 N이 공급된다. 또한 제 1 P 화상의 테스트 코딩 이후에만 코딩이 시작될 수 있고; 이 경우에, N과 M의 값이 알려질 때 코딩이 시작된다.

"진행중인(on the fly)" 이러한 코딩 유형에 있어서, 구조를 말하는 숫자 M은 GOP 내에서 변할 수 있는데, 이것은 장면의 내용 변화에 더 빠르게 적응되게 한다.

점차적으로 처리된 코딩에서, 현재의 GOP내의 이미 코딩된 화상의 수가 측정된 수 N(상기 예에서 Pcost에 의해 측정됨)과 적어도 동일하거나, 장면의 변화가 있을 때 GOP가 인터럽트된다.

차례로 이어지는 그룹들 사이에서의 매개변수의 현저한 변화를 피하기 위해서, 계산된 값에서 벗어나는 것이 좋다는 것을 증명할 수 있다. 예컨대, 상기 계산값이 GOP 길이의 큰 부분, 예컨대 적어도 80%에서 M = 1이 될 필요가 있다고 나타내는 반면, GOP의 나머지 부분에서는 M이 1보다 더 커야한다고 나타내면, 상기 계산값이 다른 값이 필요하다고 나타내더라도, 다른 모든 값보다 M에 대해 값 1이 채택될 것이다.

유사하게, 만일 선행 GOP에서 M = 1이고, 현재의 GOP에서 상기 계산값이 현재의 GOP의 상당 부분, 예를 들어 60%에서 값 M = 1일 필요가 있다고 나타낸다면, 상기 계산 결과가 상기 식(2)의 결과와 같이 다른 값을 암시하는 경우에도, 또한 M에 대해 값 1이 채택될 것이다.

장면의 변화가 발생할 때, 즉 비디오 화상의 시퀀스에 불연속이 발생할 때, 불연속의 어느 한쪽에 GOP 화상 그룹을 적응시킬 필요가 있어서, I 화상으로 시작되는 새로운 그룹이 새로운 장면에 대응하게 된다.

한 실시예에서, 장면의 변화가 한 그룹 내에서 발생한다면 새로운 장면은 새로운 그룹의 I 화상을 구성하고, 만약 장면의 변화가 영향받은 그룹 내에서 일어났다면, 상기 영향받은 그룹은 이러한 새로운 장면 전에, N에 대해 허용 가능한 최소 수와 적어도 동일한 개시부로부터 좀 떨어져서 정지되도록 단축된다. 영향받은 그룹의 개시부는 영향받은 그룹의 장면 변화에 선행하는 화상의 수와 그에 선행하는 그룹의 화상의 수의 합이 최대 허용 가능한 N을 초과하지 때, 상기 선행하는 그룹을 연장하는데 이용된다. 이렇게 변경된(단축되거나 연장됨) 이러한 선행 그룹에서, 상기 GOP에 대해 이전에 계산된 수 M을 변경할 필요가 있을 수 있다.

영향받은 그룹의 길이가 N의 허용 가능한 최소값보다 더 작은 경우에 바람직하게 사용되는 하나의 변형예에서, 한 그룹 내에서 장면의 변화가 발생하면, 새로운 장면은 새로운 그룹의 I 화상을 구성하는데, 상기 새로운 그룹은 영향받기 전의 그룹의 길이와 선행하는 그룹의 길이의 평균과 동일한 길이를 갖는다. 이러한 변형으로, GOP에 대해 미리 교정된(calibrated) 숫자 M을 변경할 필요가 있을 수 있다.

2가지 변경이 가능할 때, 예컨대 영향받은 그룹의 길이가 허용 가능한 N의 최소값보다 작을 때, 변경 전에 M, N 쌍이나 획득된 (M,N) 쌍의 간격의 계산을 각각의 변경에 대해 수행하고 가장 간격이 짧은 쌍을 선택함으로써, 이러한 2가지 변경 사이에서 하나를 선택할 수 있다.

매개변수 N, M을 결정하기 위해, 처리량 측정을 제외한 매개변수 측정을 하고자 할 수 있다. 예컨대, N을 결정하기 위해서, I 인트라 화상의 에너지가 사용될 수 있다. 또한, M과 N을 결정하기 위한 DFD(프레임 변위 차이: Displaced Frame Difference)로 알려져 있는 움직임 보상 에러 또는 움직임의 크기를 결정할 수 있다.

본 발명의 다른 특색과 장점은 여러 실시예의 설명를 통해 나타날 것이고, 첨부된 도면을 참조하여 설명된다.

먼저 MPEG2 코딩에 사용되는 특정 원리를 보여주기 위해 도 1 내지 도 3을 참조하여 기술한다.

MPEG2 표준에서, 개시 지점은 순차 모드(progressive mode)에서 각각 720 포인트를 갖는 576 라인을 포함하는 화상일 수 있다. 비월 모드(interlaced mode)모드에서, 상기 화상은 또한 각각 720 포인트를 갖는 288 라인을 각각 포함하는 두 개의 프레임으로 구성된다.

각 화상은 16x16 휘도 포인트의 정사각형으로 각각 형성되는 매크로블록으로 분류된다. 따라서 각 매크로블록은 8x8 휘도 포인트의 4개의 정사각형 블록으로 형성된다. 이러한 4개의 휘도 블록 각각에서, 8x8 포인트를 각각 나타내는 2개의 색차 블록은 서로 관련되는데(4.2.0 포맷), 색차 블록 중 하나는 색상 차이 신호(Cr) 또는 적색의 색차를 나타내고, 다른 블록은 색상 차이 신호(Cb) 또는 청색의 색차를 나타낸다. 4.2.2 포맷에서, 각 휘도에서, 매크로블록은 4개의 8x8 색상 블록과 관련되는데, 그 중 2개 블록은 청색의 색차를 위한 것이고, 나머지 2개 블록은 적색의 색차를 위한 것이다. 또한 각각 4개의 8x8 블록을 포함하는 각각의 휘도와 색차 성분을 위한 4.4.4포맷이 존재한다.

4개의 8x8 휘도 블록이 도 1에 도시되었는데, 전부 "10"으로 언급되고, 8x8 색차 블록(12, 14)은 각각 청색 및 적색 색차를 위한 것이며, 모두 4.2.0 표준의 매크로블록을 도시한 것이다.

각 블록은 휘도 블록(예를 들자면)을 공간 주파수를 나타내는 계수 블록으로 변환할 수 있는 불연속 코사인 변환인 변환(DCT)을 사용하여 코딩된다. 도 2에서 도시되는 바와 같이, 소스 블록(16)은 8x8 계수 블록(18)으로 변환된다. 블록(18)의 상부 좌측 코너(20)는 제로 공간 주파수(블록의 평균 값)에 해당하고, 이러한 원점(20)으로부터, 화살표(22)로 나타낸 바와 같이, 수평 주파수는 우측으로 증가하는 동안, 수직 공간 주파수는 화살표(24)로 나타낸 바와 같이, 위에서 아래로 증가한다.

각 매크로블록에서, 코딩의 유형은 "인트라(intra)" 또는 "인터(inter)" 둘 중의 하나가 선택되야 한다. 인트라 코딩은 DCT 변환을 화상의 소스 블록에 인가하는 것인 반면, 인터 코딩은 DCT 변환을, 선행하는 화상 또는 후속되는 화상의 예측된 블록 또는 예측 블록과 소스 블록 사이의 차이를 나타내는 블록에 인가하는 것이다.

부분적으로 매크로블록이 속하는 화상의 유형에 따라 선택된다. 이러한 화상은 세가지 유형이 있는데, 제 1 유형은 I 또는 인트라로 알려진 유형인데, 여기서 코딩은 모든 매크로블록에 대한 인트라가 된다.

제 2 유형은 P 또는 예측 유형이다; 이러한 유형의 화상에서, 각 매크로블록의 코딩은 인트라 또는 인터 중 하나가 될 수 있다. P-유형 화상에 대한 인터 코딩의 경우에, DCT 변환이 상기 P 화상의 현재 매크로블록과 선행하는 I 또는 P 화상에서 발생하는 예측 매크로블록 사이의 차이에 적용된다.

제 3 유형의 화상은 B 또는 양방향성이라고 불린다. 이러한 유형의 화상의 각각의 매크로블록은 인트라 또는 인터 모드로 코딩된다. 인터 코딩은 또한 상기 변환을, 이러한 B 화상의 현재 매크로블록과 예측 매크로블록 사이의 차이에 적용한다. 상기 예측 매크로블록은 선행 화상이나 후속 화상 중의 하나 또는 양쪽 모두로부터 동시에(양방향성 예측) 발생할 수 있으며, 선행 또는 후속이라 불리는 예측 화상만 I 또는 P 유형이 될 수 있다.

화상의 세트가 도 3에 도시되었는데, 12개의 화상, 즉 I 화상에 이어서 다음의 시퀀스 B, B, P, B, B, P, B, B, P, B, B 에 따른 11개의 B와 P 화상을 포함하는 GOP로 라고 불리는 그룹을 형성한다.

GOP는 길이 즉, 한 예로 12와 30 사이에만 있을 수 있는 화상의 수 N과, 2개의 P 화상 사이의 간격 즉, 2개의 연속적인 P 화상 사이에 있는 B 화상의 수를 나타내는 구조 매개변수 M으로 특징지어지고, 한 단위씩 증가된다. 이러한 예시에서, 상기 매개변수 M은 3이다. 또한 예를 들어, 이러한 숫자 M은 1(B 화상 없음)과 7 사이에 있을 수 있다. 더욱이 코더를 간략화하기 위해, 이러한 숫자 M은 N의 약수가 될 수 있다는 것이 주지된다.

지금까지, 화상이 코딩되는 동안, 코더 내에서 N과 M은 계속 일정하게 유지된다.

본 발명은 코딩된 화상의 시퀀스에 따라 달라지는 M 과 N의 최적값이 존재한다는 것을 관측에 기인한다. 이것은, 화상 시퀀스가 더 우수하거나 또는 더 좋지 못한 선명도를 나타내는지, 그리고 많은 또는 적은 움직임을 나타내는지 여부에 따라서, M과 N의 최적값이 현저히 달라질 수 있기 때문이다. 동일한 품질에 대해서 최소의 비트수를 필요로 하는 값이 최적값인 것으로 이해된다.

추가로, 본 발명의 배경에서 실행되는 실험 연구는, 한정된 화상의 시퀀스에 대한 GOP의 최적 크기(Nopt)가 이러한 시퀀스에서 P 화상(헤더 포함)을 코딩하는데 필요한 비트수의 최소값(Pcost)에 해당한다는 것을 나타낸다. 이러한 특성이 도 4에 예시되어 있는데, 가로좌표에는 숫자 N이, 그리고 세로좌표에는 i로 표시된 시퀀스에 대한 값(Pcost)이 도시되어 있다. 이러한 값(Pcost)은 시퀀스(i)에서의 평균값으로 P 화상을 코딩하는데 사용되는 비트의 수이다. 따라서, 값 Pcost(i)는 N값이 최적이 되는(Nopt) 최소값(34)을 나타내는 곡선(32)으로 표시된 것을 볼 수 있다.

이와 유사한 방법으로, 숫자 M의 최적값은 i로 표시된 한정된 시퀀스에 대해 B 화상을 코딩하기 위해 평균값으로 사용될 비트수의 최소값 Bcost(i)에 해당한다는 점에 유의한다. 따라서, 도 5에서, 숫자 M은 가로좌표에 표시되었고, 숫자 Bcost(i)는 세로좌표에 도시되었다. 도 5에서, 곡선(36)은 M의 최적값(Mopt)에 해당하는 최소값(38)을 나타내는 것을 볼 수 있다.
특히 "홀스(horse)", "플라워 가든(flower garden)" 및 "모브컬(Mobcal)"로 표시되는 MPEG 코딩에서 통상적인 테스트 시퀀스가 측정된다. "홀스" 시퀀스는 우수한 선명도를 나타내는 신속한 움직임에 해당하고, "플라워 가든" 시퀀스는 또한 우수한 선명도를 나타내는 평균적인 움직임에 해당하며, "모브컬" 시퀀스는 높은 선명도를 나타내는 느린 움직임에 해당한다. 신속한 움직임과 낮은 선명도를 갖는 카약(kayak)시퀀스, 베스킷(basket) 시퀀스, 및 보통의 균일한 움직임과 우수한 선명도의 화상을 갖는 시퀀스와 같은 다른 시퀀스들도 테스트된다.

만일 상기 그룹이 M, N 및 양자화 간격(Q)의 한정된 값으로 테스트 코딩된다면, 이러한 값은 반드시 해당 시퀀스(i)의 최적값에 해당될 필요는 없고, P 화상을 코딩하는 평균 코스트(Pcost)와 B 화상을 코딩하는 평균 코스트(Bcost)는 각각 N과 M을 나타낸다. 더욱이, 도 6에 도시된 바와 같이, 각 시퀀스 i에서의 Nopt와 소정의 M, N 및 Q에서의 코딩 코스트(Pcost) 사이에 단순한 관계가 형성된다. 이러한 관계는 선형이거나 거의 선형인데, 직선(40)으로 도시되고 있으며(도 6), 이 선상에서 서로 다른 포인트(42, 44 등)는 서로 다른 시퀀스를 나타낸다.

도 7은 Nopt가 가로좌표에 있고, 코딩 코스트(Pcost)(M, N 및 Q로 정의된)가 세로좌표에 있는 도면인데, 각 포인트(52, 54, 56 등)는 소정의 시퀀스에 해당한다. 이러한 포인트가 직선(60)상에 있게 것이 보여진다. 따라서, Nopt와 테스트 코딩의 코스트 사이에 선형 관계가 있게 된다.

테스트 코딩 과정에서 사용되는 M, N, 및 Q의 값이 다음과 같을 때,

N = 12,

M = 3 및

Q = 15

M과 N값은 다음의 관계를 만족시킨다.

비록, 위의 식(2)에서, M은 1과 7사이에 있어야 하는 것으로 표시되었지만, 도 7의 도면에서, M은 실제로 5까지로 제한될 수 있다는 것을 알 수 있다.

본 발명을 실행하기 위한 설계도가 도 8에 도시된다. 이것은 테스트 코딩 또는 "제 1 패스" 코딩을 실행하기 위한 제 1 MPEG2 코더(70)를 포함한다. 상기 테스트 코딩은 전술한 고정 매개변수 즉, 이 예시에서 M = 12, N = 3 및 Q = 15로 셋업된다. 상기 테스트 코더는 이 예시에서 개방 루프로, 즉 규제없이 동작하게 된다.

코더(70)는 도 6과 도 7에 도시된 바와 같이 전술한 식(1)과 (2)의 관계에 따라, Pcost를 Nopt로, Bcost를 Mopt로 변환하는 변환기(72)에 적용되는 Bcost와 Pcost값을 공급한다.

이러한 값(N, M)은 전술한 바와 같이 화상 그룹에 대해 계산되고, MPEG2 코더(74)의 제어 입력(76)에 적용된다.

코더(74)의 입력에서의 데이터는 테스트 코더(70)의 입력 데이터와 동일하다. 따라서, 버퍼 메모리(78)가 테스트 코더(70)와 변환기(72)에서의 처리 시간을 고려하기 위해 제공되고, 상기 메모리(78)는 처리하는 동안 데이터를 유지한다.

변환기(72)에서, 식(1), (2)의 결과인 N, M쌍은 이 실시예에 부과된 구속(constranit)과 호환가능한데, 특히, M은 N의 약수이다. 만일 계산 결과 값이 호환되지 않는다면, N과 M의 값은 계산된 값과 가장 유사한 값을 채택하지만, 대개는 M값이 선택된다.

변환기(72)는 부수적인 조건도 고려한다.

우선, 변환기는 Bcost와 Pcost사이의 비교를 수행하고, 만일 Bcost가 Pcost보다 더 높을 경우, 값 1이 M에 할당되고, GOP는 B 화상을 포함하지 않는다. 이것은 이러한 가정에서, B 화상이 P 화상보다 더 높은 코딩 코스트를 갖기 때문이다; 높은 예측 품질을 보이는 P 화상만을 유지하는 것이 바람직하다.

두 번째로, 변환기는 Bcost를 값 179000과 비교하며, Bcost가 179000을 초과하면, 상기 관계(2)는 다음의 발견적 관계로 대체된다.

변환기(72)는 또한 2가지 특별한 경우를 고려할 수 있는데, 여기서 화상 품질의 균일성을 얻기 위해 관계(2)로부터 벗어날 필요가 있다.

제 1 경우는 다음과 같다. 테스트 코딩은 M이 적어도 2와 동일한 값을 보여야하지만, 더욱이 이러한 테스트 코딩은 M에 의해 얻어진 중간 값이 그룹의 큰 부분, 예컨대 80%에서 1과 동일한 것으로 나타낸다. 이러한 경우에, 변환기(72)는 M이 1이 되는 것으로 규정한다.
제 2 경우는 제 1 경우와 유사하다. 테스트 코딩은 M이 적어도 2와 동일해야 하지만, M에 대해 얻어진 중간 값이 그룹 길이의 적어도 일부, 예컨대 60 %(이러한 제한은 제 1 경우의 기대 제한 미만)에서 1과 동일하다는 것을 나타내고, 선행 그룹은 M = 1 과 같이 된다. 이러한 경우에, M에 대해 값 1이 부여된다.

M에 대해 값 1이 설정되는 이러한 2가지 특별한 경우는, 연속적인 그룹에 걸쳐서 동일한 유형의 시퀀스에 대해서 이러한 조건들이 우수한 품질 균일성을 허용한다는 것을 보여주는 본 발명의 배경에서 실행되는 테스트로부터 얻어질 수 있다.

마지막으로, 변환기(72)는 장면의 변화 또는 코더에서 대개 검출되는 "컷(cut)"을 고려한다. 이러한 장면의 변화가 발생할 때, GOP는 새로운 장면으로 시작되는데, 다시 말해, 새로운 장면이 나오면, 인트라 I 화상이 공급된다.

더욱이, 본 발명의 방법에 따라, 장면의 변화가 검출될 때, 선행 GOP와 현재의 GOP는 다음의 조건을 기초로 해서 구성된다:

장면의 변화가 12번째 화상 다음에 GOP에 나타난다면, 이때 새로운 GOP는 장면의 변화로 시작하고, 따라서, 선행 GOP는 제한되거나 짧아진다.

대조적으로, 장면의 변화가 12번째 화상 전에 나타난다면, 이때 선행 GOP를 제한하지 못하게 되어서 장면의 변화 직전에 종료하는데, 이는 이러한 경우에 화상의 수가 규정된 최소 수보다 더 작게 되기 때문이다. 선행 GOP와 현재의 GOP는 이때 다음의 방법으로 변경되는데, 2가지 경우로 구별된다.

첫 번째 경우에서, 장면의 변화는 선행 GOP의 화상의 수와 현재 GOP의 화상의 수의 합이 장면의 변화 직전에 적어도 30이 되는 순간에 나타난다. 이 경우에, 선행 GOP는 길어진다.

두 번째 경우에서, 장면 변화 직전에 현재 GOP 화상의 수와 선행 GOP 화상 수의 합은 30 보다 크다. 그 다음, 선행 GOP와 현재 GOP는 상기 2개의 GOP에 대응하는 평균을 계산하여 재배치된다.

예컨대, 만약에 선행 GOP는 N = 25이고 M = 2가 되고, 만일 계산값이 N = 20, M = 3을 나타내는 현재 GOP의 8번째 화상 뒤에 장면 변화가 발생한다면, 길이가 짧아진 현재 GOP만큼 길이가 길어진 선행 GOP는 33개의 화상을 포함한다. 상기 값이 최대 허용치(30)를 초과하게 되기 때문에, 전체 화상 수가 33인 2개의 GOP에 대응하도록 "평균"이 구해지고, 각각의 GOP는 부과된 구속에 따라야 한다. 이 경우에, 선행 GOP에 대한 N = 18과 M = 2 및 장면이 변하기 직전의 GOP에 대한 N= 15 및 M = 3 사이에서 선택이 이루어지는 것을 볼 수 있다. 길이 18과 15는 선행 그룹(25)의 길이와 영향받은 현재 그룹의 길이(8)의 평균(16.5)에 근접한다.

장면의 변화, 빛의 플래시 및 상대적으로 긴 지속 기간에 따라 12개의 서로 다른 시퀀스에 대해 테스트가 실행되었고, M과 N의 고정 값에 대응하는, 종래 코딩 방법으로 얻어진 결과는 M과 N 값을 시퀀스에 적응시키는 본 발명에 따른 방법으로 얻어지는 결과와 비교된다. 이러한 테스트는 여러 처리량으로 실행된다. 품질의 향상이 주지되는데, 이것은 0.2dB에서 1.14dB의 PSNR 매개변수(피크 신호 대 잡음비; Peak Signal to Noise Ratio)에 의해 측정된다. PSNR에서의 이러한 증가는 약 2와 22% 사이의 비트 절약에 해당한다.

본 발명에 따른 방법은 임의의 유형의 비디오 화상 압축 방법에서 사용될 수 있는데, 여기서 I, P 및 B 화상이 제공된다. 이것은 실시간으로 또는 오프라인으로 레코딩, 또한 전송 모두에 적용될 수 있다.

상기 방법은 GOP의 크기가 코딩 전에 결정되는 경우에 대해서만 제한되는 것은 아니다. 상기 방법은 또한 매개변수 M 과 N이 각 화상에 대해 계산될 때에도 적용될 수 있는데, 적절한 코딩은 진행중에 실행된다. 이 경우에 있어서, M은 GOP내에서 변화될 수 있고, 예를 들어 현재의 GOP에서 코딩된 화상의 수가 계산된 N과 적어도 동일할 때, 새로운 GOP가 시작된다. M은 GOP 내의 화상의 복잡도의 함수로서 변할 수 있다.

이러한 경우에서, 버퍼 메모리(78)의 GOP 전체를 저장할 필요가 없고(그 용량 감소), M과 N의 값에 대한 구속이 줄어들게 되며, MPEG2 표준에 의해서만 표시된다; 장면의 변화에 부과된 구속 또한 그리 심하지는 않다.

전술한 바와 같이, 본 발명에 따른 코딩 방법은 적어도 하나의 매개 변수가 결정되어 한 그룹에 따라 코딩될 소스 화상을 특징화할 수 있다.

Claims

화상 그룹(GOP: Group of Pictures)에 따라 화상이 코딩되는 화상 압축 방법으로서, 상기 화상 그룹은 각각 상기 그룹의 길이를 나타내는 N개의 화상을 포함하되, 상기 그룹은 인트라 모드로 코딩된 I 화상과 P화상을 포함하며, 상기 P화상은 인트라 화상 I 또는 선행하는 P 화상을 기초로 예측되고, 각각의 P화상은 n개의 양방향으로 예측되는 화상 B에 의해 선행되거나 뒤따르게 되고, 여기서 n은 0일 수도 있고, n이 한 단위만큼 증가된 것과 동일한 M은 상기 그룹의 구조를 나타내는, 화상 압축 방법에 있어서,

하나의 그룹에 따라 코딩될 소스 화상을 특징짓는 적어도 하나의 매개변수가 결정되고, 상기 그룹의 길이 N과 구조 M은 이러한 매개변수(들)에 따라 결정되는 것을 특징으로 하는, 화상 압축 방법.
제 1항에 있어서, 상기 소스 화상을 특징짓는 상기 매개변수(들)가 소정의 값이 N, M 및 양자화 인터벌(Q)에 할당되는 동안 테스트 코딩을 이용해서 결정되는 것을 특징으로 하는, 화상 압축 방법.
제 2항에 있어서, 상기 테스트 코딩은 개방 루프로 실행되는 것을 특징으로 하는, 화상 압축 방법.
제 2항 또는 제 3항에 있어서, 상기 소스 화상을 특징짓기 위해서, 상기 테스트 코딩 동안에 얻어진 P 화상을 특징짓는 매개변수(Pcost)와 상기 테스트 코딩 동안 얻어진 상기 B 화상을 특징짓는 매개변수(Bcost)가 결정되는 것을 특징으로 하는, 화상 압축 방법.
제 4항에 있어서, 상기 N은 적어도 하나의 P 화상을 특징짓는 매개변수에 기초하여 결정되고, 상기 M은 적어도 하나의 B 화상을 특징짓는 매개변수에 기초하여 결정되는 것을 특징으로 하는, 화상 압축 방법.
제 4항에 있어서, 상기 P 화상과 B 화상을 특징짓는 매개변수(Pcost, Bcost)는 예컨대 평균 코스트와 같은, 상기 P 화상과 B 화상의 코딩 코스트인 것을 특징으로 하는, 화상 압축 방법.
제 5항에 있어서, 상기 테스트 코딩 동안에, 각각의 B 화상을 코딩하는 평균 코스트가 각각의 P 화상을 코딩하는 평균 코스트 보다 더 클 때, M에 값 1이 부여되고, 따라서 상기 화상 그룹은 B 화상을 포함하지 않는 것을 특징으로 하는, 화상 압축 방법.
제 6항에 있어서, 상기 테스트 코딩 동안에, 각각의 B 화상 및 대응하는 M을 코딩하는 코스트는 상기 소스 화상의 도착에 맞춰서 결정되는 것을 특징으로 하는, 화상 압축 방법.
제 8항에 있어서, 상기 테스트 코딩의 종료 전에 결정된 상기 M이 상기 화상 그룹의 상당 부분에서 1과 동일할 때, 상기 그룹의 M에 값 1이 부여되는 것을 특징으로 하는, 화상 압축 방법.
제 8항에 있어서, 상기 테스트 코딩의 종료 전에 결정된 상기 M이 상기 그룹의 적어도 한정된 부분에서 1과 동일하고, 상기 M이 상기 선행 그룹에서 1과 동일할 때, 상기 그룹의 M에 값 1이 부여되는 것을 특징으로 하는, 화상 압축 방법.
제 1항 내지 제 3항 중 어느 한 항에 있어서, 한 그룹 내에서 장면의 변화가 발생하는 경우에, 새로운 장면은 새로운 그룹의 I 화상을 구성하며, 만일 상기 장면의 변화가 상기 영향받은 그룹 내에서 발생한다면, 상기 영향을 받는 그룹은, 상기 새로운 장면 이전에 허용될 수 있는 N의 최소의 값과 적어도 동일한, 화상 그룹의 시작부로부터 거리에서, 상기 새로운 장면 이전에 정지할 수 있도록 단축되며, 상기 영향을 받은 그룹 내에서의 장면 변화에 앞서는 화상의 수와 상기 영향을 받은 그룹에 선행하는 그룹의 화상의 수의 합계가 허용 가능한 N의 최대의 값을 초과하지 않는 경우, 상기 영향받은 그룹의 시작부는 그것에 선행하는 그룹의 길이를 연장하는데 사용되는, 화상 압축 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 현재의 그룹 내에서 장면의 변화가 발생하는 경우에, 상기 현재의 그룹은 장면변화에 대응하는 화상 전에서 종료되고, 장면의 변화에 대응하는 화상에 앞서는 상기 현재의 그룹의 길이와 그에 선행하는 그룹의 길이의 평균에 가까운 길이를 나타내도록 배열되는, 화상 압축 방법.
제 6항에 있어서, 50㎐에서 MPEG-유형 표준에 따라 실행되는 테스트 코딩에서, N = 12, M = 3, 및 Q = 15일 때 N 과 M은 각각

의 관계식에 따른 B 이미지 및 P 이미지의 평균 코딩 코스트의 함수이고, 여기서 INT는 정수 부분을 나타내는 것을 특징으로 하는, 화상 압축 방법.
제 13항에 있어서, 1≤M ≤5인 것을 특징으로 하는, 화상 압축 방법.
제 13항에 있어서, 상기 코딩 코스트(Bcost)가 179000보다 클 때, 상기 M은

의 관계식에 의해 결정되는 것을 특징으로 하는, 화상 압축 방법.
제 1항 내지 제 3항 중 어느 한 항에 있어서, 상기 M은 한 그룹 내에서 변하도록 이루어진 것을 특징으로 하는, 화상 압축 방법.
제 2항 또는 제 3항에 있어서, 상기 소스 화상에 대한 압축은 상기 테스트 코딩 후에 실행되는 것을 특징으로 하는, 화상 압축 방법.
제 4항에 있어서, 상기 소스 화상에 대한 압축은 제 1 B 화상 또는 제 1 P 화상을 특징짓는 매개변수가 결정된 후에 시작되는 것을 특징으로 하는, 화상 압축 방법.
제 18항에 있어서, 코딩된 화상 그룹의 형성은 코딩된 화상의 수가 적어도 현재의 P 화상에 기초하여 결정된 N과 동일한 경우에 중단되는 것을 특징으로 하는, 화상 압축 방법.
제 1항에 기재된 상기 방법을 구현하기 위한 코딩 디바이스로서,

상기 디바이스는 코딩 코스트에 직간접으로 관련된 적어도 하나의 파라미터를 계산하기 위한 화상을 수신하고 변환기(72)에 연결된 제1 코딩 회로(70)와 적절한 코딩을 수행하기 위해 화상과 M과 N 파라미터를 받아들이는 제 2 코딩 회로(74)를 포함하며, 상기 변환기는 상기 계산된 파라미터에 따라 M과 N를 결정하는, 코딩 디바이스.