KR100441502B1

KR100441502B1 - 데이터압축방법

Info

Publication number: KR100441502B1
Application number: KR10-1998-0703047A
Authority: KR
Inventors: 폴 윌리엄 칵슈트; 더글라스 로버트 맥그리거; 리차드 존 프레이어; 로버트 바쏠리뮤 램버트
Original assignee: 유니버시티 오브 스트라스클라이드
Priority date: 1995-10-27
Filing date: 1996-10-22
Publication date: 2004-10-15
Also published as: ES2206596T3; KR19990067106A; US6049632A; HK1000582A1; CN1200857A; DE69629715D1; JPH11513866A; EP0861561A1; GB9621982D0; GB9522077D0; ATE248485T1; GB2306840A; GB2306840B; CN1148972C; WO1997016026A1; EP0861561B1; DE69629715T2

Abstract

디지털 전기신호 형태의 데이터 엔트리의 배열을 압축하는 방법에 관한 것으로서, (a) 압축될 원래의 데이터 배열의 제1 근사값으로서 기준 데이터 배열을 제공하는 단계, (b) 상기 원래의 데이터 배열을 하나 이상의 크기의 다수의 블록으로 분할하는 단계, (c) 각각의 데이터 블록에 대하여, 그 데이터 블록의 근사값을 제공하기 위해 비압축으로 될 수 있는, 상기 데이터 블록에 포함된 데이터의 압축된 부호화를 소정의 부호화 과정에 따라 결정하여, 다수의 압축된 부호화들을 결정하는 단계, (d) 상기 다수의 압축된 부호화들로부터, 비압축으로 되고 상기 기준 데이터 배열에 부가될 때 상기 원래의 데이터 배열에 대한 기준 데이터 배열의 오차의 최대 감소를 제공하는 하나의 압축된 부호화를 선택하는 단계, (e) 선택된 압축된 부호화를 비압축 형태로 상기 기준 데이터 배열에 부가하여 원래의 데이터 배열의 제2 근사값을 제공하고, 또한 상기 선택된 압축된 부호화를 압축된 형태로 저장하여 원래의 데이터 배열의 압축된 표현을 확립하는 단계, 및 (f) 근사값의 소망의 품질 레벨이 달성되거나 또는 상기 압축된 표현의 최대 데이터 크기가 달성될 때까지, 상기 원래의 데이터 배열에 대한 잇따른 근사값들을 제공하도록 다른 압축된 부호화들을 잇따라 선택하여 저장하기 위해 나머지 압축된 부호화들에 대하여 상기 단계 (d) 및 단계 (e)를 재귀적으로 반복하는 단계를 포함하는 것을 특징으로 하는 데이터 압축방법이다.

Description

데이터 압축방법{Data Compression}

최근, 데이터의 배열, 특히, 예를 들어, 비디오 시퀀스의 개개의 화상 또는 프레임(frame)일 수 있는 2차원 화상을 압축하는 기술이 다수 제안되었다. 이들 화상 압축기술 중 어떤 것은, 기준 패치(reference patch)(예를 들어, 하나 이상의 "라이브러리(library)" 화상으로부터 취해진 비교적 작은 부분)들의 코드 북(code book)이 구성되는 "벡터 양자화"(vector quantization)로 알려진 것을 이용한다. 압축될 화상은 다수의 화상 패치, 및 코드 북으로부터 각각의 화상 패치를 위해 선택된 매칭(matching)(즉, 유사) 기준 패치로 분할된다. 코드 북에서의 각각의 선택된 기준 패치를 위한 코드 북 인덱스는 화상 패치들의 대응하는 위치 벡터(즉, 원래의 화상에서의 그들의 위치)들과 함께 저장되어 화상의 압축된 표현(compressed representation)을 제공한다. 각각의 패치에 대한 이러한 부호화가 "압축된 부호화"(compressed encoding)라 불린다. 코드 북의 사본이 이용 가능하다면, 저장된 코드 북 인덱스를 사용하여 요구되는 세트의 기준 패치들을 회복하고이들을 저장된 화상 패치 위치 벡터들을 사용하여 화상 프레임 내에 삽입하는 것에 의해, 원래의 화상에 대한 근사값(approximation)이 구성될 수 있다. 달성 가능한 압축 정도는 화상을 분할한 화상 패치들의 크기와 함수관계에 있고, 패치가 클수록 압축도가 높아진다.

대부분의 화상의 경우, 화상의 특정 영역이 다른 영역보다 세밀한 세부(detail)를 포함하고, 만약 화상을 분할한 패치들이 높은 압축도를 달성하도록 할 정도의 크기를 갖는 경우에는 화상의 세부 영역들이 압축된 표현에서는 적절히 표현될 수 없는 경우가 있다. 따라서, 중요한 세부를 포함하는 화상 영역은 비교적 작은 패치에 의해 표현되고, 한편, 세부를 거의 또는 전혀 포함하지 않는 화상 영역은 보다 큰 패치에 의해 표현되는 방법이 제안되었다. 이 방법은 코드 북으로부터 식별된 제1 레벨의 큰 패치들을 사용하여 화상을 임시로 재구성하는 것을 포함한다. 이것은 단계적으로 개량될 수 있는 기준 화상을 제공한다. 이 임시 화상은 "압축된" 화상의 압축풀림 버전(decompressed version)을 표현하는 것으로 인식된다. 작은 패치들에 의한 표현을 필요로 하는 세부의 영역들을 식별하기 위해, 각각의 새로운 큰 기준 패치가 압축된 화상에 부가된 후, 대응하는 임시 화상이 원래 화상과 비교되어, 임시 화상과 최대로 다른 원래 화상의 영역을 식별한다. 그 다음, 이 영역을 포함하는 화상 패치가 보다 작은 화상 패치들로 세분(細分)되고, 이들 새로이 형성된 화상 패치들에 대하여 코드 북으로부터 기준 패치들이 식별된다. 그 다음, 식별된 기준 패치들을 위한 코드 북 인덱스들과 위치 벡터들이 압축된 표현에 부가된다. 이 과정은, 임시 화상이 소망의 품질 레벨에 도달할 때까지 또는압축된 표현의 데이터 크기가 어떤 최대 한계 수준에 도달할 때까지 재귀적으로 반복된다.

이러한 최대 차(maximum difference) 방법에서의 문제점은 코드 북이 필수적으로 유한의 크기로 되어 있기 때문에 어떤 상황에서는 화상의 특정 영역들에 대한 밀접한 매치(match)를 찾는 것이 극히 어려울 수 있다는 것이다. 비록 압축된 화상에 의해 품질이 나쁜 상태로 표현되는 것으로 식별되지만, 코드 북의 제약 때문에 결코 만족스럽게 표현될 수 없는 원래 화상의 영역들을 표현하는데 상당한 처리시간 및 압축된 화상에서의 상당한 저장공간이 요구될 수 있다.

본 발명은 디지털 전기신호 형태의 데이터의 배열(array)을 압축하는 방법 및 장치에 관한 것으로, 본 발명은 특히 디지털적으로 부호화된 화상(image) 시퀀스의 압축에 적용 가능하지만, 반드시 그러한 적용에 한정되는 것은 아니다.

도 1은 세분된 화소 패치들의 겹침 배열을 나타내는 도면이다.

본 발명의 목적은 상기한 종래의 데이터 압축방법의 단점들 중 하나 이상을 해소 또는 경감시키는데 있다.

본 발명의 다른 목적은 압축된 데이터의 품질을 최적화할 수 있는 데이터 압축방법 및 장치를 제공하는데 있다.

본 발명의 일 양태에 따르면, 디지털 전기신호 형태의 데이터 엔트리(entry)의 배열을 압축하는 방법으로서,

(a) 압축될 원래의 데이터 배열의 제1 근사값으로서 기준 데이터 배열을 제공하는 단계,

(b) 상기 원래의 데이터 배열을 하나 이상의 크기를 갖는 다수의 블록으로 분할하는 단계,

(c) 각각의 데이터 블록에 대하여, 그 데이터 블록의 근사값을 제공하기 위해 비압축으로 될 수 있는, 상기 데이터 블록에 포함된 데이터의 압축된 부호화를 소정의 부호화 과정에 따라 결정하는 단계,

(d) 압축된 부호화들로부터, 비압축으로 되어 상기 기준 데이터 배열에 부가될 때 상기 원래의 데이터 배열에 대한 상기 기준 데이터 배열의 오차(error)를 최대로 감소시키는 하나의 압축된 부호화를 선택하는 단계,

(e) 선택된 압축된 부호화를 비압축 형태로 상기 기준 데이터 배열에 부가하여 상기 원래의 데이터 배열의 제2 근사값을 제공하고, 또한 상기 선택된 압축된 부호화를 압축된 형태로 저장하여 상기 원래의 데이터 배열의 압축된 표현을 확립하는 단계, 및

(f) 근사값의 소망의 품질 레벨이 달성되거나 또는 상기 압축된 표현의 최대 데이터 크기가 달성될 때까지, 상기 원래의 데이터 배열에 대한 잇따른 근사값들을 제공하기 위해 다른 압축된 부호화들을 선택하여 저장하도록 나머지 압축된 부호화들에 대하여 잇따라 상기 단계 (d) 및 (e)를 재귀적(再歸的)으로 반복하는 단계를 포함하는 것을 특징으로 하는 데이터 압축방법이 제공된다.

본 발명은 개선이 가능하고 또한 가장 유리한 기준 데이터 배열의 영역을 개선하는데 집중되어 있다. 이것은 개선이 가능하지 않거나 또는 최저한으로만 달성될 수 있는 영역에 종종 집중되는 공지의 압축방법과 대조적이다.

각 데이터 블록의 압축된 부호화를 결정하는 단계 (c)는 가장 밀접하게 매칭되는 기준 블록을 찾아내기 위해, 각각의 기준 블록에 독자(獨自)의 코드 북 인덱스가 지정되어 있는 기준 데이터 블록들의 코드 북을 검색하는 것을 포함할 수 있다. 다른 실시예로서는, 이 단계가 각각의 블록에 대하여 이산적(離散的) 코사인 변환(DCT) 또는 이산적 푸리에(Fourier) 변환(DFT)과 같은 다른 적당한 표현을 결정하는 것을 포함할 수도 있다.

비압축 형태에 있을 때 기준 데이터 배열의 최대 개선을 이루게 하는 단계 (d)에서 선택된 압축된 부호화는, 먼저 상기 데이터 블록들 각각과 비압축 형태의 각각의 압축된 부호화 사이의 오차(error)(ε₁)를 결정한 다음, 상기 데이터 블록들 각각과 기준 데이터 배열의 각 블록 사이의 오차(ε₂)를 결정하고, 상기 오차들의 차이(ε₁- ε₂)를 최대화시키는 압축된 표현을 선택하는 것에 의해 식별될 수 있다. 일 실시예에서는, 상기 차이(ε₁- ε₂)는 비교되는 데이터 블록들의 각 엔트리 사이의 총 이승(二乘) 편차(total squared difference)로서 평가될 수 있다.

본 발명은, 예를 들어, 대기 중의 오디오 신호 또는 3차원 압력 변화를 나타내는 디지털 데이터의 압축에 적용될 수 있으나, 특히, 각각이 화소 강도 값(들)을 갖는 화소들의 배열을 포함하는 2차원 화상의 압축에 적용 가능하다. 전형적으로는, 데이터 블록들이 인접한 화소들의 패치를 포함한다. 그 패치들은 단일 레벨로 화상을 균일하게 분할함으로써 생성될 수 있으나, 다르게는, 화상이 2개 이상의 레벨로 임의로 분할되어 여러 세트의 겹치는 및/또는 다른 크기 또는 형태의 패치들을 생성할 수도 있다. 실제로, 겹치는 패치들을 생성하는 것이 특히 유리할 수 있는데, 그 이유는, 압축풀림 화상에 "타일드"(tiled) 효과를 발생시킬 수 있는 에지 아티펙트(edge artifact)를 감소 또는 제거시키기 때문이다. 겹치는 패치를 위해도출된 압축된 표현 또는 기준 패치들이 소정의 기준을 사용하여 기준 화상에 조합된다. 예를 들어, 겹치는 영역들은 겹차는 화소 강도의 가중 결합으로부터 도출될 수 있다. 다르게는, 화소들이 겹치지 않는 방식으로 조합될 수 있도록 어떤 패치들로부터 어떤 화소들을 선택하는 것이 좋은가의 규칙이 있을 수 있다.

하나의 화상이 2개 이상의 레벨로 상이한 크기의 패치들로 세분되는 경우에는, 이전에 선택된 패치를 완전히 또는 부분적으로 폐색하는 기준 패치가 기준 화상에의 부가를 위해 선택될 수 있다. 그 폐색(occlusion)이 완전한 경우에는, 이전에 선택된 패치가 기준 화상으로부터 제거될 수 있다. 그러나, 그 폐색이 부분적인 경우에는, 그 부분적으로 폐색된 패치가 폐색되지 않은 부분에 보다 양호하게 근사하도록 대체 패치로 대체(또는 어떤 방식으로 변환)되어야 하는지의 여부를 결정하는 것이 적절할 수 있다. 다르게는, 부분적으로 폐색된 패치는, 이렇게 함으로써 화상의 품질이 개선될 수 있거나 또는 화상 프레임의 다른 영역내의 어떤 기준 패치의 기준 화상에의 삽입에 의해 얻어지는 품질의 증가에 의해 보상되는 것보다 품질의 감소가 클 때는 기준 화상으로부터 완전히 제거될 수도 있다.

본 발명의 이러한 적용은 비디오 화면의 압축 및 전송(예를 들어, CD 또는 비디오 테이프 매체를 사용한)에까지 확장될 수 있고, 특히 비디오폰들 사이에서의 비디오 화상의 압축 및 전송에까지 확장될 수 있다. 본 발명의 일 실시예에서는, 단계 (a)에서 제공되는 기준 데이터 배열은 균일하게 검은 화상과 같은 임의의 화상이다. 기준 화상은 송신 비디오폰의 메모리 및 수신 비디오폰의 메모리에 저장된다. 비디오폰의 카메라에 의해 포착될 제1 화상 프레임으로부터 얻어진 화상 패치들의 압축된 부호화들은 버퍼 메모리에 재귀적으로 부가되고, 이와 동시에, 비압축 형태로 송신 비디오폰의 메모리내의 기준 화상에 부가되는데, 이것은 소정 양의 데이터가 버퍼 메모리에 보유될 때까지 행해진다. 그 다음, 버퍼 메모리에 저장된 데이터는 수신 비디오폰으로 전송된다.

제1 화상 프레임을 포착한 후 소정 시간간격(비디오 카메라의 "리플래시율(refresh rate)" 또는 그의 배수(倍數))으로, 송신 비디오폰이 제2 화상 프레임을 포착한다. 만일 이 시간간격이 예를 들어 0.1초로 비교적 짧으면, 이 후속 화상 프레임은 제1 화상 프레임과 유사하고, 따라서, 수신 비디오폰에서의 디스플레이를 갱신하는데 근소한 변화만이 요구될 수 있다. 수신 비디오폰으로 이미 전송된 화상 데이터를 완전히 폐기하고 다시 압축과정을 시작하는 것은 매우 비효율적이다. 오히려, 단계 (d)를 반복하는 것에 의해 제1 화상 프레임의 압축 중에 변경된 초기 기준 화상 프레임이 제2 화상 프레임을 위한 새로운 기준 화상 프레임을 형성할 수 있다. 단계 (b) 및 (c)의 실행에 이어서, 단계 (d)를 반복하는 것에 의해, 비압축 형태에서 새로운 기준 화상 프레임과 제2 화상 프레임 사이의 오차를 감소시키는 압축된 부호화들을 식별하는 것이 가능하다. 이들 압축된 부호화는 요구되는 데이터 레벨이 달성될 때까지 버퍼 메모리에 저장되고, 그것이 달성된 때, 그들 압축된 부호화는 수신 비디오폰으로 전송되어 그 수신 비디오폰에서 표시되는 화상 프레임을 갱신한다. 변경된 상태에 있는 포착된 화상 프레임의 이들 영역은 개선을 가장 받기 쉽고, 단계 (d)에서 식별된 압축된 부호화들은 그들 영역에 대응하는 경향이 있다는 것이 인식된다.

압축된 부호화들이 기준 패치들의 코드 북을 검색하는 것에 의해 얻어지는 경우에는, 그 코드 북은 많은 공지의 기술들 중 어떤 하나를 사용하여 구성될 수 있다. 코드 북은 크기가 다른 패치들의 다수의 세트로 구성되는 것이 바람직하다. 예를 들어, 코드 북은 압축될 화상이 분할되는 유사한 크기의 패치들을 매칭시키기 위해 큰 패치들(예를 들어, 64 ×64 화소)의 세트, 중간 패치들(예를 들어, 16 ×16 화소)의 세트, 및 작은 패치들(예를 들어, 8 ×8 화소)의 세트를 포함할 수 있다.

압축된 표현의 품질을 개선하기 위해, 코드 북으로부터의 매칭 패치의 식별은, 예를 들어, 회전 또는 반사를 이용하여 기준 패치들 또는 화상 패치들을 변환하는 것에 의해 이루어질 수 있다. 매칭을 개선하기 위해 요구되는 변환은 압축된 표현의 부분으로서 화상 패치 위치 벡터들 및 코드 북 인덱스들과 함께 저장된다. 마찬가지로, 화상 패치들 및 기준 패치들은 휘도 및 콘트라스트에 대하여 정규화 되고, 그 결과의 정규화 정수들이 압축된 표현의 부분을 구성한다.

압축될 화상이 일련의 비디오 화상 프레임들 중 하나이고, 장면(scene) 성분이 후속 프레임들 사이의 움직임 중에 있는 경우에는, 이전 프레임의 압축된 표현(비압축 상태의)의 인접 부분으로부터 패치를 추출함으로써, 그 이동 성분 또는 그의 일부를 포함하는 화상 패치의 양호한 근사값이 얻어질 수 있다. 따라서, 이 압축방법은 코드 북의 검색을 행하기 전에 이전 프레임의 압축된 표현으로부터 추출된 패치들을 그 코드 북 또는 보충 코드 북에 임시로 부가하는 것을 포함할 수 있다. 검색 시간을 줄이기 위해, 이 검색은 검색이 행해지고 있는 화상 패치에 인접하는 이전 프레임의 압축된 표현의 영역들로부터 추출된 패치들에 한정될 수 있다.

어떤 대상물, 예를 들어, 정지한 배경 또는 정지에 가까운 배경 앞에서 움직이는 인물은 그 배경의 부분 부분을 끊임없이 가리거나 또는 그 가림을 해제할 수 있다는 것이 인식될 것이다. 따라서, 압축될 프레임 바로 앞의 다수의 프레임들로부터 얻어진 패치들을 보충 코드 북에 저장하는 것이 적합할 수 있다. 이러한 원리는 비디오폰 "대화"를 시작하기 전에 보조 화상을 위한 코드 북을 작성하는 것에까지 확장될 수 있다. 이 보조 화상은 전형적으로는 호출자가 위치하는 장소의 배경이다. 물론, 적당하다면, 다수의 보조 화상들이 사용될 수도 있다.

또한, 보조 화상(들)으로부터 취해진 패치들을 플래그(flag)하여, 그들이 예를 들어 수신 비디오폰에 의해 인식될 수 있도록 하는 것도 고려된다. 이러한 플래그는 압축풀기 알고리듬으로 하여금 코드 북 조사(look-up) 작동을 "대체" 배경 코드 북으로 전환시켜, 호출자가 다른 배경, 예를 들어, 그 호출자가 실제로 위치하고 있는 회의실의 벽면을 배경으로 하지 않고 야자수가 있는 해변 앞에 있는 것과 같이 나타내게 하는 것이 가능하게 된다.

본 발명의 제2 양태에 따르면, 디지털 전기신호 형태의 데이터 엔트리들의 배열을 압축하는 장치로서, 상기한 제1 양태에 따라 설명된 방법을 실시하는 프로그램을 실행하도록 구성된, 예를 들어, 공지 형태의 디지털 컴퓨터를 포함하는 것을 특징으로 하는 데이터 압축장치가 제공된다.

본 발명을 더 양호하게 이해하고, 본 발명이 어떻게 실시될 수 있는가를 나타내기 위해, 압축될 화상 프레임의 부분을 다층 화상 패치들로 분할하는 것을 나타내는 첨부 도면을 참조하여 본 발명의 실시예를 예시적으로 설명한다.

먼저, 각각이 관련된 화소 강도를 갖는 화소들의 정규 배열로 이루어진 2차원 화상 프레임을 고려한다. 압축과정의 제1 단계는 하나 이상의 라이브러리 화상 프레임들로부터 기준 패치들을 추출하여 코드 북을 작성하는 것이다. 이들 라이브러리 화상 프레임은 압축될 화상 프레임에 포함될 수 있는 특징들을 포함하는 것이 바람직하다. 전형적인 코드 북은 크기가 다른 수 백개의 기준 패치들, 예를 들어, 32 ×32 화소 패치들의 세트, 16 ×16 화소 패치들의 세트, 및 8 ×8 화소 패치들의 세트를 포함하고, 이들 패치의 각각은 독자의 코드 북 인덱스에 의해 식별된다. 각각의 기준 패치는, 그 패치 내의 화소들의 평균 강도를 결정하고 각 화소에 대한 강도 값으로부터 그 평균값을 빼는 것에 의해 휘도에 대하여 정규화 된다. 마찬가지로, 이들 패치는 휘도에 대한 정규화 후에, 하나의 패치 내의 각 화소의 강도 값을 그 패치 내의 최대 절대 강도 값으로 나누는 것에 의해 콘트라스트에 대하여 정규화 된다. 그리하여, 각 패치에 대한 화소 강도 값은 -1과 +1 사이에 있게 된다.

압축될 화상 프레임은 제1 레벨에서, 인접하는 데이터 블록들 또는 화상 패치들(각각이 독자의 위치 벡터를 가짐)의 배열로 세분(細分)된다. 512 ×512 화소로 이루어진 화상의 경우에는, 이들 패치는 화상 프레임이 256개의 큰 화상 패치로 분할되도록 32 ×32 화소의 크기이다. 그 다음, 그 화상은 16 ×16 화소 패치들의세트와 8 ×8 화소 패치들의 세트를 제공하도록 각기 다른 레벨에서 2배로 더 세분된다. 그 세분은 8 ×8 화소 패치들이 16 ×16 화소 패치들의 가장자리와 겹치고, 16 ×16 화소 패치들이 32 ×32 화소 패치들과 겹치도록 행해진다. 이러한 겹침 배열이 도 1에 도시되어 있으나, 이 도면에서는 예시의 간명함을 위해 세분 레벨들 중 하나에 대해서는 생략되었다. 각각의 화상 패치에는 위치 벡터가 지정되어 있다. 그 위치 벡터는 그 패치의 중심의 화상의 위치인 것이 편리할 수 있다.

화상 패치들 모두는 화소 강도가 -1과 +1 사이에 있도록 상기한 바와 같이 휘도 및 콘트라스트에 대하여 정규화 된다. 각각의 정규화된 화상 패치에 대하여, 코드 북 내의 대응하는 크기의 엔트리들이 검색되어, 어느 것이 그 화상 패치와 가장 밀접하게 닮아 있는가를 식별한다. 흑백 화상에 대해서는, 그 검색은, 예를 들어, 평균 이승 편차(mean squared difference)법을 이용하여, 선택된 화상 패치의 각 화소를 각 기준 패치의 대응 화소와 비교하는 것(컬러 화상의 경우에는 각 컬러에 관하여 강도가 비교된다)에 의해 행해질 수 있다. 또 다르게는, 그리고 요구되는 계산의 양을 최소화하기 위해, 기준 패치와 화상 패치 각각에 대해 "포괄"(global) 특징(들)이 계산될 수 있고, 이들 포괄 특징을 비교함으로써 검색이 행해진다. 이러한 타입의 검색방법의 일례가 WO95/20296호 공보에 기재되어 있다.

매칭된 기준 패치들 각각의 코드 북 인덱스는 압축된 부호화로서, 매칭된 화상 패치에 대한 위치 벡터와 휘도 및 콘트라스트 정규화 인자(factor)와 함께 저장된다. 매칭된 각 코드 북 기준 패치 및 화상 패치 쌍에 대해, 그들 2개의 패치 사이의 오차가 평가되어, 한 세트의 오차(ε₁)를 제공한다. 오차의 한가지 적당한 척도는 각 화소 배열들 사이의 총 이승 편차이다. 이것은 서로로부터 감산되는 대응하는 화소들의 강도를 필요로 하고, 그 결과의 차들을 이승(二乘)하고 합산할 필요가 있다.

이 압축방법은, 압축될 화상 프레임에 대한 제1의 매우 불량한 근사값으로서 취해질 수 있는 임의의 기준 화상 프레임을 제공하는 것을 포함한다. 화상 패치들 및 기준 화상 프레임으로부터 추출된 각각의 대응하는 크기의 영역들에 대해 상기한 오차 계산 작업이 행해져, 기준 화상 프레임과 압축될 프레임 사이의 실제 오차(ε₂)들의 세트가 얻어진다. 그 다음, 이 오차 세트가 기준 패치들에 대해 얻어진 오차들의 세트와 비교된다.

이 비교로부터, 만약 기준 화상에 부가되면 최대 오차감소, 즉, 최대 화질개선을 이루게 하는 코드 북 기준 패치가 식별된다. 그리고, 대응하는 압축된 부호화는 압축된 화상 표현에 저장된다. 또한, 기준 화상은 선택된 기준 패치를 그 기준 화상에 부가함으로써 갱신된다.

이 과정이 재귀적으로 반복되어, 기준 패치들이 기준 화상 프레임에 연속적으로 부가되어 기준 화상 프레임의 품질의 단계적 개선을 이루게 한다. 이것과 병행하여, 압축된 부호화들이 압축된 표현에 부가된다. 개선도를 측정하기 위해 총 이승 오차(total squared error)를 사용하면, 항상 그러한 것은 아니지만, 작은 기준 패치들에 앞서 큰 기준 패치들을 부가하는 경향이 있다. 전형적으로는, 이 재귀(recursion)는, 예를 들어, 어느 한 지점에서의 기준 화상 프레임과 원래의 화상 프레임 사이의 오차가 어떤 한계 수준을 초과하지 않게 함으로써 기준 화상 프레임의 품질이 어떤 허용 가능한 한계 수준에 도달할 때까지 계속된다. 또 다르게는, 그 과정은, 압축된 화상 표현에 포함된 데이터의 양이 어떤 한계 수준에 도달할 때까지 계속될 수도 있다.

상기한 화상 압축방법은 "정지"(still) 2차원 화상 프레임들을 압축하거나 또는 비디오 시퀀스를 형성하는 한 세트의 화상 프레임들을 압축하는데 사용될 수 있는 것으로 고려된다. 이 방법이 특히 적용 가능한 한가지 응용으로서는, 비디오폰들 사이에서의 비디오 화상들의 전송이 있다. 비디오폰의 개념이 수 년 동안 사용되어 왔으나, 실제적으로는 비디오폰에서 표시되는 화상의 불량한 품질에 때문에 비디오폰의 상업적인 성공이 제한되었다. 이러한 불량한 화질은 전송 채널에 사용되는 신호 대역폭이 낮다는 것과, 현재의 압축기술로 얻어지는 화질, 지연 및 프레임 속도가 불충분하다는 것으로부터 초래된다.

기존의 전송 시스템을 개선하는데는, 상술한 압축방법을 사용하여 송신될 각 프레임을 압축하는 것이 고려된다. 그러나, 비디오 시퀀스의 잇따른 화상들 사이의 변화가 아주 작을 수 있다는 것을 인식함으로써, 보다 큰 개선을 달성할 수 있다. 전형적으로는, 비디오폰 사용자의 배경은 정지 상태로 유지되는 한편, 비디오폰 사용자의 머리와 얼굴 특징은 프레임들 사이에서 어떤 작은 정도로 변경될 수 있다.

상기한 방법은 다음과 같이 비디오폰 신호송신에 적용된다. 즉, 송신 비디오폰에 의해 포착된 제1 프레임이 메모리에 저장되어 있는 임의의 초기 기준 화상 프레임을 사용하여 상기한 바와 같이 압축된다. 동일한 기준 화상 프레임이 수신 비디오폰의 버퍼 메모리에도 저장된다. 한 세트의 압축된 부호화가 상기한 바와 같이 얻어지고, 전송 채널의 신호 대역폭 및 화상 시퀀스의 요구되는 프레임 속도에 의해 결정되는 사전 설정 데이터 한계까지 버퍼 메모리에 저장된다. 그 다음, 이 데이터는 버퍼 메모리로부터 수신 비디오폰으로 전송되고, 그 수신 비디오폰에서 해독되어 디스플레이를 위해 기준 화상 프레임에 부가된다. 그 데이터는 송신 비디오폰의 메모리에 저장된 기준 화상에도 부가된다.

송신 비디오폰이 첫 번째의 포착된 화상 프레임을 압축하는 동안, 그의 카메라는 두 번째 화상 프레임을 포착한다. 제1 세트의 패치 데이터의 전송에 이어서, 이 압축과정이 반복되지만, 이때 두 번째의 포착된 화상 프레임에 대하여 "새로운" 기준 화상의 최량의 개선을 제공하는 패치들을 찾는다. 이들 패치의 압축된 부호화가 수신 비디오폰에의 전송 전에 다시 버퍼 메모리에 저장된다. 이 과정은 각각의 새로이 포착된 프레임에 대하여 반복되어, 기준 화상 프레임이 포착된 화상 프레임들에서의 변화를 연속적으로 추적하도록 한다.

본 발명의 범위로부터 벗어남이 없이 상기한 실시예에 대한 변형이 가능하다.

비디오폰에 실시될 수 있는 변형의 일례로서는, 각 기준 화상 프레임으로부터 하나 이상의 레벨에서 패치들을 추출하고, 이들 패치를 각 화상 갱신의 전송 후에 갱신되는 보충 코드 북에 임시로 부가하는 것을 들 수 있다. 이 과정은 전송라인의 양단에서 행해진다. 만일 장면 성분들의 움직임이 하나의 시퀀스의 프레임들 사이에서 일어나는 경우에는, 현재의 기준 프레임을 최대로 개선하는 기준 패치는 이전 화상 프레임의 인접 영역으로부터 추출되는 패치일 수 있고, 따라서, 이들이 보충 코드 북으로부터 취해진다. 소정의 화상 패치에 대하여 검색된 보충 코드 북의 엔트리들은 이 검색이 행해지고 있는 화상 패치에 인접한 기준 화상의 영역들로부터 취해진 엔트리들로 제한될 수 있다.

또 다른 변형례로서는, 보조 화상으로부터 기준 패치들을 추출하고 이들을 코드 북 또는 보충 코드 북에 부가하는 것이 고려될 수 있다. 그러한 보조 화상은 비디오폰이 맨 처음 켜지고 호출자가 관찰되는 배경 앞에 아직 위치하여 있지 않은 때 포착될 수 있다. 이들 부가적인 기준 패치는 비디오폰 대화의 개시 전에 수신 비디오폰으로 전송된다. 대화 중에, 호출자가 움직이는 것에 의해 배경의 영역들이 연속적으로 가리어지거나 그 가림이 해제되고, 압축 알고리듬은 후에 가람이 해제되는 영역들에 대해 보조 화상으로부터 고 품질의 매칭 기준 패치들을 찾아 낼 수 있다. 보조 화상은 대화 중에, 예를 들어, "새로운" 정지 대상물이 추가되는 경우에 갱신될 수 있다. 기준 패치들에 플래그를 표시함으로써, 수신 비디오폰에서 실제 배경을 대체 배경으로 대체시키는 것이 가능하다. 배경에서의 움직임을 검출하여, 포착된 프레임을 카메라 지터(jitter)에 대하여 보상하는데 이용하는 것도 가능하다.

Claims

디지털 전기신호 형태의 데이터 엔트리(entry)의 배열을 압축하는 방법으로서,

(a) 압축될 원래의 데이터 배열의 제1 근사값(approximation)으로서 기준 데이터 배열을 제공하는 단계,

(b) 상기 원래의 데이터 배열을 하나 이상의 크기를 갖는 다수의 블록으로 분할하는 단계,

(c) 각각의 데이터 블록에 대하여, 그 데이터 블록의 근사값을 제공하기 위해 비압축으로 될 수 있는, 상기 데이터 블록에 포함된 데이터의 압축된 부호화를 소정의 부호화 과정에 따라 결정하여, 다수의 압축된 부호화들을 결정하는 단계,

(d) 상기 다수의 압축된 부호화들로부터, 비압축으로 되어 상기 기준 데이터 배열에 부가될 때 상기 원래의 데이터 배열에 대한 상기 기준 데이터 배열의 오차(error)를 최대로 감소시키는 하나의 압축된 부호화를 선택하는 단계,

(e) 선택된 압축된 부호화를 비압축 형태로 상기 기준 데이터 배열에 부가하여 상기 원래의 데이터 배열의 제2 근사값을 제공하고, 또한 상기 선택된 압축된 부호화를 압축된 형태로 저장하여 상기 원래의 데이터 배열의 압축된 표현(representation)을 확립하는 단계, 및

(f) 근사값의 소망의 품질 레벨이 달성되거나 또는 상기 압축된 표현의 최대 데이터 크기가 달성될 때까지, 상기 원래의 데이터 배열에 대한 잇따른 근사값들을제공하기 위해 다른 압축된 부호화들을 선택하여 저장하도록 나머지 압축된 부호화들에 대하여 잇따라 상기 단계 (d) 및 단계 (e)를 재귀적(再歸的)으로 반복하는 단계를 포함하는 것을 특징으로 하는 데이터 압축방법.
제 1 항에 있어서, 상기 단계 (c)의 상기 소정의 부호화 과정이, 가장 밀접하게 매칭하는 코드 북 기준 블록을 찾아내기 위해 기준 데이터 블록들의 코드 북을 검색하는 것을 포함하고, 각각의 코드 북 기준 데이터 블록에는 독자(獨自)의 인덱스가 지정되어 있고, 상기 압축된 부호화는 식별된 코드 북 기준 데이터 블록의 인덱스를 포함하는 것을 특징으로 하는 데이터 압축방법.
제 1 항에 있어서, 상기 단계 (c)의 상기 소정의 부호화 과정이, 각각의 데이터 블록에 대하여 이산적(離散的) 코사인 변환(DCT) 또는 이산적 푸리에 변환(DFT)을 결정하는 것을 포함하고, 상기 압축된 부호화는 그 결정된 변환을 포함하는 것을 특징으로 하는 데이터 압축방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 오차를 최대로 감소시키는 상기 선택된 압축된 코드화가, 각각의 상기 데이터 블록과 비압축 형태의 각각의 압축된 부호화 사이의 오차를 결정하여 오차 세트(ε₁)를 제공하고, 각각의 상기 데이터 블록과 상기 기준 데이터 배열의 각각의 대응하는 블록 사이의 오차를 결정하여 오차 세트(ε₂)를 제공하고, 상기 오차 세트(ε₁, ε₂)들의 대응하는 엔트리들을 비교하고, 그 대응하는 엔트리들 사이의 차이 값을 최대화시키는 압축된 부호화를 선택하는 것에 의해 식별되는 것을 특징으로 하는 데이터 압축방법.
제 4 항에 있어서, 상기 오차 세트(ε₁, ε₂)들 각각의 오차는 비교되는 데이터 블록들의 각 엔트리들 사이의 총 이승 편차(total squared difference)인 것을 특징으로 하는 데이터 압축방법.
각각이 화소 강도 값을 가지는 화소들의 배열을 포함하는 2차원 화상을 압축하는 방법에 있어서, 제 1 항의 데이터 압축방법을 이용하여 상기 화상을 압축하는 것을 특징으로 하는 2차원 화상 압축방법.
제 6 항에 있어서, 데이터 블록들이 인접한 화소들의 패치(patch)를 포함하는 것을 특징으로 하는 2차원 화상 압축방법.
제 7 항에 있어서, 상기 화상은 겹치거나 다른 크기 또는 형태의 패치들의 다수의 세트를 생성하기 위해 2개 이상의 레벨로 분할되고, 겹치는 패치들에 대하여 도출되는 압축된 부호화들은 소정의 기준을 사용하여 기준 화상에서 비압축 형태로 조합되는 것을 특징으로 하는 2차원 화상 압축방법.
한 쌍의 비디오폰 사이에서 비디오 화상을 전송하는 방법에 있어서, 제 6 항의 2차원 화상 압축방법을 이용하여 화상을 압축하여 전송하는 것을 특징으로 하는 비디오폰들 사이에서의 비디오 화상 전송방법.
제 9 항에 있어서, 제1 근사값을 형성하는 기준 데이터 배열은 송신 비디오폰의 메모리 및 수신 비디오폰의 메모리에 저장된 임의의 화상이고,

상기 비디오 화상 전송방법이,

(1) 압축된 표현이 버퍼 메모리에 저장되어 있는 상기 송신 비디오폰에 의해 포착된 제1 화상 프레임에 대하여 제 1 항의 단계 (a) 내지 단계 (e)를 실행하는 단계,

(2) 상기 압축된 표현을 상기 수신 비디오폰으로 전송하는 단계,

(3) 상기 송신 비디오폰에 의해 포착된 제2 화상 프레임에 대하여 제 1 항의 단계 (a) 내지 단계 (e)를 실행하고, 이때, 원래의 데이터 배열의 제2 근사값으로서 상기 단계 (1)에서 얻어진 기준 데이터 배열이 상기 제2 화상 프레임에 대하여 실행되는 상기 단계 (a)를 위한 기준 데이터 배열을 제공하는 단계,

(4) 그 결과 얻어진 압축된 표현을 상기 수신 비디오폰으로 전송하는 단계, 및

(5) 상기 송신 비디오폰에 의해 포착된 제3 및 그 후에 얻어지는 화상 프레임들에 대하여 상기 단계 (3) 및 단계 (4)를 반복하는 단계를 포함하는 것을 특징으로 하는 비디오폰들 사이에서의 비디오 화상 전송방법.
제 10 항에 있어서, 상기 비디오 화상 전송방법이,

상기 수신 비디오폰에서 제1의 전송된 압축된 표현을 수신하여 압축풀기를 행하는 단계,

압축이 풀린 표현을 디스플레이하고, 그것을 상기 수신 비디오폰의 메모리에 기준 데이터 배열로서 저장하는 단계, 및

후속적으로 수신되는 각각의 압축된 표현으로 상기 기준 데이터 배열을 갱신하고 그 결과를 저장 및 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 비디오폰들 사이에서의 비디오 화상 전송방법.
제 10 항 또는 제 11 항에 있어서, 부호화 과정이, 가장 밀접하게 매칭하는 코드 북 기준 블록을 찾아내기 위해 기준 데이터 블록들의 코드 북을 검색하는 것을 포함하는 경우, 각각의 계속되는 프레임에 대한 코드 북 또는 보충 코드 북의 검색을 행하기 전에, 각각의 프레임에 대하여 얻어진 최종 기준 데이터 배열로부터 추출된 패치들을 코드 북 또는 보충 코드 북에 임시로 부가하는 단계를 더 포함하는 것을 특징으로 하는 비디오폰들 사이에서의 비디오 화상 전송방법.
제 12 항에 있어서, 상기 코드 북의 검색은 검색이 행해지고 있는 패치에 인접하는 앞의 프레임의 기준 데이터 배열의 영역들로부터 추출되는 패치들로 제한되는 것을 특징으로 하는 비디오폰들 사이에서의 비디오 화상 전송방법.
제 12 항에 있어서, 압축될 프레임의 바로 앞의 다수의 프레임들로부터 얻어지는 패치들을 코드 북에 저장하는 단계를 더 포함하는 것을 특징으로 하는 비디오폰들 사이에서의 비디오 화상 전송방법.
디지털 전기신호 형태의 데이터 엔트리의 배열을 압축하기 위한 장치에 있어서, 제 1 항의 데이터 압축방법의 모든 단계를 실행하는 코드 수단을 포함하는 프로그램에 따라 작동하는 디지털 컴퓨터를 포함하는 것을 특징으로 하는 데이터 압축장치.