KR100367813B1

KR100367813B1 - 순차적인영상부호화전송방법및시스템

Info

Publication number: KR100367813B1
Application number: KR10-1998-0706924A
Authority: KR
Inventors: 촤리라오스 크리스토푸로스
Original assignee: 텔레폰아크티에볼라게트 엘엠 에릭슨
Priority date: 1996-03-05
Filing date: 1997-03-05
Publication date: 2003-05-09
Also published as: CA2243648C; US6031572A; BR9707825A; CA2243648A1; KR19990087496A; TR199801743T2; JP4412742B2; AU733569B2; CN1212806A; AU1950097A; EP0885520A1; PL328766A1; NO984032D0; WO1997033425A1; JP2000506345A; NO984032L; IL125672A0

Abstract

고압축율로 양호한 시각 품질의 영상을 수신기에 제공하기 위하여, 전송의 초기 단계에서 송신기는 영역 기반의 부호와 방법(RBC; Region Based Coding)(905)을 사용하는, 부호화 및 순차적 영상 전송(PIT; Progressive Image Transmission) 에 사용하기 위한 방법 및 전송 시스템에 관한 것이다. 나중 전송 단계에서, RBC 영상의 시각 품질의 JPEG 등의 다른 압축 기술에 비하여 더 이상 우월하지 않을 때, PIT 스위치(903)는 이미 전송된 RBC 영상에 포함된 정보를 상실함이 없이 연속음조 압축기(907)를 사용하여 부가적인 전송을 한다. 또한 전송 방법의 수행성능을 더욱 개선하기 위하여 하이브리드 RBC-DCT(Discrete Cosine Transform)가 사용되고, 이 방법에서는 RBC 알고리즘에 의하여 세그먼트된 영상은 직사각형 블록으로 분할되고, 세그먼트된 영상의 영역 내에 완전히 포함되는 블록은 DCT 기저 함수와 같은 소정의 기저 함수를 사용하여 전송된다. 또한 유사한 방법을 사용하는 비디오 부호화하는 방법이 서술된다.

Description

순차적인 영상 부호화 전송 방법 및 시스템{PROGRESSIVE IMAGE CODING}

순차적인 영상 송신(PIT; progressive image transmission)은 영상을 송신하는 방법에 대한 일반적인 용어인데, 여기서 보다 많은 정보가 전송됨에 따라 전송 시스템의 수신측에서의 영상 품질이 점차적으로 개선되는 방법으로 영상에 포함된 정보가 전송된다.

순차적 영상 송신은 공중 전화 교환망과 같은 저용량 전송 채널을 사용하는 영상 전송 시스템의 한 부분으로서 제안된 것이다. PIT 방법를 사용하면 사용자는 영상을 보다 신속하게 해석할 수 있다. 이것은 예를 들어 보아야 할 영상은 많으나 실제로 관심이 있는 것은 적을 때 유용하다. 따라서 사용자는 영상 송신 중에 언제라도 영상 수신의 거절함으로써, 관심없는 영상을 초기 단계에서 거절함으로써 시간을 절약할 수 있다. 특히 의료 환경에서 발생하는 데이터베이스와 같은 많은 양의 영상 데이터베이스는 이러한 전송 방법을 사용하는 것이 유용하다.

그러므로, 순차적인 영상 부호화에 유용하고 적합하게 하는 특성을 갖는 알고리즘에 대한 필요성이 제기되었다. 순차적 영상 부호화에 사용 가능한 방법은(JPEG; Joint Photographers Expert Group)의 알고리즘이다. 순차적 영상 부호화는, 예를 들면, 문헌(W.B. Pennebaker, J.L. Mitchell, "JPEG still image data compression standard", Van Nostrand Reinhold, New York, 1993, 또는 G.K. Wallace, "The JPEG still picture compression standard", Communication of the ACM, Vol. 34, No. 4, April 1988, pp. 121-132)에서 설명한 바와 같이 스펙트럼 선택(spectral selection) 또는 축차 근사화(successive approximation)의 방법을 사용하여 성취된다.

그러나 PIT에 JPEG 알고리즘은 약간의 단점을 갖고 있다. 주요 단점은 전송의 제1 단계 동안 시각 품질(visual quality)이 낮다는 것인데, 이것은 주로 고 압축율에서 나타나는 인공적인 요소의 차단에 기인한다. 따라서 수신자가 전송되는 영상에 대한 관심 유무를 결정하기 위해서는 많은 정보의 전송을 필요로 한다는 것이 일반적이다.

최근, 세그먼트된 영상 부호화(SIC; segmented image coding) 또는 영역 기반의 부호화(RBC; region based coding) 방법이 순차적 영상 전송을 위하여 사용되어 왔다. 영역 기반의 부호화는 비교적 새로운 영상 압축 기술인데, 이 부호화 기술은 영상을 세기가 서서히 변하는 영역으로 분할시킨다. 여러 영역을 분할하는 윤곽(contour)은 체인 코드(chain code)로 묘사되고, 그 영역내의 영상 세기는 기본 함수의 선형 조합을 사용함으로써 근사화된다. 그리고 나서, 윤곽 및 영역 세기는 수신자에게 영상을 제공하기 위하여 채널을 통하여 전송된다.

RBC 기반의 알고리즘은 예를 들면 고 압축율에서 JPEG 알고리즘 보다 훨씬양호한 시각 품질을 제공한다. 이러한 이유는 JPEG 알고리즘을 사용하는 고압축율에서 보이는 인공적인 요소를 차단하기 때문이다. 그러나 저압축율에서는 RBC 기반의 알고리즘의 시각 품질은 JPEG 알고리즘을 능가하지 못한다. 게다가, RBC 알고리즘의 계산 복잡도는 비교적 낮은 비용으로 상용화할 수 있는 이점이 있는 JPEG 알고리즘 보다 상당히 높다.

현재의 RBC 방법의 대부분은 기본 함수의 가중합으로서 영역 내의 그레이 값 (gray value)을 근사화 한 후에, 얻어진 계수를 양자화하여 부호화한다. 이러한 기술은 문헌(M.Gilge, "Region-orientated transform coding(ROTC) of images", Proc. of ICASSP 90, Albuquerque, New Mexico, April 1990, pp. 2245-2248, and M.Kunt, M.Benard, R.Leonardi, "Recent results in high-compression image coding", IEEE Trans. circuits and systems, Vol. 34, November 1987, pp. 1306-1336)에 설명되어 있다.

보다 최근의 RBC 기간의 방법에서, 소정 영역내의 기본 함수는 정규직교 (orthonormal)된다. 이 정규직교 함수를 사용하면 계산이 보다 간단하고 수치적으로 안정되는 선형 표현의 계수를 독립적으로 구할 수 있다. 예를 들어 문헌 (W.Philips, C.A.Christopoulos, "Fast segmented image coding using weakly separable bases", Proc. of ICASSP 94, Adelaide, Australia, April 19-22, 1994, Vol. Ⅴ, pp. 345-348)을 참조하라. 그러나 RBC 알고리즘은 계산이 상당히 복잡하고 상당한 메모리 용량이 필요로된다. 이것은 정규직교 기저(orthonormal base)가 영역의 형상 및 크기에 좌우되고, 이에 따라서 새로운 개별 기저 함수(basefunction)은 영역마다 계산되어야 한다.

더구나 저압축율에서, RBC는 JPEG 보다 양호한 시각 품질을 제공하지 못한다. 따라서, RBC 기반의 알고리즘은 다른 압축 알고리즘과 비교하여 저압축율에서 유용하지 못하다.

본 발명은 영상 및 비디오의 부호화를 위한 방법 및 시스템과, 또한 순차적인 영상 송신을 위한 방법 및 시스템에 관한 것이다.

도 1은 RBC 기반의 전송 방법을 사용하는 정지 영상용 전송 시스템의 통상적인 블록도.

도 2는 RBC-JPEG의 결합된 압축 방법을 사용하는 송신기의 블록도.

도 3은 도 2의 송신기에서 실행되는 논리적 단계의 흐름도.

도 4는 차이 영상을 부호화할 때 실행되는 여러 단계를 도시하는 블록도.

도 5는 RBC 압축해제기에서 수반되는 단계의 블록도.

도 6은 차이 영상을 압축해제할 때 압축해제기에서 실행되는 단계의 블록도.

도 7은 컬러 영상용 송신기에서의 논리를 설명하는 흐름도.

도 8은 컬러 영상을 수신할 때 수신기에서 실행되는 단계의 블록도.

도 9는 RBC 알고리즘에 의한 압축 및 연속 음조 압축 알고리즘에 의한 압축간을 스위칭하는 방법을 사용하여 전송하는 것을 개요적으로 도시한 도면.

본 발명의 목적은 모든 전송 단계 동안에 고품질의 영상을 제공하는 PIT를 위한 방법 및 전송 시스템을 제공하는 것이다.

본 발명의 다른 목적은 RBC 및 블록 기반의 부호화 방법을 결합하여 정지 영상 및 동영상을 부호화하는 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 세그먼트된 영상 부호화 방법의 양호한 초기 시각품질, 뿐만 아니라 JPCG 알고리즘으로 인해 성취되는 저비용 고압축을 이용하는 방법 및 전송 시스템 또는 저장 시스템을 얻는 것이다.

본 발명의 또한 다른 목적은 기존의 RBC 방법과 비교하여 계산 복잡도 및 메모리 용량을 감소시키는 RBC 방법을 사용하는 방법 및 전송 시스템을 제공하는 것 이다.

이들 목적 및 그 외 다른 목적은 RBC와 연속 음조 압축 알고리즘(continuous tone compression algorithm), 예를 들면 JPEG 및/또는 DCT (discrete cosine transform)을 결합한 방법에 의해 성취된다. 따라서 PIT에 대해서, 전송의 제1 단계에서, 고압축 비율로 압축될 때 이 단계에서 양화한 시각 품질의 영상을 제공하는 어떤 RBC 알고리즘이 사용된다. RBC 방법은 다음 단계로 구성되어 있다.

(a) 영상을 다수의 영역으로 세그먼트 한다. 즉 윤곽 영상(가능한 각 영역의 픽셀의 평균값)을 부호화하여 전송한다.

(b)(이들이 사전 계산되지 않는 경우에) 소수의(보다 많은) 기저 함수를 계산한다.

(c) 해당 테스쳐(texture) 계수를 계산한다.

(d) 그 계수를 양자화, 부호화하여 전송한다.

(e) 디코더가 특정 정보를 요구한 경우, 단계 (b)로 진행하여 전송을 정지시킨다.

전송의 어느 단계에서, RBC 방법에 의해 성취되는 시각적인 결과가 JPEG 등의 연속 음조 압축기(continuous tone compressor)에 의한 결과보다 상당히 좋치 않는 경우, 보다 많은 정보가 전송되지만 이번에는 연속 음조 압축기, 예를 들면 JPEG 알고리즘을 사용하여 압축된다(저압축율에서의 영상이 수신기로부터 요구되는 경우). RBC 알고리즘을 사용할 때 이미 전송된 정보를 이용하기 위해서는, 픽셀 당 8 비트를 사용하는 그레이 스케일(grey scale) 영상용 송신기에서 다음의 절차가 실행된다.

- 1. 이 단계에서 원래의 영상 및 RBC에 의해 재구성된 영상간의 픽셀 값 차이를 취함으로써 새로운 영상을 생성한다.

- 2. 얻어진 차이 영상의 각 픽셀 값에 128을 가산한다.

- 3. 얻어진 차이 영상의 모든 픽셀 값을 [0, 255] 범위내로 절사 또는 클립핑(clip)하는데, 즉 0 이하의 모든 값은 0과 동일하게 되도록 하고 255 보다 큰 모든 값은 255와 동일하게 되도록 한다.

- 4. RBC 압축 영상 및 JPEG 압축 영상을 위한 전체 전송 비트 수가, 연속 음조 압축 알고리즘에 의해서 만 압축되는 경우에 바람직한 시각 품질을 갖는 영상을 얻기 위하여 전송될 필요가 있는 비트 수와 거의 동일하거나 이 보다 작게 되도록 하는 압축율로 최종 차이 영상을 연속 음조 압축 알고리즘, 예를 들면 JPEG 알고리즘에 의해 압축한다.

물론 차이 영상은 연속 음조 압축 알고리즘이 적용되는 경우와 동일하거나 이보다 작게 되도록 비트 수를 제한함이 없이 JPEG, 또는 이와 다른 방법으로 압축 될 수 있다. 차이 영상을 부호화하는 방법은, 문헌(Y. Itoh, "An edge-oriented progressive image coding", IEEE Trans. on Circuit and Systems for Video Technology, Vol. 6, No. 2, April 1996, pp. 135-142)에 서술된 바와 같이 가변 블록 크기 DCT를 토대로 할 수 있다.

또한, 사용된 연속 음조 압축기가 차이 동작 후에 픽셀 값을 처리할 수 있다면 +128의 가산은 불필요할 수도 있다는 점을 주지하라(그리고, 그 경우에 그 값은 [0, 255]의 범위내에서 절사되지 않아야 한다). 순차적인 영상 전송 방법은 또한 차이 영상의 부호화하는데 사용할 수 있고, 이 방법은 JPEG 또는 DCT를 토대로 하는 것이 바람직하다. 물론 차이 영상을 부호화하기 위한 그 외 다른 적합한 부호화 방법이 사용될 수도 있다. 이하에서, JPEG가 차이 프레임을 부호화하기 위하여 사용되지만 임의의 다른 연속 음조 알고리즘의 사용 가능성을 배제하지 않는다라고 가정한다.

수신기가 수신된 영상을 사용하기 위하여 수신기는 이하의 절차를 실행한다.

- 1. 압축된 차이 영상을 수신한다.

- 2. 연속 음조 부호화 알고리즘, 예를들어 JPEG를 사용하여 수신된 차이 영상을 재구성한다.

- 3. JPEG 재구성된 차이 영상의 각 픽셀 값으로부터 128을 감산한다.

- 4. 단계 3 의 최종 영상을 RBC로 재구성된 영상에 가산한다.

이것이 인코더측에서 사용되지 않았다면 +128의 감산은 필요치 않을 수도 있다는 것을 주지하라.

전송의 제1 단계에서 보다 양호한 시각 품질을 얻기 위하여, 사용된 RBC 알고리즘은 하이브리드 RBC-DCT(Discrete Cosine Transform) 알고리즘으로 변경될 수 있다. 하이브리드 RBC-DCT는 세그먼트된 영상을 직사각형 블록으로 분할한다. 그리고 나서, 세그먼트된 영상 영역 내에 완전하게 포함되는 블록은 DCT 기저 함수 또는 하이브리드 RBC-DFT 방법에서 발생되는 이산 퓨리에 변환(DFT; Discrete Fourier Transform) 기저 함수와 같은 다른 소정의 기저 함수를 사용하여 부호화된다.

영역의 잔여 부분 및 직사각형이 부합되지 않는 다른 영역은 특히 약하게 분할가능한(WS) 기저 함수 또는 다른 기저 함수(심지오 비직교)와 같은 직교 또는 정규직교 베이스 함수를 사용하여 부호화된다. 블록으로의 분할이 송신기로부터의 어떠한 정보없이 수신기에 의하여 실행될 수 있기 때문에, 이러한 직사각형 블록의 윤곽은 전송될 필요가 없다.

직사각형이 부합되지 않는 영역의 잔여 부분은, 한 영역의 부분으로 간주될 수 있는지 또는 각각의 하위 영역으로 분리될 수 있는지를 판단하기 위하여 검사된다는 점을 주지해야 한다. 이러한 경우, 각 하위 영역은 기저 함수로 부호화되거나 또는 비직사각형 형태를 부호화하기 위한 또 다른 방법으로 부호화된다.

예를 들면 픽셀 값은 양자화되어 부호화되거나 또는 비트 플레인(bit-plane)부호화 방법이 사용될 수 있다. 선택에 따라서, 기저 함수의 집합은 하위 영역의 특성에 적응될 수 있다. 예를 들면, 평활한 부분이 존재하는 경우, 다항식이 사용 될 수 있다. 텍스쳐형 부분이 발견되면, 여현 기저 함수(cosine base function)가 사용할 수 있다. 이 영역이 예를 들어 인체와 같이 상대적으로 큰 경우, 다음과 같은 경우가 발생한다는 것을 주지해야 한다.

대상물의 잔여 부분, 즉 직사각형에 부합될 수 없는 부분은 여러 부분(하위영역), 즉 머리 부분, 손 부분, 다리 부분으로 이루어져 있다. 이러한 경우, 이들 하위 영역은 식별되어, RBC 부호화, 예를 들어 다항식 표현이 이들 하위 영역에 적용될 수 있다.

따라서, 고압축율로 영상을 전송하는 제1 단계에서, JPEG 보다 높은 품질의 영상을 제공하는 RBC 알고리즘의 성능으로 인해, 하이브리드 RBC-DCT 방법이 사용된다. 보다 많은 정보가 필요로 되는 경우, 즉 수신기에 의해 보다 높은 품질의 영상이 요구되는 경우, JPEG 또는 또 다른 연속 음조 압축 알고리즘을 사용하여 부가적인 정보를 전송한다.

전송의 제1 단계에서, 임의의 세그멘테이션 기술을 사용하는 임의의 RBC 방법이 사용될 수 있다는 것을 주지해야 한다. 사전 세그먼트된 영상이 제공되는 경우에서는 어떠한 세그멘테이션도 필요하지 않다. 또한 스위칭 방법이 필요하지 않고 영상은 RBC 또는 하이브리드 RBC-DCT 방법 또는 순차적 모드에 의해서 만 압축될 수 있다는 것을 주지해야 한다.

영상은 또한 컬러 영상일 수도 있고, 픽셀 당 비트수가 다를 수도 있으며, 또한 유사한 기술을 사용하여 압축된다.

본 발명이 첨부한 도면을 참조하여 후술될 것이다.

이하의 예에서 픽셀 당 8 비트인 그레이 스케일의 영상이 원래의 영상으로 사용되지만, 컬러 영상을 배제하지는 않는다. 도 1에 순차적 영상 송신 방법을 사용 하는 전송 시스템의 블록도가 도시되어 있다. 전송 시스템은 전송부(101) 및 수신부(103)로 구성되어 있다. 전송부는 입력 블록(105) 및 PIT형 압축 블록(107)을 포함하고 있다. PIT 압축 영상은 전송 채널 또는 메모리(109)에 전송되어, PIT 압축해제기(111) 및 재구성된 영상(113)을 위한 출력부를 포함하고 있는 수신부(103)에서 수신된다.

도 2에는 PIT 블록(107)의 처리 블록이 도시되어 있다. 따라서, 우선, 영상은 RBC 압축기를 포함하는 블록(201)에서 RBC 방법을 사용하여 압축된다. 그리고 나서, 블록(201)에서 RBC 알고리즘에 따라서 부호화된 영상이 전송된다. 사용되는 알고리즘은 문헌(M.Gilge, "Region-orientated transform coding(ROTC) of images", Proc. of ICASSP 90, Albuquerque, New Mexico, April 1990, pp. 2245-2248, and W.Philips, C.A.Christopoulos, "Fast segmented image coding using weakly separable bases", Proc. of ICASSP 94, Adelaide, Australia, April 19-22, 1994, Vol. Ⅴ, pp. 345-348)에 기재된 방법과 같이, 전송되는 영상의 형태에 적합하면 어떠한 알고리즘이라도 사용할 수 있다.

또한, 전송의 제1 단계의 전송 방법은 문헌(Sikora T., and Makai B., "Shape-adaptive DCT for generic coding of video", IEEE Trans. on Circuits and Systems for Video Technology, Vol. 5, No. 1, Feb. 1995, pp 59-62)에 기재된 방법과 유사한 방식으로 실행될 수 있다.

PIT는, 수신자(사용자)가 보다 양호한 시각 품질을 갖는 영상을 원하지 않는라고 결정하거나 동일한 압축율에서, 그 외 다른 보다 간단한 압축 기술, 이 경우 JPEG와 같은 연속 음조 압축기를 사용하는 사용자에게 보다 양호하거나 동등한 품질의 영상을 제공할 수 있을 때까지, RBC 압축 기술로 계속된다. 이 결정은 또한 신호 대 잡음 비(SNR; Signal to Noise Ratio), 평균 자승 오차(MSE; Mean Square Error) 또는 또 다른 판정 기준으로 이루어질 수 있고 송신기에서 결정될 수도 있다.

대안적으로, RBC 기반의 압축으로부터 연속 음조 압축으로의 스위칭은 수신기 또는 송신기가 이와같은 원하지 않으면 변경이 실행되지 않도록 선택될 수 있다.

예를 들면, 수신기는 특정 영역 또는 세그먼트된 영상의 영역에 대하여 관심 을 가질 수 있다. 이 경우, 완전한 RBC 또는 하이브리드 RBC-DCT 방법은 이들 영역에 사용될 수 있다.

차이 영상을 부호화하기 위한 JPEG 이외의 다른 부호화 방법으로서, 블록 변환 부호화(BTC ; Block Transform coding) 방법, 벡터 양자화 방법(Vector Quantization), 웨이브리트(wavelet) 방법, 상술된 형상 적응(shape adaptive) DCT 등의 방법이 적용될 수도 있는데, 이들 방법은 8×8, 또는 16×16의 픽셀 블록 또는 보다 큰 크기의 블록에 적용되는 DCT를 사용할 수도 있다.

상기의 경우들중 후자의 경우를 택하게 되면, 즉 JPEG 압축 영상(만일 JPEG에 사용된 연속 음조 압축이라면)이 어떤 전송 단계에서의 압축율에서 RBC 압축 영상보다 열등하지 않다면, 송신기는 JPEG를 사용하여 부가적인 PIT를 실행하도록 변경한다. RBC를 사용하여 이미 전송된 영상에 포함되어 있는 정보가 상실되지 않도록 하기 위하여, 이 단계에서의 RBC 압축 영상은 블록(203)의 압축 해제기에 의하여 압축 해제된다.

또한 RBC 방법 이외의 상이한 부호화 방법을 사용하는 상이한 방법으로 특정 영역을 부호화할 수 있다. 즉 상이한 영역에 대하여 상이한 부호화 방법이 사용될 수 있다. 예를 들면, 다른 영역은 손실이 있는 반면에 어떤 영역은 손실 없이 부호화될 수 있다. 이것은 송신기 또는 수신기 중 어느 하나에서 결정될 수 있다. 예를 들면, 순차적 모드로 영상이 수신되는 동안에, 완전한 재구성이 필요한 영역을 지적할 수 있다. 그리고 나서 이러한 동작은 송신기가 이 특정 영역을 완전하게 재구성하도록 지시하는 정보를 송신기에 전송한다.

그러므로, 전송의 최종 단계에서는, 그 영역에 대해서 손실이 없는 기술이 사용될 수 있다. 또는 다른 방법으로서, 최종 재구성된 영역이 손실이 없도록 하기 위하여, 어떠한 영역들은 순차적 또는 비순차적 모드로 전송되고 저장된다. 이 방법은 많은 의료장치에 유용하다.

압축해제로부터 얻어진 영상은 블록(205)에서 원래의 영상으로부터 감산된 다. 그리고 나서, 이 얻어진 영상은 이 경우에 JPEG 압축기와 같은 연속 음조 압축기에 의하여 압축된다. 이것은 블록(207)에서 실행되는데, 이에 대해선 도 4를 참조하여 보다 상세하게 설명된다.

게다가, 순차적 전송은 또한 증가된 픽셀 정확도에 의해 성취될 수 있다. 예를 들면 RBC 계수를 가질 때, 각 계수에 대하여 4개의 최상위 비트가 초기에 전송된다. 그리고나서, 다음 단계에서 최하위 비트가 전송된다. 이때, 필요한 경우, 부가적인 계수가 계산된다. 연속 음조 처리기로의 스위칭도 또한 필요하다면 실행된다.

도 3에 RBC-JPEG가 결합된 방법을 사용하는 송신기에서 실행되는 단계의 흐름도가 도시되어 있다. 따라서, 전송될 영상은 다음과 같이 압축된다. 우선, 영상은 블록(301)으로 입력된다. 그리고 나서, 이 영상은 블록(303)에서 세그먼트된다. 그리고 나서, 세그먼트된 영상의 영역의 윤곽은 윤곽 부호화 블록(305)에서 부호화되고, 이 윤곽이 전송된다. 사용되는 알고리즘은 임의의 적절한 세그멘테이션 알고리즘일 수 있다.

또한, 사용되는 윤곽 부호화 기술은 손실이 있을 수 있고 또는 손실이 없을 수 도 있다. 송신기 및 수신기 둘다 동일한 윤곽 정보를 사용해야 한다는 점에 주의하라. 세그먼트된 영상은 또한 라벨(label) 및 2진 영상을 제공하는 블록(306)을 통하여 블록(307)에 공급된다. 블록(307)에서 영역의 내부는 다항식 또는 적절한 기저 함수의 집합, 또는 심지어 픽셀 값의 단순한 양자화에 의해 근사화된다.

블록(306)에서는 2진 윤곽 영상 및 라벨 영상이 발생된다. 라벨 영상은 세그먼트된 영상의 동일 영역내의 모든 픽셀이 동일한 식별 표시를 갖도록, 예를들어 한 영역의 모든 픽셀은 식별 1을, 제2 영역의 모든 픽셀은 식별 2 등을 갖게 하도록, 영상의 픽셀에 식별을 제공하는 영상이다.

다항식을 생성하는데 사용되는 기저 함수는 임의의 기저 함수 집합일 수 있다. 이하의 설명에서, 문헌(W.Philips and C.A.Christopoulos, "Fast segmented image coding using weakly separable bases", Proc. of ICASSP 94, Adelaide, Australia, April 19-22, 1994, Vol. V, pp. 345-348)에서 기재된 약하게 분리할 수 있는(WS; weakly separable) 기저 함수가 사용된다.

RBC 부호화부는 다음 단계를 포함하는 것이 바람직한데, 즉

(a) 다수의 영역에서의 영상의 세그멘테이션, 즉 윤곽 영상의 부호화 및 전송 그리고 가능한 경우 각 영역에서의 픽셀의 평균값

(b) 소수의(보다 많은) 기저 함수의 계산.

(c) 대응하는 텍스쳐 계수의 계산.

(d) 계수의 양자화, 부호화 및 전송.

(e) 디코더가 특별한 정보를 요구하는 경우, 단계 (b)로 가서 전송을 정지시킨다.

이 때, 다항식의 계수가 전송된다. 그리고 나서, 송신기에는 블록(309)의 수신기로부터의 피드백 정보가 공급된다. 피드백 정보에 따라서, 블록(311)에서 전송의 계속 여부에 대한 결정이 이루어진다. 만일 전송을 정지하는 결정이 이루어지면 송신기는 전송이 종료되는 블록(313)으로 진행한다.

반면에 전송을 계속하는 결정이 이루어지면, 이 방법은 블록(315)으로 진행한다. 블록(315)에서는 RBC 방법으로 계속하는 것이 유리한가 또는 부가적인 전송은 JPEG 압축 알고리즘 또는 그 외 다른 어떤 연속 음조 압축 알고리즘으로 실행할 것인가를 결정한다.

이 결정은 이 방법이 블록(315)에 도달될 때 전송 단계에서의 압축율을 갖는 두 가지 상이한 방법의 수행성능에 좌우되는데, 즉 RBC 방법으로 압축된 영상이 그 압축 비율에서의 JPEG 영상을 능가하면, 그결정은 "예"이고, 그렇지 않으면 그 결정은 "아니오"이다.

블록(315)에서 결정은 소정의 판단 기준, 예를 들어 주관적인 판단 기준, 또는 SNR 또는 MSE 등의 판단 기준을 토대로 하고, 그 기준은 이 방법이 블록(315)에 도달될 때 마다 평가된다. 만일 블록(315)에서의 결정이 "예"이면, 즉 저압축 비율에서 RBC 방법에 의한 영상의 품질이 더 좋으면, 이 방법은 블록(317)으로 진행하고, 이 블록에서 보다 높은 차수의 다항식을 사용할 것인지를 결정한다.

대한적으로, 사용되는 판단 기준이 매번 평가될 수 없다면, 임계값은 정량적 판단 기준으로 될 수 있고, 이것이 전송중에 RBC 및 연속 음조 압축, 이 경우에 JPEG간의 스위칭이 언제 실행될 것인가를 결정할 수 있다, 또한, 두 가지 상이한 압축 방법 사이의 스위칭이 실행되는 시점은 송신기에서 얻은 경험에 의거한다. 즉 어떤 압축 비율에서 두가지 상이한 방법간을 스위칭하는 것이 유용하다는 정보가 송신기에 제공된다.

JPEG 또는 RBC 방법이 어느 전송 단계에서 보다 양호하게 수행되는지를 검출하는 한 가지 방법은, JPEG 및 RBC 방법을 병행로 실행시키는 것이다. 그러나, 이 것은 계산적인 관점에서 비효율적일 수 있지만, 저장을 위하여 영상을 압축할 때에 효율적일 수 있고, 또한 효율적인 압축을 얻을 수 있다는 것이 가장 중요한 특징이다.

그러므로 다음의 보다 실용적이지만 준최적(suboptimal) 기술이 사용되는데,즉 고정된 수의 RBC 계수를 계산한 후에 JPEG로 스위칭 하는 기술이 사용될 수 있 다. 예를 들면, 영역에서 계산되는 계수의 최대수는 그 특정 영역에서의 포인트 수의 20%가 될 수 있다. 실험에 의하면 이러한 준최적 방법은 합리적인 절충이라는 것을 나타낸다.

그후에, 이 방법은 영상 영역이 다항식으로 근사화되는 블록(307)으로 리턴하는데, 이 다항식은 이번에는 최근의 것보다 보다 높은 차수가 된다. 그리고 나 서, 보다 높은 차수의 계수가 전송되고, 이 방법은 전과 같이 블록(309)으로 진행한다. 그러나, 만일 블록(315)에서 결정이 "아니오", 즉 RBC 영상이 보다 낮은 압축율에서 보다 양호한 영상을 제공하지 않는다라고 결정된다면, 이 방법은 블록 (319)으로 진행한다.

블록(319)에서, 원래의 영상의 대응되는 픽셀 값으로부터, 재구성되고, 압축 해제된 RBC 영상의 픽셀 값을 감산함으로써 차이 영상이 얻어진다. 그리고 나서, 이 차이 영상은 블록(321)에서 부호화된다. 블록(321)의 부호화 벙법은 도 4를 참조하여 이하에서 보다 상세하게 설명한다.

도 4에서, 차이 영상을 위한 부호화 방법이 도시되어 있다. 차이 영상, 즉 원래의 영상으로부터 감산되어 재구성된 RBC 영상에 대해 블록(401)에서 이 방법을 적용한다. 그리고 나서, 차이 영상은 가산 블록(403)에 공급된다. 가산 블록에서, 차이 영상의 각 픽셀 값에 값 128이 가산된다.

그리고 나서, 블록(405)에서, 블록(403)에서 얻은 영상의 픽셀 값은 원래의영상의 범위, 즉 이 경우에는 [0, 255]의 범위가 되도록 한다. 이것은 0보다 작은 모든 픽셀 값이 0 값을 채택하도록 하고, 255보다 큰 모든 픽셀 값이 255의 값을 채택하게 함으로써 얻어진다. 따라서 [0, 255]의 범위내의 픽셀 값을 갖는 영상이 얻어진다.

그리고 나서, 이 영상은 블록(407)에서 적절한 압축율로 8 비트 연속 음조 압축기로 압축된다. 이 압축은 또한 순차적 모드로 실행될 수도 있고, 또한 손실이 없는 압축 알고리즘이 될 수 있다. 후자의 경우, 손실이 없는 순차적 영상 전송이 성취될 수 있고, 이것은 원거리 진료 등의 응용 분야에 유용할 것이다.

도 5와 도 6은 도 4를 참조하여 서술된 방법에 따라서 압축된 차이 영상 및 RBC 영상을 수신하여 압축해제할 때 송신 시스템의 수신측에서 실행되는 여러 단계를 나타낸 것이다. 따라서, 도 5에서, 수신된 영상은 적절한 RBC 알고리즘, 즉 사용된 압축 알고리즘에 대응하는 알고리즘에 따라서 디코딩된다. 압축된 영상은 블록(501)에서 수신되고, 블록(503)의 통상적인 기술 방법으로 재구성된다.

한편, 만일 수신된 압축 영상이 도 4를 참조하여 서술된 바와같은 JPEG 압축 차이 영상이라면, 영상은 도 6에 도시한 방법에 따라서 압축 해제된다. 우선 JPEG 압축 차이 영상은 블록(601)에서 수신된다. 그리고 나서, 차이 영상은 블록(603)에서 종래의 JPEG 압축해제 알고리즘을 사용하여 압축해제된다.

그리고 나서, 압축해제된 영상의 각 픽셀 값으로부터 128의 값이 감산된다. 이것은 블록(605)에서 실행된다. 그 후에, 블록(605)에서 얻어진 영상은, 블록 (607)에서 도 5와 관련하여 설명한 방법에 따라서 압축해제 되어 이미 수신된 RBC재구성된 영상에 부가된다.

따라서, 픽셀 당 8 비트를 갖는 그레이 스케일 영상은 적어도 두 단계를 포함하고, 마치 영상이 JPEG 알고리즘 만을 사용하는 한 단계로 전송되는 것 처럼 거의 동일한 수의 비트를 사용하는 PIT 방식으로 송신된다. 그리고 나서, 최종 재구성된 영상의 전송은 영상이 JPEG 또는 순차적인 JPEG 알고리즘만을 사용하여 전송신되는 경우와 유사한 품질을 갖는 영상을 수신기에 제공한다.

만일 픽셀 당 비트 수가 8과 상이한 비트 수를 갖는 영상이 상기의 방법을 사용하여 전송된다면, 어떤 변형이 이루어져야 한다.

이 방법은 상술된 방법과 동일한 방법으로 적용된다. 그러나, 만일 JPEG 압축 알고리즘이 후자의 단계에 사용된다면, JPEG는 이러한 형태의 영상, 예를 들면 픽셀 당 12 또는 16 비트를 갖는 영상을 우선 처리하도록 하여야 한다. 그리고 나서, 가산된 값 및 감산된 값이 각각 128이 아니라 2^m-1(여기서 m은 그레이 스케일 영상에 사용되는 픽셀의 수)이 되도록 압축 및 압축해제 알고리즘이 조정되어야 한다.

또한, 원래의 영상에서 픽셀 당 비트 수가 8과 상이하면, 차이 영상이 놓이거나 절사되는 범위가 변경되어, 차이 영상이 원래의 영상의 범위내에 있도록, 즉 픽셀 값이 [0, 2^m-1%p.-e./S -1]의 범위내에 놓이도록 한다.

그레이 스케일 영상에 사용되는 방법의 예를 상술되었다. 그러나, 이 방법은 이하에서 설명하는 바와 같이 컬러 영상에서도 또한 동작한다.

컬러 영상은 컬러 대역 당 N 비트(여기서 N은 양의 정수이다)를 갖는 것으로 정의된다. 통상적인 컬러 영상은 각각 8 비트를 갖는 세 개의 컬러 대역, 즉 픽셀당 총 24 비트로 표시된다.

상술된 압축 방법이 컬러 영상에 적용될 때, 상술된 동일한 방법이 각 컬러 대역에 각각 사용될 수 있다. 그러나 컬러 영상을 나타내는 세 개의 컬러 대역이 YUV 컬러 공간 이외의 다른 것, 예를 들어, RGB(빨강 초록 파랑) 컬러 공간이라면, YUV 컬러 영상의 대부분의 에너지가 Y 성분에 집중되거나 또다른 적절한 컬러 공간으로 집중되기 때문에, YUV 컬러 공간으로의 변환을 수행하는 것이 유용한데, 여기서 Y는 휘도 성분이고 U 및 V는 색도 성분이다. 대안으로서의 압축 방법은 도 7 및 도 8을 참조하여 후술되는 바와같이 실행할 수 있다.

도 7 및 도 8에는 압축된 영상의 전송 시스템에 대한 전송부 및 이러한 시스템에 대한 수신부가 각각 도시되어 있다. 따라서, 도 7에서 블록(701)은 RGB 컬러 성분으로 표시되는 컬러 영상의 입력을 나타낸다. 그리고 나서, RGB 컬러 영상은 블록(703)에서 YUV 컬러 영상으로 변환된다.

블록(705)에서, 영상의 U 및 V 성분은 (적절한 저역 필터링후) 언더샘플링되 는데, 즉 영상의 크기가 감소되는데, 예를들어 512×512 픽셀 영상이 각각의 크기에서 2로 언더샘플링됨으로써 256×256 픽셀 영상으로 감소되어 초기의 전송 단계 동안 Y 성분만이 전송되도록 한다. 이어서 Y 성분에 대해서는 상기 RBC-JPEG 알고리즘이 블록(707)에서 실행된다. 상술된 RBC-JPEG 알고리즘은 블록(707)에서 Y 성분에 대하여 실행된다.

블록(705)에서 실행되는 U 및 V 컬러 성분의 언더샘플링은 선택적이다. 또한 컬러 영상에 대하여 실행되는 세그멘테이션도 적절한 기술을 사용하여 단지 Y 성분 영상에 대해서, 또는 세가지 성분 모두를 포함하는 전체의 컬러 영상에 대하여 실행될 수 있다.

전송의 어느 단계에서든지 수신기가 다른 컬러 성분이 전송되기를 원하는 것 으로 결정하면, 이러한 요구는 송신기로 전송되고, 블록(709)에서는 그러한 요구가 도착했는가를 연속적으로 점검한다. 만일 블록(709)에서의 결정이 "아니오"이면, PIT는 블록(711)에서 Y 성분에 대해서만 계속된다. 만일 결정이 "예"이면 이 방법은 블록(713)에서 JPEG 알고리즘 또는 임의의 연속 음조 압축기를 사용하여 U 및 V 성분을 전송하도록 스위칭된다. 대안적인 방법은, 수신기가 각 단계에서 컬러 영상을 또한 재구성하도록, 수신기의 컬러 성분 전송 요구를 기대함이 없이, 각 단계에서 모든 성분에 대한 정보를 전송하는 것이다.

대안적인 방법은 또한 U 및 V 성분에 대하여 RBC를 사용하는 것이다. 따라서, 블록(709)에서의 결정이 "예"이면, 이 방법은 블록(715)으로 진행되고, 이 블록에서 U 및 V 성분에 대한 세그먼트된 영상은 Y성분 영상의 라벨 영상을 언더샘플링 함으로써 얻어진다. 그리고나서, 블록(717)에서는 PIT 방법이 U 및 V 성분에 대하여 적용된다.

또한 컬러 영상의 세 가지 성분에 대한 전송의 제1 단계는 세그먼트된 영상의 전송을 포함할 수도 있는데, 이 단계에서 각 영역의 픽셀 값이 컬러 영상의 각 영역에서의 픽셀의 평균 또는 중간 컬러로 대체된다.

도 8에는 컬러 영상 전송 시스템의 수신부가 도시되어 있다. 압축된 YUV 컬러 영상은 블록(801)에서 수신된다. 그리고 나서, 영상의 성분은 사용된 압축 알고리즘, 즉 블록(803)에서 RBC 알고리즘 또는 JPEG 알고리즘 등에 대응하는 알고리즘을 사용하여 압축 해제된다. 그 후에 YUV 컬러 영상은 블록(805)에서 RGB 컬러 영상으로 변환되고 나서 재구성된 컬러 영상은 블록(807)에서 이용할 수 있다.

최종적으로, 도 9는 상기 전송 방법의 기본 개념을 설명하는 개략적인 다이어그램이다. 블록(901)에서는 원래의 영상이 전송 시스템에 공급된다.

그리고 나서, 영상은 블록(903)에 전송되고, 이 블록에서 스위칭 수단은 PIT 단계에서 어떤 알고리즘을 사용할 것인가를 결정한다. 블록(903)에서의 결정에 따라서, 영상은 블록(905)에서의 RBC 압축기 또는 블록(907)에서의 연속 음조 압축기중 하나에 의하여 압축된다. 그리고 나서, 압축된 영상은 PIT 방법에 따라서 채널(909)을 통해서 어느 압축 알고리즘이 사용되었는가 식별하고 수신된 영상을 적 절한 압축 해제기로 향하게 하는 블록(911)을 포함하고 있는 수신기로 전송된다.

상술된 방법에서 송신기는 항상 RBC 알고리즘에 따른 압축으로 시작하고 나서, 어떤 경우에는 연속 음조 압축으로 스위칭한다. 이러한 경우, 수신기에서의 스 위칭은 압축 알고리즘이 스위칭될 때 송신기로부터 수신기로 부호 워드(code word)를 송신함으로써 실행되고 나서, 수신기는 이러한 부호 워드를 검출하기 위하여 블록(911)내의 수단을 갖고 이를 수신시 스위칭을 실행한다.

그리고 나서, 압축해제는 적절한 압축해제기에 의해, 블록(913)에서의 RBC 압축해제기 또는 블록(915)에서의 연속 음조 압축해제기 중 하나에 의하여 실행된다. 그리고 나서, 영상은 재구성되어 블록(919)에서 사용자에게 제공되는데, 이 블록(919)은 압축 알고리즘을 스위칭시키거나 영상의 전송을 종료시키거나, 또는 보다 좋게 재구성되어야 할 어떤 영상의 영역 위치까지도 송신기에 명령할 수 있도록, 송신기에서 스위칭 수단(903)으로의 피드백 라인(917)을 갖추고 있다.

한 영역에서 텍스처의 재구성을 위하여 다항식을 사용함에 따른 한가지 단점은 다항식이 영상을 매우 서서히 재구성한다는 것, 즉 영상 품질의 명확한 개선을 얻기 위해서는 상당한 수의 기저 함수를 필요로 한다는 것이다. 그 이유는 RBC에는 큰 영역이 바람직하다는 사실(윤곽 부호화에 배당되는 비트 수를 제한하기 위하여) 및 큰 영역에서의 텍스쳐의 정확한 재구성은 상대적으로 많은 기저 함수를 필요로 한다는 사실 때문이다. 이러한 단점을 제거하기 위하여, 전송의 제1 단계에서 RBC 대신에 하이브리드 RBC-DCT 방법을 사용하는 제2의 방법이 적용된다.

상술된 압축 방법에서, 전송의 제1 단계에서 보다 양호한 시각 품질을 얻기 위하여, 사용된 RBC 알고리즘은 하이브리드 RBC-DCT(이산 여현 변환) 알고리즘으 로 스위칭된다. 이러한 하이브리드 RBC-DCT 알고리즘은 세그먼트된 영상을 직사각형 블록으로 나눔으로써 실행된다. 이러한 블록의 크기는 본 예에서 256×256 픽셀의 영상에 대하여 16×16 픽셀이 바람직하다. 그러나, 보다 크거나 보다 작은 블록도 사용될 수 있다.

그리고 나서, 세그먼트된 영상의 영역내에 완전하게 포함되어 있는 블록은 DCT 기저 함수, 또는 하이브리드 RBC-DFT 방법을 제공하는 DFT 기저 함수와 같은 다른 소정의 기저 함수를 사용하여 부호화되는 한편 영역의 잔여부 및 직사각형이부합하지 않는 기타의 영역은, 도 3 [블록(307)]의 기재와 관련하여 상기 인용된 바와 같은 약하게 분리할 수 있는(WS) 기저 함수 또는 임의 형상의 영역을 부호화하기에 적당한 기타의 방법을 사용하여 부호화된다.

블록으로의 분할은 송신기로부터의 아무런 정보 없이 수신기에 의하여 실행될 수 있기 때문에, 이 직사각형 블록의 윤곽은 전송될 필요가 없다. 직사각형이 부합하지 않는 영역의 잔여 부분은 한 영역의 일부로 간주할 수 있는지, 또는 별도의 하위 영역으로 분할되어야 할 것인지의 여부가 검사될 수 있다는 점에 주의하라. 그리고 나서, 각 하위 영역은 상술된 방법에 의하여 부호화된다.

기저 함수의 집합은 하위 영역의 특성에 (필요하지는 않지만) 적합하도록 할 수 있다. 예를 들면, 평활한 하위 영역에서는 다항식을 사용할 수 있다. 텍스처된 하위 영역에서는 여현 기저 함수가 사용될 수 있다. 예를들어, 인체와 같이 영역이 비교적 큰 경우를 고려해야 한다. 직사각형에 부합할 수 없는 부분, 즉 이 경우에는 인체 등의 대상물의 잔여 부분은 상이한 부분(하위 영역), 즉 머리 부분, 손 부분, 다리의 부분 등으로 이루어져 있다. 이러한 경우, 이들 하위 영역이 식별될 수 있다.

이러한 식별을 실행하기 위한 간단한 방법은 그레이 값 또는 컬러의 변화를 검사하는 것이다. 그리고 나서, RBC 부호화, 예를 들면 다항식 표시 방법이 이러한 하위 영역에 적용된다. 만일 수신기가 이러한 분할을 식별할 수 없다면, 하위 영역으로의 분할은 수신기쪽으로 전송되어야 한다는 것을 고려해야 한다.

이러한 분할로 인해, 이들 블록에 대한 기저 함수를 계산할 필요가 없다. 대신에 이러한 직사각형 영역에 대하여 사전에 계산된 DCT 기저 함수가 사용되거나, 또는 DFT 또는 그 외 다른 변환이 사용될 수 있다. 이것은 사용되는 RBC 알고리즘의 계산 복잡도를 상당히 감소시킨다. 또한 RBC만을 사용하는 알고리즘에 비해서, 하이브리드 RBC-DCT를 사용하면 요구되는 기억 용량이 감소된다.

그러나 세그먼트된 영상을 직사각형 블록으로 분할하는 또 하나의 방법은, 영상을 비교적 큰 사이즈, 예를 들어 64×64 픽셀의 직사각형 블록으로 분할하기 시작하고, 영역내에 완전하게 포함되는 블록만을 유지시키는 것이다. 그리고 나서,이 방법은 계속해서 세그멘트된 영상을 보다 작은 크기, 예를 들면, 32×32 픽셀의 직사각형 블록으로 분할하고, 영역내에 완전히 포함되는 블록만을 유지하고, 또 직사각형내에서 분할의 제1 단계 동안에 부합되는 보다 큰 직사각형 블록의 밖에, 즉 이 경우에 64×64 블록의 밖에 있도록 유지하는 것이다.

이 절차는 더 이상의 직사각형 블록이 추가될 수 없을 때까지 또는 소정의 작은 크기의 직사각형, 즉 4×4 또는 8×8에 도달할 때 까지 반복된다. 세그먼트된 영상을 직사각형 부분으로 분할하는 다른 방법, 예로써, 4분트리(quadtree) 기반의분할 또는 가변 블록 크기 분할이 사용될 수 있다. 예를 들면 4분트리 분할이 사용되는 경우에, 영역에 완전히 포함되는 4분트리 분할로부터 발생된 블록은 DCT로 부호화된다. 분할은 정사각형으로 행해지지만, 16×8, 32×8 등과 같은 크기 또는 심지어 삼각형의 형상까지도 사용 가능하다는 것을 고려해야 한다.

예로써, 영역이 40개의 행 및 30개의 열로 이루어진다면, 32×16 크기의 직사각형 영역이 이 영역네에 부합될 수 있다. 결국, 이 영역들 또는 부합되지 않은여러 크기의 블록내의 영역의 잔여 부분은 기저 함수의 집합, 예를 들면, 직교 기저 함수에 의하여 부호화된다. 또한 그 영역의 잔여 부분이 상이한 하위 영역을 포함하고 있는 지에 대한 검사 및 이에 대한 부호화가 실행될 수 있다는 것을 주지해야 한다. 또한 직사각형이 부합되지 않은 영역(또는 하위 영역)의 부분이 작으면, 적은 수의 기저 함수, 또는 심지어 평균값으로 나타낼 수 있다는 것도 주지해야 한다.

세그먼트된 영상을 소정의 형상의 영역으로 분할하는 다른 방법으로써, 문헌 (Sikora T., and Makai B., "Shape-adaptive DCT for generic coding of video", IEEE Trans. on Circuits and Systems for Video Technology, Vol. 5, No. 1, Feb. 1995, pp 59-62)에서 제안한 방법 등을 또한 적용할 수 있다. 영역의 평균값은 DCT로 부호화하기 전에 세그먼트된 영상내의 각각의 부가된 영역(직사각형이건 아니건 간에)으로부터 감산하여 부호화되는 정보를 감소시킨다.

따라서, DCT가 사용되는 블록에서는, PIT를 위한 JPEG 알고리즘, 즉 축차 근사화 또는 스펙트럼 선택이 사용될 수 있다. 그리고 나서, 이 방법이 JPEG를 사용하도록 스위칭되는 경우, 이 방법은 이러한 블록내에 완전히 포함되는 블록에 대하여 이러한 블록에 대한 차이 영상을 사용함이 없이, 계속해서 축차 근사화 또는 스펙트럼 선택을 사용할 수 있고, 반면에 JPEG 방법, 즉 DCT 기반의 부호화는 영상 (차이 영상으로)의 나머지 블록에 적용된다.

전체의 차이 영상을 JPEG로 부호화하는 것을 피할 수 있다는 것을 주지해야 한다. 이것은 다음과 같이 실행될 수 있다. 만일 JPEG로의 스위칭이 실행되기 전에블록이 양호하게 재구성되었다면, 즉 이러한 블록에 대한 품질이 만족스러우면, 이러한 특정 블록에 JPEG를 적용할 필요가 없다. 그러므로 SNR, MSE 등의 정량적인 측정값이 각각의 재구성된 블록(인코더측에서)의 결과에 대한 검사를 위하여 사용될 수 있다. 이러한 경우 차이 블록의 부호화를 피할 수 있어, 양호하게 재구성되지 않은 블록을 부호화하거나 또는, 직사각형이 부합되지 않은 영역이나 영역의 부분을 부호화하기 위하여 할당될 수 있는 비트를 절약한다.

또한 RBC 및 하이브리드 RBC-DCT 방법이 결합될 수 있다는 것도 주지해야 한다. 예를 들면, 전송의 제1 단계에서, RBC가 사용될 수 있다. 그리고 나서, RBC-DCT의 결합된 방법이 직사각형 불록을 가산하고, 또한 원래의 블록과 재구성된 블록(영역의 부분)과의 차이를 DCT 방법으로 부호화함으로써 사용될 수 있다. 그리 고 나서, 이 방법은 계속해서 RBC-DCT를 사용하거나 또는 JPEG 등의 연속 음조 압축기로 스위칭할 수 있다. 이 방법의 많은 상이한 조합들이 사용될 수 있다.

따라서, RBC 및 JPEG의 이점을 결합한 PIT 방법을 설명하였다. 본 제안된 방법은 마치 처음부터 JPEG가 단독으로 사용된 것 같이(최종 전송 단계에서 유사한 품질 및 최초 전송 단계 동안에는 더욱 양호한 품질을 성취하기 위하여), 대략 동일한 수의 비트를 사용할 수 있고 또한 동시에 전송 초기 단계에서 원하지 않는 영상의 부가적인 전송을 가능하면 중단할 수 있도록 신속하게 해석할 수 있는 영상을 수신자에게 제공함으로써, 사용되는 전송 채널이 자유롭게되어 그 외 다른 목적에 사용할 수 있다.

본원에서 설명된 방법은 또한 정지 영상 및 동영상의 부호화에 적용할 수 있다. 정지 영상의 부호화에는, 하이브리드 RBC-DCT 방법이 JPEG 또는 완전 RBC 방법 대신에 사용될 수 있다. 동영상 압축에는, 하이브리드 RBC-DCT 방법이 I 프레임과 P 및 B 프레임을 부호화하는 데에 사용된다. 동영상의 부호화에 대한 응용에 있어서, 본원에서 설명한 RBC-DCT 방법은 차이 프레임, 즉 원래의 프레임에서 예상되는 프레임을 감산함으로써 발생된 프레임을 부호화하는 데에 적용할 수 있다.

본 발명의 목적은 모든 송신 스테이지 동안에 고품질의 영상을 제공하는 PIT에 대한 방법 및 송신 시스템을 제공하는 것이다.

본 발명의 또 하나의 목적은 RBC 및 블록 기본 부호화 방법을 결합하여 정지 영상 및 동영상을 부호화하는 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 분할 영상 부호화 방식의 양호한 초기 시각 품질과 함께 효율적인 순차적 영상 송신을 제공하기 위하여 JPEG 알고리즘으로써 성취되는 저비용 고압축을 이용하는, 방법 및 송신 또는 저장 시스템을 획득하기 위한 것이다.

본 발명의 추가적인 목적은 기존의 RBC 방법과 비교하여 계산 복잡도 및 기억 용량 필요성이 감축되는 RBC 방법을 사용하는 방법 및 송신 시스템을 제공하는 것이다.

Claims

순차적인 영상 전송(PIT)에 사용하기 위한 전송 방법에 있어서,

세그먼트된 영상을 얻는 단계 및, 송신기에서 수신기로 디지털화된 영상을 전송하는 단계를 포함하여 영상을 압축하기 위한 영역 기반의 부호화(RBC)를 사용 하며, 상기 PIT의 어떤 단계에서, 압축 알고리즘은 연속 음조 압축 알고리즘으로 영상을 압축하도록 스위칭되는 것을 특징으로 하는 순차적인 영상 전송 방법,
제1항에 있어서,

두 가지 압축 방법의 영상 품질을 동일한 판단 기준으로 측정시 동등하게 될 때, RBC 알고리즘은 연속 음조 압축 방법으로 스위칭되는 것을 특징으로 하는 순차적인 영상 전송 방법.
제1항 또는 제2항에 있어서,

상기 RBC로부터 연속 음조 압축으로의 스위칭이 실행될 때, 송신기에서는,

- 원래의 영상 및 그 단계에서 RBC 재구성된 영상간의 픽셀 값 차이를 취하여 새로운 영상, 즉 차이 영상을 생성하는 단계와,

- 2^m-1의 값을 차이 영상의 각 픽셀 값에 가산하는 단계로서, m은 원래의 영상에서 픽셀마다 사용되는 비트 수인, 가산 단계와,

- 모든 픽셀 값을 [0, 2^m-1]의 범위로 절사하는 단계 및,

- 연속 음조 압축 알고리즘을 사용하여 상기 차이 영상을 압축하여 상기 압축된 영상을 전송하는 단계를 수행하고,

수신기에서는 이에 대응하여,

- 연속 음조 압축 알고리즘에 대응하는 압축해제 알고리즘을 사용하여 수신된 차이 영상을 재구성하는 단계와,

- 각 픽셀 값으로부터 2^m-1의 값을 감산하는 단계 및,

- 영상을 RBC 재구성된 영상에 가산하는 단계를 수행하는 것을 특징으로 하는 순차적인 영상 전송 방법.
제1항 또는 제 2 항에 있어서,

상기 세그먼트된 영상은 전송되기 전에 직사각형 영역 또는 소정의 또 다른 형상의 영역으로 분할되고, 세그먼트된 영상의 영역 내에 완전히 포함되는 영역은 소정의 기저 함수에 의하여 부호화되는 것을 특징으로 하는 순차적인 영상 전송 방법.
제4항에 있어서,

상기 영역은 직사각형의 형상을 갖는 경우에, 사용되는 상기 직사각형 영역 내의 기저 함수는 DCT(Discrete Cosine Transform) 기저 함수 또는 DFT(DiscreteFourier Transform) 기저 함수인 것을 특징으로 하는 순차적인 영상 전송 방법.
제 1 항 또는 제 2 항에 있어서,

상기 RBC 방법은 세그먼트된 영상 영역을 부호화하기 위하여 직교 또는 정규직교의 기저 함수를 사용하는 것을 특징으로 하는 순차적인 영상 전송 방법.
제 1 항 또는 제 2 항에 있어서,

상기 세그먼트된 영상은 전송되기 전에 직사각형의 영역으로 분할되고, 상기 RBC 영상의 영역내에 완전히 포함되는 상기 직사각형 영역은 소정의 기저 함수에 의하여 부호화되는 것을 특징으로 하는 순차적인 영상 전송 방법.
제 7 항에 있어서,

사용된 기저 함수는 DCT(Discrete Cosine Transform) 또는 DFT(Discrete Fourier Transform) 기저 함수인 것을 특징으로 하는 순차적인 영상 전송 방법.
제 1 항 또는 제 2 항에 있어서,

전송될 영상이 컬러 영상인 경우에,

- 상기 컬러 영상은 YUV 영상으로 변환되고,

_ Y 성분만이 전송 초기 단계에서 RBC를 사용하여 전송되고,

_ 수신기/송신기가 다른 컬러 성분을 수신/전송하도록 결정하는 경우, 이들성분이 전송되는 것을 특징으로 하는 순차적인 영상 전송 방법.
제 9 항에 있어서,

상기 다른 컬러 성분(U 및 V)은 전송되기 전에 언더샘플링(undersampling)되는 것을 특징으로 하는 순차적인 영상 전송 방법.
제 9 항에 있어서,

상기 전송의 제 1 단계 동안에, 상기 세그먼트된 영상 및 각 영역의 평균 또는 중간 컬러가 전송되는 것을 특징으로 하는 순차적인 영상 전송 방법.
제 1 항 또는 제 2 항에 있어서,

상기 사용되는 연속 음조 압축 알고리즘은 JPEG 또는 DCT 기반의 부호화 방법인 것을 특징으로 하는 순차적인 영상 전송 방법.
디지털화된 영상의 세그멘테이션을 포함하는 영역 기반의 부호화(RBC) 알고리즘을 사용하여 송신기에서 수신기로 영상을 전송하는 방법에 있어서,

상기 세그먼트된 영상을 전송하기 전 소정의 형상을 갖는 제 1 영역을 분할하는 단계와,

RBC 영상 영역 내에 완전히 포함되는 제 1 영역만을 소정의 기저 함수에 의해 부호화하는 단계를 포함하는데,

상기 제 1 영역내에 포함되지 않는 영역은 영역 기반의 부호화 알고리즘을 사용하여 부호화되는 것을 특징으로 하는 영상 전송 방법.
제 13 항에 있어서,

사용된 기조 함수는 DCT(Discrete Cosine Transform) 기저 함수 또는 DFT(Discrete Fourier Transform) 기저 함수인 것을 특징으로 하는 영상 전송 방법.
RBC 알고리즘에 의하여 압축되는 PIT 방법에 따라서 디지털화 압축 영상을 송신하기 위한 송신기에 있어서,

연속 음조 압축하기 위한 송신기내의 수단 및,

RBC 알고리즘 및 연속 음조 압축용 알고리즘으로 압축간을 스위칭하는 수단을 구비하는 것을 특징으로 하는 송신기.
제 15 항에 있어서,

- 원래의 영상 및 그 단계에서 RBC 재구성된 영상간의 픽셀 값 차를 취하여 새로운 영상. 즉 차이 영상을 생성하는 수단과,

- 2^m-1의 값을 상기 차이 영상에 가산하는 수단으로서, m은 원래 영상에서 픽셀마다 사용되는 비트 수인, 가산 수단과,

- 모든 픽셀 값을 [0, 2^m-1]의 범위 내로 절사하는 수단으로서, m은 원래 영상에서 픽셀마다 사용되는 비트 수인, 절사 수단 및,

- 연속 음조 압축기를 사용하여 차이 영상을 압축하여 상기 압축된 영상을 전송하는 수단을 더 구비하는 것을 특징으로 하는 송신기.
제 15 항 또는 제 16 에 있어서,

상기 세그먼트된 영상을 전송하기 전 소정의 형상을 갖는 영역으로 분할하는 수단과, 상기 세그먼트된 영상의 영역 내에 완전히 포함되는 영역을 소정의 기저함수에 의해 부호화하는 수단을 더 구비하는 것을 특징으로 하는 송신기.
제 17 항에 있어서,

상기 부호화가 연속적인 음조 부호화 방식으로 스위칭될 때, 영상의 어떤 부분을 위하여 더 이상 부가적인 정보가 전송될 필요가 없다는 것을 결정하는 수단을 더 구비하는 것을 특징으로 하는 송신기.
제 15 항 또는 제 16 항에 있어서,

영역이 직사각형의 형상인 경우에, 상기 사용되는 직사각형 영역내의 기저 함수는 DCT(Discrete Cosine Transform) 기저 함수 또는 DFT(Discrete Fourier Transform) 기저 함수인 것을 특징으로 하는 송신기.
제 15 항 또는 제 16 항에 있어서,

상기 RBC 압축기는 영상의 영역을 부호화하기 위하여 직교 또는 정규직교 기저 함수를 사용하는 것을 특징으로 하는 송신기.
제 15 항 내지 제 16 항에 있어서,

컬러 영상의 각 컬러 성분을 독립적으로 전송하는 수단을 더 구비하는 것을 특징으로 하는 송신기.
디지털화된 압축 영상을 수신하는 수신기에 있어서,

RBC 알고리즘에 의하여 압축된 영상 및 연속 음조 압축 알고리즘에 의하여 압축된 영상을 수신하여 압축해제하는 수단 및,

완전한 출력 영상을 형성하기 위하여 RBC 압축 데이터 및 연속 음조 압축 데이터를 결합하는 수단을 구비하는 특징으로 하는 수신기.
제 22 항에 있어서,

차이 영상을 수신하는 수단과,

사용된 연속 음조 압축 알고리즘에 대응하는 압축해제기를 수용하여 수신된 차이 영상을 재구성하는 수단과,

각 픽셀 값으로부터 2^m-1을 감산하는 수단, 및

영상을 RBC 재구성된 영상에 가산하기 수단을 더 구비하는 것을 특징으로 하는 수신기.
제 22 항 또는 제23항에 있어서,

영역으로 분할되는 수신된 영상을 직사각형 블록으로 분할하는 수단을 더 구비하는 것을 특징으로 하는 수신기.
제 22 항 또한 제 23 항에 있어서,

부호화 워드를 수신시 RBC 압축해제 및 연속 음조 압축해제 간에서 스위칭을실행하는 수단을 더 구비하는 것을 특징으로 하는 수신기.
영역 기반의 부호화(RBC)를 사용하여 디지털화된 영상을 전송하는 송신기에 있어서,

세그먼트된 영상을 전송하기 전 소정의 형상을 갖는 제 1 영역으로 분할하는 수단 및,

RBC 영상의 영역 내에 완전히 포함되는 제1 영역만을 소정의 기저 함수에 의해 부호화하는 수단을 구비하는데,
제 26 항에 있어서,

사용되는 기저 함수는 DCT(Discrete Cosine Transform) 기저 함수 또는 DFT(Discrete Fourier Transform) 기저 함수인 것을 특징으로 하는 송신기.
순차적인 영상 전송(PIT)에 사용하기 위한 송신기 및 수신기를 구비하는 전송 시스템에 있어서,

송신기에서 디지털화된 영상을 압축하기 위하여 영역 기반의 부호화(RBC) 압축기 및 연속 음조 압축기와,

영사을 수신기에 전송하는 송신기내의 수단 및,

PIT의 어떤 단계에서 상기 RBC 압축기에 의한 압축을 스위칭시켜 연속 음조 압축기로 영상을 압축시키는 송신기내이 수단을 구비하는 것을 특징으로 하는 전송시스템.
제 28 항에 있어서,

두개의 압축기의 영상 품질이 동일한 판단 기준으로 측정시 동일하게 될 때, RBC 압축기로부터 연속 음조 압축기로 스위칭시키는 송신기내의 수단을 더 구비하는 것을 특징으로 하는 전송 시스템.
제 28 항 또는 제 29 항에 있어서,

- 원래의 영상 및 그 단계에서 RBC 재구성된 영상간의 픽셀 값 차이를 취함으로써 새로운 영상, 즉 차이 영상을 생성하며,

- 원래의 영상에서 픽셀 마다 사용되는 비트 수가 m인, 2^m-1의 값을 차이 영상의 각 픽셀 값에 가산하며,

- 모든 픽셀 값을 [0, 2^m-1]의 범위내로 절사하고,

-연속 음조 압축 알고리즘을 사용하여 차이 영상을 압축하여 상기 압축된 영상을 전송하는 송신기내의 수단을 구비하고,

- 압축 알고리즘을 사용하여 수신된 차이 영상을 재구성하며,

- 각 픽셀 값으로부터 2^m-1의 값을 감산하고,

- 영상을 RBC 재구성된 영상에 가산하는 수신기내의 수단을 더 구비하는 것을 특징으로 하는 전송 시스템.
제 28 항 또는 제 29 항에 있어서,

영상을 전송하기 전 소정의 형상을 갖는 영역으로 분할하는 송신기내의 수단 및 영상의 영역내에 완전히 포함되는 영역을 소정의 기저 함소로 부호화하는 송신기 내의 수단을 더 구비하는 것을 특징으로 하는 전송 시스템.
제 31 항에 있어서,

상기 수단은 DCT(Discrete Cosine Transform) 기저 함수 또는 DFT(Discrete Fourier Transform) 기저 함수를 사용하도록 설계되는 것을 특징으로 하는 전송 시스템.
제 28항 또는 제 29 항에 있어서,

상기 RBC 압축기는 직교 또는 정규직교 기저 함수를 사용하여 영상의 영역을 부호화하도록 설계되는 것을 특징으로 하는 전송 시스템.
제 28 항 또는 제 29 항에 있어서,

영상을 전상하기 전 소정 형상을 갖는 영역으로 분할하는 송신기내의 수단 및 RBC 영상의 영역내에 완전히 포함되는 영역을 소정의 기저 함수를 사용하여 부호화하는 수단을 더 구비하는 것을 특징으로 하는 전송 시스템.
제 34 항에 있어서,

영역이 직사각형의 형상을 갖는 경우, RBC 영상 영역내에 완전히 포함되는 직사각형 영역을 부호화하는 수단은 DCT(Discrete Cosine Transform) 기저 함수 또는 DFT(Discrete Fourier Transform) 기저 함수를 사용하도록 설계되는 것을 특징으로 하는 전송 시스템.
제 28 항 또는 제 29 항에 있어서,

전송될 영상의 컬러 영상인 경우에,

- 상기 컬러 영상을 YUV 영상으로 변환하고

- 전송 초기 단계에서 RBC를 사용하여 Y성분만을 전송하는 송신기내의 수단을 더 구비하는 것을 특징으로 하는 전송 시스템.
제 36 항에 있어서,

다른 컬러 성분(U 및 V)을 언더샘플링하는 송신기내의 수단을 더 구비하는 것을 특징으로 하는 전송 시스템.
제 36 항에 있어서,

전송의 제 1단계 동안에, 세그먼트된 영상, 및 각 영역의 평균 또는 중간 컬러만을 전송하기 위한 송신기내의 수단을 더 구비하는 것을 특징으로 하는 전송 시스템.
제 28 항 또는 제 29 항에 있어서,

상기 연속 음조 압축기는 JPEG 압축기인 것을 특징으로 하는 전송 시스템.
디지털화된 영상의 세그멘테이션을 수행하는 수단을 구비하는 영역 기반 부호화(RBC) 압축기를 사용하여 송신기로부터 수신기로 영상을 전송하는 전송 시스템에 있어서,

상기 세그먼트된 영상을 전송하기 전 소정의 형성을 갖는 제 1영역으로 분할 하는 송신기내의 수단 및,

소정의 기저 함수를 사용하여 상기 RBC 영상의 영역내에 완전히 포함된 제 1 영역만은 부호화하는 수단을 구비하는데,

상기 제 1 영역내에 포함되지 않은 영역은 영역 기반의 부호화 압축기를 사용하여 부호화되는 것을 특징으로 하는 전송 시스템.
제 40 항에 있어서,

상기 RBC 영상 영역내에 완전히 포함되는 영역을 부호화하는 수단은 DCT(Discrete Cosine Transform) 기저 함수 또는 DFT(Discrete Fourier Transform) 기저 함수를 사용하도록 설계된 것을 특징으로 하는 전송 시스템.
세그먼트를 제공하는 세그멘테이션 수단을 구비하여 디지털화된 영상의 세그멘테이션을 실행하는 수단을 구비하는 영역 기반의 부호화(RBC) 압축기를 사용하여여 정지 영상 및/또는 비디오 시퀴스를 부호화하는 시스템에 있어서,

세그먼트된 영상을 부호화하여 기억하거나 전송하기 전 소정 형상을 갖는 영역으로 분할하는 수단과,

소정의 기저 함수에 의해 세그먼트된 영상의 세그먼트내에 완전히 포함되는 영역만을 부호화하는 수단을 구비하는데,

상기 영역내에 포함되지 않는 영역은 영역 기반의 부호화 압축기를 사용하여 부호화되는 것을 특징으로 하는 부호화 시스템.