KR19990087496A

KR19990087496A - 순차적인 영상 부호화

Info

Publication number: KR19990087496A
Application number: KR1019980706924A
Authority: KR
Inventors: 촤리라오스 크리스토푸로스
Original assignee: 에르링 블롬메, 토마스 란다흘; 텔레폰악티에볼라겟 엘엠 에릭슨
Priority date: 1996-03-05
Filing date: 1997-03-05
Publication date: 1999-12-27
Also published as: NO984032D0; CN1212806A; WO1997033425A1; BR9707825A; JP4412742B2; TR199801743T2; JP2000506345A; AU1950097A; NO984032L; EP0885520A1; CA2243648C; US6031572A; CA2243648A1; AU733569B2; PL328766A1; IL125672A0; KR100367813B1

Abstract

송신의 초기 스테이지에서 고압축비율로 양호한 시각 품질의 영상을 수신기에 제공하기 위하여, 송신기는 품질이 양호하다고 공지(公知)된, 영역에 따른 부호화(RBC; Region Based Coding)를 사용하는, 부호화 및 순차적 영상 송신(PIT; Progressive Image Transmission)에 사용하기 위한 방법 및 송신 시스템. 송신의 후반 스테이지에서, RBC 영상의 시각 품질이 JPEG 등의 기타의 압축 기술에 비하여 더 이상 우월하지 않을 때에는, PIT 스위치(903)는 추가적인 송신에, 이미 송신된 RBC 영상에 포함된 정보를 상실함이 없이, 연속 색조 압축기(907)를 사용한다. 또한 송신 방법의 추가적인 성능 개선을 위하여 하이브리드 RBC-DCT(Discrete Cosine Transform; 이산 여현 변환)가 사용되고, 이 방법에서는 RBC 알고리즘에 의하여 세그먼트 분할된 영상은 구형(矩形) 블록으로 분할되고, 세그먼트 분할된 영상의 영역안에 완전히 포함된 그 블록들은 DCT 기본 함수 등의 사전 정의된 기본 함수를 사용하여 송신된다. 또한 유사한 방법을 사용하는 비디오 부호화 방법을 개시한다.

Description

순차적인 영상 부호화

순차적인 영상 송신(PIT; progressive image transmission)은 영상을 송신하는 방법으로서 일반적인 용어이고, 여기에서 영상에 포함된 정보는 더 많은 정보가 송신됨에 따라 송신 시스템의 수신측에서의 영상 품질이 점차적으로 개선되는 방식으로 송신된다.

순차적 영상 송신은 공공 전화 교환 회로망과 같은 저용량 송신 채널을 사용하는 영상 송신 시스템의 한 부분으로서 제안된 것이다. PIT를 사용하면 사용자는 영상을 더 빨리 해석할 수 있다. 이것은 예를 들면 보아야 할 영상은 많으나 실제로 관심이 있는 것은 적을 때 유용하다. 따라서 사용자는 영상 송신 중에 언제라도 영상 수신의 거절을 결정할 수 있고 이것에 따라 관심없는 영상을 초기에 거절함으로써 시간을 절약할 수 있다. 그중에서도 의료 환경에서 나타나는 것과 같은 대형의 영상 데이터베이스는 이러한 송신 방법을 사용하면 이득이 된다.

그러므로, 이러한 송신 방법에 유용하고 순차적 영상 부호화에 적합한 특징이 있는 알고리즘(algorithm)에 대한 수요가 일어났다. 순차적 영상 부호화에 사용 가능한 방법은 통합 사진 전문가 그룹(JPEG; Joint Photographers Expert Group, 이하 JPEG라고 한다)의 알고리즘이다. 순차적 영상 부호화는, 예를 들면, 문헌(W.B. Pennebaker, J.L. Mitchell, "JPEG still image data compression standard", Van Nostrand Reinhold, New York, 1993, 또는 G.K. Wallace, "The JPEG still picture compression standard", Communication of the ACM, Vol. 34, No. 4, April 1988, pp. 121-132)에서 설명한 바와 같이 스펙트럼 선택(spectral selection) 또는 축차 비교(successive approximation)의 방법을 사용하여 달성한다. 그러나 PIT에 JPG 알고리즘을 사용하면 얼마간의 불리한 점이 있다. 주요한 불리한 점은 송신 첫 스테이지 동안 시각 품질이 낮은 점이고, 이것은 주로 높은 압축 비율에서 나타나는 인공적인 요소의 차단에 기인한다. 따라서 수신자가 송신되는 영상에 대한 관심 유무를 결정하기 위해서는 많은 정보의 송신을 필요로 한다는 것은 일반적인 사실이다.

최근에는 분할 영상 부호화(SIC; segmented image coding) 또는 영역에 따른 부호화(RBC; region based coding) 방법이 순차적 영상 송신에 사용되었다. 영역에 따른 부호화는 비교적 새로운 기술이고, 영상은 휘도가 서서히 변동하는 영역들로 분리되어 있다. 상이한 영역들을 분리하는 윤곽은 체인 코드(chain code)로 나타내었고, 그 영역안의 영상 휘도는 기본 함수들의 선형 결합을 사용하여 개략화된다. 다음 윤곽선과 영역 휘도는 수신자에게 영상을 제공하기 위하여 채널을 통하여 송신한다.

RBC에 의한 알고리즘은 예를 들면 높은 압축 비율에서 JPEG 알고리즘 보다 훨씬 양질의 시각 품질을 제공한다. 이러한 이유는 JPEG 알고리즘을 사용하는 고압축 비율에서 보이는 인공적인 요소를 차단하기 때문이다. 그러나 저압축 비율에서는 RBC에 의한 알고리즘의 시각 품질은 JPEG 알고리즘을 능가하지 못한다. 더욱이 RBC 알고리즘의 계산 복잡도는 JPEG 알고리즘의 경우보다 상당히 높고, 또한 비교적 낮은 비용으로 상용화할 수 있는 이점이 있다.

본 RBC 방법의 대부분은 영역 안의 그레이 값(gray value)을 기본 함수의 가중 합계로써 개략화한 후에, 얻은 계수를 정량화 하여 부호화한다. 그러한 기술은 문헌(M.Gilge, "Region-orientated transform coding(ROTC) of images", Proc. of ICASSP 90, Albuquerque, New Mexico, April 1990, pp. 2245-2248, and M.Kunt, M.Benard, R.Leonardi, "Recent results in high-compression image coding", IEEE Trans. circuits and systems, Vol. 34, November 1987, pp. 1306-1336)에 설명되어 있다.

더욱 최근의 RBC 방법에는 주어진 영역안의 기본 함수는 정규직교적(orthonormal)이다. 정규직교 함수를 사용하면 더 적은 횟수의 숫자적으로 안정된 계산으로써, 선형 표시 계수를 독립적으로 구할 수 있다. 예를 들어 문헌(W.Philips, C.A.Christopoulos, "Fast segmented image coding using weakly separable bases", Proc. of ICASSP 94, Adelaide, Australia, April 19-22, 1994, Vol. Ⅴ, pp. 345-348)에 설명되어 있다. 그러나 RBC 알고리즘은 계산이 매우 복잡하며 또한 기억 용량이 필요하다. 이것은 정규직교적인 베이스가 한 영역의 형상과 크기에 달려 있고, 따라서 새로운 개별 기본 함수는 각 영역별로 계산되어야 한다.

더구나 저압축 비율에서는 RBC는 JPEG 보다 양질의 시각 품질을 제공하지는 않는다. 따라서, RBC에 의한 알고리즘은 저압축 비율에서는 다른 압축 알고리즘에 비교해서 그 이점을 잃게 된다.

본 발명은 영상 및 비디오의 부호화를 위한 방법 및 시스템과 순차적인 영상 송신을 위한 방법 및 시스템에 관한 것이다.

본 발명은 이제 첨부 도면을 참조로 하여 더욱 상세하게 설명할 것이다.

도 1은 RBC에 의한 송신 방법을 사용하는 정지 화면의 송신 시스템의 일반적인 블록 다이어그램이다.

도 2는 RBC-JPEG의 결합 압축 방법을 사용하는 송신기의 블록 다이어그램이다.

도 3은 도 2의 송신기에서 실행되는 논리적 단계의 플로우 차트이다.

도 4는 차이 영상을 부호화할 때 실행되는 상이한 단계를 예시하는 블록 다이어그램이다.

도 5는 RBC 압축 해제기(decompressor)에 관련되는 단계의 블록 다이어그램 이다.

도 6은 차이 영상을 압축 해제할 때 압축 해제기에서 실행되는 단계의 블록 다이어그램이다.

도 7은 컬러 영상에 대한 송신기에서의 논리를 설명하는 플로우 차트이다.

도 8은 컬러 영상을 수신할 때 수신기에서 실행되는 단계의 블록 다이어그램 이다.

도 9는 RBC 알고리즘에 의한 압축 및 연속 색조 압축 알고리즘에 의한 압축간의 방법 변경을 사용하는 송신 방법의 개략도이다.

본 발명의 목적은 모든 송신 스테이지 동안에 고품질의 영상을 제공하는 PIT에 대한 방법 및 송신 시스템을 제공하는 것이다.

본 발명의 또 하나의 목적은 RBC 및 블록에 따른 부호화 방법을 결합하여 정지 영상 및 동영상을 부호화하는 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 분할 영상 부호화 방식의 양호한 초기 시각 품질과 함께 효율적인 순차적 영상 송신을 제공하기 위하여 JPEG 알고리즘으로써 달성되는 저비용 고압축을 이용하는, 방법 및 송신 또는 저장 시스템을 획득하기 위한 것이다.

본 발명의 추가적인 목적은 기존의 RBC 방법과 비교하여 계산 복잡도 및 기억 용량 필요성이 감축되는 RBC 방법을 사용하는, 방법 및 송신 시스템을 제공하는 것이다.

이러한 목적들은 RBC와 연속 색조(tone) 압축 알고리즘, 예를 들면 JPEG 및 또는 이산 여현 변환(DCT; discrete cosine transform, 이하 DCT라 한다)을 결합한 방법으로써 달성된다. 따라서 PIT의 경우에는 송신의 첫 스테이지(stage)에서, 즉 고압축 비율로 압축될 때 이 스테이지에서 양호한 시각 품질의 영상을 제공 하는 것으로 판명된 어떤 RBC 알고리즘을 사용한다. RBC 방법은 다음 단계들로 구성되어 있다. 즉

㈎ 다수의 영역안의 영상을 세그먼트(segment) 분할한다. 즉 윤곽 영상(그리고 될 수 있는 한 각 영역의 픽셀(pixel)의 평균치)을 부호화하고 송신한다.

㈏ 약간의(더 많은) 기본 함수를 계산한다(이러한 것들이 사전 계산되지 않는 경우에).

㈐ 해당 텍스처(texture) 계수를 계산한다.

㈑ 그 계수를 정량화하고 부호화해서 송신한다.

㈒ 만일 디코더에 특별한 정보가 필요되면, 스테이지 ㈏로 가서 송신을 정지시킨다.

만일 송신의 어느 단계에서든지, RBC 방법에 의한 시각적인 결과가 JPEG 등의 연속 색조 압축기(continuous tone compressor)에 의한 결과보다 상당히 좋지 않으면, 다음에는 더 많은 정보가 송신되지만 이번에는 연속 색조 압축기, 예를 들면 JPEG 알고리즘을 사용하여 압축된다(만일 저압축 비율에서의 영상이 수신기에서 수신될 경우에).

RBC 알고리즘을 사용할 때 이미 송신된 정보를 이용하기 위해서는, 픽셀 당 8 비트를 사용하는 그레이 스케일(grey scale) 영상에 대하여 송신기에서는 다음의 절차가 실행된다.

⑴ 원래의 영상 및 그 단계에서 RBC로써 재구성된 영상간의 픽셀 값 차이를 취하여 새로운 영상을 만든다.

⑵ 얻어진 차이 영상의 각 픽셀 값에 128을 가산한다.

⑶ 얻어진 차이 영상의 모든 픽셀 값을 [0, 255] 범위내로 절단 또는 제한한다. 즉 0 이하의 모든 값은 0과 동등하게 하고 255 보다 큰 모든 값은 255와 동등하게 한다.

⑷ 만일 연속 색조 압축 알고리즘으로써만 압축되면, RBC 압축 영상 및 JPEG 압축 영상에 대한 전체의 송신 비트 수가 바람직한 시각 품질의 영상을 얻기 위하여 송신될 필요가 있는 비트 수와 대략 동등하거나 더 적게 되는 압축 비율에서, 결과적인 차이 영상을 연속 색조 압축 알고리즘, 예를 들면 JPEG 알고리즘으로써 압축한다.

물론 차이 영상은 JPEG, 또는 다른 방법으로, 연속 색조 압축 알고리즘이 적용되는 경우와 동등하거나 또는 더 적게 비트 수를 제한함이 없이, 압축 가능하다. 차이 영상을 부호화하는 방법은, 문헌(Y. Itoh, "An edge-oriented progressive image coding", IEEE Trans. on Circuit and Systems for Video Technology, Vol. 6, No. 2, April 1996, pp. 135-142)에서 설명된 바와 같이, 블록 크기를 가변할 수 있는 DCT에 의거할 수도 있다.

또한 사용된 연속 색조 압축기가 차이 동작 후에 픽셀 값을 관리할 수 있다면 +128의 가산은 불필요할 수도 있다는 것을 염두에 두어야 한다(그리고 그 경우에 그 값은 [0, 255]의 범위내로 절단되어서는 안된다). 순차적인 영상 송신 방법은 차이 영상의 부호화에도 사용할 수 있으며, 그 방법은 JPEG 또는 DCT에 의한 방법이 더 바람직할 것이다. 물론 차이 영상을 부호화하기 위하여 기타의 적합한 부호화 방법이 사용될 수도 있다. 다음에는 JPEG는 차이 프레임(frame)을 부호화하기 위하여 사용되지만 기타의 연속 색조 알고리즘의 사용 가능성을 배제하지 않는다고 생각된다.

수신기가 수신된 영상을 사용하기 위하여 수신기는 다음의 절차를 실행한다. 즉

⑴ 압축된 차이 영상을 수신한다.

⑵ 연속 색조 부호화 알고리즘, 예로써 JPEG를 사용하여 수신된 차이 영상을 재구성한다.

⑶ JPEG로써 재구성된 차이 영상의 각 픽셀 값으로부터 128을 감산한다.

⑷ 단계 ⑶에 의한 영상을 RBC로써 재구성한 영상에 가산한다.

만일 +128이 엔코더측에서 사용되지 않았다면 +128의 감산은 필요치 않을 수도 있다는 것을 염두에 두자.

송신의 첫 단계에서 시각 품질을 더 좋게 하기 위하여, 사용된 RBC 알고리즘을 하이브리드 RBC-DCT 알고리즘으로 변경할 수도 있다. 하이브리드 RBC-DCT는 세그먼트 분할된 영상을 구형(矩形) 블록으로 나눈다. 다음에 세그먼트 분할된 영상 영역 내에 완전하게 포함된 블록들은, 이산 푸우리에 변환(Discrete Fourier Transform; DFT) 기본 함수가 하이브리드 RBC-DFT 방법으로 되는 것과 같이, DCT 기본 함수 또는 기타의 사전 정의된 기본 함수들을 사용하여, 부호화된다.

영역의 잔여 부분 및 구형이 채워질 수 없는 기타 영역들은, 특별히 약하게 분리할 수 있는(WS; weakly separable) 기본 함수들 또는 기타 기본 함수들(비정규 직교일지라도)에서와 같은, 직교의 또는 정규 직교의 기본 함수를 사용하여 부호화된다. 블록으로의 분할은 송신기로부터의 아무런 정보없이 수신기에 의하여 실행되기 때문에, 이 구형 블록의 윤곽은 송신할 필요가 없다.

구형이 채워지지 않는 영역의 잔여 부분은, 한 영역의 부분으로 간주할 것인지 또는 별개의 하위 영역으로 분리할 것인지 판단하기 위하여 점검된다는 것을 고려해야 한다. 이러한 경우 각 하위 영역은 기본 함수들 또는 비구형(非矩型)의 형태를 부호화하는 다른 방식으로 부호화된다.

예를 들면 픽셀 값은 정량화되어 부호화되거나, 또는 비트 플레인(bit-plane)방법이 사용될 수 있다. 선택에 따라서, 기본 함수의 집합은 하위 영역의 특성에 적용될 수 있다. 예를 들면, 만일 평활한 부분이 존재하면 다항식을 사용할 수 있다. 만일 텍스처 형태의 부분이 검색되면 여현 기본 함수(cosine base function)를 사용할 수 있다. 예로써 인체와 같이 영역이 비교적 큰 경우에는 다음과 같은 경우가 발생하는 것을 고려해야 한다.

즉 대상물의 잔여 부분인 구형(矩形)에 맞출 수 없는 부분들은 상이한 부분들(하위 영역들), 즉 머리의 부분들, 손의 부분들, 다리의 부분들 및 기타로 이루어져 있다. 이러한 경우 이들 하위 영역은 식별되어, RBC 부호화, 예를 들면 이 들 하위 영역을 다항식으로 표시할 수 있다.

따라서, 고압축 비율의 영상 송신의 첫 스테이지에서는 JPEG 보다 더 높은 품질의 영상을 제공하는 RBC 알고리즘의 능력으로 인하여, 하이브리드 RBC-DCT 방법이 사용된다. 만일 더 많은 정보가 요구된다면, 즉 수신기에 더 높은 품질의 영상이 필요하다면, JPEG 또는 또 다른 연속 색조 압축 알고리즘을 사용하여 추가적인 정보를 송신할 수 있다.

송신의 첫 스테이지에서, 어느 세그멘테이션(segmentation) 기술을 사용하는 어느 RBC 방법도 사용될 수 있다는 것을 고려해야 한다. 사전에 세그먼트 분할된 영상이 주어지는 응용에서는 아무런 세그멘테이션이 필요하지 않다. 또한 변경 방법이 필요하지 않으며, 영상은 다만 RBC 또는 하이브리드 RBC-DCT 방법 또는 순차적 모드로 압축될 수 있다는 것을 고려하여야 한다.

영상은 또한 컬러 영상일 수도 있고, 픽셀 당 비트수가 다를 수도 있으며, 또한 유사한 기술을 사용하여 압축된다.

아래의 예에서 픽셀 당 8 비트인 그레이 스케일의 영상은 원래의 영상으로 사용되지만 컬러 영상은 배제되어 있지 않다. 도 1에 순차적 영상 송신 방법을 사용 하는 송신 시스템의 블록 다이어그램을 나타내었다. 송신 시스템은 송신부(101) 및 수신부(103)로 구성되어 있다. 송신부는 입력 블록(105) 및 PIT형 압축 블록(107)을 포함하고 있다. PIT 압축 영상은 송신 채널로 송신되거나 또는 메모리(109)에 송신되고, PIT 압축 해제기 및 재구성된 영상(113)에 대한 출력을 포함하고 있는 수신부(103)에서 수신된다.

도 2에는 PIT 블록(107)에 대한 처리 블록을 나타내었다. 따라서, 우선, 영상은 RBC 압축기를 포함하고 있는 블록(201)에서 RBC 방법을 사용하여 압축된다. 다음 블록(201)에서 RBC 알고리즘에 따라서 부호화된 영상은 송신된다. 사용되는 알고리즘은 문헌((M.Gilge, "Region-orientated transform coding(ROTC) of images", Proc. of ICASSP 90, Albuquerque, New Mexico, April 1990, pp. 2245-2248, and W.Philips, C.A.Christopoulos, "Fast segmented image coding using weakly separable bases", Proc. of ICASSP 94, Adelaide, Australia, April 19-22, 1994, Vol. Ⅴ, pp. 345-348)에 기재된 방법과 같이, 송신된 영상의 형태에 적합하면 어떠한 알고리즘이라도 사용할 수 있다.

또한 송신의 첫 스테이지의 송신 방법은 문헌(Sikora T., and Makai B., "Shape-adaptive DCT for generic coding of video", IEEE Trans. on Circuits and Systems for Video Technology, Vol. 5, No. 1, Feb. 1995, pp 59-62)에 기재된 방법과 유사한 방식으로 실행될 수 있다.

PIT는, 수신기(사용자)가 시각 품질이 더 양호한 영상을 원하지 않는다는 것을 결정하거나 또는 같은 압축 비율에서, 기타의 더욱 단순한 압축 기술, 이러한 경우 JPEG와 같은 연속 색조 압축기를 사용하는 압축 기술이 사용자에게 더욱 양호하거나 동등한 품질의 영상을 제공할 수 있을 때까지, RBC 압축기술로써 계속된다. 결정은 신호 대 잡음 비(SNR; Signal to Noise Ratio), 평균 자승 오차(MSE; Mean Square Error) 또는 다른 판정 기준으로 이루어질 수 있고 송신기에서 결정될 수도 있다.

변형예로서, RBC에 의한 압축으로부터 연속 색조 압축으로의 변경은, 만일 수신기 또는 송신기가 원하지 않으면 변경이 실행되지 않도록 선택할 수 있게 되어 있다.

예를 들면, 수신기는 특수한 영역 또는 세그먼트 분할된 영상의 영역내의 세부에 대하여 관심을 가질 수 있다. 이러한 경우, 완전한 RBC 또는 하이브리드 RBC-DCT 방법은 이 들 영역에 사용할 수 있다.

차이 영상을 부호화하기 위하여 JPEG 이외의 다른 부호화 방법으로서, 블록 변환 부호화(BTC ; Block Transform coding) 방법, 벡터 정량화 방법(Vector Quantization), 웨이브리트(wavelet) 방법, 위에서 언급한 형상 적응(shape adaptive) DCT 등의 방법이 적용될 수도 있는데, 이들 방법은 8×8, 또는 16×16의 픽셀 블록 또는 더 큰 크기의 블록에 적용되는 DCT를 사용할 수도 있다.

후자의 경우를 택하게 되면, 즉 JPEG 압축 영상(만일 JPEG에 연속 색조 압축이 사용된다면)이 어떤 송신의 스테이지에서의 압축 비율이 RBC 압축 영상보다 열등하지 않다면, 송신기는 JPEG를 사용하여 추가적인 PIT를 실행하도록 변경한다. RBC를 사용하여 이미 송신된 영상에 포함되어 있는 정보가 상실되지 않도록 하기 위하여, 그 스테이지에서의 RBC 압축 영상은 블록(203)의 압축 해제기에 의하여 압축 해제된다.

또한 RBC 방법 이외의 상이한 부호화 방법을 사용하는 상이한 방법으로써 특별한 영역을 부호화할 수 있다. 즉 상이한 영역에 대하여 상이한 부호화 방법이 사용될 수 있다. 예를 들면 다른 영역은 손실이 있는 반면에 어떤 영역은 손실 없이 부호화될 수 있다. 이것은 송신기에서 또는 수신기에서 결정될 수 있다. 예를 들면 순차적 모드로 영상이 수신되는 동안에, 완전한 재구성이 필요한 영역을 지적할 수 있다. 다음에 이러한 동작은 송신기가 그 특수한 영역을 완전하게 재구성하도록 지시하는 정보를 송신기에 송신한다.

그러므로, 송신의 최종 스테이지에서는, 그 영역에 대해서 손실이 없는 기술이 사용될 수 있다. 또는 다른 방법으로서는, 최종의 재구성된 영역이 손실이 없도록 하기 위하여, 어떠한 영역들은 순차적 또는 비순차적 모드로 송신되고 저장된다. 이 방법은 많은 의료장치에 유용하다.

압축 해제로부터 획득한 영상은 블록(205)의 원래의 영상으로부터 감산된 다음에 그 획득한 영상은, 이 경우에 있어서 JPEG 압축기 등의 연속 색조 압축기에 의하여 압축된다. 이것은 블록(207)에서 실행되는데, 더욱 상세한 것에 대해서는 아래에서 도 4를 참조하여 설명한다.

더욱이, 순차적 송신은 픽셀 정확도를 증가시킴으로써 달성될 수도 있다. 예를 들면 RBC 계수를 가질 때, 각 계수에 대하여 4개의 최상위 비트는 초기에 송신된다. 다음에 후속 스테이지에서는 최하위 비트가 송신된다. 그래서 만일 필요하면 추가적인 계수를 계산한다. 연속 색조 처리기로의 변경도 역시 필요하면 실행된다.

도 3에는 RBC-JPEG의 결합된 방법을 사용하는 송신기에서 실행되는 단계의 플로우 차트를 나타내었다. 따라서, 송신될 영상은 다음과 같이 압축된다. 우선, 영상은 블록(301)에서 입력된 다음에 영상은 블록(303)에서 세그먼트 분할된다. 이어서 세그먼트 분할된 영상의 영역의 윤곽은 윤곽 부호화 블록(305)에서 부호화되고, 윤곽은 송신된다. 사용되는 알고리즘은 적합한 것이라면 어떠한 세그멘테이션 알고리즘이어도 좋다.

또한 사용되는 윤곽 부호화 기술은 손실이 있게 할 수도 있고, 손실이 없게 할 수도 있다. 송신기 및 수신기 모두 동일한 윤곽 정보를 사용해야 한다는 것을 주의해야 한다. 세그먼트 분할된 영상은 또한 표지(label) 및 2진 영상을 제공 하는 블록(306)을 통하여 블록(307)에 공급된다. 블록(307)에서 영역의 안쪽 부분은 다항식(多項式), 또는 기본 함수들의 적합한 집합, 또는 심지어 픽셀 값의 단순한 정량화 등으로써 개략화된다.

블록(306)에서는 2진 윤곽 영상 및 표지 영상이 작성된다. 표지 영상은, 세그먼트 분할된 영상의 동일 영역내의 모든 픽셀이 동일한 식별 표시를 갖도록, 예로써 한 영역의 모든 픽셀은 식별 1을, 두 번째 영역은 식별 2를 갖게 하도록, 영상의 픽셀에 각각의 식별 방법을 제공한다.

다항식을 발생시키는데 사용하는 기본 함수들은 기본 함수들의 어느 집합이라도 될 수 있다. 아래 설명에서는, 문헌(W.Philips and C.A.Christopoulos, "Fast segmented image coding using weakly separable bases", Proc. of ICASSP 94, Adelaide, Australia, April 19-22, 1994, Vol. V, pp. 345-348)에서 기재된 약하게 분리할 수 있는(WS; weakly separable) 기본 함수가 사용된다.

RBC 부호화부는 다음 단계들을 포함하고 있다. 즉

㈎ 다수의 영역에서의 영상의 세그멘테이션, 즉 윤곽 영상 및 가능하면 각 영역에서의 픽셀의 평균치의 부호화 및 송신

㈏ 약간의(더 많은) 기본 함수의 계산.

㈐ 해당 텍스처(texture) 계수의 계산.

㈑ 그 계수의 정량화, 부호화 및 송신.

그 결과, 다항식의 계수들은 송신되고, 그 다음에 송신기에는 블록(309)의 수신기로부터의 피드백 정보가 공급된다. 피드백 정보에 따라서, 블록(311)에서 송신의 계속 여부에 대한 결정이 이루어진다. 만일 송신을 정지하는 결정이 이루어지면 송신기는 송신이 종료되는 블록(313)으로 진행한다.

반면에 송신을 계속하는 결정이 이루어지면, 그 방법은 블록(315)으로 진행한다. 블록(315)에서는 RBC 방법으로 계속하는 것이 이점이 있는가 또는 더 이상의 송신은 JPEG 압축 알고리즘 또는 기타의 연속 색조 압축 알고리즘으로 실행할 것인가를 결정한다.

그 결정은 두 가지 상이한 방법의 진행이 블록(315)까지 왔을 때 그 송신 스테이지에서의 압축 비율에 대한 두 가지 상이한 방법의 성능에 달려 있다. 즉 RBC 방법으로 압축된 영상이, 그 압축 비율에서의 JPEG 영상을 능가하면, 그 결정은 "예"이고, 그렇지 않으면 그 결정은 "아니오"이다.

블록(315)에서 결정은 사전 정의된 판단 기준, 즉 주관적인 판단 기준 또는 SNR 또는 MSE와 같은 판단 기준에 의거하고, 그 기본은 그 방법에 대한 진행이 블록(315)까지 왔을 때마다 평가된다. 만일 블록(315)에서의 결정이 "예"이면, 즉 저압축 비율에서 RBC 방법에 의한 영상의 품질이 더 좋으면, 블록(317)으로 진행하고, 그 곳에서 더 높은 차수(次數)의 다항식을 사용할 것인가를 결정한다.

변형예로서, 만일 사용되는 판단 기준이 매번 평가될 수 없다면, 정량적 판단 기준에 임계치를 이용할 수 있고, 그로 인하여 송신중에 RBC와 이 경우에 있어서 JPEG 등의 연속 색조 압축 사이의 변경이 언제 실행될 것인가를 결정할 수 있다. 또한, 두 가지 상이한 압축 방법 사이의 변경이 실행되는 시점은 송신기에서 얻은 경험에 의거한다. 즉 어떤 압축 비율에서 두가지 상이한 방법간의 변경이 유리하다는 정보가 송신기에 제공된다.

JPEG 또는 RBC 방법이 어느 송신 스테이지에서 더 잘 동작하는가를 검출하는 한 가지 방법은, JPEG 및 RBC 방법을 병행하여 운영하는 것이다. 그러나 이것은 계산적인 관점에서 비효율적일 수 있으나, 저장을 위해서 영상을 압축할 때에는 효율적일 수 있고, 또 압축 효율은 가장 중요한 특징이다.

그러므로 다음에 나오는 더욱 실용적이지만 준 최적인 기술, 즉 정해진 수의 RBC 계수를 계산한 후에 JPEG를 변경하는 기술이 사용될 수 있다. 예를 들면, 한 영역에서 계산되는 계수의 최대수는 그 특정 영역에서의 점의 수의 20%가 될 수 있다. 실험에 의하면 이러한 준 최적의 접근 방법은 합리적인 절충이라는 것을 나타낸다.

그 후, 방법은 영상 영역이 다항식으로 개략화되는 블록(307)으로 돌아오고, 다항식은 이번에는 최근의 것보다 더 높은 차수(次數)가 된다. 이어서 더 높은 차수의 계수가 송신되고, 전과 같이 블록(309)으로 진행한다. 그러나, 만일 블록(315)에서 결정이 "아니오", 즉 RBC 영상이 저압축 비율에서 더 좋은 영상을 제공 하지 않는다고 결정된다면, 그 다음의 방법은 블록(319)으로 진행하는 것이다.

블록(319)에서는 원래의 영상의 해당되는 픽셀 값으로부터, 재구성되고, 압축 해제된 RBC 영상의 픽셀 값을 감산함으로써 차이 영상이 얻어진다. 이어서 이 차이 영상은 블록(321)에서 부호화된다. 블록(321)의 부호화 벙법은 도 4를 참조로 하여 아래에서 더욱 상세하게 설명한다.

도 4에는 차이 영상에 대한 부호화 방법이 예시되어 있다. 차이 영상, 즉 원래의 영상에서 분리되어 재구성된 RBC 영상은 블록(401)의 방법으로 진입한 다음, 차이 영상은 가산(加算) 블록(403)에 공급된다. 가산 블록에서는 차이 영상의 각 픽셀 값에 값 128이 가산된다.

다음 블록(405)에서는 블록(403)에서 얻은 영상의 픽셀 값은 원래의 영상의 범위, 즉 이 경우에는 [0, 255]의 범위안에 들어가게 된다. 이것은 0보다 작은 모든 픽셀 값은 0을 채택하게 하고, 255보다 큰 모든 픽셀 값은 255의 값을 채택하게 함으로써 달성된다. 따라서 [0, 255]의 범위내의 픽셀 값을 갖는 영상을 얻는다.

다음에 영상은 블록(407)에서 적절한 압축 비율로 8 비트 연속 색조 압축기로써 압축된다. 압축은 순차적 모드로 실행될 수도 있고, 또한 손실이 없는 압축 알고리즘으로 될 수도 있다. 후자의 경우, 손실이 없는 순차적 영상 송신이 달성될 수 있고, 이것은 원거리 진료 등의 응용분야에 유용할 것이다.

도 5와 도 6은 도 4를 참조하여 설명된 방법에 따라서 압축된 차이 영상 및 RBC 영상을 수신하고 압축 해제할 때 송신 시스템의 수신 측에서 실행되는 상이한 단계들을 각각 나타낸 것이다. 따라서 도 5에서는 수신된 영상은 적합한 알고리즘, 즉 사용된 압축 알고리즘에 대응하는 알고리즘에 따라서 해독된다. 압축된 영상은 블록(501)에서 수신되어, 블록(503)의 통상적인 방식으로 재구성된다.

한편, 만일 수신된 압축 영상이 도 4를 참조하여 설명한 바와 같이 JPEG 압축 차이 영상이라면, 영상은 도 6에 예시한 방법에 따라서 압축 해제된다. 우선 JPEG 압축 차이 영상은 블록(601)에서 수신된 다음에 차이 영상은 블록(603)에서 종래의 JPEG 압축 해제 알고리즘을 사용하여 압축 해제된다.

압축 해제된 영상의 각 픽셀 값으로부터 128의 값이 감산되고, 이것은 블록(605)에서 실행된다. 그 후에, 블록(605)에서 얻은 영상은, 블록(607)에서, 도 5와 관련하여 설명한 방법에 따라서 압축 해제되어 이미 수신된 RBC로 재구성된 영상에 부가된다.

따라서, 픽셀 당 8 비트를 갖는 그레이 스케일 영상은, 적어도 두 단계를 포함하고, 마치 영상이 JPEG 알고리즘만을 사용하는 한 단계로 송신되는 것 같이 대략 동일한 수의 비트를 사용하는 PIT 방식으로 송신된다. 이어서, 최종으로 재구성된 송신 영상은, 영상이 JPEG 또는 순차적 JPEG 알고리즘만을 사용하여 송신되는 경우와 유사한 품질의 영상을 수신기에 공급한다.

만일 픽셀 당 비트 수가 8과 다른 비트 수를 갖는 영상이 위에서 설명한 방법을 사용하여 송신된다면 수정(modification)이 이루어져야 한다.

그 방법은 상기한 바와 동일한 방식으로 적용된다. 그러나, 만일 JPEG 압축 알고리즘이 뒷 스테이지에 사용될 것이라면, JPEG는 그러한 형식의 영상, 예를 들면 픽셀 당 12 또는 16 비트를 갖는 영상을 처리할 것을 우선 확실히 해야 한다. 이어서 가산된 값 및 감산된 값이 각각 128이 아니고, 2^m-1(여기서 m은 그레이 스케일 영상에 사용되는 픽셀의 수)이 되도록 압축 및 압축 해제 알고리즘은 조정되어야 한다.

또한, 원래의 영상에서 픽셀 당 비트 수가 8과 다르면, 차이 영상이 원래의 영상의 범위안에 들어가도록, 즉 픽셀 값이 [0, 2^m-1]의 범위안에 들어가도록, 차이 영상이 들어가거나 절단되는 범위는 변경되어야 한다.

위에서는 그레이 스케일 영상에 사용되는 방법의 예를 설명하였다. 그러나, 본 방법은 아래에서 설명하는 바와 같이 컬러 영상에서도 똑 같이 잘 동작한다.

컬러 영상은 컬러 대역 당 N 비트(여기서 N은 양의 정수이다)를 갖는 것으로 정의되는데 일반적인 컬러 영상은 각각 8 비트를 갖는 세 개의 컬러 대역, 즉 픽셀 당 총 24 비트로 표시된다.

위에서 설명된 압축 방법은 컬러 영상에 적용될 때, 위에서 설명된 동일한 방법이 각 컬러 대역에 별도로 사용될 수 있다. 그러나 컬러 영상을 나타내는 세 개의 컬러 대역이 YUV 컬러 공간 이외의 다른 것, 즉 RGB(빨강 초록 파랑) 컬러 공간이라면, YUV 컬러 영상의 대부분의 에너지는 Y 성분, 또는 다른 적절한 컬러 공간에 집중되어 있으므로 YUV 컬러 공간(여기에서 Y는 휘도 성분이고, U 및 V는 색채 성분이다)으로의 변환을 실행하기에 유리할 수 있다. 변형예로서의 압축방법은 도 7 및 도 8을 참조하여 아래에서 설명하는 바와 같이 실행할 수 있다.

도 7 및 도 8에는 압축된 영상의 송신 시스템에 대한 송신부 및 그러한 시스템에 대한 수신부를 각각 나타내었다. 따라서, 도 7에서 블록(701)은 RGB 컬러 성분으로 표시되는 컬러 영상의 입력을 나타낸다. 다음에 RGB 컬러 영상은 블록(703)에서 YUV 컬러 영상으로 변환된다.

블록(705)에서 초기의 송신 스테이지 동안에는 Y 성분만이 송신되도록, 영상의 U 및 V 성분은 (적절한 저역 통과 필터링 후에) 언더샘플(undersample)된다. 즉 영상의 크기는 감축되는데, 예를 들면 2차원으로 된 영상의 각 치수를 언더샘플링함으로써 512×512 픽셀의 영상은 256×256 픽셀의 영상으로 감축된다. 다음에 Y 성분에 대해서는 위에서 설명한 RBC-JPEG 알고리즘이 블록(707)에서 실행된다.

블록(705)에서 실행되는 U 및 V 컬러 성분의 언더샘플링은 임의적이다. 또한 컬러 영상에 대하여 실행되는 세그멘테이션도 적절한 기술을 사용하여 단지 Y 성분 영상에 대하여만, 또는 세가지 성분 모두를 포함하는 전체의 컬러 영상에 대하여 실행될 수 있다.

송신의 어느 스테이지에서든지 수신기가 기타의 컬러 성분의 송신 희망을 결정하면, 그러한 요구는 송신기로 송신되고, 블록(709)에서는 그러한 요구가 도착했는가를 연속적으로 점검한다. 만일 블록(709)에서의 결정이 "아니오"이면, PIT는 블록(711)에서 Y 성분 영상에 대하여만 계속된다. 만일 결정이 "예"이면 이 방법에서는, 블록(713)에서 JPEG 알고리즘 또는 어떠한 연속 색조 압축기를 사용하여 U 및 V 성분을 송신하도록 변경한다. 변형예의 방법은, 수신기가 각 스테이지에서 컬러 영상도 재구성하도록, 수신기의 컬러 성분 송신 희망 요구를 기대함이 없이, 각 스테이지에서 모든 성분에 대한 정보를 송신하는 것이다.

변형예의 방법은 또한 U 및 V 성분에 대하여 RBC를 사용하는 것이다. 따라서, 만일 블록(709)에서의 결정이 "예"이면 블록(715)으로 진행되고, U 및 V 성분에 대한 세그먼트 분할된 영상은 Y성분 영상의 표지 영상을 언더샘플링함으로써 얻어진다. 다음에 블록(717)에서는 PIT 방법이 U 및 V 성분에 대하여 적용된다.

또한 컬러 영상의 세 가지 성분에 대한 송신의 첫 스테이지는, 각 영역의 픽셀 값이 컬러 영상의 각 영역에서의 픽셀의 평균 또는 중간 값의 컬러로 대치되는, 그러한 분할 영상의 송신을 포함할 수도 있다.

도 8에는 컬러 영상 송신 시스템의 수신부를 나타내었다. 압축된 YUV 컬러 영상은 블록(801)에서 수신된 다음에 영상의 성분은 사용된 압축 알고리즘, 즉 블록(803)에서 RBC 알고리즘 또는 JPEG 알고리즘 등에 대응하는 알고리즘을 사용하여 압축 해제된다. 그 후에 YUV 컬러 영상은 블록(805)에서 RGB 컬러 영상으로 변환되고, 이어서 재구성된 컬러 영상은 블록(807)에서 이용할 수 있다.

결과적으로, 도 9는 위에서 설명된 송신 방법의 기본 개념을 설명하는 개략적인 다이어그램이다. 즉, 블록(901)에서는 원래의 영상이 송신 시스템에 공급된다.

이어서 영상은 블록(903)에 송신되고, 이 블록에서 변경 수단은 그 PIT 단계에서 어떤 알고리즘을 사용할 것인가를 결정한다. 블록(903)에서의 결정에 따라서, 영상은 블록(905)에서의 RBC 압축기 또는 블록(907)에서의 연속 색조 압축기에 의하여 압축된다. 다음 압축된 영상은 PIT 방법에 따라서 채널(909)을 통하여, 어떠한 압축 알고리즘이 사용되었는가 식별하고 수신된 영상에 대하여 적절한 압축 해제기를 알려 주는 블록(911)을 포함하고 있는 수신기로 송신된다.

위에서 설명한 방법에서는 송신기는 항상 RBC 알고리즘에 의한 압축으로 시작하고, 이어서, 어떤 경우에는 연속 색조 압축으로 변경한다. 그러한 경우, 수신기에서의 변경은 압축 알고리즘이 변경될 때 송신기로부터 수신기에 부호 워드(code word)를 송신함으로써 실행되고, 수신기는 그러한 부호 워드를 검출하고, 그것을 수신하여 변경을 실행하는 수단을 블록(911)에 가지고 있다.

다음에 압축 해제는 적절한 압축 해제기에 의해, 즉 블록(913)에서의 RBC 압축 해제기 또는 블록(915)에서의 연속 색조 압축 해제기에 의하여 실행된다. 다음에 영상은 재구성되어 블록(919)의 사용자에게 제공되는데, 이 블록(919)은, 압축 알고리즘을 변경하도록 하거나, 또는 영상의 송신을 종료시키거나, 또는 더 좋게 재구성되어야 할 어떤 영상의 영역 위치까지도 명령할 수 있도록, 송신기의 변경 수단(903)으로의 피드백 라인(917)이 갖추어져 있다.

한 영역에서 텍스처의 재구성을 위하여 다항식을 사용함에 따른 한가지 불리한 점은 다항식이 영상을 매우 서서히 재구성한다는 것, 즉 영상 품질의 명확한 개선을 얻기 위해서는 상당한 수의 기본 함수를 필요로 한다는 것이다. 그 이유는 RBC에는 큰 영역이 바람직하다는 사실(윤곽 부호화에 배당되는 비트 수를 제한하기 위하여) 및 큰 영역에서의 텍스처의 정확한 재구성은 상대적으로 많은 기본 함수들을 필요로 한다는 사실 때문이다. 이러한 불리한 점을 제거하기 위하여, 송신의 첫 스테이지에 RBC 대신에 하이브리드 RBC-DCT 방법을 사용하는 제2의 방법이 적용된다.

위에서 설명한 압축 방법에서, 송신의 첫 스테이지에서 더욱 양호한 시각 품질을 얻기 위하여, 사용된 RBC 알고리즘은 하이브리드 RBC-DCT(이산 여현 변환) 알고리즘으로 변경된다. 이러한 하이브리드 RBC-DCT 알고리즘은 세그먼트 분할된 영상을 구형(矩形) 블록으로 나눔으로써 실행된다. 이러한 블록의 크기는 본 예에서 256×256 픽셀의 영상에 대하여 16×16 픽셀이 바람직하다. 그러나 더 크거나 더 작은 블록도 사용될 수 있다.

이어서 세그먼트 분할된 영상의 영역 안에 완전하게 포함되어 있는 블록은 DCT 기본 함수 또는, 하이브리드 RBC-DFT 방법을 제공하는 DFT 기본 함수 등의 기타의 사전 정의된 기본 함수들을 사용하여 부호화하는 한편, 영역의 잔여부 및 구형(矩形)이 부합하지 않는 기타의 영역은, 도 3[블록(307)]의 기재와 관련하여 위에서 인용된 바와 같은 약하게 분리할 수 있는(WS) 기본 함수들 또는 임의 형상의 영역을 부호화하기에 적당한 기타의 방법을 사용하여 부호화된다.

블록으로의 분할은 송신기로부터의 아무런 정보 없이 수신기에 의하여 실행될 수 있기 때문에, 이 구형(矩形) 블록들의 윤곽은 송신될 필요가 없다. 구형이 부합하지 않는 영역의 잔여 부분에 대해서는, 한 영역의 일부로 간주할 수 있는지, 또는 별도의 하위 영역으로 분할되어야 할 것인지의 여부를 점검할 수 있다는 것을 주목하여야 한다. 이어서 각 하위 영역들은 위에서 언급한 방법들에 의하여 부호화 된다.

기본 함수들의 집합은 하위 영역들의 특성에 (필요하지는 않지만) 적합하도록 할 수 있다. 예를 들면, 평활한 하위 영역에서는 다항식들을 사용할 수 있다. 텍스처로 된 하위 영역에서는 여현 기본 함수가 사용될 수 있다. 예로써 인체와 같이 영역이 비교적 큰 경우를 고려해야 한다. 구형(矩形)에 맞출 수 없는 부분들, 즉 이 경우에는 인체 등의 대상물의 잔여 부분은 상이한 부분들(하위 영역들), 즉 머리의 부분들, 손의 부분들, 다리의 부분들 및 기타로 이루어져 있다. 이러한 경우 이들 하위 영역은 식별될 수 있다.

이러한 식별을 실행하기 위한 간단한 방법은 그레이 값(gray value) 또는 컬러의 변동을 점검하는 것이다. 다음에는 RBC 부호화, 예를 들면 다항식 표시 방법이 이러한 하위 영역에 적용된다. 만일 수신기가 이러한 분할을 식별할 수 없다면, 하위 영역으로의 분할은 수신기쪽으로 송신되어야 한다는 것을 고려해야 한다.

이렇게 블록으로 분할함으로써, 이 들 블록에 대한 기본 함수를 계산할 필요가 없다. 대신에 이러한 구형 영역에 대하여 사전에 계산된 DCT 기본 함수가 사용되거나, 또는 DFT 또는 다른 변환이 사용될 수 있다. 이것은 사용된 RBC 알고리즘의 계산 복잡도를 상당히 감소시킨다. 또한 RBC만을 사용하는 알고리즘에 비해서, 하이브리드 RBC-DCT를 사용하면 요구되는 기억 용량이 감소된다.

그러나 세그먼트 분할된 영상을 구형 블록으로 분할하는 또 하나의 방법은, 영상을 비교적 큰 사이즈, 즉 64×64 픽셀의 구형 블록으로 분할하기 시작하고, 그 것들이 영역안에 완전하게 포함되도록 하는 것이다. 방법의 다음은 계속해서 세그먼트 분할된 영상을 더 작은 크기, 예를 들면, 32×32 픽셀의 구형 블록으로 분할하고, 이 블록들이 영역 안에 완전히 포함되도록 하고, 또 구형내에서 분할의 첫 단계 동안에 맞추어진 더 큰 구형 블록의 밖에, 즉 이 경우에 64×64 블록의 밖에 있도록 유지하는 것이다.

이 과정은 더 이상의 구형 블록이 추가될 수 없을 때 까지 또는 미리 정해진 작은 크기의 구형, 즉 4×4 또는 8×8에 도달할 때 까지 반복된다. 세그먼트 분할된 영상을 구형 부분으로 분할하는 기타의 방법, 예로써, 4분 트리(quadtree)에 의한 분할 또는 블록 크기 가변 분할 등이 사용될 수 있다. 예를 들면 4분 트리 분할이 사용되는 경우에, 한 영역에 완전히 포함되어 있는 4분 트리 분할로부터 작성된 블록들은 DCT로써 부호화된다. 분할은 정사각형으로 이루어지지만, 16×8, 32×8 등의 다른 크기 또는 삼각형의 형상까지도 사용 가능하다는 것을 고려해야 한다.

예로써, 한 영역이 40개의 열 및 30개의 란을 포함한다면, 그러한 영역안에는 32×16 크기의 구형 영역이 채워질 수 있다. 최종에는 그 영역들 또는 맞추어지지 않은 여러 가지 크기의 블록안의 영역의 잔여 부분들은, 기본 함수들의 집합, 예를 들면, 직교 기본 함수에 의하여 부호화된다. 또한 그 영역의 잔여 부분이 상이한 하위 영역들을 포함하고 있는 가에 대한 점검 및 그것에 대한 부호화가 실행될 수 있다는 것을 고려해야 한다. 또한 구형이 맞추어지지 않은 영역(또는 하위 영역)의 부분이 작으면, 적은 수의 기본 함수, 또는 심지어 평균치로 나타낼 수 있다는 것도 고려해야 한다.

세그먼트 분할된 영상을 미리 결정된 형상의 영역으로 분할하는 다른 방법으로써, 문헌(Sikora T., and Makai B., "Shape-adaptive DCT for generic coding of video", IEEE Trans. on Circuits and Systems for Video Technology, Vol. 5, No. 1, Feb. 1995, pp 59-62)에서 제안한 방법 등을 또한 적용할 수 있다. 영역의 평균치는, DCT로 부호화하기 전에, 부호화되는 정보를 감축하기 위하여, 세그먼트 분할된 영상안의 각각의 추가된 영역(구형이건 아니건 간에)으로부터 감산할 수 있다.

따라서, DCT가 사용되는 블록에서는, PIT를 위한 JPEG 알고리즘, 즉 축차(逐次) 비교(successive approximation) 또는 스펙트럼 선택(spectral selection) 등이 사용된다. 다음에 이 방법에서 JPEG를 사용하도록 변경하면, 이 방법은 그러한 블록안에 포함되어 있는 블록에 대하여, 그러한 블록에 대하여 차이 영상을 사용함이 없이, 계속해서 축차 비교 또는 스펙트럼 선택을 사용할 수 있고, 반면에 JPEG 방법, 즉 DCT에 의한 부호화는 영상(차이 영상으로)의 나머지 블록에 적용된다.

전체 차이 영상을 JPEG로 부호화하는 것을 회피할 수 있다는 것을 고려해야 한다. 이것은 다음과 같이 실행될 수 있다. 만일 JPEG로의 변경이 실행되기 전에 블록이 양호하게 재구성되었다면, 즉 그러한 블록에 대한 품질이 만족스러우면, 그러한 특별한 블록에 JPEG를 적용할 필요가 없다. 그러므로 SNR, MSE 등의 정량적인 측정은 각각의 재구성된 블록(엔코더측에서)의 결과에 대한 점검에 사용될 수 있다. 이러한 경우 양호하게 재구성되지 않은 블록을 부호화하거나 또는, 구형이 맞추어지지 않는 영역이나 영역의 부분을 부호화하기 위하여 활당될 수 있는 비트를 절약하여, 차이 블록의 부호화를 피할 수 있다.

또한 RBC 및 하이브리드 RBC-DCT 방법은 결합될 수 있다는 것도 고려해야 한다. 예를 들면, 송신의 첫 스테이지에서는 RBC가 사용될 수 있다. 다음에는 RBC-DCT의 결합된 방법은 구형 불록을 추가하고, 원래의 블록과 재구성된 블록(영역의 부분) 과의 차이를 DCT 방법으로써 부호화하는 데에 사용될 수 있다. 다음 이 방법은 계속해서 RBC-DCT를 사용하거나 또는 JPEG 등의 연속 색조 압축기(compressor)로 변경할 수 있다. 이러한 방법들의 많은 상이한 조합들이 사용될 수 있다.

따라서, RBC 및 JPEG의 이점을 결합한 방법은 설명하였다. 본 제안된 방법은 마치 처음부터 JPEG만 사용된 것 같이(송신 최종 스테이지에서 유사한 품질 및 송신의 첫 스테이지 동안에는 양호한 품질을 달성하기 위하여), 대략 같은 수의 비트를 사용할 수 있고 그리고 동시에 송신 초기 스테이지에서 원하지 않는 영상의 추가적인 송신을 가능하면 중단할 수 있도록 빨리 해석할 수 있는 영상을 수신기에 제공하며, 여기에서 사용되는 채널은 프리(free)이며 다른 목적에 사용할 수 있다.

여기에서 설명된 방법은 또한 정지 영상 및 동영상에 적용할 수 있다. 정지 영상의 부호화에는, 하이브리드 RBC-DCT 방법은 JPEG 또는 완전 RBC 방법 대신에 사용될 수 있다. 동영상 압축(compression)에는, 하이브리드 RBC-DCT 방법은 I 프레임과 P 및 B 프레임을 부호화하는 데에 사용된다. 동영상의 부호화에 대한 응용에 있어서는, 여기에서 설명한 RBC-DCT 방법은 차이 프레임, 즉 원래의 프레임에서 예상되는 프레임을 감산하여 작성된 프레임을 부호화하는 데에 적용할 수 있다.

본 발명의 또 하나의 목적은 RBC 및 블록 기본 부호화 방법을 결합하여 정지 영상 및 동영상을 부호화하는 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 분할 영상 부호화 방식의 양호한 초기 시각 품질과 함께 효율적인 순차적 영상 송신을 제공하기 위하여 JPEG 알고리즘으로써 성취되는 저비용 고압축을 이용하는, 방법 및 송신 또는 저장 시스템을 획득하기 위한 것이다.

본 발명의 추가적인 목적은 기존의 RBC 방법과 비교하여 계산 복잡도 및 기억 용량 필요성이 감축되는 RBC 방법을 사용하는 방법 및 송신 시스템을 제공하는 것이다.

Claims

송신 방법에 있어서, 특히 순차적 영상 송신(PIT; Progressive Image Transmission)을 사용하는 송신 방법에 있어서, 영역에 따른 부호화(RBC; Region Based Coding)를 사용하여, 세그먼트 분할된 영상을 얻기 위한 단계를 포함하여 영상을 압축하고 디지털화 영상을 송신기에서 수신기로 송신하며, 그리고 PIT의 어떤 스테이지에서, 압축 알고리즘은 연속 색조 압축 알고리즘으로써 영상을 압축하는 방법으로 변경되는 것을 특징으로 하는 송신 방법.
제1항에 있어서, 두 가지 압축 방법의 영상 품질을 동일한 판단 기준으로 측정하여 동등하게 될 때, RBC 알고리즘은 연속 색조 압축 알고리즘으로 변경되는 것을 특징으로 하는 방법.
제1항 또는 제2항에 있어서, RBC로부터 연속 색조 압축으로의 변경이 실행될 때, 송신기에서는, 원래의 영상 및 그 스테이지에서의 RBC 재구성 영상 간의 픽셀 값 차이를 취하여 새로운 영상인 차이 영상을 작성하고, 원래의 영상에서 각 픽셀에 사용되는 비트 수를 m으로 하여 2^m-1의 값을 차이 영상의 각 픽셀 값에 가산하고, 모든 픽셀 값을 [0, 2^m-1]의 범위내로 들어가도록 그 이상의 것을 절단하고, 연속 색조 압축 알고리즘을 사용하여 차이 영상을 압축하며, 압축된 영상을 송신하는 단계들이 실행되고, 그리고 수신기에서는 그에 대응하여, 수신된 차이 영상을 연속 색조 압축 알고리즘에 대응하는 압축 해제(decompression) 알고리즘을 사용하여 재구성하고, 각 픽셀 값으로부터 2^m-1의 값을 감산하고, 영상을 RBC 재구성 영상에 가산하는 단계들이 실행되는 것을 특징으로 하는 방법.
제1항 내지 제3항의 어느 한 항에 있어서, 세그먼트 분할된 영상은 구형(矩形) 영역 또는 송신되기 전에 사전 정의된 또 다른 형상의 영역으로 분할되고, 세그먼트 분할된 영상의 영역안에 완전히 포함되는 영역들은 사전 정의된 기본 함수들에 의하여 부호화되는 것을 특징으로 하는 방법.
제4항에 있어서, 영역들이 구형의 형상일 때, 사용된 구형 영역내의 기본 함수는 이산 여현 변환(DCT; Discrete Cosine Transform) 기본 함수 또는 이산 푸우리에 변환(DFT; Discrete Fourier Transform) 기본 함수인 것을 특징으로 하는 방법.
제1항 내지 제5항의 어느 한 항에 있어서, 세그먼트 분할된 영상 영역을 부호화함에 있어서, RBC 방법은 직교(直交) 또는 정규직교(正規直交)의 기본 함수를 사용하는 것을 특징으로 하는 방법.
제1항 내지 제6항의 어느 한 항에 있어서, 세그먼트 분할된 영상은 송신되기 전에 구형의 영역들로 분할되고, RBC 영상의 영역안에 완전히 포함되는 구형의 역들은 사전 정의된 기본 함수들에 의하여 부호화되는 것을 특징으로 하는 방법.
제7항에 있어서, 사용된 기본 함수는 이산 여현 변환(DCT) 기본 함수 또는 이산 푸우리에 변환(DFT) 기본 함수인 것을 특징으로 하는 방법.
제1항 내지 제8항의 어느 한 항에 있어서, 송신되는 영상이 컬러 영상인 경우에, 컬러 영상은 YUV 영상으로 변환되어, 그 중 Y 성분만이 송신 초기 스테이지에서 RBC를 사용하여 송신되고, 또 만일 수신기/송신기가 기타의 컬러 성분을 수신/송신하도록 결정하면 그 다음에 송신되는 것을 특징으로 하는 방법.
제9항에 있어서, 기타의 컬러 성분(U 및 V)은 송신되기 전에 언더샘플링(undersampling)되는 것을 특징으로 하는 방법.
제9항 내지 제10항의 어느 한 항에 있어서, 송신의 첫 스테이지 동안에, 세그먼트 분할된 영상 및 각 영역의 평균 또는 중간 컬러가 송신되는 것을 특징으로 하는 방법.
제1항 내지 제11항의 어느 한 항에 있어서, 사용되는 연속 색조 압축 알고리즘은 JPEG 또는 DCT에 의한 부호화 방법인 것을 특징으로 하는 방법.
송신 방법에 있어서, 특히 순차적 영상 송신(PIT)에서, 영상을 송신기에서 수신기로 송신하기 위하여 디지털화 영상의 세그멘테이션을 포함하여 영역에 따른 부호화(RBC) 알고리즘을 사용하는 송신 방법에 있어서, 세그먼트 분할된 영상은 송신되기 전에 사전 정의된 형상을 갖는 영역으로 분할되고, RBC 영상의 영역안에 완전히 포함되는 영역들은 사전 정의된 기본 함수들에 의하여 부호화되는 것을 특징으로 하는 송신 방법.
제13항에 있어서, 사용된 기본 함수는 이산 여현 변환(DCT) 기본 함수 또는 이산 푸우리에 변환(DFT) 기본 함수인 것을 특징으로 하는 방법.
RBC 알고리즘에 의하여 압축되는 PIT 방법에 따라서 디지털화 압축 영상을 송신하기 위한 송신기에 있어서, 연속 색조 압축을 위한 송신기내의 수단, 및 RBC 알고리즘과 연속 색조 압축을 위한 알고리즘에 의한 압축 사이의 변경 수단을 특징으로 하는 송신기.
제15항에 있어서, 원래의 영상 및 그 스테이지에서의 RBC 재구성 영상간의 픽셀 값 차이를 취하여 새로운 영상인 차이 영상을 작성하고, 원래의 영상에서 각 픽셀에 사용되는 비트 수를 m으로 하여 2^m-1의 값을 차이 영상에 가산하고, 원래의 영상에서 각 픽셀에 사용되는 비트 수를 m으로 하여 모든 픽셀 값을 [0, 2^m-1]의 범위내로 들어가도록 그 이상의 것을 절단하고, 연속 색조 압축기를 사용하여 차이 영상을 압축하여, 압축된 영상을 송신하는 수단을 특징으로 하는 송신기.
제15항 내지 제16항의 어느 한 항에 있어서, 세그먼트 분할된 영상을 송신되기 전에 사전 정의된 형상을 가진 영역으로 분할하고, 세그먼트 분할된 영상의 영역안에 완전히 포함되는 영역들을 사전 정의된 기본 함수들을 사용하여 부호화하는 수단을 특징으로 하는 송신기.
제17항에 있어서, 부호화 방법을 연속 색조 부호화 방법으로 변경할 때, 영상의 어떤 부분들에 대하여 추가적인 정보의 송신이 필요 없다는 것을 결정하는 수단을 특징으로 하는 송신기.
제17항 내지 제18항의 어느 한 항에 있어서, 영역들이 구형의 형상일 때, 사용된 구형 영역내의 기본 함수는 이산 여현 변환(DCT) 기본 함수 또는 이산 푸우리에 변환(DFT) 기본 함수인 것을 특징으로 하는 송신기.
제15항 내지 제19항의 어느 한 항에 있어서, 영상의 영역을 부호화함에 있어서, RBC 압축기는 직교(直交) 또는 정규직교(正規直交)의 기본 함수를 사용하는 것을 특징으로 하는 송신기.
제15항 내지 제20항의 어느 한 항에 있어서, 컬러 영상의 각 컬러 성분을 독립하여 송신하는 수단을 특징으로 하는 송신기.
디지털화 압축 영상을 수신하는 수신기에 있어서, RBC 알고리즘에 의하여 압축된 영상 및 연속 색조 압축 알고리즘에 의하여 압축된 영상을 수신 및 압축 해제하는 수단과, 완전한 출력 형상을 형성하기 위하여 RBC 압축 데이터 및 연속 색조 압축 데이터를 결합하는 수단을 특징으로 하는 수신기.
제22항에 있어서, 차이 영상을 수신하는 수단을 추가로 가진 수신기에 있어서, 사용된 연속 색조 압축 알고리즘에 대응하는 압축 해제기(decompressor)로써 수신된 차이 영상을 재구성하고, 각 픽셀 값으로부터 2^m-1의 값을 감산하고, 그리고 영상을 RBC 재구성 영상에 가산하기 위한 수단을 특징으로 하는 수신기.
제22항 내지 제23항의 어느 한 항에 있어서, 각 영역으로 분할되는 수신된 영상을 구형 블록으로 분할하는 수단을 특징으로 하는 수신기.
제22항 내지 제24항의 어느 한 항에 있어서, 부호화 워드를 수신하는 즉시 RBC 압축 해제와 연속 색조 압축 해제 사이에서 변경을 실행하는 수단을 특징으로 하는 수신기.
송신기에 있어서, 특히 순차적 영상 송신기에서, 디지털화 영상을 송신하기 위하여 영역에 따른 부호화(RBC)를 사용하는 송신기에 있어서, 세그먼트 분할된 영상을 송신되기 전에 사전 정의된 형상을 갖는 영역으로 분할하는 수단 및 RBC 영상의 영역안에 완전히 포함되는 영역들을 사전 정의된 기본 함수들에 의하여 부호화하는 수단을 특징으로 하는 송신기.
제25항 내지 제26항의 어느 한 항에 있어서, 사용된 기본 함수는 이산 여현 변환(DCT) 기본 함수 또는 이산 푸우리에 변환(DFT) 기본 함수인 것을 특징으로 하는 송신기.
송신기 및 수신기를 포함하고 있고, 특히 순차적 영상 송신(PIT)에 사용하는 송신 시스템에 있어서, 송신기에서 디지털화 영상을 압축하기 위하여 영역에 따른 부호화(RBC) 압축기 및 연속 색조 압축기, 그리고 송신기에서 영상을 수신기로 송신하는 수단, 및 PIT의 어떤 스테이지에서, RBC 압축기에 의한 압축을 연속 색조 압축기로써 영상을 압축하도록 변경하는 수단을 특징으로 하는 송신 시스템.
제28항에 있어서, 두 가지 압축기의 영상 품질을 동일한 판단 기준으로 측정하여 동등하게 될 때, 송신기에는 RBC 압축기로부터 연속 색조 압축기로 변경하는 수단을 구비함을 특징으로 하는 시스템.
제28항 또는 제29항에 있어서, 송신기에는, 원래의 영상 및 그 스테이지에서의 RBC 재구성 영상간의 픽셀 값 차이를 취하여 새로운 영상인 차이 영상을 작성하고, 원래의 영상에서 각 픽셀에 사용되는 비트 수를 m으로 하여, 2^m-1의 값을 차이 영상의 각 픽셀 값에 가산하고, 모든 픽셀 값을 [0, 2^m-1]의 범위내로 들어가도록 그 이상의 것을 절단하고, 연속 색조 압축 알고리즘을 사용하여 차이 영상을 압축하며, 압축된 영상을 송신하는 수단을 구비하고, 그리고 수신기에는, 수신된 차이 영상을 연속 색조 압축 알고리즘에 대응하는 압축 해제 알고리즘을 사용하여 재구성하고, 각 픽셀 값으로부터 2^m-1의 값을 감산하고, 영상을 RBC 재구성 영상에 가산하는 수단을 구비함을 특징으로 하는 시스템.
제28항 내지 제30항의 어느 한 항에 있어서, 송신되기 전에 영상을 사전 정의된 형상을 갖는 영역으로 분할하는 수단 및 영상의 영역 안에 완전히 포함되는 영역들을 사전 정의된 기본 함수들로써 부호화하는 수단을 각각 송신기에 구비함을 특징으로 하는 시스템.
제31항에 있어서, 이산 여현 변환(DCT) 기본 함수 또는 이산 푸우리에 변환(DFT) 기본 함수를 사용하도록 설계된 수단을 특징으로 하는 시스템.
제28항 내지 제32항의 어느 한 항에 있어서, RBC 압축기는 직교(直交) 또는 정규직교(正規直交)의 기본 함수를 사용하여 영상의 영역을 부호화하도록 설계된 것을 특징으로 하는 시스템.
제28항 내지 제33항의 어느 한 항에 있어서, 송신되기 전에 영상을 사전 정의된 형상을 갖는 영역으로 분할하는 수단을 송신기에 구비하고, RBC 영상의 영역안에 완전히 포함되는 영역들을 사전 정의된 기본 함수들을 사용하여 부호화하는 수단을 구비함을 특징으로 하는 시스템.
제34항에 있어서, 영역이 구형의 형상일 때, RBC 영상 영역내에 완전히 포함된 구형 영역을 부호화하는 수단은 이산 여현 변환(DCT) 기본 함수 또는 이산 푸우리에 변환(DFT) 기본 함수를 사용하도록 설계된 것을 특징으로 하는 시스템.
제28항 내지 제35항의 어느 한 항에 있어서, 송신되는 영상이 컬러 영상인 경우에, 컬러 영상을 YUV 영상으로 변환하고, 송신 초기 스테이지에서 RBC를 사용하여 Y 성분만을 송신하는 수단을 특징으로 하는 시스템.
제36항에 있어서, 송신기에는 기타의 컬러 성분(U 및 V)을 언더샘플링하는 수단을 구비함을 특징으로 하는 시스템.
제36항 내지 제37항의 어느 한 항에 있어서, 송신기에서 송신의 첫 스테이지 동안에, 세그먼트 분할된 영상 및 각 영역의 평균 또는 중간 컬러의 송신만을 하기 위한 수단을 특징으로 하는 시스템.
제28항 내지 제38항의 어느 한 항에 있어서, 연속 색조 압축기는 JPEG 압축기인 것을 특징으로 하는 시스템.
송신 시스템에 있어서, 특히 순차적 영상 송신(PIT)에서, 디지털화 영상의 세그멘테이션을 실행하는 수단을 포함하고 있는, 영역에 따른 부호화(RBC) 압축기를 사용하여 영상을 송신기에서 수신기로 송신하기 위한 송신 시스템에 있어서, 세그먼트 분할된 영상을 송신되기 전에 사전 정의된 형상을 갖는 영역으로 분할하는 수단을 송신기에 구비하고, RBC 영상의 영역안에 완전히 포함되는 영역들을 사전 정의된 기본 함수들을 사용하여 부호화하는 수단을 구비함을 특징으로 하는 송신 시스템.
제40항에 있어서, RBC 영상 영역내에 완전히 포함된 영역을 부호화하는 수단은 이산 여현 변환(DCT) 기본 함수 또는 이산 푸우리에 변환(DFT) 기본 함수를 사용하도록 설계된 것을 특징으로 하는 시스템.
세그멘테이션 수단을 포함하고 있는 정지 영상 및/또는 동영상을 부호화하는 시스템에 있어서, 세그먼트 분할된 영상은 부호화되고 저장되거나, 또는 송신되기 전에 사전 정의된 형상의 영역으로 분할되고, 이러한 세그먼트 분할된 영상의 영역안에 완전히 포함되는 영역들은 사전 정의된 기본 함수들을 사용하여 부호화되는 것을 특징으로 하는 정지 영상 및/또는 동영상의 부호화 시스템.