KR940009490B1

KR940009490B1 - 3차원 서브밴드 영상신호의 적응적 선택회로 및 방법

Info

Publication number: KR940009490B1
Application number: KR1019910012925A
Authority: KR
Inventors: 문헌희
Original assignee: 삼성전자주식회사; 강진구
Priority date: 1991-07-26
Filing date: 1991-07-26
Publication date: 1994-10-14
Also published as: US5382979A; JPH0654303A; KR930003743A; JP2682932B2

Abstract

내용 없음.

Description

3차원 서브밴드 영상신호의 적응적 선택회로 및 방법

제 1 도는 본 발명에 따른 엔코더부의 구성도.

제 2 도는 본 발명에 따른 디코더부의 구성도.

제 3 도는 제 1 도중 밴드정보 추출부의 구체 회로도.

제 4 도는 추출된 정보의 비트 맵 예시도.

제 5 도는 8×8×4 서브밴드에서의 대표 밴드 예시도.

본 발명은 영상처리 시스템에 있어서 영상신호의 3차원 서브밴드 부호화 회로 및 방법에 관한 것으로, 특히 3차원 서브밴드 영상신호를 소블럭으로 구분하여 각 블럭의 에너지와 활성도에 따라 일정한 수의 서브밴드를 선택하는 3차원 서브밴드 영상신호의 적응적 선택회로 및 방법에 관한 것이다.

디지탈 신호처리 기술의 발전과 이를 뒷받침하는 반도체 등 소재 기술의 발전으로 높은 주파수의 영상신호를 디지탈 전송하는 것이 가능해졌다. 서브밴드 부호화 방법은 이러한 전송방법중의 하나로 영상신호를 여러개의 서브밴드로 나누어 각 서브밴드를 그들의 신호범위(signal range)에 따라 양자화(quantization)하여 전송하는 방법이다. 상기 서브밴드 부호화 방법에서는 저주파수 영역은 신호의 에너지가 크고, 고주파수 영역은 상대적으로 작아서 영상신호의 경우 상기 고주파 부분은 섬세한 신호를 나타낸다. 그러므로 에너지가 큰 저주파수 영역은 코딩 비트를 많이 할당하고 고주파수 영역은 적게 할당하여 부호화하여도 전체적으로 만족스런 부호화 결과를 얻을 수 있다. 그러나 서브밴드의 수가 많아지는 경우 모든 밴드에 각각 비트를 할당하는 것은 매우 비효율적이다. 그런데 이렇게 서브밴드 코딩한 영상정보를 일정한 채널 용량(channel capacity)또는 대역폭을 갖는 전송채널을 통하여 전송하기 위해서는 전송대역폭의 한계에 맞추어 전송해야 한다. 그러므로 각 서브밴드의 에너지 분포에 따라 에너지가 높은 부분의 서브밴드들을 일정 갯수만 선택하여 전송하는 방법이 고려되고 있다.

따라서 본 발명의 목적은 영상의 각 서브밴드에서 에너지와 활성도(activity)를 조합한 서브밴드 정보를 추출하고, 이를 이용하여 일정수의 서브밴드를 선택하는 3차원 서브밴드 영상신호의 적응적 선택회로를 제공함에 있다.

이하 본 발명을 첨부한 도면을 참조하여 설명한다.

제 1 도는 본 발명에 따른 엔코더부의 구성도로써, 디지탈 영상신호를 수직과 수평 및 시간에 대한 서브밴드로 분리하는 QMF 뱅크(10)와, 상기 QMF 뱅크(10)에서 분리된 다수의 서브밴드들을 각각 작은 크기를 갖는 Mxn개의 블럭들로 맵핑하는 블럭맵퍼(block mapper)(20)와, 상기 블럭 맵퍼(20)의 출력 신호들을 입력하여 각각의 에너지와 활성도에 따른 서브밴드 정보를 추출하고 그에 따라 모든 서브밴드 신호의 특성을 예측하는 필터뱅크 선택정보를 출력하는 밴드정보 추출부(30)와, 상기 필터뱅크 선택정보에 따라 각 서브밴드들의 소정번째 블럭들중 일정 갯수만 선택할 수 있는 정보를 출력하기 위한 룩업테이블(Leek-up table)이 저장된 제 1 메모리(50)와, 상기 제 1 메모리(50)로부터 출력되는 정보에 따라 상기 블럭맵퍼(20)의 출력신호들을 선택적으로 출력하는 멀티플렉서(40)와, 상기 멀티플렉서(40)에서 선택된 서브밴드 블럭 신호에 대하여 시스템의 효율을 극대화하기 위한 부가적인 처리 과정을 수행하여 채널을 통해 전송하는 부가적 처리부(60)로 구성한다.

제 2 도는 본 발명에 따른 디코더부의 구성도로써, 수신된 신호에 엔코더부에서의 부가적인 처리 과정에 대한 역처리 과정을 실시하여 선택되었던 블럭들과, 필터뱅크정보를 검출하는 역처리부(70)와, 소정의 제어를 받아 상기 선택되었던 블럭들을 제위치로 보내주는 디멀티플렉서(80)와, 상기 필터뱅크 정보에 따라 상기 디멀티플렉서(80)를 제어하는 신호를 발생하기 위한 룩업테이블이 저장되어 있는 제 2 메모리(90)와, 상기 디멀티플렉서(80) 출력 신호를 원래의 서브밴드 신호로 복원하는 블럭 디맵퍼(100)와, 상기 블럭 디맵퍼(100)출력을 시간과 수평 및 수직에 대하여 합성(synthesis) QMF 뱅크를 거치도록 한 결과 복원된 영상신호를 출력하는 3차원 합성 QMF 뱅크(110)로 구성한다.

제 3 도는 제 1 도중 밴드 정보 추출부의 구체 회로도로써, ｉ번째 밴드의 k번째 블럭 신호를 절대치화하는 절대치부(31)와, 상기 절대치부(31) 출력 신호를 누적하는 누적기(32)와, 상기 누적기(32)의 출력신호를 α배하는 제 1 승산기(33)와, 상기 ｉ번째 밴드의 k번째 블럭신호로부터 활성도를 검출하는 활성도 검출부(34)와, 상기 검출된 활성도를 β배하는 제 2 승산기(35)와, 상기 제 1 및 제 2 승산기(33, 35) 출력신호를 가산하는 가산기(36)와, 상기 가산기(36)의 출력 신호로부터 임계치를 검출하여 밴드 정보를 추출하는 임계치 검출부(37)로 구성한다.

제 4 도는 추출된 정보의 비트 맵(bit map)을 도시한 것이다.

제 5 도는 8×8×4 서브밴드에서의 대표 밴드를 나타낸 것이다.

상술한 구성에 의거 본 발명을 상세히 설명한다.

본 발명에서는 입력되는 신호를 3차원 QMF(Quadrature Mirror Filter)를 이용하여 여러개의 서브밴드로 분리하고, 상기 분리된 각 서브밴드를 작은 크기를 갖는 M×N개의 블럭들로 맵핑(mapping)한다. 상기 QMF는 주파수 대역을 분할하여 여러개의 주파수 영역으로 분할하기 위한 필터를 말한다. 실제의 QMF는 각각 분석(analysis) 필터 H₀(w), H₁(w)를 거친 후 각각의 신호를 2 : 1 데시메이션(decimation)을 수행하여 샘플수를 1/2로 낮추어 주게 된다. 한편 분석한 결과를 다시 1 : 2 보간(interpolation)을 수행한 후 각각 F₀(w), F₁(w), F₂(w), ... , F_N-1(w)가 되고, 2 : 1 데시메이션은 N : 1 데시메이션으로 나타낼 수 있고 1 : 2 보간은 1 : N 보간으로 나타낼 수 있다. 보간은 데시메이션의 역과정에 해당하는 것으로 각 샘플 사이에 0인 샘플을 끼워 넣어 주파수를 높이는 것을 말한다. 합성 필터는 그 반대이다. 일반적으로 수평, 수직, 시간, 반향으로 l, m, n개의 서브밴드로 나누는 경우 최종 대역의 수는 l×m×n개이며 본 발명은 이러한 일반적인 경우를 가정한 것이다. 즉 본 발명의 제 4 도에서 8×8×4개의 대역으로 나눈 것을 의미한다. 그러므로 총 256개의 서브밴드로 나누었을 때의 서브밴드의 구성을 나타낸 것이며, 그중 중요한 의미를 갖는 서브밴드를 각각 LLL, HM, HH, VM, VH, MM, LT1, LT2, LT3로 이름을 붙이고, 이것을 대표 밴드라고 부르는 것이다. 256개의 각 밴드는 다시 작은 소 블럭(크기 M×H)으로 구분할 수 있다. 이러한 QMF 에 관한 연구는 1980년대부터 이루어져 수많은 연구논문이 나와 있어 그 설계방법도 그만큼 다양하다. 이렇게 QMF를 영상처리에 도입한 예는 IEEE TRANSACTIONS ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING. VOL. ASSP-34, NO. 5 1986년 10월호 제 1278페이지∼제 1288페이지 "Subband Coding of Images"에서 찾아볼 수 있다.

다시 말해서 영상 데이타 한장은 2차원의 화소들로 구성되어 있으므로 이것은 각각 수평 및 수직의 주파수영역(subband)들로 나눌 수 있으며, 각 주파수영역 데이타의 고유한 특성들을 이용하여 부호화를 수행함으로써 화질의 저하를 방지하면서 데이타량을 줄여 전송하기 위한 방법이 서브밴드 코딩이다. 또한 영상데이타는 시간축으로 초단 30장을 전송하므로 시간축으로도 서브밴드를 분할할 수 있으며, 이렇게 되면 수평과 수직 및 시간축 방향으로 3차원의 서브밴드로 나누는 것이 된다. 이러한 3차원 QMF를 이용하여 영상데이타를 전송하는 방법은 MIT에서 제안하였던 HDTV 전송에 관한 자료(SMPTE Journal, 1989년 1월호 제5페이지∼제13페이지)"Channel-Compatible 6 MHz HDTV Distribution System")에 상세히 기재되어 있다.

제 1 도는 블럭 맵퍼(20) 구성을 나타낸 것이다. 이 블럭맵퍼(20)는 각 서브밴드에 대하여 각각 M×N크기의 소블럭 순으로 데이타를 정렬시켜 준다. 예를 들어 원래의 영상데이타의 화소수가 720(수직)×1280(수평)인 경우 각각 8×8 서브밴드로 나누었으므로 각 서브밴드의 크기는 90×160이 된다. M=3, N=4라 하면 각 서브밴드는 다시 3×4의 작은 소블럭들로 나누어지는 것이다. 상기 블럭 맵퍼(20)의 출력은 일부의 서브밴드만이 밴드 정보 추출부(30)로 들어가서 각각의 에너지와 활동도에 따른 서브밴드 정보를 얻는다. 이러한 서브밴드 정보에 의해 모든 서브밴드 신호의 특성을 예측하는 것이며, 이것은 제 1 메모리(50)에 저장되어 있는 룩업테이블에 입력되어 멀티플렉서(40)에서 일정한 수의 서브밴드를 선택할 수 있도록 하는 정보를 제공한다. 여기서 상기 룩업 테이블의 출력은 각 서브밴드들의 k번째 블럭들 중 일정 갯수만 선택할 수 있는 정보를 의미하며, k에 대한 순간의 필터 뱅크 선택을 의미한다. 이러한 필터 뱅크 선택 정보와 선택된 서브밴드 블럭들은 부가적인 처리과정을 거쳐 채널을 통해 전송된다.

상기 부가적인 처리는 여러가지 기능들을 포함하며, 이 기능들은 전송 채널의 음량이나 전송 목적에 따라 여러가지 방법으로 선택 가능하다. 각 선택된 서브밴드들을 하나의 채널로 전송하기 위해서는 멀티플렉싱을 수행해야 한다. 그런데 높은 주파수의 서브밴드들은 진폭이 작으므로 일정한 크기만큼 엔코더에서 크게 하고 그 배율을 같이 전송하며 디코더에서는 이 배율을 받아서 다시 작게 만드는 것을 적응적 변조(Adaptive Modulation)라 하면, 이렇게 함으로써 채널에서 노이즈가 혼입된 경우 디코더에서 이것을 줄어주는 효과가 있다. 또한 전송도중에 에러가 발생하는 경우 이것을 디코더측에서 검출하여 정정해줄 수 있도록 에러 정정부호(Error Correction Code)를 부가하여 전송하게 된다. 또한 필터뱅크 선택정보도 이와 같은 데이타와 함께 멀티플렉싱된다. 이러한 모든 것을 부가적 처리라고 명명한다.

다음은 제 2 도의 디코더부의 동작에 관하여 설명한다.

상기 디코더부의 역처리부(70)에서는 수신된 신호에 전술한 엔코더부의 처리에 대한 역처리를 행하여 선택되었던 블럭들과 필터 뱅크 선택 정보들을 얻어낸다. 상기 얻어진 필터 뱅크 선택 정보는 제 2 메모리(90)의 룩업테이블을 통해 디멀티플렉서(80)를 제어하여 원래의 선택되었던 블럭을 제위치로 보내준다. 이때 상기 룩업 테이블은 상기 엔코더부의 룩업 테이블과 똑같은 정보를 가지고 있어야 한다. 상기 디멀티플렉서(80)는 선택되지 않았던 필터 뱅크쪽에는 제로 데이타를 넣어주는 역할도 하는데, 이는 엔코더부에서 모든 서브밴드 데이타를 선택하지 않았기 때문이다. 상기 디멀티플렉서(80)를 거쳐 나오는 신호는 블럭 디맵퍼(100)를 통하여 원래의 서브밴드 신호로 복원되고 이것은 다시 3차원 합성 QMF 뱅크(110)를 거쳐 복원된 화상신호로 된다.

다음에는 서브밴드 정보의 추출 방법을 설명한다.

제 1 도의 엔코더부에서 블럭 맵퍼(20)를 통하여 나오는 서브밴드 블럭들중 ｉ번째 서브밴드의 k번째 블럭이 밴드 정보 추출부(30)로 입력된 경우를 가정한다. 블럭의 크기는 M×N이며 블럭의 각 화소의 값을 P(i , j)라고 하면, 블럭의 에너지 Sk와 활성도(activity) Pk는 하기한 (1), (2)식과 같이 정의된다.

Sk = ｜P(i, j)｜………………………………………………………(1)

Pk = MAX-MIN ………………………………………………………(2)

즉, 에너지 Sk는 각 화소값의 절대값을 모두 더한 것이며 이것이 크면 에너지는 크다고 할 수 있다. 활성도 Pk는 활성도 검출부(34)를 통해 얻어지며 블럭내 화소들의 절대값(MAX)과 최소값(MIN)의 차이로 정의되며 이것은 영상신호의 에지(edge) 부분이나 움직임 영역에서 크게 나타난다. 이와 같이 에너지와 활성도를 정의하는 이유는 전술한 바와 같이 일반적으로 저주파 부분의 서브밴드 에너지는 크고 높은 주파수의 에너지는 작기 때문이다. 그러나 인간의 시각 특성상 에지나 움직임의 경계 부분과 같이 화상의 높은 주파수 부분이 눈에 잘 띄므로 이러한 부분에서는 비록 전체 블럭의 에너지는 작더라도 활성도는 높게 나타난다. 그러므로 이 두 요소를 조합하여 각 서브밴드의 정보를 표현하면 하기한 (3) 식과 같다.

Eik = αSk+βPk ………………………………………………………(3)

상기 Bik가 크면 이 ｉ번째 서브밴드 블럭이 선택될 가능성이 크다고 보는 것이다. α는 β의 약 1/(M*N)정도 값을 선택한다. 그리고, bik는

bik =1 Bik 〉Ti

0 기타

로 정의되며 bik가 1인 경우는 에너지나 활성도가 충분히 크다는 것을 나타낸다. 그러나, 모든 bik에 대한 값을 비교하여 크기가 큰 것을 추출하는 것은 복잡하고 비효율적이다. 그러므로 제 5 도의 8×8×4 예처럼 HM, HH, VM, VH, MM, LT1, LT2, LT3와 같이 bik의 특정한 몇가지의 밴드만을 고려한다. 위에 예에서 HM은 화상신호가 수평쪽 방향으로 중간정도 분포할 때 HM=1로 되며 수평쪽으로 매우 많은 분포를 나타내는 경우 HH=1이 될 것이다. 마찬가지로 수직방향으로 중간정도 분포하는 경우 VH=1, 많이 분포하는 경우 VH=1이 될 것이며, 수평과 수직방향 모두 분포하는 경우 MM=1로 될 것이다. 마찬가지로 시간축 방향으로의 움직임의 정보는 LT1, LT2, LT3로 추정이 가능하다. 만약 LT1=1, LT2=0, LT3=0이라면 움직임의 정도가 매우 적다고 판단할 수 있다. 또 LT2나 LT3가 1인 경우 중간정도의 움직임이나 많은 움직임이 있는 것을 나타낸다. 이러한 정보들을 제 4 도와 같이 예를들어 8개의 비트맵으로 나타내면 각 서브밴드의 특성은 2=256까지 정도로 구분할 수 있다. 그러므로 제 5 도와 같은 특정한 밴드들은 전체 서브밴드의 특성을 구분할 수 있는 대표밴드라고 볼 수 있으며 이것을 많이 선택할수록 더욱 많은 특성을 구분할 수 있다.

상술한 바와 같이 미리 충분한 수의 화상신호에 대해 비트 맵을 구하고 그 비트맵에 대해서 원화상과 가장 가깝도록 선택 밴드의 정보를 룩업 테이블에 저장해 둠으로써 전체 밴드의 영상신호 크기를 비교하지 않고서도 효율적인 필터 뱅크의 선택 알고리즘을 구성할 수 있는 이점이 있다.

Claims

영상신호의 3차원 서브밴드 부호화 회로에 있어서, 디지탈 영상신호를 수직과 수평 및 시간에 대한 서브밴드로 분리하는 QMF 뱅크(10)와, 상기 QMF 뱅크(10)에서 분리된 다수의 서브밴드들을 각각 작은 크기를 갖는 M×n개의 블럭들로 맵핑하는 블럭 맵퍼(20)와, 상기 블럭 맵퍼(20)의 출력 신호들을 입력하여 각각의 에너지와 활성도에 따른 서브밴드 정보를 추출하고 그에 따라 모든 서브밴드 신호의 특성을 예측하는 필터뱅크 선택정보를 출력하는 밴드정보 추출부(30)와, 상기 필터뱅크 선택정보에 따라 각 서브밴드들의 소정번째 블럭들중 일정 갯수만 선택할 수 있는 정보를 출력하기 위한 룩업테이블이 저장되어 있는 제 1 메모리(50)와, 상기 룩업테이블로부터 출력되는 정보에 따라 상기 블럭맵퍼(20)의 출력신호들을 선택적으로 채널에 전달하기 위한 멀티플렉서(40)로 이루어진 엔코더와, 수신된 신호로부터 선택되었던 블럭들과 필터뱅크정보를 검출하는 역처리부(70)와, 소정의 제어를 받아 상기 선택되었던 블럭들을 원래 위치로 보내주는 디멀티플렉서(80)와, 상기 필터 뱅크 정보에 따라 상기 디멀티플렉서(80)를 제어하는 신호를 발생하기 위한 룩업테이블이 저장되어 있는 제 2 메모리(90)와, 상기 디멀티플렉서(80) 출력 신호를 원래의 서브밴드 신호로 복원하는 블럭 디랩퍼(100)와, 상기 블럭 디맵퍼(100) 출력이 시간과 수평 및 수직 QMF 뱅크(111, 112, 113)를 거치게 하여 복원된 영상신호를 출력하는 3차원 합성 QMF 뱅크(110)로 이루어진 디코더로 구성함을 특징으로 하는 3차원 서브밴드 영상신호의 적응적 선택회로.
제 1 항에 있어서 밴드 정보 추출부가, ｉ번째 밴드의 k번째 블럭 신호를 절대치화하는 절대치부(31)와, 상기 절대치부(31)의 출력신호를 누적하는 누적기(32)와, 상기 누적기(32)의 출력신호를 α배하는 제 1 승산기(33)와, 상기 ｉ번째 밴드의 k번째 블럭신호로부터 활성도를 검출하는 활성도 검출부(34)와, 상기 검출된 활성도를 β배하는 제 2 승산기(35)와, 상기 제 1 및 제 2 승산기(33, 35)의 출력신호를 가산하는 가산기(36)와, 상기 가산기(36)의 출력신호로부터 임계치를 검출하여 밴드 정보를 추출하는 임계치 검출부(37)로 구성됨을 특징으로 하는 3차원 서브밴드 영상신호의 적응적 선택회로.
영상신호를 수직과 수평 및 시간에 대한 서브밴드로 분리하는 3차원 서브밴드의 부호화 방법에 있어서, 상기 분리된 다수의 서브밴드들을 작은 크기를 갖는 M×n개의 블럭들로 맵핑하는 제 1 과정과, 상기 맵핑된 신호들 각각의 에너지와 활성도에 따른 서브밴드 정보를 추출하고 그에 따른 모든 서브밴드 신호의 특성을 예측하는 필터뱅크 선택정보를 검출하는 제 2 과정과, 상기 필터 뱅크 선택 정보 검출 결과에 따라 상기 맵핑된 각 서브밴드들의 소정번째 블럭들 중 일정 갯수만을 선택하는 제 3 과정으로 이루어짐을 특징으로 하는 3차원 서브밴드 영상신호의 적응적 선택방법.
제 1 항 혹은 제 2 항 중 어느 하나의 항에 있어서, 상기 엔코더가, 상기 멀티플렉서(40)에서 선택된 서브밴드 블럭신호를 적응적으로 변조하여 채널에 전달하기 위한 제 1 처리부를 더 구비함을 특징으로 하는 3차원 서브밴드 영상신호의 적응적 선택회로.
제 1 항 혹은 제 2 항 중 어느 하나의 항에 있어서, 상기 엔코더가 상기 멀티플렉서(40)에서 선택된 서브밴드 블럭신호에 에러정정부호를 삽입하여 채널에 전달하기 위한 제 2 처리부를 더 구비함을 특징으로 하는 3차원 서브밴드 영상신호의 적응적 선택회로.