KR0162209B1 - 2채널결합양자화기법 및 중첩직교변환기법을 결합한 영상신호의 부호화장치 - Google Patents

Abstract

종래의 영상신호 부호화장치에서는 벡터 양자화를 적용함에 있어서 영상을 재생할 때 영상의 중요한 특징의 하나인 에지(edge)부분에서 열화가 생기는 단점 및 부호화에 복잡성이 생기는 단점과 DCT변환등에서 영상을 재생할 때 발생하는 블럭화 현상(blocking effect)이 나타나 각 블럭들간의 경계면이 서로 구분이 되며 벡터양자화는 부호책 설계시 초기 부호책이 잘못 선택되어지면 최종 부호책이 최적화 되지 못하여, 완전한 부호책 설계를 위해서는 많은 계산량이 요구되었다.

그러나, 본 발명은 일반적인 변화 부호화 영역에서 생기는 블럭화를 줄이기 위해 LOT변환 부호화를 사용하고, 채널 에러가 주입 되었을 때 일반적인 벡터양자화를 이용한 변환 부호화보다 더 나은 재생 화질을 제공하는 2채널 결합벡터양자화를 결합한 적응적 부호화 방법을 사용함으로써 블럭효과 및 계산상의 복잡성과 기억 요구량을 줄일 수 있는 잇점을 제공한다. 또한, 각 부블럭에 대한 전송부벡터를 구성함으로써 영상전송에 있어서 전송 정보량을 달리 해줌으로써 간략화된 영상에서 세밀한 영상으로의 점진적인 영상부호화를 할 수 있는 잇점을 제공한다.

Description

2채널결합양자화기법 및 중첩직교변환기법을 결합한 영상신호의 부호화장치

제1도의 벡터양자화를 이용한 종래의 영상신호의 부호화장치를 나타내는 구성도.

제2도는 각 블럭의 에너지분포특성에 따라 세 방향의 활동성 클래스로 분류된 영상데이타를 보여주는 개념도.

제3도는 본 발명의 2채널결합양자화기법 및 중첩직교변환기법을 결합한 영상신호의 부호화장치를 나타내는 구성도.

제4도는 분류된 부벡터에 대한 전송부벡터를 나타낸 개념도.

제5도는 분류된 부벡터에 대한 비트할당을 나타내는 개념도.

제6도는 제3도의 2채널결합부호책 설계시 사용되는 2채널결합벡터양자화기의 부호기(60)를 보여주는 도면.

제7도는 일반적인 벡터양자화와 2채널결합벡터양자화의 계산량과 기억 요구량을 비교한 개념도.

제8도는 채널 에러(BER) 주입시 양자화 화질성능을 비교한 개념도.

* 도면의 주요부분에 대한 부호의 설명

51 : 부블럭분류기 53 : LOT부

55 : 블럭분류기 57 : 부백터분류기

58 : 전송 부벡터분류기 59 : 2채널결합 부호책

60 : 부호기

본 발명은 영상신호의 부호화장치에 관한 것으로, 특히 2채널 결합양자화기법 및 중첩직교변환(LOT: lapped orthogonal transform ; 이하, LOT변환이라 함)기법을 결합하여 각 부블럭에 대한 부벡터의 구성으로 점진적인 영상전송을 하는 영상신호의 부호화장치에 관한 것이다.

영상 및 음향을 송·수신하는 시스템에 있어서, 영상신호 및 음성신호를 디지탈 신호로 부호화하여 전송하거나 저장부에 저장하고, 이를 다시 복호화하여 재생하는 방식이 주로 사용되고 있다. 특히, 음성신호에 비해 영상신호 데이타는 일반적으로 그 정보량이 매우 많다. 따라서, 효율적인 데이타의 전송 및 기록을 위한 데이타 압축방법이 널리 이용되고 있다. 신호 대역에 의한 압축효과가 큰 고능률부호화(High-efficient coding) 기법에는 예측부호화, 변환 부호화, 벡터양자화등이 있다. 이와같은 데이타압축은 화면을 소정 크기의 블럭들로 구분하고, 각 블럭 또는 블럭간의 차신호에 대한 소정의 데이타 변환을 수행하여 영상데이타를 주파수 영역의 변환계수로 변환함에 의해 달성된다. 각 블럭에 대한 데이타 변환방식에는 이산코사인변환(DCT ; Discrete Cosine Transform), 월쉬-아다마르변환(WHT; Walsh-Hadamard Transform), 이산퓨리에변환(DFT; Discrete Fourier Transform) 및 이산사인변환(DST; Discrete Shine Transform) 등이 있다.

종래의 영상신호부호화시 영상신호를 변환하는 방식에는 이산코사인변환(DCT) 방식이 널리 쓰인다. DCT변환은 고압축비가 요구되는 영상부호화 방법등에 적용, 연구되어 왔다.

벡터양자화(vector quantization)란 영상을 여러개의 벡터들로 나눈 후 이 벡터들을 미리 설계된 기준벡터로 근사 표현하는 방식으로 벡터전체를 전송하지 않고, 다만 기준 벡터의 지수(index)만을 전송하여 비트를 감축하는 데이타 압축방식이다. 최근 이러한 방법으로 동 영상간의 예측오차를 벡터 양자화하거나, 변환 부호화한후 그 변환 계수를 벡터양자화하는 등 벡터양자화를 이용한 부호화기법이 많이 제안되어 왔다. 벡터양자화기법 중 하나인 분류 벡터 양자화(Classified vector quantization)는 입력벡터들을 어떠한 특성에 따라 분류하여 각 부류(class)에 해당하는 부호책(code book)으로 벡터양자화하는 방법이다. 분류 벡터양자화는 부분 탐색에 의한 부호화 복잡도를 줄일 수 있으며, 각 부류의 특성에 따라 부호책을 작성함으로 복합 신호원 모델에 기초한 것으로 신호에 충실한 양자화가 가능하다.

DCT와 분류 벡터양자화를 결합한 종래의 영상신호의 부호화장치를 제1도 및 제2도를 참조하여 설명한다.

제1도는 분류 벡터양자화를 이용한 종래의 영상신호의 부호화장치를 나타낸 구성도이고, 제2도는 DCT된 부블럭에 대한 에너지분포특성에 따라 방향성을 갖는 블럭으로 분류되는 것을 보여주는 도면이다. 실시예에서 원영상은 8×8 블럭으로 나누도록 정한다.

먼저, 부블럭분류기(11)는 훈련 영상을 인가받는다. 여기서 훈련영상이란 처음으로 인가받은 소정 입력영상을 말하며, 실제 부호화하고자 하는 영상의 부호화 비교기준을 정하기 위해 미리 샘플링한 영상을 말한다. 부블럭분류기(11)는 훈련영상을 인가받아 8×8의 블럭들로 나누고, 2차원 DCT부(13)로 전달한다. 2차원 DCT부(13)는 각 블럭에 대해 2차원 DCT변환을 행하여 DCT변환계수를 블럭분류기(15)로 전달한다. 블럭분류기(15)는 제2도에 도시된 바와같이, 입력받은 DCT변환계수값을 에너지 분포 특성에 따라 분류한다. DCT변환계수의 에너지 지수값중 최대지수가 이미 설정해 놓은 임계값(threshold)보다 작으면 그 블럭은 저활동성 클래스(low activity class)로 구분되고, 임계값보다 크면 활동성 클래스(activity class)로 분류된다. 활동성 클래스는 크게 세 방향 클래스로 나눌 수 있다. 제2도를 참조하여 세 방향 클래스를 설명하겠다. 제2(a)도는 에너지분포가 수평(H ; horizontal)방향으로 분포되어 있음을 나타내고, 제2(b)도는 에너지 분포가 수직(V ; vertical)방향, 제2(c)도는 에너지분포가 대각선(D ; diagonal) 방향으로 분포되어 있음을 보여준다. 즉, 모든 블럭들은 DCT영역안에서 에너지 계수가 큰 크기에 따라서 분류된다. 이러한 3개의 각기 다른 에너지 지수합들은 공간 영역에서의 에너지 방향성을 고려한 블럭 분류 기준과 어느 정도 일치한다. 따라서, 블럭분류기(15)는 각 DCT된 블럭에 대한 에너지를 계산하여 저활동클래스와 수평, 수직, 대각선 방향을 갖는 활동성클래스의 블럭들로 분류한다.

블럭분류기(15)에 연결된 부벡터분류기(17)는 상술한 바와같이 분류된 방향성 있는 블럭들을 인가받는다. 예를들어, 수평방향성을 갖는 블럭들을 인가받았다면, 부벡터분류기(17)는 인가받은 블럭들을 소정 기준에 의해 몇 개의 부벡터로 분류한다. 부벡터분류기(17)는 변환계수값의 분산을 비교하여 유사한 것은 같은 부벡터로 정한다. 그러므로, 부벡터분류기(17)는 영상의 분포도가 적은 부분의 부벡터는 적은 비트로 할당을 하고, 영상의 분포도가 많은 부분의 부벡터는 많은 비트로 할당을 한다.

지금까지는 실제 부호화하고자 하는 영상의 부호화비교기준이 될 수 있도록 부호화하고자 하는 원영상을 인가받기전 미리 샘플링하여 샘플링 부호어를 저장하고 있는 부호책(19)을 만드는 과정을 설명하였다. 따라서, 부호책(19)에는 각각의 클래스의 대표벡터가 설정, 기억되어진다.

다음은 원영상을 인가받아 미리 샘플링된 부호어와 비교하여 실제 필요한 영상을 부호화시키는 장치 및 방법에 대한 설명을 하겠다. 원영상을 인가받아 부벡터로 분류되는 과정은 앞서 훈련영상을 샘플링하는 과정과 같으므로 간단히 설명하겠다.

제1도에서 부블럭분류기(11)는 원영상을 인가받아 8×8의 블럭으로 나누고, 2차원 DCT부(13)로 전달한다. 2차원 DCT부(13)는 각 블럭을 2차원 DCT 변환을 행한후 DCT 변환계수값을 블럭분류기(15)로 전달한다. 블럭분류기(15)는 2차원 DCT부(13)로부터 변환된 블럭을 인가받아 수평방향, 수직방향, 대각선 방향, 저방향으로 분류하며 현재 인가받은 원화상이 어느 방향성인지를 알려주는 분류인덱스를 복호화단으로 출력한다. 부벡터분류기(17)는 블럭분류기(15)로부터 상기와 같이 분류된 각 방향성의 블럭들을 인가받아 변환계수값의 분산을 비교하여 유사한 것은 같은 부벡터로 정하여 몇 개의 부벡터로 분류한다. 즉, 영상의 분포도가 적은 부분은 적은 비트로 할당을 하고, 영상의 분포도가 많은 부분은 많은 비트로 할당을 한다. 부호기(20)는 부벡터분류기(17)에서 분류된 각 부벡터를 인가받아 훈련 영상에 의해 설정된 부호책(19)이 저장하고 있는 부호어와 비교하여 그 중 거리함수값이 가장 작은 부호어를 선택하여 그 인덱스만을 복호화단으로 출력한다.

그러나, 종래의 영상부호화장치는 벡터양자화를 적용함에 있어서 영상을 재생할 때 영상의 중요한 특징의 하나인 에지(edge)부분에서 열화가 생기는 단점 및 부호화에 복잡성이 생기는 단점이 있다. 그리고, DCT변환등에서 영상을 재생할 때 발생하는 블럭화 현상(blocking effect)이 나타나 각 블럭들간의 경계면이 서로 구분이 된다. 또한, 벡터양자화는 부호책 설계시 초기 부호책이 잘못 선택되어지만 최종 부호책이 최적화 되지 못하여, 완전한 부호책 설계를 위해서는 많은 계산량이 요구된다.

위와같은 문제를 해결하기 위한 본 발명의 목적은 일반적인 벡터양자화보다 계산량의 복잡성과 기억 용량이 감소되는 장점을 지닌 2채널결합양자화(Two channel conjugate classified quantization) 및 이웃하는 블럭들을 중첩시켜 블럭화 현상을 방지하는 방법중 비트율의 증가없이 줄이는 오버랩(overlap)방법중 하나인 중첩직교변환(LOT; lapped orthogonal transform ; 이하, LOT변환이라 함) 기법을 결합한 영상신호의 부호화장치를 제공함에 있다.

위와같은 목적을 달성하기 위한 본 발명의 특징은 영상을 인가받아 소정 크기의 블럭으로 분할하여 영상데이타를 부호화하는 부호화장치에 있어서, 입력되는 영상에 대한 부호어 비교기준을 정하기 위해 상기 영상중 처음으로 인가되는 영상인 훈련영상을 샘플링하고, 이 훈련영상을 2채널중첩직교변환하여 발생된 소정의 부호어를 저장하는 부호책, 상기 훈련영상이후에 입력되어 소정 블럭으로 분할된 영상을 2채널로 중첩직교변환하는 중첩직교변환부, 상기 2채널중첩직교변환된 블럭의 변환계수값에 따라 그 블럭의 대표방향을 설정하는 블럭분류부, 상기 대표방향이 설정된 블럭들을 인가받아 같은 대표방향을 갖는 블럭들의 에너지 분산값에 비례하도록 각 블럭마다 소정 비트를 할당하고, 할당된 비트정보에 따라 유사한 부벡터들을 결정하는 부벡터분류부, 상기 부벡터들 중 원하는 정보를 가진 부벡터를 선택하는 전송부벡터분류부, 상기 전송부벡터분류부로부터 영상을 인가받아 상기 부호책에 저장되어 있는 부호어와 비교하여 그 중 거리함수값이 가장 작은 부호어를 선택하여 그 인덱스만을 복호화단으로 출력하는 부호기를 포함하는 2채널결합양자화기법 및 중첩직교변환기법을 결합한 영상신호의 부호화장치에 있다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세히 설명한다.

제3도는 본 발명의 2채널결합양자화기법 및 중첩직교변환기법을 이용한 영상신호의 부호화장치를 나타낸 구성도이다.

제3도에서 부블럭분류기(51)는 훈련영상을 인가받는다. 여기서 훈련영상이란 처음으로 본 발명의 장치가 인가받은 소정 입력영상을 말하며, 실제 부호화하고자 하는 영상의 부호화시 비교기준이 될 수 있도록 부호화하고자 하는 원영상을 인가받기전 미리 샘플링 과정을 거치는 영상을 말한다.

먼저, 훈련영상을 샘플링하여 2채널결합양자화를 통해 2채널결합부호책(59)을 만든다. 2채널결합부호책(59)은 서로 다른 두 개의 부호책, A와 B로 이루어지는데, 각각의 부호책은 2^KR/2= N의 부호어로 구성되고 여기서 K는 벡터차원수, R은 요구되는 비트율이다. 일반적인 벡터양자화는 2^KR= N²의 부호어를 가진다.

부블럭분류기(51)는 원영상을 8×8의 블럭들로 나누어 2차원 LOT부(53)로 전달한다. 2차원 LOT부(53)는 각 블럭에 대해 2차원 중첩직교변환(LOT)을 행한 후 블럭분류기(55)로 전달한다. 블럭분류기(55)는 2차원 LOT부(53)로부터 변환된 블럭을 인가받아 수평방향, 수직방향, 대각선 방향, 저방향의 에너지값을 계산하여 가장 큰 에너지값을 가진 방향을 그 블럭의 방향성으로 대표한다. 부벡터분류기(57)는 중첩직교변환(LOT)후 블럭분류기(55)에서 분류된 각 방향성의 블럭들을 인가받는다. 부벡터분류기(57)는 재생영상이 고화질을 유지하면서 저비트율 전송을 구현하기 위해, 중첩직교변환(LOT)후 분류된 8×8 LOT 변환 블럭들을 에너지 분산정도에 따라서 원영상이 가지는 차원수인 64보다 훨씬 적은 차원수를 가진 몇 개의 부벡터들로 구분한다. 여기서, 큰 분산값을 갖는 부벡터들은 일반적으로 적은 분산값을 갖는 부벡터들보다 재생영상에 더 많은 정보를 준다. 그래서, 부벡터분류기(57)는 분산값에 비례해서 큰 분산값을 갖는 블럭에는 많은 비트를, 적은 분산값을 갖는 블럭에는 적은 비트를 할당한다. 다시 설명하면, 부벡터분류기(57)는 영상의 분포도가 적게 분류된 부벡터는 적은 비트로 할당을 하고, 영상의 분포도가 많게 분류된 부벡터는 많은 비트로 할당을 한다. 부벡터분류기(57)의 역할을 다른 개념도를 참조하여 좀 더 자세히 설명하겠다.

제4도는 분류된 부벡터에 대한 전송부벡터를 나타낸 개념도이다. 각 블럭에 표시된 같은 수는 같은 부벡터를 나타낸다. 그리고, 숫자가 클수록 에너지분포가 크며, 숫자가 작을수록 에너지분포가 작다. 그러므로, 상위레벨일수록 많은 정보량을 가지고 있으므로 많은 비트를 할당하고, 하위레벨일수록 적은 비트(bit)를 할당한 것을 나타낸다. 여기서 제1부벡터는 최상위레벨로 정하고, 제7부벡터는 최하위레벨로 정한다. 그러므로, 부벡터의 숫자가 커질수록 하위레벨이 된다. 제4(a)도는 수평방향(H)으로 부벡터들이 분포되어 있으며, 제4(b)도는 수직방향(V), 제4(c)도는 대각선방향(D), 제4(d)도는 저방향(L)으로 분류된다.

제5도는 분류된 부벡터에 대한 비트할당을 나타내는 개념도이다. 제4도와 제5도를 참조하여 전송부벡터분류기(58)를 좀 더 자세히 설명하겠다. 실시예로 수평방향(H)분류를 나타낸 제4(a)도에서 부벡터 1은 하나만 존재한다. 그러므로, 제5도에서 수평방향(H)의 부벡터 1 하나는 8비트를 가지고 있다고 나타낸 것이다. 다른 예를 들어보면, 제4(a)도에서 부벡터 3은 4개이며, 제5도에서 수평방향(H)의 부벡터 3은 8비트를 가지고 있다고 나타낸 것이다. 즉, 부벡터 3을 갖는 블럭 4개가 8비트를 나누어 가지고 있음을 나타낸 것이다. 다시 말하면, 상위레벨의 부벡터가 하위레벨의 부벡터보다 많은 비트수를 가지고 있음을 보여주는 예이다.

부벡터분류기(57)에서 분류된 부벡터는 전송부벡터분류기(58)로 인가된다. 전송부벡터분류기(58)는 상술한 설명과 마찬가지로 원하는 정보 즉, 정보를 가지고 있는 부벡터(1∼7) 중 원하는 정보를 선택하여 부호기(60)로 출력한다. 예를들어 설명하면 화상회의와 같이 세밀한 영상정보의 전송이 필요하지 않을 때, 전송부벡터분류기(58)에서는 부벡터 1과 부벡터 3 등의 상위레벨 부벡터 몇 개만을 선택하여 그 정보를 부호기(60)로 출력한다. 부호기(60)는 제6도를 통하여 좀 더 자세히 설명하겠다.

제6도는 제3도의 2채널결합부호책 설계시 사용되는 2채널결합벡터양자화기의 부호기(60)를 나타낸 것이다. 부호기(60)는 제6도에 도시된 바와 같은 수식에 의해서 입력벡터(X)와 서로 다른 두 부호책에서의 벡터 Am, Bn에서의 평균값 사이의 최소 왜곡 조건을 만족하는 부호어 쌍을 선택함으로써 구성된다. 부호기(60)는 서로 다른 2개의 부호책 A와 B에 저장된 부호를 인가받는다. 그래서, 입력벡터(X)값에 따라 벡터값을 출력하여 복호화단으로 인가한다. 부호기(60)는 상술한 바와같이 처리된 원영상을 인가받아 훈련영상에 의해 설정된 2개의 부호책(59)에 저장된 부호어의 근사값을 비교하여 그 중 거리함수값이 가장 작은 부호어를 선택하여 그 인덱스만을 복호화단으로 출력한다.

제7도는 일반적인 벡터양자화와 2채널결합벡터양자화의 계산량과 기억 요구량을 비교한 개념도이다. 여기에서는, 2채널결합벡터양자화는 일반적인 벡터양자화보다 계산상의 복잡성과 기억 요구량이 약 1/4가량 줄어든 것을 나타낸다.

제8도는 채널 에러(BER) 주입시 양자화 화질성능을 비교한 개념도이다. 부호화성능은 양자화, 부호화등의 성능을 나타내기위한 지표인 첨두신호 대 잡신호의 비(PSNR; peak signal to noise ratio)를 사용하였다. 채널 에러가 적을때의 DCT 벡터양자화, 2채널결합 DCT벡터양자화 및 2채널결합 LOT벡터양자화의 화질상태는 별 차이점이 없다. 그러나, 채널에러비트율(bit error rate ; BER)을 점차 가변시키면서 부호화 방법을 비교하면 에러가 커질수록 2채널결합양자화의 화질이 더 낫다는 것을 알 수 있다.

전술한 바와같이 본 발명은 입력 영상부호화에 LOT(lapped orthogonal transform)와 2채널결합양자화(Two channel conjugate classified quantization)라는 두가지 기법을 결합하여, 종래의 장치에서 에지(edge) 부분에서 열화가 생기는 단점 및 부호화에 복잡성이 생기는 단점 및 DCT변환등에서 영상을 재생할 때 발생하는 블럭화 현상(blocking effect)등을 방지할 수 있고 계산상의 복잡성과 기억 요구량도 줄어드는 잇점을 제공한다. 또한, 각 부블럭에 대한 전송부벡터를 구성함으로써 영상전송에 있어서 전송정보량을 달리 해줌으로써 간략화된 영상에서 세밀한 영상으로의 점진적인 영상부호화를 할 수 있는 잇점을 제공한다. 그러므로, 세밀한 정보의 전송이 필요하지 않을 때 부분적으로 영상정보를 보내줌으로써 전송시 정보량이 적어지므로 계산량도 줄어들게 된다.

Claims (4)

1. 영상을 인가받아 소정 크기의 블럭으로 분할하여 영상데이타를 부호화하는 부호화장치에 있어서, 입력되는 영상에 대한 부호어 비교기준을 정하기 위해 상기 영상중 처음으로 인가되는 영상인 훈련영상을 샘플링하고, 이 훈련영상을 2채널 결합 양자화하여 발생된 소정의 부호어를 저장하는 부호책 ; 상기 훈련영상이후에 입력되어 소정 블럭으로 분할된 영상을 2채널로 중첩직교변환하는 중첩직교변환부 ; 상기 2채널 중첩직교변환된 블럭의 변환계수값에 따라 그 블럭의 대표방향을 설정하는 블럭분류부 ; 상기 대표방향이 설정된 블럭들을 인가받아 같은 대표방향을 갖는 블럭들의 에너지 분산값에 비례하도록 각 블럭마다 소정 비트를 할당하고, 할당된 비트정보에 따라 유사한 부벡터들을 결정하는 부벡터분류부 ; 상기 부벡터들 중 원하는 정보를 가진 부벡터를 선택하는 전송부벡터 분류부 ; 상기 전송부벡터분류부로부터 영상을 인가받아 상기 부호책에 저장되어 있는 부호어와 비교하여 그 중 거리함수값이 가장 작은 부호어를 선택하여 그 인덱스만을 복호화단으로 출력하는 부호기를 포함하는 2채널결합양자화기법 및 중첩직교변환기법을 결합한 영상신호의 부호화장치.
2. 제1항에 있어서, 상기 블럭분류부는 변환계수값에 따라 수평, 수직, 대각선, 및 혼합분류로 구분하는 것을 특징으로 하는 2채널결합양자화기법 및 중첩직교변환기법을 결합한 영상신호의 부호화장치.
3. 제2항에 있어서, 상기 블럭분류부는 블럭단위의 영상신호를 사전 설정된 방향의 변환계수값들을 비교하여 그중 가장 큰 값을 가지는 방향을 그 블럭의 대표방향으로 설정하는 것을 특징으로 하는 2채널결합양자화기법 및 중첩직교변환기법을 결합한 영상신호의 부호화장치.
4. 제1항에 있어서, 상기 부벡터분류부는 상기 에너지 분산값에 비례해서 큰 분산값을 갖는 부벡터에는 큰 비트값을, 적은 분산값을 갖는 부벡터에는 적은 비트값을 할당하는 것을 특징으로 하는 2채널결합양자화기법 및 중첩직교변환기법을 결합한 영상신호의 부호화장치.