KR19980068268A

KR19980068268A - 알파영상의 부호화 방법 및 장치

Info

Publication number: KR19980068268A
Application number: KR1019970004780A
Authority: KR
Inventors: 정석윤
Original assignee: 김광호; 삼성전자 주식회사
Priority date: 1997-02-17
Filing date: 1997-02-17
Publication date: 1998-10-15
Also published as: KR100243330B1

Abstract

본 발명은 알파영상의 부호화 기술에 관한 것으로, 알파영상을 블록단위로 부호화하는 이산코사인변환부호화, 알파영상과 영역정보에 따라 알파영상을 영역경계로부터의 거리에 따라 부호화하는 페더링부호화, 및 알파영상의 영상신호와의 상관성에 따라 알파영상을 부호화하는 알파합성부호화하는 기술을 적응적으로 선택함으로써 알파영상의 부호화를 효과적으로 수행하여 발생되는 비트량을 현저하게 줄일 수 있다.

Description

알파영상의 부호화 방법 및 장치

본 발명은 계조를 갖는 알파(α)영상을 부호화 하는 기법에 관한 것으로, 보다 상세하게는 알파영상의 영상신호와 상관도를 이용하여 알파영상을 부호화함으로써 비트량의 발생을 줄이는 알파영상 부호화방법 및 장치에 관한 것이다.

알파영상은 여러 장의 영상들을 한 장의 영상으로 합성하는데 있어서, 각 영상들의 혼합비를 나타내는 신호이다. 알파영상은 그 값이 [0,M]사이의 값을 갖는데, 일반적으로 M=255이다. 영상 A에 영상 B를 혼합하여 혼합영상 C를 만든다고 할때, 영상 B에 합해지는 영상 A의 비율을 나타내는 값이 영상 A의 알파영상이다. 영상 C를 구성하는 각 영상 A와 B의 혼합비는 알파영상에 의해 다음과 같은 식에 의해 혼합된다.

[수학식 1]

각 화소위치 (x,y)에 대해 혼합되는 영상의 혼합비(알파값)를 정확히 수신측에 전송하기 위해서 알파영상 부호화가 필수적이다. 표준화 작업이 진행중인 MPEG4에서 알파영상 부호화를 사용하고 있는데, 이러한 알파영상의 부호화를 효과적으로 수행하여, 발생되는 비트량을 현저하게 줄이는 방법이 요구되고 있다.

현재 표준화 작업이 진행중인 MPEG4에서 사용하고 있는 알파영상 부호화 기법으로는, 도 1에 도시된 바와 같이 한 루트의 이산코사인변환(DCT;discrete cosine transform)부호화부(12)에서 블록단위로 DCT부호화를 하는 방식과 페더링(feathering)부호화부(10)에서 페더링에 의해 영상을 간단한 몇 개의 파라미터로 나타내는 기법을 사용하고 있다. 그 후 부호화기선택제어부(16)에서는 페더링부호화부(10) 및 DCT부호화부(12)의 출력을 받아 어느 부호화출력을 선택할 것인가를 결정하는 제어신호를 출력한다. 이 제어신호에 따라서 스위칭부(18)는 부호화출력을 선택하여 부호화비트열로 수신부로 전송한다. 이중에서 블록단위 DCT 부호화 기법은 알파영상을 일반 영상신호와 같이 취급하여 부호화하는 것으로서 발생되는 비트량이 매우 많은 기법이다. 즉, 한 영역 전체를 고정된 크기를 갖는 블록으로 분할한 후 각 블록단위로 DCT하여 부호화하기 때문에 알파영상이 어떠한 모양이나 구성을 갖더라도 부호화할 수 있으나 비트량 부담이 큰 단점이 있다. 그리고 다른 루트의 페더링 부호화방식은 알파영상이 영역(region)의 형태와 밀접한 관련이 있다는 점을 이용한 것이다. 대부분의 알파영상들이 단순한 구성을 갖고 있는데, 전 영역에 걸쳐서 일정한 값을 갖거나, 영역 중심부는 일정한 값을 갖고 바깥 부분으로 갈수록 감소하는 알파 값을 갖는 경우 등이 그 예이다. 이러한 페더링 방식으로 부호화할 수 있는 알파영상은 영역 경계로부터 영역 내부로 들어갈수록 경계(boundary)로부터의 거리에 따라 알파 값이 변화하는 경우에 잘 동작한다. 종래의 이러한 알파영상의 부호화기술은 실제 알파영상을 DCT부호화하는 경우 처리할 비트량이 많은 관계로 압축률이 낮은 단점이 있다. 또한, 실제 영상에 있어서는 알파영상이 영역 경계로부터의 거리에 따라 달라지는 경우 외에도 알파영상이 영상신호와 높은 상관성을 보이는 경우가 많으므로, 알파영상을 그대로 부호화하는 경우에는 그 만큼 처리비트량이 많아지는 경향이 있다.

본 발명이 이루고자 하는 기술적 과제는 알파영상의 부호화방법에 있어서, 알파영상이 영상신호와 상관성이 높을 경우에는 알파영상을 부호화하지 않고 영상신호로부터 합성하여 부호화함으로써 처리비트량을 대폭 감소시키는 알파영상의 부호화방법을 제공하는 것이다.

본 발명이 이루고자 하는 다른 기술적 과제는 알파영상의 부호화장치에 있어서, 알파영상이 영상신호와 상관성이 높을 경우에는 알파영상을 부호화하지 않고 영상신호로부터 합성하여 부호화함으로써 처리비트량을 대폭 감소시키는 알파영상의 부호화장치를 제공하는 것이다.

도 1은 종래 알파영상의 부호화 장치의 블록도이다.

도 2는 본 발명에 의한 알파영상의 부호화 장치의 블록도이다.

도 3은 도 2의 합성부호화부의 상세도이다.

도 4는 도 2의 합성 부호화부에 입력되는 합성 계수를 산출하는 합성 계수 산출부의 블록도이다.

도 5a 및 도 5b는 영상 A와 B의 알파영상을 나타내는 도면이다.

도 5c 및 도 5d는 영상 A와 B의 밝기영상을 나타내는 도면이다.

도 5e는 영상 A의 100번 줄의 알파영상 및 밝기영상의 값변화를 나타내는 도면이다.

도 5f는 영상 B의 400번줄의 알파영상 및 밝기영상의 값변화를 나타내는 도면이다.

도면의 주요부분에 대한 부호의 설명

20...페더링부호화부,22...DCT부호화부,

24...합성부호화부,26...부호화기선택제어부,

28...스위칭부,30...거리산출부,

31-34...곱셈기들,35...가산기,

38...클립부,40...계수계산부,

45...감산기

상기 과제를 이루기 위하여, 본 발명에 의한 알파영상의 부호화방법은 알파영상 및 영역정보를 받아 페더링부호화하는 단계; 알파영상을 받아 이산코사인변환(DCT)부호화하는 단계; 알파영상, 영역정보, 영상신호를 받아 합성계수에 따라서 합성부호화하는 단계; 상기 페더링부호화하는 단계, 상기 이산코사인변환부호화하는 단계, 상기 합성부호화하는 단계로부터의 출력을 받아서, 제어신호에 따라서 하나의 출력을 선택하여 부호화비트열로 전송하는 단계; 및 상기 페더링부호화하는 단계, 상기 DCT부호화하는 단계, 상기 합성부호화하는 단계로부터의 출력을 받아서, 발생비트량 및 재생화질에 대한 요구치에 의해 어느 출력을 선택할 것인지를 결정하여 그 결정 결과를 상기 제어신호로 출력하는 단계를 포함하는 것을 특징으로 하는 알파영상의 부호화방법을 제공한다.

바람직하기로는 상기 알파영상 부호화방법은 상기 알파영상과 상기 합성부호화출력의 오차를 구하는 단계; 및 상기 오차의 에너지함수로부터 최소값을 구하여 합성계수를 구하는 단계를 더 포함하는 것을 특징으로 한다.

또한, 상기 과제를 이루기 위하여, 본 발명에 의한 알파영상의 부호화장치는 알파영상 및 영역정보를 받아 페더링부호화하는 페더링부호화부; 알파영상을 받아 이산코사인변환(DCT)부호화하는 DCT부호화부; 알파영상, 영역정보, 영상신호를 받아 합성계수에 따라서 합성부호화하는 합성부호화부; 상기 페더링부호화부, 상기 DCT부호화부, 상기 합성부호화부 출력을 받아서, 제어신호에 따라서 하나의 출력을 선택하여 부호화비트열로 전송하는 스위칭부; 및 상기 페더링부호화부, 상기 DCT부호화부, 상기 합성부호화부로부터의 출력을 받아서, 발생비트량 및 재생화질에 대한 요구치에 의해 어느 출력을 선택할 것인지를 결정하여 그 결정 결과를 상기 제어신호로 상기 스위칭부에 출력하는 부호화기선택제어부를 포함하는 것을 특징으로 하는 알파영상의 부호화장치를 제공한다.

바람직하기로는 본 발명의 알파영상 부호화장치는 상기 알파영상과 상기 합성부호화출력의 오차를 구하는 수단; 및 상기 오차의 에너지함수로부터 최소값을 구하여 합성계수를 구하는 계수계산로직부를 더 포함하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예의 구성 및 동작을 설명하기로 한다.

도 2에 도시한 바와 같이, 본 발명에 의한 알파영상의 부호화 장치는 알파영상 및 영역정보를 받아 페더링부호화하는 페더링부호화부(20); 알파영상을 받아 이산코사인변환(DCT)부호화하는 DCT부호화부(22); 알파영상, 영역정보, 영상신호를 받아 합성계수에 따라서 합성부호화하는 합성부호화부(24); 상기 페더링부호화부(20), 상기 DCT부호화부(22), 상기 합성부호화부(24)의 출력을 받아서, 제어신호에 따라서 하나의 출력을 선택하여 부호화비트열로 전송하는 스위칭부(28); 및 상기 페더링부호화부(20), 상기 DCT부호화부(22), 상기 합성부호화부(24)로부터의 출력을 받아서, 발생비트량 및 재생화질에 대한 요구치에 의해 어느 출력을 선택할 것인지를 결정하여 그 결정 결과를 상기 제어신호로 상기 스위칭부(28)에 출력하는 부호화기선택제어부(26)를 포함한다. 본 발명은 알파영상이 영상신호와 높은 상관성 보이는 경우 알파영상을 따로 부호화하지 않고 영상신호로부터 합성해 내어 부호화에 따른 비트량 부담을 줄여주기 위하여, 도 1에 도시된 기존의 부호화장치에 합성부호화부(24)를 더 포함하는 것이다. 즉, 본 발명에 의한 알파영상 부호화기는 페더링부호화부(20) 및 DCT부호화부(22)는 도 1에 도시된 종래 기술에서와 같고, 합성부호화부(24)를 더 포함하고 그에 따라서 부호화기선택제어부의 제어로직만 다르게 된다.

본 발명에 의해 적용되는 알파영상 합성부호화방법은 알파영상을 영상신호 및 영역정보로부터 합성해내는 것으로, 영상신호는 칼라영상신호로서 일반적으로 영상기기에서 사용되는 칼라영상신호는 YVU또는 RGB칼라 영상 등을 입력영상으로서 사용한다. 또한 부호화할 물체의 영역을 나타내는 영역정보가 입력신호로서 제공된다. 즉, 칼라영상과 영역정보를 각각의 합성계수와 곱한 후, 그 곱셈결과를 오프셋치와 같이 더하여 그 더한 결과를 주어진 계조조건하에서 클리핑함으로써 원하는 알파영상의 합성부호화값을 얻는다. 그 동작 과정을 도 3에 도시된 도 2의 합성부호화부(24)의 상세 블록도를 참조하여 설명하기로 한다.

도 3에 도시한 바와 같이, 합성부호화부(24)는 칼라영상 3가지 신호(Y,U,V)와 영역정보 1가지 신호(d)를 각각 합성계수와 곱해 주는 곱셈기들(31-34), 상기 곱셈기들(31-34)들의 출력과 오프셋치를 받아 가산하는 가산부(35), 및 가산부(35)로부터의 출력을 소정의 계조 조건, 통상 [0,255]의 범위내에서 클리핑하여 원하는 알파영상부호화출력을 얻는 클립부(38)를 포함한다. 여기서 상기 영역정보인 거리정보(d)는 각 영역부분마스크내에서 각 영역경계로부터 각 화소위치까지의 최단거리정보를 구하는 거리산출부(30)에 의해 구해진다. 결국, 각 입력되는 칼라성분에 각각의 가중치가 곱해지고, 더해져서 [0,255]사이의 값으로 제한된후 최종 출력되는 것이다.

도 5는 알파영상 합성에 사용되는 합성계수를 계산해내는 장치에 관한 것이다. 입력되는 알파영상의 원래신호와 합성부호화부(24)에서 합성된 알파영상을 감산기(45)에서 비교하여, 계수계산로직부(40)에서 그 오차신호의 에너지가 최소화되도록 하는 계수 계산 로직에 의해 최적 합성계수들를 구해낸다. 이 때, 계산된 합성계수들은 수신부로 전송되어 부호화된 영상신호를 디코딩할 때 사용된다.

본 발명에서 해결하고자 하는 문제가 부호화에 소요되는 비트량을 줄이고자 하는 것인데, 도 3의 구성을 갖는 합성부호화부(24)의 실제 동작 예를 다음의 수학식 2에 나타내었다.

[수학식 2]

상기 수학식 2에 의해 입력되는 칼라신호 3가지 성분(C₁,C₂,C₃)의 화소위치(x,y)함수와 영역정보신호 1가지 신호(d)의 화소위치(x,y)를 합성계수와 곱하여 각각의 곱셈치를 오프셋치와 더하여 합성결과를 얻고, 그를 클리핑하여 원하는 최종 합성결과를 합성해낸다. 수학식 2에 보인 바와 같이 5개의 합성 파라미터를 필요로 한다. 여기서 합성계수들은 각각 칼라영상신호 3가지 성분과 영역정보에서 계산해낸 값으로서 영역경계선에서의 최단거리 d에 대한 가중치를 나타낸다. 그리고, β는 오프셋값이다. 이렇게 합성해낸 1차 합성결과를 최대/최소값을 제한하는 클립부(38)를 거쳐 최종 합성결과를 얻는다. 합성부호화부(24)에서 출력되는 부호화결과는 이러한 최적의 알파영상의 부호화결과를 합성해내는 최적의 합성계수들이다. 수신측에서는 이 최적의 합성계수들을 사용하여, 수신된 영상신호와 영역정보에 의해 알파영상을 디코딩하면 된다. 도 5를 참조하여 이미 기술한 바와 같이, 이러한 합성계수들의 최적값을 구하는 방법은 알파영상의 원래 값과, 영상신호 및 영역정보로부터 합성된 알파영상 값을 비교하여 그 오차신호의 에너지를 최소화 시키는 계수집합을 구하도록 한다. 이렇게 구한 합성계수를 수신측에 보내는 부호화비트열로 전송한다.

도 5a 내지 도 5f는 실제 영상에서의 알파영상 및 영상신호의 상관성을 보이기 위한 예들이다. 도 5a, 5c, 5e는 영상 A에 대한 알파영상, 밝기영상, 알파 및 밝기영상의 단면을 각각 보여주고 있다. 그리고, 도 5b, 5d, 5f는 영상 B에 대한 알파영상, 밝기영상, 알파 및 밝기영상의 단면을 각각 보여주고 있다. 도 5e에서 보는 바와 같이 영상 A는 영역경계부근에서의 알파값 변화가 많은 경우로서 이러한 영상은 페더링에서는 효과적으로 처리할수 없고, 본 발명에 의한 부호화가 가장 적은 비트량으로서 좋은 재생화질을 얻을 수 있는 경우이다. 그리고 영상 B의 경우에는 도 5f에 보인바와 같이 영역내부에서는 알파값이 거의 균일한 값을 갖는 경우로서 페더링에 의해서도 효율적으로 부호화 할 수있는 경우이다. 본 발명에서도 영역정보를 사용하고 있으므로 본 발명에 의한 부호화결과 또한 적은 비트량으로 좋은 재생화질을 갖는 영상을 만들어낼 수있는 경우이다.

이상, 본 발명은 알파영상의 부호화방법 및 장치에 대해서만 기술하였으나, 최적의 합성계수를 받는 수신부의 복호화방법 및 장치에 대해서도 응용할 수 있는 기술임은 당업자에게 명확하므로 그 상세한 설명은 생략한다. 또한, 본 발명에서는 기술되지는 않았지만 청구범위내에서 많은 변형예가 가능함을 당업자는 이해할 것이다.

상술한 바와 같이, 본 발명에 의한 알파영상의 부호화방법 및 장치는 적은 개수의 파라미터를 사용하여 알파영상을 합성해 냄으로써 알파영상 부호화에 소요되는 비트량을 현저하게 줄일 수있다. 그리고 페더링부호화와 DCT부호화만을 적용하여, 영역 경계로부터의 거리에 의해 달라지는 경우만을 처리할 수 있었던 종래의 기술과 비교할 때, 본 발명에서는 알파영상과 영상신호와의 상관성을 고려하여 영상신호로부터 알파영상을 합성해 냄으로써 그 상관성이 높은 알파영상 부호화에 효과적인 방법이다. 본 발명에 의해 간단한 몇 개의 파라미터에 의해 부호화 함으로써 높은 압축률을 얻을 수 있다.

Claims

계조를 갖는 알파영상의 부호화방법에 있어서,

알파영상 및 영역정보를 받아 페더링부호화하는 단계;

알파영상을 받아 이산코사인변환(DCT)부호화하는 단계;

알파영상, 영역정보, 영상신호를 받아 합성계수에 따라서 합성부호화하는 단계;

상기 페더링부호화하는 단계, 상기 이산코사인변환부호화하는 단계, 상기 합성부호화하는 단계로부터의 출력을 받아서, 제어신호에 따라서 하나의 출력을 선택하여 부호화비트열로 전송하는 단계; 및

상기 페더링부호화하는 단계, 상기 DCT부호화하는 단계, 상기 합성부호화하는 단계로부터의 출력을 받아서, 발생비트량 및 재생화질에 대한 요구치에 의해 어느 출력을 선택할 것인지를 결정하여 그 결정 결과를 상기 제어신호로 출력하는 단계를 포함하는 것을 특징으로 하는 알파영상의 부호화방법.
제1항에 있어서, 상기 알파영상과 상기 합성부호화출력의 오차를 구하는 단계; 및 상기 오차의 에너지함수로부터 최소값을 구하여 합성계수를 구하는 단계를 더 포함하는 것을 특징으로 하는 알파영상의 부호화방법.
제1항 및 제2항에 있어서, 상기 합성부호화 단계는 각 칼라영상과 영역정보를 합성계수와 곱하는 단계, 상기 곱셈결과들과 오프셋치를 덧셈하는 단계; 및 상기 덧셈결과를 소정의 범위내에서 제한하여 출력하는 단계를 포함하는 것을 특징으로 하는 알파영상의 부호화방법.
제1항 내지 제3항 중의 어느 한 항에 있어서, 상기 영역정보는 영역구분마스크내에서의 영역경계로부터 각 화소위까지의 최단거리정보임을 특징으로 하는 알파영상의 부호화방법.
계조를 갖는 알파영상의 부호화장치에 있어서,

알파영상 및 영역정보를 받아 페더링부호화하는 페더링부호화부;

알파영상을 받아 이산코사인변환(DCT)부호화하는 DCT부호화부;

알파영상, 영역정보, 영상신호를 받아 합성계수에 따라서 합성부호화하는 합성부호화부;

상기 페더링부호화부, 상기 DCT부호화부, 상기 합성부호화부 출력을 받아서, 제어신호에 따라서 하나의 출력을 선택하여 부호화비트열로 전송하는 스위칭부; 및

상기 페더링부호화부, 상기 DCT부호화부, 상기 합성부호화부로부터의 출력을 받아서, 발생비트량 및 재생화질에 대한 요구치에 의해 어느 출력을 선택할 것인지를 결정하여 그 결정 결과를 상기 제어신호로 상기 스위칭부에 출력하는 부호화기선택제어부를 포함하는 것을 특징으로 하는 알파영상의 부호화장치.
제5항에 있어서, 상기 알파영상과 상기 합성부호화출력의 오차를 구하는 단계; 및 상기 오차의 에너지함수로부터 최소값을 구하여 합성계수를 구하는 계수계산로직부를 더 포함하는 것을 특징으로 하는 알파영상의 부호화장치.
제5항 및 제6항에 있어서, 상기 합성부호화부는 영상신호의 각 칼라성분에 대한 합성계수를 곱하는 곱셈기들; 상기 영역정보로부터 계산해내는 영역경계로부터 구해진 거리 정보와 이에 대한 합성계수를 곱하기 위한 곱셈기; 오프셋값을 포함하여 상기 곱셈기들의 출력신호를 합하는 덧셈기; 및 상기 덧셈기 출력값을 일정한 값 범위로 제한하는 클립장치를 갖는 알파영상 부호화장치.
제5항 내지 제7항 중의 어느 한 항에 있어서, 상기 영역정보는 영역구분마스크내에서의 영역경계로부터 각 화소위까지의 최단거리정보임을 특징으로 하는 알파영상의 부호화방법.