KR100853201B1 - 입체 영상의 화질 향상을 위한 영상 부호화에서의 적응양자화 방법 및 그 장치 - Google Patents

Abstract

본 발명은 입체 영상의 화질 향상을 위한 영상 부호화에서의 적응 양자화 방법 및 그 장치를 개시한다. 스테레오 동영상 및 다시점 동영상을 부호화시 시각적 특성상 인지되는 입체적 영상의 화질을 향상시키기 위하여, 부호화될 화면의 각 매크로 블록을 포함된 데이터의 통계적 특성 또는 주파수 변화된 계수의 분포를 기초로 클래스화하고 그 결과에 따라 각 매크로 블록의 시각적 중요도를 부여하여 각 매크로 블록의 양자화 파라미터를 결정한다. 국부적 영상에 대해 시각적 특성에 따른 양자화 파라미터를 조절하는 적응 양자화 방법 및 장치는 3차원 입체 영상을 위한 깊이 지각 인지 등에 효율적으로 사용될 수 있다.

Description

입체 영상의 화질 향상을 위한 영상 부호화에서의 적응 양자화 방법 및 그 장치{Method and apparatus of adaptive quantization in video coding to improve 3D image quality}

도 1은 본 발명의 일실시예로 시각적 중요도에 따라 양자화 파라미터를 결정하는 적응 양자화 방법에 대한 플로우 차트

도 2는 본 발명의 일실시예로 움직임을 보상하고 시각적 중요도에 따라 양자화 파라미터를 결정하는 적응 양자화 방법에 대한 플로우 차트

도 3은 본 발명의 일실시예로 부호화될 화면 내 매크로블록(macroblock)의 클래스 결정 과정에 대한 도면

도 4는 본 발명의 일실시예로 시각적 중요도에 따라 양자화 파라미터를 결정하는 적응 양자화 장치에 대한 도면

본 발명은 입체 영상의 화질 향상을 위한 영상 부호화에서의 적응 양자화 방법 및 그 장치에 관한 것으로 보다 상세하게는, 국부영상의 시각적 중요도를 고려하여 양자화 파라미터를 조절함으로써 스테레오 및 다시점 동영상의 부호화시에 향 상된 화질을 제공하는 적응 양자화 방법 및 그 장치에 관한 것이다.

영상신호의 일정한 비트율 전송을 목적으로 부호화 과정을 거칠 때 버퍼 제어부는 버퍼의 출력율이 일정하도록 양자화 파라미터(quantization step size)를 조절해서 발생되는 가변적인 비트량을 제어한다. 그러나 단지 발생되는 비트량 만을 제어하기 위해서 양자화 파라미터를 조절하면 복원영상의 주관적 화질이 매우 떨어진다. 특히 3차원 입체 영상을 통한 깊이 지각을 제공하고자 할 경우 양안시차를 표현하는 깊이 불연속 부분의 디테일(detail)이 잘 살아 있어야 한다. 많은 경우에 있어 깊이 불연속 부분은 물체의 경계부분으로 본 발명에서는 경계에 대한 시각적 중요도를 나타내고 이를 적응 양자화 방법에 적용하였다.

특히 이러한 경계부분은 입체영상 인지에 커다란 영향을 미친다. 물체의 경계 부분이나 두 개 이상의 물체가 하나의 블록에 존재할 경우 매크로 블록(macroblock) 내에 disparity가 급격하게 변하는 부분이 생기게 된다. 이렇게 disparity가 급격히 변하는 부분은 물체와 배경, 또는 물체와 물체가 존재하는 영역을 영상으로 투영시켰을 때 두 영역이 겹쳐져서 에지(edge)로 나타나게 된다. 따라서, 에지를 가진 매크로 블록은 손실을 적게 하여 부호화할 필요가 있다.

이는 그렇지 않을 경우 에지 주위에 이글거리는 현상이 관찰되어 화질이 떨어지게 느끼게 됨은 물론이고, 더욱이 3D 입체 영상의 경우 부호화 왜곡은 양쪽 눈에 각각 맺히는 상에 대응정보(correspondence)를 줄 수 없기 때문에 양안시차가 부정확해지기 때문이다. 특히 인간의 시각 체계(human visual system)는 샤프한 에지 주변의 양안시차를 통해 주로 3차원 깊이감을 인지하게 되므로 경계영역에서의 왜곡은 입체영상 화질 저하됨은 물론 입체감을 전혀 주지 못할 수도 있다.

만약 이런 현상이 비디오 재생시 프레임마다 불연속적으로 나타나면 눈이 혼란스럽게 되어 굉장히 피로감을 느끼게 된다. 따라서 3D 입체영상을 관찰할 때에는 3차원 깊이 인지를 위하여 물체의 경계영역에 해당하는 에지 영역의 보호가 3차원 깊이 인지에 직접적인 영향을 주므로 이를 효과적으로 나타내는 것이 중요하며, 부호화시에도 3차원 효과의 보존이 가장 중요하게 고려되어야 한다.

기존의 적응 양자화 방법은 영상의 시각 특성을 얻는데 있어서 국부영상의 분산이나 DCT(discrete cosine transform)계수들의 분포특성을 이용하였다. 그러나 국부영상의 분산이나 DCT계수들의 분포는 다양한 모양으로 나타날 수 있는 강한 경계부분의 시각적 중요도를 제대로 반영해주지 못하고 있다. 국부영상의 분산을 이용하는 경우, 분산이 작을수록 시각적으로 중요하다고 판단한다.

이는 인간 시각 특성의 spatial masking 현상을 이용한 것으로써, 상대적으로 복잡한 영역에서의 잡음이 균일한 영역에서의 잡음보다 덜 민감하게 반응함을 이용한 것이다. 그러나 또 다른 시각특성으로는 평탄한 영역 위의 강한 경계에 대해 민감히 반응하는 현상이 있다. 영상신호에서 분산(variance)값은 인접 pixel과의 연관성에는 무관한 값으로 평균적인 밝기에 대한 편차를 의미한다. 따라서 평탄한 영역 위에 강한 경계가 있을 경우 분산은 큰 값을 나타내고 큰 값으로 인해 시각적으로 중요하지않는 부분으로 분류된다. 그 결과 영상을 압축했을 때 경계부근에서 생기는 ringing이나 동영상 처리시 복원 영상의 에지 부근이 이글거림이 발생하는 문제점이 존재하게 된다.

한편, DCT 계수를 이용할 경우 DCT 계수들을 영역별로 구분하고 그 비율에 따라 경계의 정도를 얻는 방법이 시도되었다. 그러나 DCT는 수평 또는 수직 방향의 경계에 있어서는 상당히 축약된 영역으로 계수 값들이 모이게 되나, 대각선 경계나 곡선과 같은 경계의 경우 DCT계수들의 분포가 영역으로 퍼지는 효과가 있다. 따라서 DCT 계수들의 분포만으로는 일반적인 형태의 대각선 혹은 곡선과 같은 형태의 경계를 검출하는 데에 한계가 있다.

또한 경계는 경계 자체뿐만 아니라 경계 주변영역의 상태에 의해 그 시각적 중요도가 달라지는 바, 경계의 주변영역이 평탄하고 배경에 대해서 급격한 intensity의 변화가 있을 경우 그 경계에서의 artifact는 다른 곳에서 발생되는 것에 비해 시각적 거슬림을 더욱 증가시키는 문제점이 발생한다. 여기서 다만, 이와 반대로 주변이 복잡한 경계에서의 결함은 그 결함이 복잡한 주변 특성으로 인해 눈에 잘 인지되지 않는데 이는 경계의 중요도는 강한 경계의 주변 영역이 얼마만큼 평탄한가를 기준으로 정의될 수 있기 때문이다. 즉, 경계를 제외시킨 부분의 평탄성이 클수록 시각적으로 중요함을 인지할 수 있다.

본 발명은 상기 문제점을 해결하기 위한 기술적 과제로서, 스테레오 동영상 및 다시점 동영상을 부호화할 때 영상의 시각적 중요도를 고려하여 양자화 파라미터를 조절하는 적응 양자화 기법을 제안하고자 한다.

본 발명의 또 다른 기술적 과제로서, 부호화될 화면의 매크로 블록을 경계 주변영역의 특성을 고려하여 여러 클래스로 나누어 각각 다른 시각적 중요도를 부 여하는 방법을 제안하고자 한다.

상기 기술적 과제를 달성하기 위한 본 발명의 일실시예로 입체 영상의 화질 향상을 위한 영상 부호화에서의 적응 양자화 방법은 부호화될 화면의 각 매크로 블록을 포함된 데이터의 통계적 특성 또는 주파수 변화된 계수의 분포를 기초로 클래스화하는 단계, 상기 클래스화 결과에 따라 각 매크로 블록의 시각적 중요도를 부여하는 단계 및 상기 부여된 시각적 중요도를 양자화 가중치에 반영하여 각 매크로 블록의 양자화 파라미터를 결정하는 단계를 포함한다.

상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 일실시예로 입체 영상의 화질 향상을 위한 영상 부호화에서의 적응 양자화 장치는 부호화될 화면의 각 매크로 블록을 포함된 데이터의 통계적 특성 또는 주파수 변화된 계수의 분포를 기초로 클래스화하는 클래스화 부, 상기 클래스화 결과에 따라 각 매크로 블록의 시각적 중요도를 부여하는 시각적 중요도 부여 부 및 상기 부여된 시각적 중요도를 양자화 가중치에 반영하여 각 매크로 블록의 양자화 파라미터를 결정하는 양자화 파라미터 결정 부를 포함한다.

이하, 첨부된 도면을 참고하여 본 발명의 실시예에 대하여 자세히 설명하고자 한다.

도 1은 본 발명의 일실시예로 시각적 중요도에 따라 양자화 파라미터를 결정하는 적응 양자화 방법에 대한 플로우 차트이다.

이는 스테레오 동영상 및 다시점 동영상을 부호화할 때 영상의 시각적 중요 도를 고려하여 양자화 파라미터를 조절하는 적응 양자화 기법에 관한 것이다. 특히 3차원 입체 영상을 통한 깊이 지각을 제공시 양안시차를 표현하는 깊이 불연속 부분의 상세함을 표현하는 것이 중요한데, 많은 경우에 있어 깊이 불연속 부분은 에지로 나타내지는 바, 국부적 영상을 특성에 따라 시각적 중요도를 달리하고 이에 따라 양자화 파라미터를 조절함으로써 양안시차가 급격히 변해 3D depth 인지에 크게 영향을 주는 경계영역을 보호하도록 하고자 하는 것이다.

도 1을 참조하면, 적응 양자화 방법은 부호화될 화면의 각 매크로 블록을 포함된 데이터의 통계적 특성 또는 주파수 변화된 계수의 분포를 기초로 클래스화한 후(101), 상기 클래스화 결과에 따라 각 매크로 블록의 시각적 중요도를 부여하고(102) 부여된 시각적 중요도를 양자화 가중치에 반영하여 각 매크로 블록의 양자화 파라미터를 결정(103)하는 과정으로 수행된다.

바람직하게는, 부호화될 화면의 각 매크로 블록을 클래스화시에(101), 각 매크로 블록을 데이터 분포에 따라 평탄영역과 비평탄영역으로 구분하며, 비평탄영역으로 구분된 각 매크로 블록을 에지(edge)의 상태에 따라 경계영역과 경계영역을 제외한 나머지 영역인 텍스쳐영역으로 구분한다.

보다 바람직하게는, 상기 경계영역으로 구분된 각 매크로 블록을 다시 각 경계영역의 주변영역 상태에 따라 강한 경계영역과 약한 경계영역으로 구분한다.

앞에서 언급된 각 매크로 블록을 평탄영역과 비평탄영역으로 구분시, 각 매크로 블록의 픽셀 밝기 값에 대한 분산 값에 따라 구분하거나 또는 주파수 계수인 DCT(Discrete Cosine Transform) 계수의 분포 값을 기초로 하여 구분한다.

또한 각 매크로 블록을 경계영역과 텍스쳐영역으로 구분시, 에지 검출기(edge detector)를 이용하여 구해진 에지의 크기 값이 경계영역의 임계치를 초과하는지 여부를 기초로 구분하며, 각 매크로 블록을 강한 경계영역과 약한 경계영역으로 구분시에는 그레이디언트(gradient)를 계산하여 측정된 주변 픽셀들의 평균 평탄도를 기초로 구분한다.

입체영상 화질 향상을 위하여 율제어시 각 매크로 블록마다 통계적 특성이나 주파수변환된 계수의 분포에 따라 클래스를 나누고 클래스에 적합한 시각적 중요도를 부여한 후에는, 강한 경계영역에서의 영상화질을 높이기 위하여 해당 클래스의 시각적 중요도를 다른 클래스보다 높게 하여 좀더 촘촘히 양자화되도록 한다.

양자화 가중치는 각 매크로블록의 초기 양자화 간격 계산을 위한 기준값 계산으로 기결정된 값으로 하여, 이는 운동특성에 따른 interframe 예측시 움직임 보상 오차의 SAD(sum of absolute difference)에 비례한 움직임 가중치 값이 결합된 값으로 한다.

도 2는 본 발명의 일실시예로 움직임을 보상하고 시각적 중요도에 따라 양자화 파라미터를 결정하는 적응 양자화 방법에 대한 플로우 차트이다.

먼저 전반적인 적응 양자화 방법을 살펴보면, 부호화할 다음 화면에 대한 데이터량을 할당받은 후에 가상버퍼를 사용하여 각 매크로블록에 대한 양자화 간격(step size) 계산을 위한 기준값을 추출한다. 다음으로 이 기준값에 매크로블록 상의 시각적 중요도를 결정하여 시각적 중요도와 버퍼상태를 함께 고려하여 양자화 파라미터 결정한다. 여기서 각 매크로블록은 시각적 특성에 따라 평탄영역, 강한 경계영역, 약한 경계영역, 텍스쳐영역의 4개의 클래스로 구분되고, 이러한 구분을위해 사용되는 measure는 다양한 방법이 존재하는데, 상기에서는 평탄영역과 비평탄영역의 구분은 DCT 계수의 분포, 경계영역과 텍스쳐영역의 구분은 edge detector, 강한 경계영역과 약한 경계영역은 gradient를 사용하여 경계를 제외한 주변 픽셀들의 평균 평탄도를 측정하여 구분하는 것으로 한다.

도 2를 참조하여, 좀 더 자세히 살펴보면, 먼저 부호화를 위한 화면을 각 매크로 블록으로 구분하여 클래스화(201)한 후에 각 클래스 간에 시각적 특성에 따른 우선순위를 부여하고(202) 각 매크로 블록에 대한 시각적 중요도를 계산하여(202) 양자화 가중치를 결정하게 된다. 움직임 특성이 고려될 때는 움직임 보상 에러에 따른 가중치를 부여하여(205) 최종적인 양자화 파라미터를 결정하게 된다(204).

이는 양자화 정도를 조절하기 위해 각 클래스의 우선순위를 정하는 것이며, 경계영역 클래스를 가장 우선순위에 둘 수도 있고, 앞서 기술한 것처럼 평탄영역과 강한 경계영역 클래스를 가장 높은 클래스로 둘 수 있다. 다음 클래스마다 정해진 일례로 영상 의존적인 임계치는 조절이 가능하다. 여기서 interframe 부호화된 매크로블록은 움직임 보상 오차를 가중치로 두어, 오차가 크고 주변 블록이 텍스쳐가 아니면 가중치를 낮게 줌으로 촘촘히 양자화되도록 한다.

이러한 입체영상 화질 향상을 위한 스테레오 및 다시점 동영상 부호화에서의 적응 양자화 방법은 H.264 를 포함하는 종래 모든 부호화 및 복호화 방식 뿐만 아니라, 향후 개발될 모든 부호화 및 복호화 방식에 적용할 수 있다. 또한 TM5 기 반이 아닌 다른 율제어 알고리즘에도 상세 구현은 달라지지만 국부영상의 시각적중요도에 따라 양자화 파라미터를 조절하는 방식으로 적용할 수 있다.

본 발명의 바람직한 실시를 위하여 이하에서는, 시각적 특성에 따른 각 매크로 블록의 클래스화 과정을 자세히 살펴보고자 한다.

먼저 각 블록 데이터는 에지 감지(edge detection, 일례로 Sobel operator나 Canny detector)을 사용하여 구한 에지(edge)의 magnitude 값(보통 x, y 방향의 gradient의 절대치의 합을 사용한다)이 임계치를 넘으면 해당 픽셀을 경계로 판단한다. 이렇게 그레이디언트(gradient)를 이용해 경계에 연관된 픽셀들이 정해지면 경계영역을 제외한 나머지 부분의 평탄성을 구하게 된다.

평탄성을 나타내는 측정자로는 여러가지가 있을 수 있으나 여기서는 gradient의 절대치의 평균을 사용한다. 이는 gradient는 복잡한 영역에서는 심한 변동을 가지고 평탄한 영역에서는 작은 변동을 가지므로 그 영역의 평탄성을 나타내는 성질이 있다. 따라서 경계를 제외한 영역에서의 평균적인 gradient의 절대치는 경계를 제외한 주변영역이 평탄할수록 보다 작은 값을 가진다. 평탄한 배경위에 놓여진 강한 경계에서의 부호화 결함이 시각적으로 두드러진다고 생각할 때 이 값이 작을수록 그 블록의 시각적 중요도를 보다 높게 함으로써 부호화 과정에서 나타나는 경계부근의 시각적 결함을 보다 완화시킬 수 있다.

아래에서는 위의 적응 양자화 개념의 구현하기 위한 율제어(rate control) 알고리즘으로 MPEG-2 TM5 (ISO/IEC JTC/SC29/WG11 "Test Model 5," Draft, 1993)를 기반으로 구현하였는데, 이는 인간 시각 시스템에 근거하여 매크로 블록당 양자와 파라미터를 적응적으로 구하는 대표적인 방법이기 때문이다. 이 방법은 한 화면 내에서 사람의 시각특성을 이용하여 사람의 눈이 결함을 잘 인식하지 못할 부분에는 적은 데이터를 할당하고, 사람의 눈이 결함을 인식하기 쉬운 부분에는 많은 데이터량을 할당하여 전체적으로 좋은 화질을 느낄 수 있도록 한다. 같은 비트율에서도 많은 화질의 차이를 보일 수 있는 이유는 율 제어 방법이 다르기 때문이므로, 좋은 부호기로 평가되기 위해서는 좋은 비트율 제어 알고리즘을 가져야 한다.

MPEG-2 TM5에서 사용했던 율 제어방법은 먼저 부호화할 다음 화면에 대한 데이터량을 할당하고, 가상적인 버퍼를 사용하여 각 macroblock에 대한 양자화 step size 계산을 위한 기준값을 추출하고, 이 기준값에 macroblock 상의 spatial activity에 의한 계수를 곱하여 mquant를 구한다. 그러나 이런 TM5는 spatial activity를 매크로블록의 분산을 이용하여 구하므로 경계영역에서의 다른 시각특성을 반영치 못한다. 이에, 본 발명에서는 매크로 블록 단위로 국부특성을 추출하여 시각적 중요도를 결정하고 이를 양자화 파라미터 결정시에 고려하는 TM5의 방법론을 그대로 따르되, 국부특성을 인간의 시각특성에 맞게 제대로 추출하는 데에 초점을 맞춘다.

우선 기존 적응 양자화 방법인 MPEG-2 TM5의 방법을 설명한다. MPEG-2에서의 영상처리는 4개의 8x8 luminance block, 2개의 8x8 chrominance block으로 구성된 매크로 블록이다. 이러한 매크로 블록 단위로 양자화파라미터를 전송시, 양자화 파라미터를 결정하는 방법은 다음과 같다. 먼저 8x8 luminance 픽셀로 구성된 sub-block들로부터 j번째 매크로 블록의 spatial activity를 아래와 같이 계산한다.

여기서

는 8x8 block의 pixel값들이다. 이때,

을 정규화하면 아래 식과 같다.

여기서 avg_act는 이전 frame에서 각 매크로 블록들의

값들의 평균이며 초기값은 400이다. 최종적으로 양자화 step size를 결정짓는

는 다음식과 같이 주어진다.

여기서

는 MPEG-2에서 제안한 rate control방법으로 얻어진 reference quantization parameter이다. 이상에서 보듯이, MPEG-2에서는 매크로 블록의 variance를 이용하여 spatial activity를 구하고 이에 따라 적응적으로 양자화하게 된다.

우선 DCT계수의 분포를 기반으로 평탄영역과 비평탄영역으로 구분하고, 비평탄영역에 대해서 앞서 언급한 gradient를 사용하여 강한 경계영역, 약한 경계영역, 텍스쳐(texture) 영역으로 나눈다. TM5의 경우 분산으로 spatial activity를 측정하는데 반해 본 발명에서는 앞서 분류한 블록 클래스에 다르게 적용된 수정된 activity 값을 아래 식으로 구한다.

여기서

는 클래스마다 적절히 조절된 activity이고,

는 TM5의 방법으로 계산된 j번째 매크로블록의 variance이며,

는 visibility 임계치로 10을 사용하였다.

는 flat 영역에서 1, strong edge 영역에서는 0.5의 값을 사용하며

는 weak edge영역은 0.7, 텍스쳐 영역은 1을 사용하였다. 여기서 사용되는 파라미터는 영상에 따라 적응적으로 바꿔줄 수 있다.

는 flat 클래스와 strong edge 클래스의 양자화 정도 조절해 주는 값으로서 strong edge 클래스의 분산 값이 flat 클래스의 값보다 일반적으로 크므로 이를 스케일링 해주었다.

위의 식에서는 두 클래스를 동일한 우선도(priority)를 주고,

의 값으로 조절할 수 있게 하였는데, 우선도를 flat클래스보다 더 높게 줄 수도 있는데, 그럴 경우 strong edge 클래스의 경계가 flat 클래스뿐만 아니라 weak edge, texture 클 래스도 될 수 있고 그 경우 매크로블록 경계에서 양자화 파라미터의 급격한 차이에 의한 왜곡이 생길 수 있으므로 완만히 변하도록 파라미터 값이나 우선도를 조절할 수 있다.

는 weak edge 클래스와 texture 클래스의 우선도를 주기 위한 파라미터로 weak edge 클래스의 양자화 파라미터의 조절을 flat이나 strong edge 클래스보다 크되 완만한 기울기로 증가하게 하였고, texture 클래스는 보다 급한 기울기로 조절할 수 있게 하였다. 마지막으로 이렇게 클래스에 따라 조정된 activity값은 TM5 와 비슷하게 아래 수학식과 같이 정규화된다.

이 방법은 평탄한 영역과 강한 경계영역에서는 양자화에 의한 손실을 줄이고, 약한 경계영역과 텍스쳐 영역에서는 activity값에 비례하여 양자화 파라미터를 조절하여 양자화를 더 듬성듬성하게 하도록 한다. 기존 방법에 비해 평탄한 영역에 존재하는 경계영역을 살릴 수 있게 하였기 때문에 edge를 가진 매크로블록에서의 주관적 화질이 향상된다.

한편, 인간의 시각특성은 공간영역의 특성뿐 아니라 물체의 움직임에 따라서도 민감하게 반응한다. 여기서 고려한 움직임 특성은 움직이는 물체가 공간적으로 중요한 영역을 통과할 때 그 움직임 보상 오차가 클 경우, 주관적인 화질에 크게 저하되며 특히 블록화 현상이 두드러지게 나타난다는 사실이다. 여기서는 이를 보상하는 방법으로 앞에서 구한 공간 영역의 특성을 반영하는 적응양자화 가중치에 운동특성에 따른 움직임 보상오차 가중치를 곱하여 이를 적응 양자화 가중치로 사용한다.

이때, 움직임 보상오차 가중치는 각 매크로블록이 interframe 방식으로 처리되었을 경우에 한해서 그 움직임 보상 오차가 일정 임계치보다 크고, 해당 매크로블록의 주변 영역이 texture 영역이 아닐 경우에 적응 양자화 가중치 값을 감소시키도록 정하게 된다. 이렇게 함으로써 주변영역이 평탄한 영역에서 움직임이 많은 물체가 지나가는 경우에 생기는 블록화 현상을 감소시킬 수 있게 되어 복원영상의 주관적 화질이 향상된다. 다음의 식은 위에서 설명한 적응양자화 가중치를 구하는 방법과 최종적인 mquant값을 구하는 방법을 나타낸다.

여기서

는 I frame이 아니면서 움직임 보상 오차가 크고 주변영역이 texture가 아닌 매크로블록에 한하여 0.7로 주어지고 그외의 경우에는 1로 주어진다. 나머지 변수는 앞에서 설명한 바와 같다.

여기서

는 rate control알고리즘에 따른 reference양자화 파라미터를 나 타낸다.

는 매크로블록의 시각적 중요도를 고려해주는 최종적인 양자화 가중치를 나타내고

는 양자화 간격을 결정짓는 최종적인 양자화 파라미터가 된다. 이렇게 구해진

값과 MTF특성을 반영하는 frequency weight를 이용하여 DCT 변환 계수의 양자화를 수행하는 것이다.

도 3은 본 발명의 일실시예로 부호화될 화면의 매크로블록(macroblock) 클래스의 결정 과정에 대한 도면이다.

이는 각 매크로 블록마다 블록의 특성에 따라 평탄, 강한 경계, 약한 경계, 텍스쳐 클래스 중 하나로 구분하는 과정을 영역 구분적으로 표현한 것이다.

우선 매크로블록의 특성에 따라 평탄한 영역과 비평탄 영역으로 나눈다(301). 블록 픽셀의 밝기 값이 균일함으로 구분하려면 블록의 분산 값으로 나눌 수 있고, 다른 방법으로 DCT같은 변환후 주파수계수의 분포를 이용할 수 있다.

다음으로 비평탄영역의 구분은 두 단계로 이루어진다. 우선 에지 검출기를 사용하여 블록에서 에지로 판별된(302) 픽셀수를 기준으로 경계영역과 텍스쳐 영역으로 구분한다. 다음으로 경계영역은 에지픽셀이 아닌 나머지 픽셀들로부터 구분하게 되는데, 이 픽셀들로부터 평탄도를 계산하게 된다(303). 평탄도를 측정하는 방법은 여러 가지가 존재할 수 있는데, 하나의 방법으로 경계 주변 영역의 픽셀들에서 gradient를 계산하여 그 절대값의 합을 기준으로 삼아 강한 경계영역과 약한 경계영역으로 나누는 방법이 존재하며 다른 방법으로는 복잡도를 고려하여 분산을 이 용하는 방법이 존재한다.

이렇게 평탄도를 기준으로 경계영역을 구분하면 단순히 에지의 강도나 길이로 경계영역을 나누는 것보다도, 에지를 제외한 영역에서 평탄하고 에지가 많은 영역까지 구분해 낼 수 있게 되며 이렇게 구분된 클래스를 좀 더 촘촘히 양자화할 수 있게 된다. 특히 3차원 깊이 불연속부분을 에지로 표현할 수 있으므로 깊이 불연속부분에서의 왜곡을 줄여 3D 입체영상 인지도를 향상시키기 위한 3D 입체 동영상의 부호화를 가능하게 한다.

도 4는 본 발명의 일실시예로 시각적 중요도에 따라 양자화 파라미터를 결정하는 적응 양자화 장치에 대한 도면이다.

도 4를 참조하면, 양자화 파라미터를 결정하는 적응 양자화 장치(400)는 부호화될 화면의 각 매크로 블록을 포함된 데이터의 통계적 특성 또는 주파수 변화된 계수의 분포를 기초로 클래스화하는 클래스화 부(410), 클래스화 결과에 따라 각 매크로 블록의 시각적 중요도를 부여하는 시각적 중요도 부여 부(420) 및 부여된 시각적 중요도를 양자화 가중치에 반영하여 각 매크로 블록의 양자화 파라미터를 결정하는 양자화 파라미터 결정 부(430)로 구성된다.

클래스화 부(410)는 각 매크로 블록을 데이터 분포에 따라 평탄영역과 비평탄영역으로 구분하는 평탄영역 구분 부(411) 및 비평탄영역으로 구분된 각 매크로 블록을 에지(edge)의 상태에 따라 경계영역과 경계영역을 제외한 나머지 영역인 텍스쳐영역으로 구분하는 경계영역 구분 부(412)를 포함하게 된다. 여기서 상기 경계영역 구분 부(412)는 경계영역으로 구분된 각 매크로 블록을 각 경계영역의 주변영 역 상태에 따라 강한 경계영역과 약한 경계영역으로 다시 구분하게 된다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

본 발명인 입체 영상의 화질 향상을 위한 영상 부호화에서의 적응 양자화 방법 및 그 장치에 의할 때, 국부영상의 시각적 중요도에 따라 양자화 파라미터를 조절하므로 3D 입체 영상의 주관적 화질을 향상시킬 수 있으며, 특히 기존의 전송망 중 제한된 전송대역에 의해 스테레오 동영상 데이터의 전송이 어려운 망(예, DMB/통신망)에서 화질 향상에 이바지한다.

Claims (19)

1. 부호화될 화면의 각 매크로 블록을 포함된 데이터의 통계적 특성 또는 주파수 변화된 계수의 분포를 기초로 클래스화하는 단계;

   상기 클래스화 결과에 따라 각 매크로 블록의 시각적 중요도를 부여하는 단계; 및

   상기 부여된 시각적 중요도를 양자화 가중치에 반영하여 각 매크로 블록의 양자화 파라미터를 결정하는 단계;를 포함하고,

   상기 부호화될 화면의 각 매크로 블록을 클래스화하는 단계는

   각 매크로 블록을 데이터 분포에 따라 평탄 영역과 비평탄영역으로 구분하고, 비평탄 영역으로 구분된 각 매크로 블록을 에지(edge)의 상태에 따라 경계영역과 경계영역을 제외한 나머지 영역인 텍스쳐영역으로 구분하는 단계; 및

   경계영역으로 구분된 각 매크로 블록을 각 경계영역의 주변영역 상태에 따라 강한 경계영역과 약한 경계영역으로 구분하는 단계;를 포함하는 것을 특징으로 하는 입체 영상의 화질 향상을 위한 영상 부호화에서의 적응 양자화 방법.
2. 삭제
3. 제 1항에 있어서,

   상기 각 매크로 블록을 평탄영역과 비평탄영역으로 구분시,

   각 매크로 블록의 픽셀 밝기 값에 대한 분산 값 또는 주파수 계수인 DCT(Discrete Cosine Transform) 계수의 분포 값을 기초로 구분하는 것을 특징으로 하는 입체 영상의 화질 향상을 위한 영상 부호화에서의 적응 양자화 방법.
4. 제 1항에 있어서,

   상기 각 매크로 블록을 경계영역과 텍스쳐영역으로 구분시,

   에지 검출기(edge detector)를 이용하여 구해진 에지의 크기 값이 경계영역의 임계치를 초과하는지 여부를 기초로 구분하는 것을 특징으로 하는 입체 영상의 화질 영상을 위한 영상 부호화에서의 적응 양자화 방법.
5. 삭제
6. 제 1항에 있어서,

   상기 각 매크로 블록을 강한 경계영역과 약한 경계영역으로 구분시,

   그레이디언트(gradient)를 계산하여 측정된 주변 픽셀들의 평균 평탄도를 기초로 구분하는 것을 특징으로 하는 입체 영상의 화질 향상을 위한 영상 부호화에서의 적응 양자화 방법.
7. 제 1항에 있어서,

   상기 클래스화 결과에 따라 시각적 중요도를 부여시,

   강한 경계영역으로 구분된 각 매크로 블록은 영상 화질 향상을 위해 다른 영역보다 높은 시각적 중요도를 부여하는 것을 특징으로 하는 입체 영상의 화질 향상을 위한 영상 부호화에서의 적응 양자화 방법.
8. 제 1항에 있어서,

   상기 양자화 가중치는 각 매크로블록의 초기 양자화 간격 계산을 위한 기준값 계산으로 기결정된 값인 것을 특징으로 하는 입체 영상의 화질 향상을 위한 영상 부호화에서의 적응 양자화 방법.
9. 제 1항에 있어서,

   상기 양자화 가중치는 운동특성에 따른 움직임 보상 오차가 존재시 움직임 보상 오차의 SAD(Sum of Absolute Difference)에 비례한 움직임 가중치 값이 결합된 값인 것을 특징으로 하는 입체 영상의 화질 향상을 위한 영상 부호화에서의 적응 양자화 방법.
10. 제 1항에 있어서,

    상기 부호화될 영상은 입체 영상인 스테레오 영상 또는 다시점 동영상인 것을 특징으로 하는 입체 영상의 화질 향상을 위한 영상 부호화에서의 적응 양자화 방법.
11. 제 1항 내지 제 10항 중 어느 한 항에 있어서,

    상기 영상 부호화에서의 적응 양자화 방법을 컴퓨터로 실행시킬 수 있는 프로그램으로 기록한 컴퓨터로 읽을 수 있는 기록매체.
12. 부호화될 화면의 각 매크로 블록을 포함된 데이터의 통계적 특성 또는 주파수 변화된 계수의 분포를 기초로 클래스화하는 클래스화 부;

    상기 클래스화 결과에 따라 각 매크로 블록의 시각적 중요도를 부여하는 시각적 중요도 부여 부; 및

    상기 부여된 시각적 중요도를 양자화 가중치에 반영하여 각 매크로 블록의 양자화 파라미터를 결정하는 양자화 파라미터 결정 부;를 포함하고,

    상기 클래스화 부는

    각 매크로 블록을 데이터 분포에 따라 평탄영역과 비평탄영역으로 구분하는 평탄영역 구분 부; 및

    비평탄영역으로 구분된 각 매크로 블록을 에지(edge)의 상태에 따라 경계영역과 경계영역을 제외한 나머지 영역인 텍스쳐영역으로 구분하고 경계영역으로 구분된 각 매크로 블록을 각 경계영역의 주변영역 상태에 따라 강한 경계영역과 약한 경계영역으로 구분하는 경계영역 구분 부;를 포함하는 것을 특징으로 하는 입체 영상의 화질 향상을 위한 영상 부호화에서의 적응 양자화 장치.
13. 삭제
14. 제 12항에 있어서,

    상기 평탄영역 구분 부는 각 매크로 블록의 픽셀 밝기 값에 대한 분산 값 또는 주파수 계수인 DCT(Discrete Cosine Transform) 계수의 분포 값을 기초로 평탄영역과 비평탄영역을 구분하는 것을 특징으로 하는 입체 영상의 화질 향상을 위한 영상 부호화에서의 적응 양자화 장치.
15. 제 12항에 있어서,

    상기 경계영역 구분 부는 에지 검출기(edge detector)를 통하여 구해진 에지의 크기 값이 경계영역의 임계치를 초과하는지 여부를 기초로 경계영역과 텍스쳐 영역을 구분하는 것을 특징으로 하는 입체 영상의 화질 영상을 위한 영상 부호화에서의 적응 양자화 장치.
16. 삭제
17. 제 12항에 있어서,

    상기 경계영역 구분 부는 그레이디언트(gradient)를 계산하여 측정된 주변 픽셀들의 평균 평탄도를 기초로 상기 각 매크로 블록을 강한 경계영역과 약한 경계영역으로 구분하는 것을 특징으로 하는 입체 영상의 화질 향상을 위한 영상 부호화에서의 적응 양자화 장치.
18. 제 12항에 있어서,

    상기 시각적 중요도 부여 부는 강한 경계영역으로 구분된 각 매크로 블록은 영상 화질 향상을 위해 다른 영역보다 높은 시각적 중요도를 부여하는 것을 특징으로 하는 입체 영상의 화질 향상을 위한 영상 부호화에서의 적응 양자화 장치.
19. 제 12항에 있어서,

    상기 클래스화 부에서의 부호화될 영상은 입체 영상인 스테레오 영상 또는 다시점 동영상인 것을 특징으로 하는 입체 영상의 화질 향상을 위한 영상 부호화에서의 적응 양자화 장치.

Images