KR100290618B1 - 영상압축부호화에서블럭단위의이동추정방법 - Google Patents

Abstract

본 발명은 영상압축 부호화에서 블럭단위의 이동추정 방법에 관한 것으로, 블럭단위로 이동을 추정하는 비디오 압축부호기에서 회전 및 주밍(zooming) 성분을 용이하게 검출하여, 이동보상 예측의 정확성을 향상시키도록 한 기술에 관한 것이다.

Description

영상압축 부호화에서 블럭단위의 이동추정 방법

본 발명은 영상압축 부호화에서 블럭단위의 이동추정 방법에 관한 것으로, 블럭단위로 이동을 추정하는 비디오 압축부호기에서 회전 및 주밍(zooming) 성분을 용이하게 검출하여, 이동보상 예측의 정확성을 향상시키도록 한 기술에 관한 것이다.

현재 비디오 압축 부호기 분야에서 볼때 영상의 회전 및 주밍을 검출하려 할 경우 그에 따른 시스템이 너무 복잡하고, 계산량이 많은 문제가 있는 바, 종래 방식을 도면을 참조하여 설명하면 다음과 같다.

도 1은 종래 비디오 압축 부호기의 블럭을 개략적으로 도시한 도면으로, 비디오 프레임이 입력되면 이 프레임은 매크로 블럭 단위로 나뉘어져 부호화 모드 결정부(1)를 통해 부호화 모드가 결정된 다음, 각 블럭 단위로 이산 코사인 변환기(DCT)(2)를 통해 이산 코사인 변환되고, 이어 양자화기(3)를 거쳐 양자화 된다.

이처럼 양자화가 수행되면 이 신호는 지그-재그 스캔부(4)를 통해 스캔된 다음 가변길이 부호화기(5)로 입력되어 부호화 된 후, 망으로 출력된다.

그리고 다음 프레임 이후는 매크로 블럭단위로 다시 역양자화기(6)와, 이산 코사인 역변환기(7)를 거쳐 이전영상을 재생(8) 한 다음 프레임 단위로 이전영상 메모리(9)에 저장된다.

상기 메모리(9)에 저장된 데이타는 다시 움직임 추정 및 보상기(10)에 입력되어 움직임 보상을 수행한 뒤, 매크로 블럭의 차이를 고려해 다음 프레임들을 양자화시킬 때 부호화 모드를 결정하는 정보를 상기 부호화 모드 결정부(1)로 출력한다.

이상과 같은 구조에 의한 압축부호화 방식은 ITU-T H.261 영상전화 표준이나, ISO/IEC MPEG-2와 같은 TV급 혹은 HDTV급 동영상 압축부호화 표준에서 공히 사용되고 있는 방식으로 상세한 설명은 생략한다.

이 중 이동벡터 추정 모듈방식을 설명하면, 16×16 블럭의 이동벡터를 추정하기 위하여 이전영상에서 적절한 탐색영역을 정하고, 그 범위내에서 현재영상의 부호화하려는 16x16 블럭을 탐색영역내에서 가장 유사한 곳을 찾아 그 상대적인 변위를 이동벡터로서 전송한다.

블럭의 이동을 추정하기 위한 탐색 방법에는 크게 전영역탐색(full search), 계층탐색(hierarchical search), 단계별 탐색(step search)등으로 나뉠 수 있다.

그중 전영역 탐색은 탐색영역내의 모든 가능한 부분을 모두 탐색하는 방법으로서, 가장 성능은 우수하나 탐색범위에 비해 계산량이 많아지는 단점이 있다.

대부분의 블럭정합 방식에서는 탐색의 척도로서 절대오차의 합을 이용한다.

만일 NxN의 기준블럭을 R(x,y)라고 하고, 탐색범위가 수평수직으로 각각 -K ~ K-1 , -L ~ L-1 의 범위를 갖고 그 영역내의 화소를 S(x,y), x = -K...K-1+N, y = -L...L-1+N, 라고 한다면 벡터 Vx, Vy는 다음 식 1을 최소로 하는 u,v가 된다.

〈식 1〉

전영역 탐색은 상기 식 1과 같이 가능한 탐색 영역 내의 모든 위치를 찾는 것이다.

그외의 탐색 방법들은 전영역 탐색의 계산량을 줄이기 위해 탐색후보의 갯수를 줄여 탐색하는 방식들이 대부분이다.

이러한 블럭 정합 방식들은 물체의 병진운동(translational motion)만을 가정하는 방식으로서, 물체의 회전이나 주밍에는 대응할 수 없고, 따라서 이러한 운동이 발생하면 어쩔 수 없이 예측 오차가 발생하게 된다.

병진운동의 경우에는 계산량이 허용하는 범위내에서 탐색범위만을 정하면 이동추정 및 보상 예측, 수신단에서의 보상예측 등에 큰 어려움이 없으나, 운동의 종류를 회전, 주밍 등으로 확대할 경우, 회전의 경우에는 회전의 중심, 회전방향, 회전량등을 찾아야 하며, 또한 그 정보를 수신단에 전송해야 한다.

또한 주밍을 위해서는 줌 센터, 줌 방향, 줌 량등들 구해 전송해야 한다.

이러한 양들은 그 범위를 정하고 부호화 신택스(syntax)를 만드는 것도 어려울 뿐 만 아니라, 대개의 경우 회전과 주밍 정보를 전달하기 위한 부가정보가 오히려 압축효과를 떨어뜨리는 경우가 많아 실질적인 동영상 압축부호화에서 이용되지 못하는 문제점이 있다.

본 발명은 상기와 같은 종래 문제점을 감안하여, ITU-T H.261이나 ISO/IEC 엠펙-2 (MPEG-2) 표준과 같은 블럭단위의 이동추정에 의한 영상압축 부호화에서, 이동물체의 회전, 주밍 등의 보상을 위한 방식을 제시하는 것으로, 이는 회전이나 주밍을 검출하기 위한 복잡한 방법을 채택하는 대신, 18x18 탐색 영역내에서 회전의 경우 정합 탬플릿(template)를 통하여 구하고, 주밍의 경우에는 간단한 보간방식과 반화소 정합을 이용하여 구하는 방식을 제공하는 것으로 목적으로 한다.

즉, 본 발명에서는 블럭정합 알고리즘을 그대로 적용하되, 최종 탐색된 위치에서 물체의 회전 및 주밍을 판단하여, 그 양을 보상하므로써 예측의 정확도를 높이고자 하는 것이다.

도 1은 일반적인 이동보상예측과 변환부호화를 이용한 동영상부호화기 블럭도.

도 2는 본 발명을 위한 탐색영역의 예를 나타내는 도면.

도 3은 본 발명에 따른 영상의 CCR 회전 검색을 위한 탬플릿을 나타내는 도면.

도 4는 본 발명에 따른 영상의 CWR 회전 검색을 위한 탬플릿을 나타내는 도면.

상기와 같은 목적을 달성하기 위해 본 발명에서는 N×N의 화소에 ±1의 범위를 적용시킨 탬플릿(template)을 설정하고;

상기 설정된 탬플릿과 원 N×N 화소를 매칭시켜, 원 화소의 회전을 추정하여 보상하는 것을 특징으로 한다.

또한 상기와 같은 목적을 달성하기 위해 본 발명에서는 N×N의 현재블럭을 하기의 식 2를 사용하여 (N-1)×(N-1)의 블럭으로 축소시킨 후;

N×N의 탐색영역에 대해 반화소 단위의 탐색을 행하여 줌-인 이동을 추정하는 것을 특징으로 한다.

〈식 2〉

또한 상기와 같은 목적을 달성하기 위해 본 발명에서는 N×N의 현재블럭을 하기의 식 3를 사용하여 (N+1)×(N+1)의 블럭으로 확대시킨 후;

(N+2)×(N+2)의 탐색영역에 대해 반화소 단위의 탐색을 행하여 줌-아웃 이동을 추정하는 것을 특징으로 한다.

〈식 3〉

상술한 목적 및 특징들, 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하면 다음과 같다.

본 발명에서는 보다 단순한 방법으로 회전이나 주밍을 찾아서 이를 보상하는 방법을 제시하는 바, 일단 병진운동에 의한 이동벡터는 통상의 방식을 이용하여 추정한다.

도 2에 도시한 바와 같이, 이 추정된 벡터의 약 -1 ~ +1의 범위내에서 회전 및 주밍이 일어난다고 가정한다.

따라서 회전 및 주밍을 위한 탐색영역은 18x18의 크기를 갖는다.

회전은 방향에 따라, 'CCR(Counter Clock-wise Rotation)'방향과 'CWR(Clock-Wise Rotation)'방향으로 나누어 찾는다.

CCR은 현재블럭이 18x18크기의 탐색영역내에서 시계반대방향으로 회전하여 정합되는 경우를 의미하며, 이때의 정합 탬플릿은 도 3에 도시된 바와 같다.

반대로 CWR인 경우는 도 4에 도시된 바와 같으며, 도 3의 CCR 탬플릿의 수평 화살표 방향으로는 모두 16개의 화소가 있다.

이들이 현재블럭의 수평라인들에 정합되어 절대오차를 구하는데 이용되며, 동일한 방식으로 CWR에 대한 절대오차도 구해질 수 있다.

한편, 주밍은 줌-인(zoom-in)과 줌-아웃(zoom-out)으로 나누어 구한다.

주밍의 경우에는 크기가 변하므로 대응되는 화소의 수가 달라 회전과 같이 탬플릿에 의한 직접 매칭이 어렵다.

본 방법에서는 현재블럭 혹은 탐색영역을 축소하거나 확대하여 정합시킨다. 단 축소나 확대시의 계산량이 많아지는 것을 방지하기 위하여 최대 3비트*8비트의 곱셈기만을 이용한다.

줌-인의 경우에는 16x16의 현재블럭을 15x15로 줄인 후 16x16의 탐색영역에 대해 반화소 단위의 탐색을 행하며, 16x16블럭을 15x15로 줄이기 위한 식은 하기 식 2와 같다.

〈식 2〉

반대로 줌-아웃의 경우에는 16x16의 현재블럭을 17x17로 늘인 후 18x18의 탐색영역에 대해 반화소 단위의 탐색을 행하며, 17x17로 늘리기 위한 식은 다음 하기 식 3과 같다.

〈식 3〉

이상에서 상세히 설명한 바와 같이 본 발명은 블럭단위로 이동을 추정하는 비디오 압축부호기에서 회전 및 주밍 성분을 용이하게 검출할 수 있도록 하여, 이동보상 예측의 정확성을 높이는 효과가 있다.

아울러 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이며, 당업자라면 본 발명의 사상과 범위안에서 다양한 수정, 변경, 부가등이 가능할 것이며, 이러한 수정 변경 등은 이하의 특허 청구의 범위에 속하는 것으로 보아야 할 것이다.

Claims (5)

1. N×N 화소로 구성된 마크로 블럭에서의 블럭단위 이동추정 방법에 있어서,

   상기 N×N의 화소에 ±1의 범위를 적용시킨 탬플릿(template)을 설정하고;

   상기 설정된 탬플릿과 원 N×N 화소를 매칭시켜, 원 화소의 회전을 추정하여 보상하되;

   상기 탬플릿은 시계방향(CWR) 회전과, 시계반대방향(CCR) 회전에 대해 각각 설정하여 원 화소의 회전을 추정토록 하는 것을 특징으로 하는 영상압축 부호화의 블럭단위 이동추정에서 회전 이동추정 방법.
2. N×N 화소로 구성된 마크로 블럭에서의 블럭단위 이동추정 방법에 있어서,

   N×N의 현재블럭을 하기의 식 1을 사용하여 (N-1)×(N-1)의 블럭으로 축소시킨 후;

   N×N의 탐색영역에 대해 반화소 단위의 탐색을 행하여 줌-인 이동을 추정하는 것을 특징으로 하는 영상압축 부호화의 블럭단위 이동추정에서 주밍 이동추정 방법.

   〈식 1〉

   
3. 제 2항에 있어서,

   상기 영상의 축소 및 확대시 계산량이 많아지는 것을 방지하기 위해, 최대 3비트 * 8비트의 곱셈기를 이용하는 것을 특징으로 하는 영상압축 부호화의 블럭단위 이동추정에서 주밍 이동추정 방법.
4. 제 3항에 있어서,

   N×N 화소로 구성된 마크로 블럭에서의 블럭단위 이동추정 방법에 있어서,

   N×N의 현재블럭을 하기의 식 1을 사용하여 (N+1)×(N+1)의 블럭으로 축소시킨 후;

   (N+2)×(N+2)의 탐색영역에 대해 반화소 단위의 탐색을 행하여 줌-인 이동을 추정하는 것을 특징으로 하는 영상압축 부호화의 블럭단위 이동추정에서 주밍 이동추정 방법.

   〈식 2〉

   
5. 제 4항에 있어서,

   상기 영상의 축소 및 확대시 계산량이 많아지는 것을 방지하기 위해, 최대 3비트 * 8비트의 곱셈기를 이용하는 것을 특징으로 하는 영상압축 부호화의 블럭단위 이동추정에서 주밍 이동추정 방법.

Images