KR100502138B1 - 이웃하는 움직임 벡터를 이용한 가이디드 탐색방법 - Google Patents

Abstract

본 발명은 이 기종간의 표준 압축형식을 변환하는데 있어서, 프레임 변환을 위한 움직임 예측 과정에서 수행되는 탐색방법중 3단계 탐색방법을 개선한 2단계 탐색방법 및 축 분할 탐색방법을 적용하여 가장 유사한 매크로블록을 탐색함으로써 움직임 예측 과정에 소요되는 복잡도 및 시간적 소요를 줄일 수 있도록 한 이웃하는 움직임 벡터를 이용한 가이디드 탐색방법에 관한 것으로, 이 기종간의 표준 압축형식을 변환하는 경우, 프레임 변환을 위한 움직임 예측 과정에서 수행되는 매크로블록 탐색방법에 있어서, 이웃하는 움직임 벡터를 이용하여 움직임 방향을 예측하는 제1단계와, 상기 제1단계에서 예측된 방향을 중심으로 전체 탐색 영역의 1/2²인 주변 8개의 위치를 설정하고 예측된 방향을 포함한 전체 9개의 위치에 대하여 코스트 펑션이 가장 작은 값을 갖는 위치를 찾는 제2단계와, 상기 제2단계에서 찾은 코스트 펑션이 가장 작은 위치를 중심으로 주변 8개의 위치에서 코스트 펑션이 가장 작은 값을 갖는 위치를 찾는 제3단계로 이루어 진다.

Description

이웃하는 움직임 벡터를 이용한 가이디드 탐색방법{A GUIDED SEARCHING METHOD USING NEIGHBOR MOTION VECTOR}

본 발명은 이웃하는 움직임 벡터를 이용한 가이디드 탐색방법에 관한 것으로, 특히 이 기종간의 표준 압축형식을 변환하는데 있어서, 프레임 변환을 위한 움직임 예측 과정에서 수행되는 탐색방법중 3단계 탐색방법을 개선한 2단계 탐색방법 및 축 분할 탐색방법을 적용하여 가장 유사한 매크로블록을 탐색함으로써 움직임 예측 과정에 소요되는 복잡도 및 시간적 소요를 줄일 수 있도록 한 이웃하는 움직임 벡터를 이용한 가이디드 탐색방법에 관한 것이다.

최근에는 컴퓨터와 네트웍의 발달로 과거 정보 교류의 기본이 되었던 텍스트 뿐만 아니라 대용량의 멀티미디어 비디오 데이터를 각 응용분야에 맞는 표준 압축형식을 이용하여 변환시킨 후 네트웍을 통해 전송함으로써 시각적인 정보로써 확인할 수 있게 되었다.

일반적으로 이 기종간의 표준 압축형식을 변환하는 가장 간단한 방법은 도 1에 도시된 바와 같이 완전한 복원과정과 압축과정을 수행하는 것으로, 예를 들어 입력되는 비트 스트림을 압축된 비트 스트림인 MPEG2라 하고 변환된 비트 스트림을 H.263이라 하면 변환 내부는 MPEG2 복원과정과 H.263 압축과정이 들어간다.

즉, 압축된 비트 스트림을 입력받으면 변환 내부 중 디코더(10)에서는 VLD(Variable Length Decoding)부(11), 역양자화부(12), IDCT(Inverse Discrete Cosine Transform)부(13)를 통해 입력된 압축형식에 대한 복원과정인 VLD, 역양자화(DeQuantization), IDCT를 수행하여 하나의 복원된 완전한 프레임을 생성하고, 이어 인코더(20)에서는 DCT부(21), 양자화부(22), VLC(Variable Length Coding)부(23)를 통해 다시 변환할 압축형식에 대한 압축과정인 DCT, 양자화, VLC를 수행하여 비트 스트림을 생성한다.

그러나, 상기와 같은 복원 및 압축과정에서 복원과정에 대한 복잡도는 무시한다 하더라도 압축과정시 가장 많은 복잡도를 요구하는 움직임 예측 과정이 수행됨에 따라 전체 압축형식을 변환함에 있어서 많은 시간을 소요하게 되는 문제점이 있었다. 즉, 비트율, 영상 크기변환 등의 과정에서는 쉽게 대처할 수 있지만 실시간 변환에는 적합하지 않다.

이에 따라, 종래에는 상기와 같은 완전한 복원 및 압축과정을 줄이는 여러 방법을 사용하였는데, 즉 IDCT와 DCT 과정을 줄인 공간적인 압축과정을 통해 MPEG2의 I프레임을 H.263의 I프레임으로 변환하는 방법이 있고, 움직임 예측 과정을 수행하는 시간적인 압축과정을 통해 MPEG2의 P프레임 또는 B프레임을 H.263의 P프레임 또는 B프레임으로 변환하는 방법이 있으며, 또한 움직임 벡터 정보 및 반 화소(Half Pel) 탐색을 이용하여 MPEG2의 I프레임을 H.263의 P프레임으로 변환하는 방법이 있다.

그러나, 상기 MPEG2의 P프레임 또는 B프레임을 H.263의 P프레임 또는 B프레임으로 변환하는 방법은 움직임 예측 과정을 수행함에 따라 압축과정시 가장 많은 복잡도를 요구하게 되어 변환 시간이 상당량 소요된다고 하는 문제점이 있다.

즉, 시간에 따라 변화하는 일련의 동영상을 효율적으로 압축하기 위한 방법으로는 공간적인 압축과 시간적인 압축으로 구분되는데, 시간적인 압축은 움직임 예측 과정을 이용한다.

시간적인 압축에서 움직임 예측 과정이란 블록 매칭 알고리즘을 이용하여 이전 영상과 현재 영상 사이에서 가장 비슷한 블록을 찾는 작업으로서, 이전 영상에서 움직임의 정도를 나타내는 움직임 벡터 정보와 그에 따른 매크로블록 정보를 갖는다.

이때, 상기 움직임 벡터는 프레임 상에서 가장 유사한 블록을 찾아 움직임의 정도를 나타낸 것으로서, 이전에 복원된 프레임을 참조하여 움직임 예측 과정을 통해 구할 수 있다.

종래에는 상기와 같이 움직임 예측 과정에 소요되는 복잡도 및 프레임 변환 시간을 줄이기 위해 많은 탐색방법이 제시되고 있는데, 그 중 MPEG2의 P프레임내 매크로블록을 H.263의 P프레임내 매크로블록으로 변환하기 위해 움직임 예측 과정에서 수행되는 3단계 탐색방법을 도 2를 참고하여 설명하면 다음과 같다.

먼저, 압축된 MPEG2 P프레임을 모두 복원한 후에 H.263의 움직임 예측 과정을 수행하게 되는데, 즉 움직임 예측 과정에 있어서 3단계 탐색방법중 1단계에서는 전체 탐색 영역의 중앙을 설정한 다음 중앙을 중심으로 탐색 영역의 1/2에 해당되는 주변 8개의 위치를 선택하고, 중앙을 포함한 9개 위치에 대하여 코스트 펑션(Cost Function)이 가장 작은 값을 갖는 위치를 찾는다.

이어, 2단계에서는 1단계에서 찾은 코스트 펑션이 가장 작은 위치를 중심으로 정해진 탐색 영역의 1/2²에 해당하는 주변 8개의 위치를 선택하고 코스트 펑션이 가장 작은 값을 갖는 위치를 찾는다.

마지막으로, 3단계에서는 2단계에서 찾은 코스트 펑션이 가장 작은 위치를 중심으로 주변 8개의 위치에서 코스트 펑션이 가장 작은 값을 갖는 위치를 찾는다.

상기와 같은 움직임 예측 과정을 수행한 후 가장 작은 코스트 펑션을 갖는 매크로블록은 H.263에서 결정되는 임계치(Threshold)에 의해 인트라 또는 인터 매크로블록의 형식으로 결정되게 된다.

그러나, 상기와 같은 3단계 탐색방법 역시 1단계에서 많은 비교횟수를 거치면서 움직임 방향을 결정해야 함에 따라 전체 처리 시간이 길어지게 되는 단점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 그 목적은 이 기종간의 표준 압축형식을 변환하는데 있어서, 프레임 변환을 위한 움직임 예측 과정에서 수행되는 탐색방법중 3단계 탐색방법을 개선한 2단계 탐색방법 및 축 분할 탐색방법을 적용하여 가장 유사한 매크로블록을 탐색함으로써 움직임 예측 과정에 소요되는 복잡도 및 시간적 소요를 줄일 수 있고, 이에 따라 프레임 변환에 따른 전체 처리 시간을 줄일 수 있도록 한 이웃하는 움직임 벡터를 이용한 가이디드 탐색방법을 제공하는 데에 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 제1 실시예에 의한 이웃하는 움직임 벡터를 이용한 가이디드 탐색방법은, 이 기종간의 표준 압축형식을 변환하는 경우, 프레임 변환을 위한 움직임 예측 과정에서 수행되는 매크로블록 탐색방법에 있어서, 이웃하는 움직임 벡터를 이용하여 움직임 방향을 예측하는 제1단계와, 상기 제1단계에서 예측된 방향을 중심으로 전체 탐색 영역의 1/2²인 주변 8개의 위치를 설정하고 예측된 방향을 포함한 전체 9개의 위치에 대하여 코스트 펑션이 가장 작은 값을 갖는 위치를 찾는 제2단계와, 상기 제2단계에서 찾은 코스트 펑션이 가장 작은 위치를 중심으로 주변 8개의 위치에서 코스트 펑션이 가장 작은 값을 갖는 위치를 찾는 제3단계로 이루어지는 것을 특징으로 한다.

본 발명의 제2 실시예에 의한 이웃하는 움직임 벡터를 이용한 가이디드 탐색방법은, 이 기종간의 표준 압축형식을 변환하는 경우, 프레임 변환을 위한 움직임 예측 과정에서 수행되는 매크로블록 탐색방법에 있어서, 이웃하는 움직임 벡터를 이용하여 움직임 방향을 예측한 후 전체 탐색 영역의 1/2의 위치에 있는 수평 또는 수직방향으로 위치를 3개 설정하며, 이 3개의 위치 중 코스트 펑션이 가장 작은 위치를 설정하는 제1단계와, 상기 제1단계에서 결정된 위치를 중심으로 전체 탐색 영역의 1/2²인 주변 8개의 위치를 설정하고 각 위치에 대하여 코스트 펑션이 가장 작은 값을 갖는 위치를 찾는 제2단계와, 상기 제2단계에서 찾은 코스트 펑션이 가장 작은 위치를 중심으로 주변 8개의 위치에서 코스트 펑션이 가장 작은 값을 갖는 위치를 찾는 제3단계로 이루어지는 것을 특징으로 한다.

이하, 첨부된 도면을 참고하여 본 발명에 의한 이웃하는 움직임 벡터를 이용한 가이디드 탐색방법을 상세히 설명한다.

한편, 3단계 탐색방법은 1단계에서 움직임 방향이 결정된다. 따라서 움직임의 방향이 결정된다면 1단계를 수행하지 않아도 된다.

상기와 같은 점을 이용하여 본 발명에서는 움직임의 방향을 결정하기 위하여 변환하고자 하는 프레임내 매크로블록을 중심으로 이웃하는 8개의 움직임 벡터를 이용한다.

상기와 같은 본 발명에 의한 이웃하는 움직임 벡터를 이용한 가이디드 탐색방법을 첨부된 도면을 참고하여 설명하면 다음과 같다.

먼저, 2단계 탐색방법을 설명하기 전에 3단계 탐색방법의 1단계를 줄이는 방법을 설명하면, 도 3은 인트라 매크로블록을 중심으로 이웃하는 매크로블록이 모두 인터 매크로블록이며, 그에 따른 움직임 벡터를 (X,Y)로 표현하고 있는 도면으로서, 이를 참고하여 X 방향을 볼 때 양의 방향으로 움직인 X(1,2,3,4,5,6,7)는 7개이고, 음의 방향으로 움직인 X(8)는 1개임을 알 수 있다. 그리고 양의 방향으로 움직인 Y(1,3,4,6,7,8)는 모두 6개이고, 음의 방향으로 움직인 Y(2,5)는 2개임을 알 수 있다. 즉, 이웃하는 움직임 벡터를 볼 때 전체적으로 X,Y 모두 양의 방향으로 움직였다고 볼 수 있다.

이 점을 이용하여 3단계 탐색방법의 3단계중 1단계를 줄임으로써 1단계에서 수행되는 비교횟수를 줄일 수 있다.

도 4에 도시된 탐색 경로를 살펴보면, X,Y 모두 양의 방향으로 움직였을 경우 X,Y가 모두 양수인 부분(Ｏ)으로 이동하고 현 위치를 중심으로 3단계 탐색방법의 2단계를 수행한다.

만약, 이웃하는 움직임 벡터의 음과 양의 방향의 개수가 동일할 경우, 즉 결과값이 0일 경우에는 중앙을 중심으로 탐색하여 3단계 탐색방법의 1단계부터 수행하게 된다.

도 4에 도시된 탐색 경로를 참고하여 본 발명의 제1 실시예에 의한 2단계 탐색방법을 상세히 설명하면, 1단계에서는 이웃하는 움직임 벡터를 이용하여 움직임 방향을 예측하는데, 만약 움직임 방향이 0일 경우에는 3단계 탐색방법의 1단계, 즉 전체 탐색 영역의 중앙을 설정한 다음 중앙을 중심으로 탐색 영역의 1/2에 해당되는 주변 8개의 위치를 선택하고, 중앙을 포함한 9개 위치에 대하여 코스트 펑션이 가장 작은 값을 갖는 위치를 찾는 동작을 수행한다.

이어, 2단계에서는 1단계에서 예측된 방향을 중심으로 전체 탐색 영역의 1/2²인 주변 8개의 위치를 설정하고 예측된 방향을 포함한 전체 9개의 위치에 대하여 코스트 펑션이 가장 작은 값을 갖는 위치를 찾는다.

마지막으로, 3단계에서는 2단계에서 찾은 코스트 펑션이 가장 작은 위치를 중심으로 주변 8개의 위치에서 코스트 펑션이 가장 작은 값을 갖는 위치를 찾는다.

상기와 같이 본 발명의 제1 실시예에 의한 2단계 탐색방법에 있어서는 1단계에서 이웃하는 움직임 벡터를 이용하여 3단계 탐색방법의 1단계에서 수행되는 방향성을 설정하기 때문에 가장 유사한 위치를 찾기 위한 8번의 비교를 하지 않아도 된다.

한편, 2단계 탐색방법은 3단계 탐색방법에 비해 1단계에서 수행되는 9번의 비교를 1번으로 줄이기 때문에 전제 비교횟수를 많이 줄일 수 있는 반면에, 가장 유사한 매크로블록을 찾는 정확성이 조금 떨어진다.

따라서, 본 발명의 제2 실시예에 의한 축 분할 탐색방법은 상기와 같은 2단계 탐색방법에 정확성을 부여하기 위해 1단계에 비교되는 횟수의 범위를 조금 넓히도록 하고 있다.

도 3에 도시된 바와 같이 이웃하는 움직임 벡터를 볼 때 변환하고자 하는 인트라 매크로블록은 전체적으로 X,Y 모두 양의 방향으로 움직였다고 볼 수 있었다.

여기서, 본 발명에 의한 축 분할 탐색방법은 2단계 탐색방법에서와 같이 예측된 방향으로 움직이는 것이 아니라 이웃하는 움직임 벡터에 의해 구해진 방향을 기준으로 X축 또는 Y축을 중심으로 수평, 수직으로 3개의 위치를 설정한다.

이때, X축과 Y축의 수평, 수직의 위치 결정은 X축과 Y축의 방향별 개수를 비교하여 많은 축을 중심으로 한다. 예를 들어, 도 3에 도시된 바와 같이 양의 방향 X는 7개이고 양의 방향 Y는 6개였는데, 여기서 양의 방향 X가 양의 방향 Y보다 개수가 많기 때문에 X축을 중심으로 3개(도 5에 도시된 (Ｏ))를 설정한다.

도 5에 도시된 탐색 경로를 참고하여 본 발명의 제2 실시예에 의한 축 분할 탐색방법을 상세히 설명하면, 1단계에서는 이웃하는 움직임 벡터를 이용하여 움직임 방향을 예측한 후 전체 탐색 영역의 1/2의 위치에 있는 수평 또는 수직방향으로 위치를 3개 설정하며, 이 3개의 위치 중 코스트 펑션이 가장 작은 위치를 설정한다.

만약, 움직임 방향이 0일 경우에는 3단계 탐색방법의 1단계를 동일하게 수행한다.

이어, 2단계에서는 1단계에서 결정된 위치를 중심으로 전체 탐색 영역의 1/2²인 주변 8개의 위치를 설정하고 각 위치에 대하여 코스트 펑션이 가장 작은 값을 갖는 위치를 찾는다.

마지막으로, 3단계에서는 2단계에서 찾은 코스트 펑션이 가장 작은 위치를 중심으로 주변 8개의 위치에서 코스트 펑션이 가장 작은 값을 갖는 위치를 찾는다.

상기와 같이 본 발명의 제2 실시예에 의한 축 분할 탐색방법은 1단계에서 예측된 움직임 방향을 중심으로 X, Y축을 수평으로 3개 비교한다. 즉 2단계 탐색방법에 비해 1단계에서 수행되는 비교횟수는 많지만 좀 더 정확성을 부여할 수 있고 압축률 또한 높일 수 있다.

도 6은 3단계 탐색방법, 2단계 탐색방법, 축 분할 탐색방법에 따른 비교횟수를 보인 도면으로서, 3단계 탐색방법일 경우 비교횟수가 가장 많고 다음으로 축 분할 탐색방법, 그리고 2단계 탐색방법일 경우가 가장 적은 것을 볼 수 있다.

도 7의 (a)와 (b)는 2단계 탐색방법과 축 분할 탐색방법을 적용하였을 경우 프레임별 인트라 매크로블록의 개수를 MPEG2, H.263과 비교한 도면으로서, 축 분할 탐색방법일 경우가 H.263의 인트라 매크로블록의 개수에 가깝다는 것을 확인 수 있어 축 분할 탐색방법이 2단계 탐색방법에 비해 좀 더 정확한 탐색이 이루어진다는 것을 의미한다.

도 8은 3단계 탐색방법, 2단계 탐색방법, 축 분할 탐색방법별 PSNR(Peak Signal to Noise Ratio)을 보인 도면이고, 도 9의 (a),(b),(c)는 프레임별 PSNR을 보인 도면으로서 2단계 탐색방법일 경우 화질이 가장 좋다고 하는 것을 확인할 수 있다.

상기에서 설명한 바와 같이, 본 발명은 이 기종간의 표준 압축형식을 변환하는데 있어서, 프레임 변환을 위한 움직임 예측 과정에서 수행되는 탐색방법중 3단계 탐색방법을 개선한 2단계 탐색방법 및 축 분할 탐색방법을 적용하여 가장 유사한 매크로블록을 탐색함으로써 움직임 예측 과정에 소요되는 복잡도 및 시간적 소요를 줄일 수 있고, 이에 따라 프레임 변환에 따른 전체 처리 시간을 줄일 수 있게 되는 효과가 있다.

도 1은 일반적인 이 기종간의 표준 압축형식 변환방법을 보여주기 위한 블록 구성도,

도 2는 종래 3단계 탐색방법을 설명하기 위한 도면으로서 탐색 경로를 보인 도면,

도 3은 본 발명에 의한 2단계 탐색방법에서 이웃하는 움직임 벡터를 이용하여 움직임의 방향을 결정하는 과정을 보인 도면,

도 4는 본 발명의 제1 실시예에 의한 2단계 탐색방법을 설명하기 위한 도면으로서 탐색 경로를 보인 도면,

도 5는 본 발명의 제2 실시예에 의한 축 분할 탐색방법을 설명하기 위한 도면으로서 탐색 경로를 보인 도면,

도 6은 3단계 탐색방법, 2단계 탐색방법, 축 분할 탐색방법에 따른 비교횟수를 보인 도면,

도 7의 (a)와 (b)는 2단계 탐색방법과 축 분할 탐색방법을 적용하였을 경우 프레임별 인트라 매크로블록의 개수를 MPEG2, H.263과 비교한 도면,

도 8은 3단계 탐색방법, 2단계 탐색방법, 축 분할 탐색방법별 PSNR을 보인 도면이고, 도 9의 (a),(b),(c)는 프레임별 PSNR을 보인 도면.

<도면의 주요부분에 대한 부호의 설명>

10 : 디코더 11 : VLD부

12 : 역양자화부 12 : IDCT부

20 : 인코더 21 : DCT부

22 : 양자화부 23 : VLC부

Claims (7)

1. 이 기종간의 표준 압축형식을 변환하는 경우, 프레임 변환을 위한 움직임 예측 과정에서 수행되는 매크로블록 탐색방법에 있어서,

   이웃하는 움직임 벡터를 이용하여 움직임 방향을 예측하는 제1단계와,

   상기 제1단계에서 예측된 방향을 중심으로 전체 탐색 영역의 1/2²인 주변 8개의 위치를 설정하고 예측된 방향을 포함한 전체 9개의 위치에 대하여 코스트 펑션이 가장 작은 값을 갖는 위치를 찾는 제2단계와,

   상기 제2단계에서 찾은 코스트 펑션이 가장 작은 위치를 중심으로 주변 8개의 위치에서 코스트 펑션이 가장 작은 값을 갖는 위치를 찾는 제3단계로 이루어지는 것을 특징으로 하는 이웃하는 움직임 벡터를 이용한 가이디드 탐색방법.
2. 제1항에 있어서, 상기 제1단계에서 이웃하는 움직임 벡터의 음과 양의 방향의 개수를 이용하여 움직임 방향을 예측하는 것을 특징으로 하는 이웃하는 움직임 벡터를 이용한 가이디드 탐색방법.
3. 제1항에 있어서, 상기 제1단계에서 이웃하는 움직임 벡터의 음과 양의 방향의 개수가 동일하여 움직임 방향에 따른 결과값이 0일 경우, 전체 탐색 영역의 중앙을 설정한 다음 중앙을 중심으로 탐색 영역의 1/2에 해당되는 주변 8개의 위치를 선택하고, 중앙을 포함한 9개 위치에 대하여 코스트 펑션이 가장 작은 값을 갖는 위치를 찾은 후 상기 제2단계를 수행하는 것을 특징으로 하는 이웃하는 움직임 벡터를 이용한 가이디드 탐색방법.
4. 이 기종간의 표준 압축형식을 변환하는 경우, 프레임 변환을 위한 움직임 예측 과정에서 수행되는 매크로블록 탐색방법에 있어서,

   이웃하는 움직임 벡터를 이용하여 움직임 방향을 예측한 후 전체 탐색 영역의 1/2의 위치에 있는 수평 또는 수직방향으로 위치를 3개 설정하며, 이 3개의 위치 중 코스트 펑션이 가장 작은 위치를 설정하는 제1단계와,

   상기 제1단계에서 결정된 위치를 중심으로 전체 탐색 영역의 1/2²인 주변 8개의 위치를 설정하고 각 위치에 대하여 코스트 펑션이 가장 작은 값을 갖는 위치를 찾는 제2단계와,

   상기 제2단계에서 찾은 코스트 펑션이 가장 작은 위치를 중심으로 주변 8개의 위치에서 코스트 펑션이 가장 작은 값을 갖는 위치를 찾는 제3단계로 이루어지는 것을 특징으로 하는 이웃하는 움직임 벡터를 이용한 가이디드 탐색방법.
5. 제4항에 있어서, 상기 제1단계에서 이웃하는 움직임 벡터에 의해 구해진 방향을 기준으로 X축 또는 Y축을 중심으로 수평, 수직으로 3개의 위치를 설정하는 것을 특징으로 하는 이웃하는 움직임 벡터를 이용한 가이디드 탐색방법.
6. 제5항에 있어서, 상기 X축과 Y축의 수평, 수직의 위치 결정은 X축과 Y축의 방향별 개수를 비교하여 많은 축을 중심으로 하는 것을 특징으로 하는 이웃하는 움직임 벡터를 이용한 가이디드 탐색방법.
7. 제4항에 있어서, 상기 제1단계에서 이웃하는 움직임 벡터의 음과 양의 방향의 개수가 동일하여 움직임 방향에 따른 결과값이 0일 경우, 전체 탐색 영역의 중앙을 설정한 다음 중앙을 중심으로 탐색 영역의 1/2에 해당되는 주변 8개의 위치를 선택하고, 중앙을 포함한 9개 위치에 대하여 코스트 펑션이 가장 작은 값을 갖는 위치를 찾은 후 상기 제2단계를 수행하는 것을 특징으로 하는 이웃하는 움직임 벡터를 이용한 가이디드 탐색방법.