KR100265720B1 - 2차원삼각형선격자모델을이용한동영상의움직임보상방법 - Google Patents

Abstract

본 발명에 따른 2차원 삼각형 선격자 모델을 이용한 동영상의 움직임 보상방법이 개시된다.

본 발명에 따른 동영상의 움직임보상 방법은 상기 움직임 추정시 찾아낸 삼각형 조각의 각 꼭지점에 대한 움직임 벡터를 이용하여 상기 삼각형 조각의 선격자 모델을 변형시키는 단계;, 상기 변형된 선격자 모델에서, 현재 프레임의 기준블록의 소정위치에 해당되는 화소값을 이전 프레임의 정합블록의 소정의 위치에 해당되는 하소값으로 대체시키는 단계; 및 상기 대체된 화소값을 이용하여 새로운 영상을 합성시키는 단계를 포함한다.

따라서, 상술한 바와 같이 본 발명에 의하면, 블록간 영상의 불연속성이 없으므로 좋은 화질을 얻는 효과를 갖는다.

Description

2차원 삼각형 선격자 모델을 이용한 동영상의 움직임 보상방법{Method for compensating the motion of pictures using 2-D triangle-patch wire-frame model}

본 발명은 동영상 압축시스템에 있어서, 움직임 벡터에 의해 변형된 화소들을 이용하여 새로운 영상으로 합성하기 위한 동영상의 움직임 보상방법에 관한 것으로서, 더욱 상세하게는 2차원 삼각형 선격자 모델을 이용한 움직임벡터의 추정에 의해 변형된 화소들을 이용하여 새로운 영상을 합성하기 위한 동영상의 움직임 보상방법에 관한 것이다.

동영상의 움직임을 보상하기 전 과정인 동영상의 움직임 추정은 다음과 같은 단계를 거쳐 실행된다. 먼저, 입력되는 영상의 현재 프레임을 여러개의 작은 블록(이하, 기준블록)으로 나눈 다음, 각각의 기준블록에 대해 이전 프레임의 여러블록(이하, 탐색블록)과 비교하여, 기준블록과 닮지 않은 정도(이하, 상이도)를 계산한 후, 그 상이도가 가장 작은 블록(이하, 정합블록)을 찾아내어, 기준블록과 정합블록의 좌표차를 움직임 벡터로 추정한다. 한편, 상기 움직임 벡터를 갖는 정합블럭과 기준블록의 화소차만으로 현재 프레임을 부호화하고, 이와 같이 부호화된 영상의 프레임은 상기 부호화된 화소값과 정합블럭의 화소값을 결합하여 원래의 영상으로 복원된다.

도 1은 종래의 움직임 보상방법을 설명하기 위한 도면이다.

도 1에 있어서, 참조부호 10은 현재 프레임을, 참조부호 12는 이전 프레임을 각각 나타낸다. 도 1에 도시된 바와 같이, 종래의 부호화기에서 표준으로 사용된 움직임 보상(Motion Compensation)방법은 각 기준블록에 대한 이전 프레임의 정합 블록의 움직임 벡터를 추정한 후, 추정된 벡터에 해당되는 이전프레임의 정합블록을 그대로 이용하여 현재 프레임의 영상을 부호화시킨다.

이와 같은 종래의 움직임 보상방법은 현재 프레임(10) 내에 있는 기준블록과 이 기준블록의 화소값과 비슷한 이전 프레임에서 정합블록의 움직임 벡터를 산출하여 이전 프레임의 정합블록을 현재 프레임에 옮겨놓으므로써 이전 프레임의 정합블록이 겹치는 경우가 종종 발생한다. 따라서, 새로운 프레임의 영상은 블록의 경제면에서 영상의 끊어짐이 발생하기 때문에 저하가 발생한다.

본 발명은 상술한 문제점을 해결하기 위해 창출된 것으로서, 2차원 삼각형 조각 선격자 모델을 이용하여 움직임 벡터를 추정한 후, 쌍선형 보간법(Bilinear Interpolation)을 이용하여 영상을 합성화시키는 동영상의 움직임 보상방법을 제공하는 것을 그 목적으로 한다.

도 1은 종래의 움빅임 보상방법을 설명하기 위한 도면이다.

도 2는 본 발명예 따른 동영상의 움직임 보상방법을 설명하기 위한 도면이다.

도 3a, 도 3b는 본 발명에 의한 움직임 추정시 찾아낸 움직임 벡터를 이용하여 선격자 모델을 변형하는 방법을 설명하기 위한 도면이다.

도 4는 본 발명에 적용되는 쌍선형 보간법을 설명하기 위한 도면이다.

도 5a 내지 도 5d는 본 발명에 따른 움직임 보상방법을 적용한 예를 나타낸 도면이다.

상기의 목적을 달성하기 위한 본 발명에 따른 2차원 삼각형 조각 선격자모델을 이용한 동영상 움직임 추정 후, 상기 동영상의 움직임을 보상하는 방법은 상기 움직임 추정시 찾아낸 삼각형 각 꼭지점에 대한 움직임 벡터를 이용하여 상기 삼각형 조각의 선격자 모델을 변형시키는 단계; 상기 변형된 선격자 모델에서, 현재 프레임의 기준블록의 소정위치에 해당되는 화소값을 이전 프레임의 정합블록의 소정의 위치에 해당되는 화소값으로 대체시키는 단계; 및 상기 대체된 화소값을 이용하여 새로운 영상을 합성시키는 단계를 포함하는 것이 바람직하다.

본 발명에 있어서, 상기 화소값 대체단계에서 대체될 화소위치가 정수가 아닐 경우, 쌍선형 보간법을 이용하여 화소값을 결정함을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명을 보다 상세히 설명한다.

도 2는 본 발명에 따른 동영상의 움직임 보상방법을 설명하기 위한 도면이다.

움직임 추정시 찾아낸 움직임 벡터를 이용하여 선격자 모델을 변형한다(200단계) 즉, 도 3b에 도시된 바와 같이 현재 프레임의 삼각형 꼭지점을 각각 A,B,C라 하고, 이 삼각형 내의 임의의 화소의 위치를 X라고 할 때, 도 3a에 도시된 움직임 벡터에 의해 변형된 이전 프레임의 삼각형 꼭지점들은 각각 A',B',C' 가 되고, 임의의 화소위치(X)에 대응되는 화소의 위치는 X'가 되며, 이 꼭지점들과 임의의 화소에 대한 위치벡터는 다음의 수학식 1과 같이 정의된다.

수학식 1에 의해 현재 프레임에서 임의의 화소 위치(X)와 이에 대응되는 이전 프레임에서 임의의 화소위치(X')에 대한 위치벡터는 다음의 수학식 2와 같고, 수학식 2를 이용하여 현재 프레임의 X위치에서의 화소값과 이전 프레임의 X'위치에서의 화소값간의 차는 다음의 수학식 3과 같이 표현된다.

수학식 2로부터 수학식 3이 유도되는 과정을 설명하면 다음과 같다.

이와 같이 얻어진 움직임 벡터들은 각 삼각형의 꼭지점마다 존재함으로 각 꼭지점에 대한 움직임 벡터는

와 같다. 또한, 삼각형 내부에 존재하고 각각 대응되는 임의의 화소에 대한 움직임 벡터는

와 같다.

수학식 2를 통해 구해진 움직임 벡터를 통해 구해진 현재 프레임의 X위치에 해당되는 화소값은 이전 프레임의 X' 위치의 화소값으로 대체시킨다.(204단계) 여기서, 구해진 X'위치가 정수가 아닌 경우에는 정수 위치에서 화소값을 대체할 수 있도록 쌍선형 보간법(Bilinear Interpoiation)을 이용하여 정수의 화소값을 결정 한다.

도 4은 본 발명에 적용되는 쌍선형 보간법을 설명하기 위한 도면이다. 여기서, 이전 프레임에서 대치될 f(x'. y')의 화소값이 정수가 아닌 경우, 그 주변의 정수 화소값을 다음과 같은 쌍선형 보간법을 이용하여 정수 위치의 화소값을 결정한다. 즉, A점의 좌표값은

따라서 A, B의 좌표값이 구해졌으므로, f(x' ,y')의 화소값은 다음의 수학식 4와 같이 표현된다.

수학식 4와 같이 대체된 화소값을 이용하여 새로운 영상을 합성시킨다.(206단계)

상술한 바와 같이 모든 삼각형 조각 내에 있는 하소들을 대상으로 수학식 4을 적용시키면 움직임이 보상된 영상의 화소값이 된다.

도 5a 내지 도 5d는 본 발명에 따른 움직임 보상방법을 적용한 예를 나타낸 도면으로서, 도 5a는 이전프레임의 영상을 도 5b는 현재 프레임의 영상을, 도 5c는 움직임 추정 후, 변형된 2차원 삼각형 조각 선격자 모델을, 도 5d는 움직임 보상된 영상을 각각 나타낸다. 도 5d에서 보는 바와 같이, 종래의 보상방법에서 주로 발생되는 블록간 영상의 불연속성이 없음을 알 수 있다.

상술한 바와 같이 본 발명에 따른 동영상 보상방법에 의하면, 블록간 영상의 불연속성이 없으므로 좋은 화질을 얻는 효과를 갖는다.

Claims (1)

1. 이전 프레임으로부터 합성할 프레임의 동영상 움직임 추정 후, 상기 동영상의 움직임을 보상하는 방법에 있어서,

   상기 움직임 추정시 찾아낸 삼각형 조각의 각 꼭지점에 대한 움직임 벡터를 이용하여 2차원 삼각형 조각의 선격자 모델을 변형시키는 단계;

   상기 변형된 선격자 모델에서, 대체될 화소 위치가 정수가 아닐 경우 쌍선형 보간법을 이용하여 현재 프레임의 기준 블록의 소정 위치에 해당되는 화소값을 이전 프레임의 정합블록이 소정 위치에 해당되는 화소값으로 대체시키는 단계; 및

   상기 대체된 화소값을 이용하여 새로운 영상을 합성시키는 단계를 포함하는 2차원 삼각형 선격자 모델을 이용한 동영상의 움직임 보상방법.

Images