KR102089433B1 - 영상 부호화 장치의 다방향 계층적 움직임 추정방법 - Google Patents

Abstract

영상 부호화 장치의 다방향 계층적 움직임 추정방법이 개시된다. 본 발명의 실시 예에 따른 다방향 계층적 움직임 추정방법은 입력받은 영상의 영상 프레임들을 기초로, 다계층 구조를 생성하는 단계와, 다계층 구조의 최상위 계층에서 복수의 움직임 탐색 영역을 지정하고, 각 움직임 탐색 영역마다 복수의 움직임 벡터 후보들을 탐색하는 단계와, 다계층 구조의 하위 계층에서 상기 탐색된 복수의 움직임 벡터 후보들을 중심으로 움직임 추정을 재수행하면서 상기 복수의 움직임 벡터 후보들을 수정하는 단계와, 다계층 구조의 최하위 계층에서 최종 움직임 벡터를 선택하는 단계를 포함하여 이루어진다.

Description

영상 부호화 장치의 다방향 계층적 움직임 추정방법{MULTIDIRECTIONAL HIERARCHICAL MOTION ESTIMATION METHOD FOR VIDEO CODING TOOL}

본 발명은 화면의 계층적 구조를 이용하여 영상의 움직임을 추정하는 방법에 관한 것이다.

움직임 추정기술은 계산상의 복잡도가 높아서 수행시간이 긴 특성이 있으며 이를 해결하기 위한 방법으로 계층적 움직임 추정기술이 있다. 계층적인 프레임 구조를 만들기 위해서는 기존에 있던 프레임들을 다운샘플링(downsampling)하여 한 단계마다 프레임의 화소 수를 가로, 세로방향 각각 반으로 줄인다. 이 과정을 여러 차례 반복하여 프레임의 계층적 구조를 형성하고, 이 정보들을 이용하여 움직임 추정을 수행한다.

기존에는 최상위 단계 (top-level) 프레임에서 블록 단위로 움직임 추정을 수행하고, 이 초기 움직임 벡터들을 아래 단계 프레임들에서 라플라시안(Laplacian) 피라미드를 이용하여 고주파 성분들을 함께 고려해서 수정하는 방법과 아래 단계에서 작은 움직임 추정 영역(small search range)를 이용하여 움직임 추정을 한 번 더 수행하여 움직임 벡터를 수정하는 방법 등을 사용하였다.

그러나 기존 방법에서는 최상위 단계에서 찾은 움직임 벡터 후보가 어느 정도 물체의 움직임을 잘 나타낸다고 가정한 다음에, 이를 조금씩 아래 단계에서 수정하기 때문에 이 움직임 벡터에 오류가 있을 경우에는 아래 단계에서 오류가 유지되거나 확장되는 단점이 있다.

이에, 본 발명의 일 목적은 최상위 계층에서 영역을 나눈 후에 각 영역별로 움직임을 추정하여 움직임을 보다 정확하게 추정하는 것이 가능한 영상 부호화 장치의 다방향 계층적 움직임 추정방법을 제공하는 데 있다.

이를 위해, 본 발명의 실시 예에 따른 영상 부호화 장치의 다방향 계층적 움직임 추정방법은, 입력받은 영상의 영상 프레임들을 기초로, 다계층 구조를 생성하는 단계; 상기 생성된 다계층 구조의 최상위 계층에서 복수의 움직임 탐색 영역을 지정하고, 각 움직임 탐색 영역마다 복수의 움직임 벡터 후보들을 탐색하는 단계;상기 다계층 구조의 하위 계층에서 상기 탐색된 복수의 움직임 벡터 후보들을 중심으로 움직임 추정을 재수행하면서 상기 복수의 움직임 벡터 후보들을 수정하는 단계; 및 상기 다계층 구조의 최하위 계층에서 최종 움직임 벡터를 선택하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

일 실시 예에서, 상기 복수의 움직임 벡터 후보들을 탐색하는 단계는, 상기 다계층 구조의 최상위 계층에서 중심 화소를 포함한 5개의 움직임 벡터 후보들을 추출하는 단계인 것을 특징으로 한다.

일 실시 예에서, 상기 복수의 움직임 벡터 후보들을 수정하는 단계에서는, 상기 다계층 구조의 하위 계층에서 지정되는 복수의 움직임 탐색 영역의 크기보다 작은 크기의 서브 움직임 탐색 영역이 지정되고, 지정된 서브 움직임 탐색 영역 내에서 움직임 추정을 재귀적으로 수행하는 것을 특징으로 한다.

일 실시 예에서, 상기 최종 움직임 벡터를 선택하는 단계는, 상기 다계층 구조의 최하위 계층에서 최종 수정된 움직임 벡터 후보들 중 절대 값의 차이 합(SAD, sum of absolute differences)이 가장 작은 후보를 현재 블록의 최종 움직임 벡터로 선택하는 단계인 것을 특징으로 한다.

일 실시 예에서, 상기 추정 방법은, 선택된 최종 움직임 벡터와 관련된 정보를 저장하는 단계; 및 저장된 정보를 기초로, 다음 영상 프레임의 움직임 추정을 수행하는 단계를 더 포함할 수 있다.

이상, 본 발명의 실시 예에 따른 영상 부호화 장치의 다방향 계층적 움직임 추정방법에 의하면, 초기 움직임 벡터 추정 단계에서 복수의 후보군을 사용하여 움직임을 추정하기 때문에 빠르고 정확하게 움직임 추정을 수행할 수 있다. 또한, 계산량도 감소되는 효과가 있다.

또한, 영상 부호화 장치의 다방향 계층적 움직임 추정방법에 의하면, 초기에 최상단 계층에서 복수의 탐색 영역마다 복수의 후보들을 지정함으로써 해상도 저하로 발생되는 문제점을 해결할 수 있다.

도 1은 본 발명의 실시 예에 따라, 영상의 움직임을 추정하는 방법을 구체적으로 설명하기 위한 대표적인 흐름도이다.
도 2는 본 발명의 실시 예에 따라, 영상 프레임을 기초로 하는 다계층 구조를 보여주는 도면들이다.
도 3은 본 발명의 실시 예에 따라, 다계층 구조에서 움직임 탐색 영역의 예시를 보여주는 도면들이다.
도 4는 본 발명의 실시 예에 따라, 움직임 탐색 영역에서 추출된 움직임 벡터를 수정하는 예시를 보여주는 도면이다.

먼저, 본 발명의 실시예에 따른 영상 부호화 장치의 다방향 계층적 움직임 추정방법은 동영상의 부호화를 위해 움직임 추정이 필요한 모든 장치 및 시스템에 적용될 수 있다.

또한, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

여기서 설명되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 즉, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구서요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항복들 중의 어느 항목을 포함한다.

또한, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

또한, 본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여 본 발명에 바람직한 실시 예들을 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

본 발명에서는, 상위 계층으로부터 얻은 움직임 벡터를 사용하여 최하위 계층에서 영역을 나눈 후에 각 영역에서 움직임을 보다 정확하게 추정하는 것이 가능한 영상 부호화 장치의 다방향 계층적 움직임 추정방법을 제안하고자 한다.

먼저, 도 1은 본 발명의 실시 예에 따라 영상의 움직임을 추정하는 방법을 구체적으로 설명하기 위한 대표적인 흐름도를 보여준다.

도 1을 참조하면, 영상 프레임을 기초로 다계층 구조 생성하는 단계가 개시된다(S10). 이를 위해, 본 발명에서 설명되는 영상 부호화 장치의 움직임 추정 수단(미도시)은 입력된 영상에서 현재 프레임의 영상 데이터와 메모리(미도시)에 저장된 이전 프레임의 영상 데이터를 샘플링하여 다계층 구조를 형성하도록 동작할 수 있다. 이때에, 다계층 구조의 계층 수에는 특별한 제한이 없다. 다만, 본 발명에서는 설명의 편의를 위해, 3계층의 구조로 형성된 것을 전제로 설명하였다.

다음으로, 상기 다계층 구조의 상위 계층에서 복수의 움직임 탐색 영역을 구분하고, 각 탐색 영역마다 복수의 움직임 벡터 후보들을 탐색하는 단계를 수행한다(S20).

그리고, 탐색된 복수의 움직임 벡터 후보들을 기초로, 상기 다계층 구조의 하위 계층에서 움직임 추정을 재수행하면서 복수의 움직임 벡터 후보들을 수정한다(S30). 구체적으로, 최상위 계층인 제1계층에서 선택된 복수의 움직임 벡터 후보들을 중심으로 제1계층의 아래 계층인 제2계층에서 움직임 추정을 재귀적으로 수행한다. 이러한 움직임 추정은 최하위 계층인 제3계층에서도 반복된다.

구체적으로, 제3계층에서는 제2계층에서의 수정 결과를 중심으로 보다 작은 탐색 영역에서 움직임 추정을 재귀적으로 수행하고 이전 계층들에서 탐색된 움직임 벡터 후보를 수정한다. 이에 의하면, 제1계층 및/또는 제2계층에서 탐색된 움직임 벡터 후보들에 오류가 있더라도 하위 계층에서의 움직임 추정을 통해 오류가 수정될 수 있다. 또한, 이러한 움직임 추정이 계층별로 재귀적으로 수행되더라도 처음의 최상위 단계에서 정해진 개수(예, 5개)의 움직임 벡터 후보군으로 한정하였으므로 빠른 계산 속도를 유지할 수 있다.

다음, 다계층 구조의 최하위 계층에서 최종 움직임 벡터를 선택한다(S40). 그리하여, 선택된 최종 움직임 벡터를 기초로 계산을 수행하고, 해당 영상 프레임의 움직임을 예측한다. 또한, 이러한 움직임 예측값은 다음 영상 프레임의 움직음 벡터 후보군을 선택하는데 재귀적으로 사용될 수 있다.

비록 도시되지는 않았지만, 일 실시 예에서는 선택된 최종 움직임 벡터가 속한 블록(이하, '매크로 블록' 또는 'MB'라 칭함)의 위치 및 속성 정보를 저장할 수 있다. 그리하여, 유사 동영상 프레임이 입력되었을 때, 저장된 매크로 블록에 관한 정보를 이용하여, 해당 MB 및 그와 인접한 MB에서 복수의 움직임 벡터 후보들을 우선으로 선택하도록 종속적인 방식으로 움직임 벡터를 추정할 수 있다. 또한, 저장된 매크로 블록에 관한 정보는 지속적으로 업데이트될 수 있다.

또한, 일 실시 예에서는 단계(S20)에서 탐색된 복수의 움직임 벡터 후보들의 중간값을 취하여, 다음 하위계층의 벡터 후보들을 반복적으로 추정할 수도 있다. 이러한 경우, 다계층 구조의 최하위계층에 도달할때까지 재귀적으로 움직임 벡터 추정이 수행될 수 있을 것이다.

또한, 일시 예에서는 계산된 최종 움직임 벡터가 속한 블록 특성을 추출할 수 있다. 그런 다음, 추출된 블록 특성을 정해진 임계값과 비교하여, 이후에 수행될 추가적인 계산/프로세스의 생략 여부를 결정할 수 있다. 일 예로, 다수 프레임들의 전체 배경의 움직임 없는 경우라면, 이후에 수행될 추가적인 계산/프로세스를 생략하거나 상수값으로 대체할 수 있으므로, 보다 획기적인 계산량 감소가 달성된다.

또한, 일 실시 예에서는 이와 같이 계산된 제1시점 영상 프레임의 최종 움직임 벡터와 제2시점 영상 프레임의 최종 움직임 벡터를 비교할 수 있다. 즉, 현재 프레임의 매크로 블록의 SAD 값과 이전 프레임의 매크로 블록의 SAD 값을 비교할 수 있다. 또한, 비교 결과를 기초로 제2시점에서 장면의 전환 발생 여부를 쉽게 판단할 수 있다. 장면 전환이 없다고 판단되면, 영상의 부호화 단계를 생략할 수 있다. 또는, 비교 결과를 기초로 제1 및 제2시점 이후인 제3시점에서의 영상 움직임을 빠르게 추정할 수도 있다. 이때에, 제1시점은 제2시점의 이전 프레임 발생 시점을 의미한다.

또한, 일 실시 예에서는, 이미 계산된 주변의 움직임 벡터를 이용하여 현재 매크로 블록의 움직임 벡터와 관련된 성분들(예, 수평 또는 수직 성분들)을 추정할 수도 있다. 여기에서, 매크로 블록은 예를 들어 수평방향 * 수직방향 개의 화소를 포함할 수 있다. 또한, 일 예에서는, 상기한 단계들에 따른 움직임 추정의 수행/재수행과 관련된 연산의 동작 속도를 향상시키기 위해, 병렬 방식으로 동작할 수 있다.

이하, 도 2는 본 발명의 실시 예에 따라, 영상 프레임을 기초로 하는 다계층 구조의 예시를 보여준다.

도 2에 도시된 바와 같이, 부호화할 동영상이 입력되면, 움직임 추정을 하기 위한 전제 단계로, 가우시안 (Gaussian) 필터와 다운샘플링을 이용하여 기존의 프레임들을 가우시안 피라미드 구조로 구성할 수 있다. 일 예로, HD 이상의 고해상도 영상을 대상으로 다계층 구조를 생성할 수 있고, 피라미드 형태의 다계층 구조는, 도 2에 도시된 바와 같이 총 세 개의 계층으로 이루어질 수 있다.

다음으로, 도 3은 이와 같이 생성된 다계층 구조에서 움직임 벡터 후보들을 찾기 위한 움직임 탐색 영역의 예시를 보여준다.

먼저, 다계층 구조의 최상단 계층(도 2의 계층 3)에서부터 움직임 탐색이 수행된다. 이때에, 움직임 탐색 영역은 도 3에 도시된 바와 같이 네 개의 영역으로 구분될 수 있다. 영역의 위치는 도 3의 좌측과 같이 정사각형 형태일 수도 있고, 또는 도 3의 우측과 같이 정삼각형 형태일 수도 있다.

또한, 움직임 벡터의 가능성이 가장 큰 (0,0)위치, 즉 블록의 센터가 중심 화소로 지정되며, 이와 인접하는 각 영역에서 움직임 벡터의 후보를 찾는다. 결과적으로 한 블록에 대해 총 다섯 개의 움직임 벡터 후보군을 얻을 수 있다.

도 4는 본 발명의 실시 예에 따라, 움직임 탐색 영역에서 추출된 움직임 벡터를 수정하는 예시를 보여주는 도면이다.

최상단 계층의 아래 계층, 즉 제2계층에서는 도 4에 도시된 바와 같이, 도 3에서 획득된 다섯 개의 후보들을 중심으로, 보다 작은 움직임 추정 영역 (±2 화소)의 범위에서 움직임 추정을 반복적으로 수행한다. 그에 따라, 최상단 계층인 제1계층에서 추출된 움직임 벡터의 후보들이 보다 정확성이 향상되는 방향으로 수정된다.

다음, 최하단 계층에서는 위의 제2계층에서 수행한 프로세스와 동일/유사한 방식으로 움직임 벡터 후보들이 지속적으로 수정된다. 그런 다음, 최종적으로 수정된 다섯 개의 움직임 벡터 후보들 중에서 절대 값의 차이 합, 즉 SAD(sum of absolute differences)이 가장 작은 후보가 현재 블록의 최종 움직임 벡터로 결정된다.

이와 같이, 초기 움직임 벡터 추정 단계에서 다섯 개의 후보군을 가지고 지속적으로 움직임 추정을 수정하면 빠른 속도를 유지함과 동시에 움직임 추정의 정확도를 높일 수 있다. 또한, 영상을 계층적 구조로 구성하게 되면 상위 계층으로 올라갈수록 영상의 해상도가 낮아지기 때문에 그만큼 영상의 정보 또한 줄어든다. 따라서 최상단 계층에서의 움직임 벡터의 정확도가 떨어지는 현상이 발생하는데, 위와 같이 초기에 최상단 계층에서 다섯 개의 후보를 지정함에 따라 해상도의 저하로 인한 문제가 해소될 수 있다.

이상에서 살펴본 바와 같이, 본 발명의 실시 예에 따른 영상 부호화 장치의 다방향 계층적 움직임 추정방법에 의하면, 초기 움직임 벡터 추정 단계에서 복수의 후보군을 사용하여 움직임을 추정하기 때문에 빠르고 정확하게 움직임 추정을 수행할 수 있다. 또한, 계산량도 감소되는 효과가 있다. 나아가, 영상 부호화 장치의 다방향 계층적 움직임 추정방법에 의하면, 초기에 최상단 계층에서 복수의 탐색 영역마다 복수의 후보들을 지정함으로써 해상도 저하로 발생되는 문제점을 해결할 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예를 예시적으로 설명하였으나, 본 발명의 범위는 이와 같은 특정 실시 예에만 한정되는 것은 아니므로, 본 발명은 본 발명의 사상 및 특허청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있다. 또한, 여기에서 기술된 본 발명에 따른 방법은 소프트웨어, 하드웨어, 또는 이들의 조합으로 구현될 수 있다. 예를 들어, 본 발명에 따른 방법은 저장매체(예, 단말내부 메모리, 플래쉬 메모리, 하드디스크, 등)에 저장될 수 있고, 프로세서(예, 단말 내부 마이크로 프로세서)에 의해 실행될 수 있는 소프트웨어 프로그램 내에 포함되는 코드들 또는 명령어들로 구현될 수 있다.

Claims (5)

1. 입력받은 영상의 영상 프레임들을 기초로, 다계층 구조를 생성하는 단계;
   상기 생성된 다계층 구조의 최상위 계층에서 복수의 움직임 탐색 영역을 지정하고, 각 움직임 탐색 영역마다 복수의 움직임 벡터 후보들을 탐색하는 단계;
   상기 다계층 구조의 하위 계층에서 상기 탐색된 복수의 움직임 벡터 후보들을 중심으로 움직임 추정을 재수행하면서 상기 복수의 움직임 벡터 후보들을 수정하는 단계;
   상기 다계층 구조의 최하위 계층에서 최종 움직임 벡터를 선택하는 단계;
   상기 최종 움직임 벡터가 속한 블록 특성을 추출하는 단계; 및
   상기 블록 특성을 기 설정된 임계값과 비교하여 다음 프로세스의 생략 여부를 결정하는 단계를 포함하고,
   상기 복수의 움직임 벡터 후보들을 탐색하는 단계는,
   상기 다계층 구조의 최상위 계층에서 5개의 움직임 벡터 후보들을 추출하는 단계이고,여기서, 상기 5개의 움직임 벡터 후보들은,
   상기 움직임 탐색 영역의 중심 화소 및, 상기 움직임 탐색 영역을 네 개의 영역으로 구분한 각 영역에서 추출한 4개의 움직임 벡터 후보를 포함하고,
   상기 복수의 움직임 벡터 후보들을 수정하는 단계는,
   최상위 계층인 제1계층에서 선택된 복수의 움직임 벡터 후보들을 중심으로 제1계층의 아래 계층인 제2계층에서 움직임 추정을 재귀적으로 수행하고, 상기 최하위 계층인 제3계층에서 상기 제2계층의 수행 결과를 중심으로 작은 탐색 영역에서 움직임 추정을 재귀적으로 수행하며, 상기 제3계층의 수행 결과에 따라 상기 제1계층 및 상기 제2계층 중 적어도 하나의 상기 움직임 벡터 후보를 수정하는 것을 특징으로 하고,
   상기 네 개의 영역은 삼각형 형태이며, 각 삼각형의 일 꼭지점이 영상 프레임의 일 지점에서 맞닿는 것을 특징으로 하는 영상 부호화 장치의 다방향 계층적 움직임 추정 방법.
2. 삭제
3. 제1항에 있어서,
   상기 복수의 움직임 벡터 후보들을 수정하는 단계에서는,
   상기 다계층 구조의 하위 계층에서 지정되는 복수의 움직임 탐색 영역의 크기보다 작은 크기의 서브 움직임 탐색 영역이 지정되고, 지정된 서브 움직임 탐색 영역 내에서 움직임 추정을 재귀적으로 수행하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 장치의 다방향 계층적 움직임 추정 방법.
4. 제1항에 있어서,
   상기 최종 움직임 벡터를 선택하는 단계는,
   상기 다계층 구조의 최하위 계층에서 최종 수정된 움직임 벡터 후보들 중 절대 값의 차이 합(SAD, sum of absolute differences)이 가장 작은 후보를 현재 블록의 최종 움직임 벡터로 선택하는 단계인 것을 특징으로 하는 영상 부호화 장치의 다방향 계층적 움직임 추정 방법.
5. 제1항에 있어서,
   선택된 최종 움직임 벡터와 관련된 정보를 저장하는 단계; 및
   저장된 정보를 기초로, 다음 영상 프레임의 움직임 추정을 수행하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 장치의 다방향 계층적 움직임 추정 방법.

Images