KR20020085269A

KR20020085269A - 다중 후보를 이용한 움직임 벡터 병합 탐색 방법

Info

Publication number: KR20020085269A
Application number: KR1020010024675A
Authority: KR
Inventors: 김성득
Original assignee: 엘지전자 주식회사
Priority date: 2001-05-07
Filing date: 2001-05-07
Publication date: 2002-11-16
Also published as: US7099392B2; US8073056B2; US20020172287A1; US20060251172A1; KR100446235B1

Abstract

본 발명은 동 영상 압축에서의 움직임 벡터에 관한 것으로, 특히 다중 후보를 이용하는 계층적 움직임 탐색시 중첩되는 영역을 병합하여 탐색 수행이 이루어 질 수 있도록 한 것이다. 본 발명에 따른 다중 후보를 이용한 움직임 벡터 병합 탐색 방법은, 다중 후보를 이용하는 움직임 벡터 추정시, 다수개의 독립된 탐색영역으로부터 영역 상호간의 중첩 정도 및 각 탐색 영역의 크기 값을 계산하는 단계; 상기 영역 상호간의 중첩 정도 및 각 탐색 영역의 크기 값이 병합 조건에 부합하는지 확인하는 단계; 상기 병합 조건에 부합되는 서로 중첩된 탐색 영역들을 최소 크기로 병합하고 병합된 영역 탐색을 수행하는 단계를 포함하는 것을 특징으로 한다.

여기서, 상기 병합된 탐색 영역은 서로 독립적인 탐색 영역들의 개별 탐색점의 수 보다 작고, 병합 대상이 되는 각 탐색영역의 중심 좌표사이의 상대적인 거리를 구한 후 설정된 임계치를 비교한 후 병합 여부를 판단하는 것을 특징으로 한다.

이 같은 본 발명에 의하면, 다수개의 독립된 영역이 서로 중첩되고 병합조건에 부합되는 독립된 탐색 영역이 병합조건에 맞을 때 최소 크기의 사각형으로 병합함으로써, 움직임 추정 성능 향상에 기여하고, 탐색점 수가 줄어듬에 따라 연산량도 감소할 수 있도록 함에 있다.

Description

다중 후보를 이용한 움직임 벡터 병합 탐색 방법{Merging search method of motion vector using multi-candidates}

본 발명은 동영상 압축에서의 움직임 벡터 탐색에 관한 것으로, 특히 다중 후보를 이용하는 계층적 움직임 벡터(MV: Motion Vector) 탐색시 서로 중첩되는 탐색 영역(Search Area)을 병합하여 연산량을 감소시켜 줄 수 있도록 한 다중 후보를 이용한 움직임 벡터 병합 탐색방법에 관한 것이다.

멀티미디어의 핵심기술은 영상, 음향, 음성, 문자, 도형, 일반 데이터 등의 정보를 각 정보의 특성에 따라 압축하는 것으로, 압축하지 않을 경우 데이터 양이 과다하여 전송이나 저장에 많은 어려움이 따르며, 이러한 영상 압축시에는 인간이 시청각 기관으로 느끼는 정보에 대해 눈이나 귀가 거의 느낄 수 없을 정도의 에러를 허용하여 압축률을 높일 수 있으며, 이러한 방식으로 압축한 정보는 복원시 원래의 값과는 약간의 차이가 있으나 눈이나 귀에 느껴지지만 않는다면 문제될 것이 없다.

이러한 영상 압축은 영상 데이터에 내재하는 중복성을 제거함으로써 수행된다. 이러한 영상데이터에 내재하는 중복성은 크게 세 종류로 분류된다. 우선 초당 여러 장의 화면이 발생할 때 이웃하는 두 장의 화면은 매우 비슷하며, 정지한 경우 완전히 같고 움직임이 있더라도 그 부분을 제외하면 배경은 같은데 이것이 화면과 화면사이에 존재하는 시간적 중복성이다. 또 한 화면내에서도 이웃하는 화소끼리는 그 값들이 매우 비슷한데 이것이 화소와 화소 사이에 존재하는 공간적 중복성이다. 그 나머지 하나는 통계적 중복성이다.

일반적으로 동영상 압축기의 성능을 좌우하는 요소로서 움직임 벡터 탐색이 이용되며, 특히 움직임 벡터 탐색은 전역 탐색을 수행할 경우 가장 많은 연산 량을소모한다. 이로 인해 고속 움직임 탐색을 위한 다양한 방법들이 소개되어 왔고, 하드웨어로 움직임 탐색부를 구현하기도 하였다.

이러한 하드웨어 구현, 소프트 웨어 구현, 고속 탐색 방법에 상관없이 모든 움직임 추정부의 핵심 부분은 일반적으로 도 1과 같은 전형적인 입출력을 가진다.

도 1과 같은 움직임 추정기 기본요소(10)는 원 데이터(Original Data, O(k,l)), 이전 프레임(P(k,l)), 탐색 범위(M0,N0),(N0,N1)), 블록 사이즈(BS)가 정해지면 움직임 벡터(MV)와 영역의 유사도(SAD)를 구할 수 있다.

이러한 움직임 벡터 탐색의 핵심은 현재 블록(Current Block)과 가장 유사한 영역을 이전 프레임에서 찾는 것으로 다음과 같은 수학식 1로 표현될 수 있다.

상기 수학식 1에서 SAD는 영역의 유사성을 가름하는 척도인 유사도 값이고, BS는 블록의 사이즈를 말하고, (M0,N0)와 (M1,N1)은 사각 모양의 탐색 영역을 나타낸다. (M0,N0)는 사각 모양의 탐색 영역에서 좌측 상단 좌표이고, (M1,N1)는 사각모양의 탐색영역에서 우측 하단 좌표이다.

그리고, O(k,l)은 현재 탐색하고자 하는 원 영상 블록을 말하고, P(k,l)은 복원된 이전 프레임을 말한다. 즉 원 영상 블록(O(k,l))과 가장 유사한 블록을 복원된 이전 프레임(P(k,l))에서 주어진 사각형 모양의 탐색 영역범위(MO,N0),(M1,N1)내에서 찾는 것이다.

즉, 영역의 유사성을 가름하는 척도로서, SAD는 탐색 영역(MO,N0),(M1,N1)에대해 현재 탐색하고자 하는 원 영상 블록(O(k,l))에서 복원된 이전 프레임(P(k,l))을 뺀 다음, 각 차블록들의 탐색점의 절대합을 각각 구하게 된다. 이렇게 각 (i,j)에 대해 구해진 SAD값 중에서 최소 SAD 값을 구하여 이때의 (i,j)를 원 영상 블록(0(k,l))에 대한 움직임 벡터(MV)로 구하게 된다.

예를 들어 설명하면, 블록 크기(BS)가 16이고, 탐색영역의 좌측 상단 좌표(M0,N0)=(-16,-16)이며, 탐색 영역의 우측 상단좌표 (M1,N1)=(15,15)일 때, 기준점 (0,0)을 기준으로 해서 원 해상도의 영상을 공급하면 MPEG-4나 H.263에서의 한 매크로 블록에 대한 전역 움직임 탐색(full moving search)이 된다. 이러한 전역 탐색은 좋은 성능을 나타내지만 그 연산량이 지나치게 과도해서 일반적인 구현에서는 고속 탐색 방법이 사용된다.

이와 같이, 움직임 벡터 추정시에는 어떤 지점을 중심으로, 입력 영상의 어떤 해상에서 어떤 블록크기(BS: Block Size)로, 어느 정도의 영역(Search Range)을 정해서 탐색하느냐에 따라 각종 고속 알고리즘이 정해진다. 그 중에서도 대표적인 방법이 계층적 탐색방법이다.

도 2도는 계층적 탐색 방법 중에서도 여러 개의 탐색 후보 점을 이용하는 방식에 대한 개념도이다.

이러한 계층적 탐색은 해상도를 낮추고, 각 해상도의 영상에 대한 탐색에서 여러 개의 움직임 벡터 후보(Motion Vector candidates)들을 구한 다음, 보다 낮은해상도의 결과를 높은 해상도에서의 초기 점으로 활용해서 국부적인 탐색을 하는 부분이 주된 기능 블록이다.

먼저, 원 해상도의 영상을 서브 샘플링 또는 필터링을 통해서 보다 낮은 해상도의 영상들로 만들어 낸다. 그리고 가장 낮은 해상도에서부터 탐색을 시작하고 낮은 해상도에서의 탐색 결과를 높은 해상도의 탐색 초기점으로 잡는다.

도 2 처럼, 3개의 계층(Layer2, Layer1, Layer0)을 예로 하여 설명하면, 낮은 해상도(제 3레벨 이미지)에서 보다 높은 해상도(제 2레벨 이미지)로 움직임 벡터(TSA)를 넘겨줄 때 5개의 후보(SSA1~SSA5)를 넘겨주는 방식이 있다.

이때, 보다 높은 해상도 쪽으로 탐색 초기점을 넘겨주는 방식은 여러 방법이 있을 수 있으며, 그 중에서도 낮은 레이어 탐색에서 가장 적은 SAD를 발생하는 순서대로 5개를 넘길 수도 있고, 서브 블록 별 탐색을 통해 결과치를 넘길 수도 있다.

도 2의 계층적 탐색을 도 1의 입 출력에 맞추어서 설명하면 다음과 같다.

먼저 레이어 2(제 3레벨 이미지)(21)에서의 입력은 가로 세로 각각 1/4(full search of ±4pels)로 줄어든 영상을 입력으로 받아서 적절한 탐색 영역과 크기에 대해 탐색을 수행한다. 그리고 그 결과를 토대로 적당한 후보를 레이어 1(제 2레벨 이미지)(22)의 탐색 초기점으로 넘겨준다. 레이어 1(22)에서는 다섯 개의 국부 탐색 초기점(±1 pels for five points)을 중심으로 각각 국부적인 탐색을 수행한다.

이때 입력 영상은 가로 세로 각각 1/2로 줄어든 영상이다. 그리고 레이어 1의 탐색 결과는 레이어 0(제 1레벨 이미지)(23)로 보내지고, 레이어 0(23)에서는원 해상도의 영상에서 주어진 다섯 지점 주변(±1pels for five points)을 탐색해서 최종적인 움직임 벡터(final MV)를 결정한다.

이와 같이, 일반적인 움직임 벡터의 탐색 영역은 사각형으로 나타난다. 특히 하드웨어의 경우는 소프트웨어와는 달리 사각형의 탐색 영역을 보장하는 것이 순차적인 연산의 효율을 해치지 않는 필수적 요구사항이다.

이 경우 다중 후보를 사용하면 각 후보를 중심으로 탐색 영역들이 서로 중첩될 수 있다. 예를 들어서 도 2에서 레이어 2(21)에서 레이어 1로 내려보내는 5개의 후보 값이 거의 유사한 지점이라면 레이어 1(22)에서의 5지점에 대한 탐색 영역은 상당한 중첩 영역을 가진다.

그러나, 탐색 영역이 실제 중첩된 부분은 같은 SAD 값을 가지지만 매 후보마다 같은 탐색점에 대해서 똑 같은 SAD값을 각각 구하게 되므로, 상대적으로 많은 연산량을 허비하게 된다.

본 발명은 상기한 종래의 문제점을 해결하기 위해 안출된 것으로서, 다수개의 독립된 영역이 서로 중첩되고 병합조건에 부합되는 독립된 탐색 영역을 최소 크기의 사각형으로 병합함으로써, 움직임 추정 성능 향상에 기여하고, 탐색점 수가 줄어듬에 따라 연산량도 감소할 수 있도록 한 다중 후보를 이용한 움직임 벡터 병합 탐색방법을 제공함에 그 목적이 있다.

도 1은 다중 후보를 이용한 움직임 추정 장치를 나타낸 구성도.

도 2는 종래 다중 후보를 이용한 계층적 움직임 벡터 탐색 방법을 나타내기 위한 개념도.

도 3은 본 발명의 실시예에 따른 다중 후보를 이용한 움직임 벡터 병합 탐색방법을 나타낸 개념도.

도 4는 본 발명의 실시예에 있어, 두 개의 탐색 영역이 있을 경우 탐색 영역의 병합 과정을 설명한 도면.

도 5는 본 발명의 실시예 따른 탐색 영역 크기에 따라 병합 규칙을 설명하기 위한 표.

<도면의 주요 부분에 대한 부호의 설명>

21,22,23...계층적 레벨 이미지31,32,41...병합 탐색 영역

42,43...탐색 영역

상기한 목적 달성을 위한, 본 발명에 따른 다중 후보를 이용한 움직임 벡터병합 탐색 방법은,

다중 후보를 이용하는 움직임 벡터 추정시, 다수개의 독립된 탐색영역으로부터 영역 상호간의 중첩 정도 및 각 탐색 영역의 크기 값을 계산하는 단계;

상기 영역 상호간의 중첩 정도 및 각 탐색 영역의 크기값이 병합 조건에 맞는지 확인하는 단계;

상기 병합 조건에 부합되는 서로 중첩된 탐색 영역들을 최소 크기로 병합하고 병합된 영역 탐색을 수행하는 단계를 포함하는 것을 특징으로 한다.

상세하게는, 상기 병합된 탐색 영역은 서로 독립적인 탐색 영역들의 개별 탐색점의 수 보다 작은 것을 특징으로 하고, 병합 조건은 병합 대상이 되는 각 탐색영역의 중심점 좌표 값으로부터 상대적인 거리를 구한 후 설정된 임계치를 비교하여 임계치보다 작거나 같을 경우 병합하는 것을 특징으로 한다.

상세하게는, 상기 병합 조건에서의 임계치는 탐색 영역의 크기에 비례해서 설정하는 것을 특징으로 한다.

본 발명에 따른 다중 후보를 이용한 움직임 벡터 병합 탐색방법은, 움직임 벡터의 탐색 영역을 여러 개의 탐색 후보 점에 대해 계층적으로 해상도를 낮추고, 각 해상도의 영상에 대한 탐색에서 여러 개의 움직임 벡터를 구한 후 보다 낮은 해상도의 결과를 높은 해상도에서의 초기점으로 활용하는 국부적인 탐색과; 여러 개의 탐색 후보 점에 대한 임의의 탐색 영역이 중첩 영역에 있을 경우 소정의 크기로 병합하는 병합적 탐색을 적응적으로 수행하는 것을 특징으로 한다.

상기와 같은 본 발명 실시 예에 따른 다중 후보를 이용한 움직임 벡터 병합탐색 방법에 대하여 첨부된 도면을 참조하여 설명하면 다음과 같다.

도 3은 본 발명의 실시예에 따른 다중 후보를 이용한 움직임 벡터 병합 탐색방법을 나타낸 개념도이고, 도 4는 본 발명의 실시예에 있어, 두 개의 탐색 영역이 있을 경우 탐색 영역의 병합 과정을 설명한 도면이며, 도 5는 본 발명의 실시예 따른 탐색 영역 크기에 따라 병합 규칙을 설명하기 위한 표이다.

도 3을 참조하면, 다섯 개의 독립된 탐색 영역(SA1, SA2, SA3, SA4, SA5)이 두 개의 큰 병합 탐색 영역(MSA1,MSA2)(31,32)으로 묶이는 것을 보여준다.

서로 중첩된 탐색 영역 SA1,SA2,SA3이 중첩되는 영역을 가지므로 이들을 하나로 병합하여 탐색하기 위해 제 1병합 탐색 영역(MSA1; Merged Search Area 1)(31)으로 묶어서 탐색하며, 서로 중첩된 탐색영역(SA4,SA5)은 제 2병합 탐색 영역(MSA2)(32)으로 묶어 탐색하게 된다.

이는 여러 개의 탐색 영역이 서로 중첩되고 병합조건에 부합할 경우 각 탐색 영역을 묶는 최소 크기의 사각형을 병합된 탐색 영역으로 볼 수 있으며, 그 병합시에는 실제적인 탐색점 수가 줄어드는 경우에 대해서만 병합을 수행하게 된다.

도 4는 두 개의 탐색영역이 있는 경우에 대해서 병합되는 과정을 구체적으로 설명하기 위한 개념도로서, 여기서는 임의의 레이어에서 단지 2개의 탐색 영역 만이 사용된다고 가정하고 탐색 영역 병합을 구체적으로 보여준 개념도이다.

도 4를 참조하면, 두 개의 탐색 영역(42,43)은 보다 낮은 해상도에서 얻어진 결과일 수도 있고, (0,0)이나 주변 벡터의 중간 값과 같은 예측된 값일 수도 있다.

이러한 두 탐색 영역(42,43)의 중심점을 각각 A, B라고 하고, 탐색 영역의크기는 가로 세로 각각 ±2(-2,-1,0,+1,+2)이며, A의 좌표 값을 (X1,Y1), B의 좌표 값을 (X2,Y2)라고 하자.

그리고, 제 1탐색 영역(42)의 탐색점 수(P42)는 25개이고, 제 2탐색 영역(43)의 탐색점 수(P43)는 25개이므로, 두 탐색 영역(42,43)에 속하는 각각의 탐색점 수(Search Points)의 합(25+25)은 50개이다. 그러나 중첩된 영역에 존재하는 포인트(Po=9)로 인해 실제적인 탐색점 수(50-9)는 41(= P42+P43-Po) 탐색점 뿐인데 반해 50개의 탐색점을 탐색하게 된다.

그러나 병합 탐색 영역(41)을 사용하면 탐색점 수는 49지점의 탐색점(P41=7*7)을 가지고 실제적인 탐색점 수는 개별적으로 탐색하는 것 보다 늘어나므로, 병합이 연산량 측면에서 유리할 뿐만 아니라 성능도 향상시킬 수 있다.

여기서, 병합 탐색 영역의 판단 조건을 살펴보면, 먼저 두 탐색지점간의 거리를 정의한다. 여기서는 일차원적 거리(Distance)를 예로써 수학식 2와 같다.

여기서, 수학식 2에서 거리 (A,B)≤THR를 만족하는 경우에 대해서 병합을 수행한다. 즉, 임계치(THR)를 만족한다는 조건은 서로 다른 탐색영역의 벡터 좌표를 각각 감산한 후 그 감산된 값의 절대값을 취하여 더한 거리 값이 중첩 영역에 대한 임계치(THR)가 크거나 같을 때 수행하게 된다. 여기서 임계치는 탐색영역의 크기에 비례하여 설정된 값이다.

도 4에서는 기준점을 중심으로 탐색영역이 좌우로 동일한 폭이라고 보고 가로 세로 ±2 탐색을 수행할 경우이다. 이 경우의 적절한 임계값은 4이다. 탐색영역이 ±1, ±2, ±3, ±4인 경우에 대해서 각각의 적절한 임계값은 제 5도에 나타내었다. 도 5의 병합조건에 나타낸 바와 같이 다양한 크기를 갖는 탐색영역과 이에 비례하는 임계값을 이용함으로써, 움직임 벡터 탐색 영역 병합의 판단 조건을 만족하는 병합된 탐색 영역은 적어도 개별 탐색 영역의 합 보다는 적게 된다.

한편, 도 4에서 두 탐색 영역의 중심점은 보다 낮은 해상도에서 얻어질 수 있고 H.263이나 MPEG-4의 움직임 벡터 부호화에서 처럼 인접한 블록들에 대한 움직임 벡터 결과값들 중에서 좌측값 혹은 중간값 값으로 예측할 수 있다.

특히 기준점(0,0)을 A,B 중 하나로 사용할 경우는 거리(A,B)를 구하기가 쉽고 기준점(0,0)은 해당 블록의 움직임 벡터 정보를 1비트로 압축할 수 있는 여지를 남겨둠으로써 코딩 효율측면에서도 유리하다. 또한, 인접 움직임 벡터의 중간 값이나 좌측 값을 하나의 후보로 사용하면 움직임 벡터의 부호화 효율을 향상시킬 수 있다.

이렇게 기준점(0,0)이나 주변 벡터값을 이용하는 것은 탐색 영역 병합으로 인해 더욱 효과가 증대되는 데, 이것은 병합으로 인해 병합전 보다 연산량은 줄어 들지만, 병합 영역 가장자리에 새롭게 추가되는 탐색점(Pe) 즉, 독립적인 탐색 영역의 주변 탐색점을 포함으로써 실제 병합 탐색점 수는 더 늘어나게 된다.

그리고, 병합시 모든 가능한 경우의 수를 고려해서 가장 최적의 병합조건을 판단해서 수행할 수도 있으며, 또한 연산량을 고려하여 인접한 것부터 순차적으로 병합해 나가가거나 임의로 하나의 탐색 영역을 정해서 그 부분부터 순차적으로 병합해 나갈 수도 있다.

한편, 움직임 벡터의 계층적 움직임 탐색시 병합조건에 부합되지 않는 각각 독립적인 영역의 탐색과 병합조건에 부합되는 병합 탐색 영역을 적응적으로 하여, 움직임 벡터를 추정할 수 있도록 한 것이다. 즉, 특정 레이어에서의 움직임 벡터 추정시 병합 여부를 확인하여 병합되는 병합 탐색 영역과 병합되지 않는 독립적인 탐색 영역이 존재하므로, 그 탐색 영역을 적응적으로 선택하여 움직임 벡터를 추정할 수 있도록 하여, 전체적인 연산량 및 탐색점 수를 감소시켜 준다.

이상에서 설명한 바와 같이, 본 발명에 따른 다중 후보를 이용하는 움직임 벡터 병합 탐색방법에 의하면 서로 독립적인 탐색 영역의 중첩 정도를 판단하여 여러 개의 독립된 탐색 영역을 최소 크기로 병합하고 병합된 영역의 탐색을 수행함으로써, 서로 중첩된 탐색영역의 중복 연산을 배제하여 전체 연산량을 감소시키고, 실제적인 탐색점 수를 개별 탐색 영역의 탐색점 수 보다 증가된 탐색 영역으로 움직임 벡터를 추종할 수 있어 움직임 추정 성능을 향상시켜 줄 수 있다.

Claims

다중 후보를 이용하는 움직임 벡터 추정시, 다수개의 독립된 탐색영역으로부터 영역 상호간의 중첩 정도 및 각 탐색 영역의 크기값을 구하는 단계;

상기 영역 상호간의 중첩 정도 및 각 탐색 영역의 크기 값이 병합 조건에 맞는지 확인하는 단계;

상기 병합 조건을 만족하는 서로 중첩된 탐색 영역들을 최소 크기로 병합하고 병합된 영역 탐색을 수행하는 단계를 포함하는 것을 특징으로 하는 다중 후보를 이용한 움직임 벡터 병합 탐색방법.
제 1항에 있어서,

상기 병합된 탐색 영역은 서로 독립적인 탐색 영역들의 개별 탐색점의 수 보다 작은 것을 특징으로 하는 다중 후보를 이용한 움직임 벡터 병합 탐색방법.
제 1항에 있어서,

상기 병합 조건은 병합 대상이 되는 각 탐색영역의 중심점 좌표 값으로부터 구해진 거리가 설정된 임계치보다 작거나 같을 경우 병합하는 것을 특징으로 하는 다중 후보를 이용한 움직임 벡터 병합 탐색방법.
제 3항에 있어서,

상기 병합 조건에서의 임계치는 탐색 영역의 크기에 비례해서 설정하는 것을 특징으로 하는 다중 후보를 이용한 움직임 벡터 병합 탐색방법.
제 1항에 있어서,

상기 병합 탐색영역의 중심 좌표 간의 거리를 구할 때, 특정 탐색 영역의 기준점(0,0)을 초기점으로 정하고 그 초기점으로부터 상대적인 나머지 탐색영역과의 거리를 구하거나, H.263과 MPEG4의 중심 움직임 벡터 예측값 혹은 좌측 벡터 예측값을 하나의 후보로 사용하는 것을 특징으로 하는 다중 후보를 이용한 움직임 벡터 병합 탐색 방법.
움직임 벡터의 탐색 영역을 여러 개의 탐색 후보 점에 대해 계층적으로 해상도를 낮추고, 각 해상도의 영상에 대한 탐색에서 여러 개의 움직임 벡터를 구한 후 보다 낮은 해상도의 결과를 높은 해상도에서의 초기점으로 활용하는 국부적인 탐색과; 여러 개의 탐색 후보 점에 대한 임의의 탐색 영역이 중첩 영역에 있을 경우 소정의 크기로 병합하는 병합적 탐색을 적응적으로 수행하는 것을 특징으로 하는 다중 후보를 이용한 움직임 벡터 병합 탐색 방법.