KR101867885B1 - 움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치 - Google Patents

Abstract

움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치가 개시된다. 원영상에서 탐색 개시 위치를 결정하여 나선형 움직임 탐색을 수행하는 단계 및 P 픽처 탐색시 서브 샘플링 영상에서의 탐색 수행 여부를 판정하는 단계를 포함하는 움직임 벡터 추출 방법은 서브 샘플링 영상을 이용하면서 나선형움직임탐색, 확장 탬플릿의 복수 병용이라는 방안을 조합한 새로운 계층 나선형 움직임탐색방법인 서브 샘플링탐색에 의한 다수의 움직임벡터후보 검출에 의해 탐색 정도(accuracy)를 개선할 수 있는 효과가 있다.

Description

움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치{Method and Apparatus for effective motion vector decision for motion estimation}

본 발명은 움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치에 관한 것이다.

근래 동영상의 디지털화와 그 이용이 급속히 이루어지고 있다. TV방송은 지상파가 디지털화되고, DVD레코더나 디지털비디오카메라 등의 가정용기기도 널리 보급되고 있다. 또, 인터넷에서의 동영상 배급이나 휴대전화에 의한 동영상 메일, 화상전화나 화상회의의 이용도 이루어지고 있다.

동영상의 디지털화에 있어서 핵심이 되는 기술로 위치하고 있는 것이 동영상부호화기술이다. H.264로 대표되는 기술의 진보나 HDTV로 대표되는 고해상도화 요구에 의해, 동영상부호화처리 연산량이 날로 증가하고 있다. 그 중에서 연산량의 대부분을 점하는 움직임탐색(block matching) 연산량 증가는 심각한 문제로 되고 있다.

특히, 소프트웨어 인코더에서는 불완전한 움직임탐색 밖에 수행할 수 없어 화질열화의 주된 요인으로 됨에 따라, 대폭의 연산량 저하와 높은 탐색정도를 모두 만족할 수 있는 고효율의 탐색 알고리즘의 실현이 요구되고 있다.

움직임탐색에 관하여, 다양한 탐색방법이 제안되고 있다. 그러나, 움직임탐색이 용이한 영상에서는 전탐색(full search) 정도의 화질을 달성할 수 있으나, 일부의 영상에서는 1dB이상의 화질열화가 온다. 이것이 인코더에서의 화질안정성을 해치는 큰 요인으로 되고 있다.

예를 들어, 연산량이 적기 때문에 소프트웨어 인코더의 탐색법으로서 주로 사용되는 나선형 움직임탐색은, 영상에 따라서는 검출정도의 커다란 열화를 가져 온다. 미리 정하여 둔 규칙에 따라 탐색을 중단하는 것으로 연산량을 극소화하는 것이 나쁘게 작용하여, 국소적인 최적점에 트랩되면, 큰 영역에서의 최적점에 도달할 수 없게 된다.

이에 반하여, 전탐색 범주의 계층탐색은 연산량 절감 측면에서는 나쁘지만 극단의 검출정도의 열화가 일어나지 않기 때문에, 하드웨어 인코더의 탐색수법으로 널리 이용되고 있다. 그러나, 개개의 매칭 정도(accuracy)가 낮아지기 때문에 움직임의 대부분이 일정한 영상에서는 나선형탐색보다 검출정도가 낮아지기 쉽다.

움직임탐색은, 부호화대상 영상내의 블록마다, 참조영상 내에서 가장 일치하는 위치를 찾는 처리를 말한다. 일치정도의 평가기준으로서 일반적으로 차분절대치 합이 이용된다. 부호화 대상 영상 내의 블록을 B, 후보 벡터를 v 부호화 대상 영상 내에서 위치 r에 존재하는 화소의 화소치를 I_cur(r), 참조영상 상의 그것을 I_ref(r)로 하면, 블록 B에 있어서 후보 벡터 v에 대한 차분절대치 합 SAD는 식 (1)로 표현된다.

(1)

몇 개의 벡터에 대하여 SAD(B,v)를 구하고, SAD(B,v)가 최소로 되는 v를 최종적으로 움직임 벡터로 한다.

SAD는 비교기준으로서는 가장 효율이 좋다. 그래도 탐색범위 중의 탐색점 전체를 평가하는 전탐색에서는 연산량이 방대해 진다. 이 때문에, 3-step search, 4-step search, diamond search 등의 연산량 경감 알고리즘이 제안되고 있다.

나선형 움직임탐색에서는 영상 내의 임의의 점으로부터 주위로 향하여 나선상으로 탐색하여 가고, 미리 정해진 일정 조건을 만족한 점에서 탐색을 중단하는 방법이다. 탐색개시 위치를 정확히 예측하는 것으로, 보다 효율적으로 탐색을 행할 수 있다. 탐색개시점을 결정하는 방법으로서는 이전 영상에 있어서 움직임탐색처리에서 구한 벡터나 현재의 블록에 있어서의 주위의 블록에서 구한 벡터를 참조하는 방법이나, 참조한 벡터를 조합하는 방법이 제안되고 있다. 또, 탐색중단 규칙으로서는 순번에 의해 차분절대치의 합을 구하고, 값이 일단 내려갔다 상승할 때 중단하는 방아니 제안되고 있다. 이 방법은, 영상의 특정영역만을 탐색하는 것으로, 탐색점 수를 극소화할 수 있지만, 예측 미스가 발생하면, 화질의 열화나 연산량 절감효과가 충분히 생기지 않는 요인으로 된다.

계층탐색은, 움직임을 구하는 영상에 대하여, 서브 샘플링 영상을 작성함에 의해 해상도를 낮추어, 탐색 대상점 수와 개개의 블록매칭 연산량을 삭감하는 방법이다. 가장 낮은 해상도의 영상에서 전탐색을 행하고, 이 결과를 이용하여 해상도가 높은 영상을 탐색한다. 차츰 해상도를 높여가, 최종적으로 원영상에서의 움직임벡터를 구하기 때문에 계층탐색이라 부른다. 이 방법에서는 서브 샘플링 영상의 해상도를 낮추는 것으로, 탐색대상점 수를 낮추기 때문에 영상의 특성에 상관없이 연산량을 일정비율로 낮추는 것과 함께, 영상전체를 탐색하기 때문에, 대폭의 화질 열화는 생기기 어렵다. 그 한편으로, 연산량을 대폭으로 낮춤에는 해상도를 크게 낮추지 않으면 안되므로, 영상의 세부 영상정보량이 줄어들어 탐색정도가 낮아진다. 이 문제점을 보완하기 위해, 주위의 블록탐색결과를 참조하는 방법, 서브 샘플링 영상에 필터링처리를 행하는 수법이나, 움직임을 구할 때의 비교영역(template)을 확장하는 것에 의해 영상정보 탈락을 보완하는 방안이 제안되고 있다.

원영상 및 서브 샘플링 영상의 각각에 대하여 행하는 나선형움직임탐색의 효율화를 위해 (1) 단계적인 탐색개시위치 결정, (2) 이중의 탐색범위 설정, (3) 적응적인 중단조건 결정 등의 기법을 조합시킨다.

탐색개시위치의 결정은 몇 개의 후보 벡터를 설정하고, 각각의 후보벡터가 가리키는 위치 및 그 상하좌우 1화소 이동한 위치에서 일치도(SAD)를 구하고, 가장 일치도가 높은(SAD가 작은) 위치를 탐색개시위치로 한다. 이 때, 후보의 수를 늘려 탐색개시 위치를 보다 최적위치에 근접시킬 수 있지만, 다량의 후보를 한꺼번에 비교하면 연산량의 증가로 귀결된다. 그래서, 한 번에 전 후보를 비교하는 것이 아니라 후보를 몇 개의 그룹으로 나누어 비교한다.

제일 먼저, 제 1 후보 그룹에 대하여, 각각의 후보가 가리키는 위치의 일치도를 구한다. 가장 많이 일치한 위치의 일치도가 threshold 값보다 높은 경우, 그 일치도가 얻어진 위치를 탐색개시위치로 한다. 가장 많이 일치한 위치의 일치도가 threshold 값보다 낮은 경우는 다음의 후보그룹으로 이동하여 그 그룹의 후보에 의해 주어진 위치에서 일치도를 구한다.

이하, 도중에 일치도가 threshold 값보다 높은 후보가 나타날 때까지 전 후보에 대한 일치도 계산이 끝날 때까지 반복한다.

탐색개시위치결정을 위한 후보 벡터에 대한 그룹 분류는 얻어진 후보 벡터를, 서브 샘플링 영상탐색, 서브 샘플링 영상탐색이 일어난 원영상탐색, 혹은, 서브 샘플링 영상탐색이 없는 원영상탐색에 의하여 행한다.

서브 샘플링 영상에서의 탐색시는, 영상의 공간적인 상관성을 이용하여 얻어진 후보를 3개의 그룹으로 나누어 제 1, 제 2, 제 3 그룹으로 하고, 영상 중의 소정의 위치를 제 4 그룹으로 한다.

원영상에서의 탐색시는 미리 서브 샘플링 영상에서의 탐색을 행하고 있는 경우, 그 결과를 제 1, 제 2그룹으로 하고, 공간적인 상관성을 이용하여 얻어진 후보를 제 3그룹, 시간적인 상관성을 이용하여 얻어진 후보를 제 4그룹, 영상 중의 소정의 위치를 제 5그룹으로 한다. 또, 서브 샘플링 영상에서의 탐색을 행하지 않는 경우는 공간적인 상관성을 이용하여 얻어진 후보를 제 1그룹, 시간적인 상관성을 이용하여 얻어진 후보를 제 2그룹, 영상 중의 소정의 위치를 제 3그룹으로 한다.

또, 각 그룹의 후보추출시에, 새로이 취득한 후보벡터가 미리 취득한 후보벡터에 비하여, X 성분, Y 성분 모두 3화소 이내의 차이 밖에 나지 않게 되면, 그 후보는 그룹에 추가하지 않는다.

중단조건이 영상의 특성에 대하여 적절히 설정되지 않은 경우는, 최적의 해가 구해지기 전에 중단되어, 화질의 대폭적인 열화가 발생한다. 혹은, 최적의 해를 지나쳐도 탐색이 계속되어 연산량의 대폭적인 증가로 연결된다. 그래서, 탐색개시위치를 중심으로 탐색범위를 이중으로 설정하는 것으로 한다, 내측의 작은 탐색범위에서는 중단판정을 행하지 않고 탐색을 행하는 것으로, 화질의 대폭 열화를 방지한다. 또, 외측의 큰 탐색범위에서는 중단판정을 행하면서 탐색을 행한다. 이 큰 탐색범위는 본래의 탐색범위(전탐색 탐색범위) 보다는 작게 설정되기 때문에 중단되지 않고 탐색범위 전체의 탐색을 행한다고 해도, 연산량은 소폭 증가에 그치게 된다. 영상이 전체적으로 일정방향으로 이동하고 있는 경우는, 최적의 위치가 예측위치로부터 벗어날 가능성이 높다고 할 수 있다. 그래서, 탐색범위의 크기를 결정하는 지표에는 움직임탐색에서 구해진 움직임벡터의 표준편차를 이용한다.

중단조건은 threshold 값을 이용한 중단조건을 채택한다. 탐색 중에 threshold 값을 밑도는 차분절대치 합을 가지는 점이 나타난 시점에서 탐색을 중단하는 방법이다. 도, 서브 샘플링 영상에서의 탐색에서는 1 블록 당 13종류의 template에 대한 탐색을 행하지만, 중단판정에는 최대 template(4블록 결합 template) 값을 이용하는 것으로 한다.

탐색중단의 threshold 값은 탐색개시위치를 결정할 때에 이용한 후보 벡터의 바탕이 되었던 움직임벡터가 결정되었을 때의 차분절대치 합을 바탕으로 결정한다. 동영상 중에서의 움직임이 유사하게 되면, 최소 차분절대치 합도 비슷한 값으로 생각할 수 있고, 탐색개시위치로 된 후보벡터가 결정되었을 때의 차분절대치 합에, 허용량으로서, 각 후보벡터가 결정되었을 때의 차분절대치 합의 최대치와 최소치의 차이를 더한다.

차분절대치 합이 threshold 값을 밑돌지 않더라도 나선을 2회전하는 사이에 벡터의 갱신이 없었던 경우도 탐색을 중단한다.

본 발명은 서브 샘플링 영상을 이용하면서 나선형움직임탐색, 확장 탬플릿의 복수 병용이라는 방안을 조합한 새로운 계층 나선형 움직임탐색방법인 서브 샘플링탐색에 의한 다수의 움직임벡터후보 검출에 의해 탐색 정도(accuracy)를 개선할 수 있는 움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치를 제공하기 위한 것이다.

본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.

본 발명에 따른 실시예에 의하면, 나선형 움직임탐색은, 영상에 따라서는 검출정도의 커다란 열화를 가져 온다. 미리 정하여 둔 규칙에 따라 탐색을 중단하는 것으로 연산량을 극소화하는 것이 나쁘게 작용하여, 국소적인 최적점에 트랩되면, 큰 영역에서의 최적점에 도달할 수 없게 된다. 전탐색 범주의 계층탐색은 연산량 절감 측면에서는 나쁘지만 극단의 검출정도의 열화가 일어나지 않기 때문에, 하드웨어 인코더의 탐색수법으로 널리 이용되고 있다. 그러나, 움직임의 대부분이 일정한 영상에서는 나선형탐색보다 검출정도가 낮아지기 쉽다. 2가지의 대표적인 방법이 가지고 있는 약점을 양쪽 기법의 적절한 조합에 의해 해소하고자 한다.

본 발명의 일 측면에 따르면, 원영상에서 탐색 개시 위치를 결정하여 나선형 움직임 탐색을 수행하는 단계; 및 P 픽처 탐색시 서브 샘플링 영상에서의 탐색 수행 여부를 판정하는 단계를 포함하는 움직임 벡터 추출 방법이 제공된다.

*여기서, 상기 탐색 수행 여부 판정 단계는, P 픽처, B 픽처, B 픽처의 3픽처 단위로 상기 서브 샘플링 영상에서의 탐색 수행 여부를 판정할 수 있다.

또한, 상기 탐색 수행 여부 판정 단계는, 상기 P 픽처 탐색을 마칠 때마다 산출된 움직임 벡터의 X 성분 및 Y 성분의 표준 편차를 산출하는 단계; 상기 산출된 표준 편차를 소정의 임계치와 비교하는 단계; 및 상기 표준 편차가 상기 임계치보다 작은 경우 상기 서브 샘플링 영상을 대상으로 움직임을 탐색하는 단계를 포함할 수 있다.

또한, 상기 표준 편차가 상기 임계치보다 큰 경우 다음의 P 픽처의 B픽처 탐색시까지 상기 서브 샘플링 영상을 탐색하지 않는 단계를 더 포함할 수 있다.

여기서, 상기 서브 샘플링 영상은 상기 원영상에 대하여 가로 및 세로가 1/2로 해상도가 낮아진 영상일 수 있다.

또한, 본 실시예는 상기 원영상의 16*16 화소 블록을 8*8 화소 블록으로 분할하는 단계; 상기 16*16 화소 블록당 13종류의 탬플릿을 형성하는 단계; 및 상기 탬플릿으로부터 산출된 13종류의 움직임 벡터를 상기 원영상 탐색에서 탐색 개시 위치 지정시 후보 벡터로 사용하는 단계를 포함할 수 있다.

본 발명의 다른 측면에 따르면, 원영상에서 탐색 개시 위치를 결정하여 나선형 움직임 탐색을 수행하는 탐색 수행부; 및 P 픽처 탐색시 서브 샘플링 영상에서의 탐색 수행 여부를 판정하는 탐색범위 결정부를 포함하는 움직임 벡터 추출 장치가 제공된다.

여기서, 상기 탐색범위 결정부는, 상기 P 픽처 탐색을 마칠 때마다 산출된 움직임 벡터의 X 성분 및 Y 성분의 표준 편차를 산출하는 표준편차 산출부; 상기 산출된 표준 편차를 소정의 임계치와 비교하는 표준편차 비교부를 포함하되, 상기 탐색 수행부는 상기 표준 편차가 상기 임계치보다 작은 경우 상기 서브 샘플링 영상을 대상으로 움직임을 탐색할 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명에 따른 움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치는 서브 샘플링 영상을 이용하면서 나선형움직임탐색, 확장 탬플릿의 복수 병용이라는 방안을 조합한 새로운 계층 나선형 움직임탐색방법인 서브 샘플링탐색에 의한 다수의 움직임벡터후보 검출에 의해 탐색 정도(accuracy)를 개선할 수 있는 효과가 있다.

또한, 본 발명에 따른 움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치에 따르면, 서브 샘플링 영상을 이용하여 나선형 움직임탐색을 행하여, 탐색정도(accuracy)를 대폭으로 개선하는 방안을 제시하여, 서브 샘플링 영상에서의 탐색을 행함에 의해 연산량의 대폭 증가없이 탐색범위를 확대할 수 있으며, 템플릿의 확장에 의하여 탐색정도(accuracy)를 향상시킬 수 있음과 함께, 단계적으로 후보 벡터를 선택함에 의하여 연산량의 증가를 억제할 수 있고, 이들 이점에 의하여 연산량을 종래의 방법과 동일한 정도의 연산량으로 억제하고 화질을 향상시킬 수 있다.

도 1은 본 발명의 실시예에 따른 움직임 벡터 추출 장치의 블록 구성도.
도 2는 본 발명의 실시예에 따른 움직임 벡터 추출 장치의 서브 샘플링을 적용한 영상탐색의 절환을 나타내는 도면.
도 3은 본 발명의 실시예에 따른 움직임 벡터 추출 장치의 서브 샘플링 영상과 탐색 템플릿을 나타내는 도면.
도 4는 본 발명의 실시예에 따른 움직임 벡터 추출 장치의 8x8 화소 블록의 조합에 의한 13 종류의 템플릿을 나타내는 도면.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 명세서에 기재된 "…부", "…모듈", "…수단" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1은 본 발명의 실시예에 따른 움직임 벡터 추출 장치의 블록 구성도이다. 도 1을 참조하면, 움직임 벡터 추출 장치(100), 탐색 수행부(110), 탐색범위 결정부(120), 표준편차 산출부(121), 표준편차 비교부(122) 및 제어 유닛(130)이 도시된다.

동영상 부호화처리기술은, H.264로 대표되는 기술의 진보나 HDTV로 대표되는 대상영상의 고해상도화 요구에 의해, 그 연산량이 날로 증가하고 있다. 이 때문에 연산량의 대부분을 점하는 움직임탐색에 관하여, 종래로부터 연산량삭감에 관한 연구가 많이 진행되고 있었다. 그 중에서 나선형 움직임탐색은 효율적인 방안으로 개량이 도모되어 왔지만, 실제의 탐색이 탐색범위 내의 극히 일부로 제한되는 것에 기인하는 특정영상에서의 극단적인 검출정도(accuracy)의 저하 등의 문제점을 나타내고 있다.

연산량이 적기 때문에 소프트웨어 인코더의 탐색법으로서 주로 사용되는 나선형 움직임탐색은, 영상에 따라서는 검출정도의 커다란 열화를 가져 온다. 미리 정하여 둔 규칙에 따라 탐색을 중단하는 것으로 연산량을 극소화하는 것이 나쁘게 작용하여, 국소적인 최적점에 트랩되면, 큰 영역에서의 최적점에 도달할 수 없게 된다. 전탐색 범주의 계층탐색은 연산량 절감 측면에서는 나쁘지만 극단의 검출정도의 열화가 일어나지 않기 때문에, 하드웨어 인코더의 탐색수법으로 널리 이용되고 있다. 그러나, 움직임의 대부분이 일정한 영상에서는 나선형탐색보다 검출정도가 낮아지기 쉽다.

본 실시예에 따르면, 2가지의 대표적인 방법이 가지고 있는 약점을 양쪽 기법의 적절한 조합에 의해 해소하고자 한다. 구체적으로는 서브 샘플링 영상을 이용하면서 나선형움직임탐색, 확장 탬플릿의 복수 병용이라는 방안을 조합한 새로운 계층 나선형 움직임탐색방법인 서브 샘플링탐색에 의한 다수의 움직임벡터후보추출에 의해 이 문제를 해결하고자 한다. 이 제안의 적용으로, 연산량을 기존의 고속탐색방법과 동일한 수준으로 유지하면서 탐색정도(accuracy)를 개선할 수 있다.

탐색 수행부(110)는 원영상에서 탐색 개시 위치를 결정하여 나선형 움직임 탐색을 수행한다. 탐색범위 결정부(120)는 소정 영역, 예를 들면, P 픽처 탐색시 서브 샘플링 영상에서의 탐색 수행 여부를 판정한다.

표준편차 산출부(121)는 P 픽처 탐색을 마칠 때마다 산출된 움직임 벡터의 X 성분 및 Y 성분의 표준 편차를 산출하고, 표준편차 비교부(122)는 산출된 표준 편차를 소정의 임계치와 비교한다. 제어 유닛(130)은 탐색 수행부(110), 탐색범위 결정부(120), 표준편차 산출부(121), 표준편차 비교부(122)를 각각 제어한다.

본 실시예에 따르면, 서브 샘플링 영상 이용에 의한 나선형 움직임탐색 성능을 개선할 수 있다. 나선형움직임탐색은, 영상의 특정영역만을 탐색하는 것으로, 탐색점수를 극소화할 수 있다. 그러나, 탐색개시위치 예측에 실패하면, 화질이 크게 열화하고, 잘못하면, 연산량이 대폭으로 증가한다고 하는 문제를 가지고 있다.

이 문제를 해결하기 위해, 중단하기 어렵게 설정하여, 탐색의 범위가 넓어지도록 하면 연산량이 대폭으로 증가하여 나선형움직임탐색의 이점을 상실하게 된다.

그래서, 연산량 증가없이 탐색범위를 확대하는 것을 목표로 한 계층형 탐색방법으로서, 서브 샘플링 영상계층탐색을 수행하게 할까 없게 할까를 P 픽처 주기단위로 적응적으로 절환하는 나선형탐색을 제안한다.

계층형 움직임탐색에서 문제가 되는 서브 샘플링 영상계층에서의 탐색정도 열화에 대하여는 복수의 확장 탬플릿을 병용함과 함께, 시간적, 공간적으로 상관하는 타 블록 움직임검출결과를 탐색개시위치후보로서 적극적으로 활용하여 해결을 도모한다.

서브 샘플링 영상탐색의 절환을 살펴보면 다음과 같다. 서브 샘플링 영상에서의 탐색은, 원영상과 이중으로 탐색을 행하는 것으로 되기 때문에 연산량 증가로 연결된다. 탐색이 용이한 영상에서, 종래 기법에서도 충분한 화질이 유지되는 경우에는 서브 샘플링 영상에서의 탐색을 반드시 행할 필요는 없다.

따라서, 영상의 특성에 의해, 서브 샘플링 영상에서의 탐색 수행 여부를, P, B, B의 3 픽처 단위로 판정하여, 탐색의 사용을 적응적으로 절환하는 것으로 한다. P픽처 탐색을 마칠 때마다, 구해진 움직임벡터의 X성분, Y성분의 표준편차를 구한다.

제안 기법은 나선형 움직임탐색을 기본으로 함에 따라, 주위 블록의 움직임이나 시간적인 블록의 움직임을 예측벡터로서 참조하고 있다. 이 때, 편차가 작다고 함은 일정하게 비슷한 예측벡터 들만을 취득하고 만다는 것이고, 부분적으로 다른 움직임이 포함되어 있으면, 그 움직임에 대응할 수 없다. 역으로, 표준편차가 커지면 여러 방향에 걸쳐 예측벡터가 얻어져, 광범위하게 분포하는 복수의 개소를 탐색할 수 있다. 이 사실로부터, 제안기법에서는 표준편차가 작을 때에 서브 샘플링 영상을 이용하여 넓은 범위를 탐색하는 것으로 한다. 표준편차의 합이 임계치(threshold) 값 이상이 되면, 다음의 P 및 다음의 P까지의 B픽처 탐색시의 서브 샘플링 영상에서의 탐색을 생략한다. 임계치는 실험적으로 구해진 값으로 40으로 하였다.

도 2에 따르면, 단계 S210에서, P 픽처에서의 탐색을 수행하고, 단계 S220에서, 움직임에 대한 표준편차를 산출하며, 단계 S230에서, 표준편차와 임계치를 비교한다. 비교 결과, 표준편차가 임계치 보다 큰 경우 단계 S240에서, 원영상만에서의 탐색을 수행하고, 만약, 표준편차가 임계치 보다 작은 경우 단계 S250에서, 서브 샘플링 영상 및 원영상에서 탐색을 수행한다. 여기서, 표준 편차가 임계치보다 큰 경우 다음의 P 픽처의 B픽처 탐색시까지 서브 샘플링 영상을 탐색하지 않을 수 있다.

본 실시예에 따르면, 서브 샘플링 영상의 설정은 다음과 같다. 상술한 바와 같이, 해상도를 낮추면, 탐색점이 줄고, 연산량을 줄일 수 있지만, 해상도를 크게 낮춘 경우, 영상의 세부가 깨지고 말아 탐색정도가 저하되는 위험성이 있다. 일반적으로 계층탐색에서는, 최대 가로세로 1/4까지 해상도를 낮추지만, 나선형탐색에 바탕을 둔 본 실시예에서는 종래의 계층탐색과 다른, 탐색범위의 일부분만의 탐색으로 끝마치게 된다. 따라서, 일반적인 계층탐색에 비하여 연산량삭감율이 크기 때문에, 해상도를 크게 낮출 필요는 없다. 그래서, 탐색을 행하는 서브 샘플링 영상은 원영상에 대하여, 가로세로 1/2, 전체적으로 해상도 1/4의 영상으로 한다.

본 실시예에 따르면, 서브 샘플링 영상 탐색에 있어서 탬플릿이 확장될 수 있다. 서브 샘플링 영상에서의 움직임탐색에 대하여, 해상도를 낮추면, 탐색정도의 저하로 연결된다. 그래서, 블록끼리를 비교할 때의 비교영역(template)을 주위로 확장한다. 탬플릿을 확장함에 의해, 본래의 움직임검출대상 블록주위의 화소까지 비교되고, 그 결과로서 탐색 정도가 향상한다.

단순히 탬플릿을 주위로 확장하면 비교연산에 중복되는 부분이 발생하고 연산량이 증가하게 된다. 따라서, 도 3에 도시된 바와 같이, 16 x 16 화소블록(310)을 가지는 원영상(a)으로부터 가로 및 세로가 1/2로 되며 8 x 8 화소블록(320)을 가지는 서브 샘플링 영상(b)을 생성하고, 서브 샘플링 영상(c)을 16 x 16 화소블록(330)으로 분할하고, 이 블록단위로 움직임을 구하는 것으로 한다. 결국 원영상의 4블록 분의 움직임탐색을 동시에 행하게 된다. 이에 의해 비교연산의 중복없이 탬플릿 확장이 실현된다.

확장한 탬플릿이 영상 중의 다른 움직임의 물체 간의 경계선에 걸치게 되면, 탐색정도의 저하가 야기된다. 그래서, 확장하는 방향이 다른 탬플릿을 복수 개 설치, 어떤 것이라도 경계에 걸치지 않도록 한다. 구체적으로는 16 x 16 화소블록(330)을 본래의 크기인 8 x 8 화소블록(340) 4개로 분할하여, 이 조합에 의해, 1 블록당 도 4에 도시된 바와 같은 13종류의 탬플릿을 구성한다.

도 4의 (a)는 1블록, (b)는 2블록, (c)는 3블록, (d)는 4블록의 템플릿이다. 비교할 때에는 이들 탬플릿에서 일치도가 제일 높은 움직임을 검출한다. 이 결과로부터 얻어진 13종류의 움직임벡터를, 원영상에서의 탐색시에 탐색개시위치로 지정하는 후보벡터로 사용한다.

그 외 본 발명의 실시예에 따른 움직임 벡터 추출 장치에 대한 구체적인 장치 구성도, 임베디드 시스템, O/S 등의 공통 플랫폼 기술과 통신 프로토콜, I/O 인터페이스 등 인터페이스 표준화 기술 등에 대한 구체적인 설명은 본 발명이 속하는 기술 분야의 통상의 지식을 가진자에게 자명한 사항이므로 생략하기로 한다.

본 발명에 따른 움직임 벡터 추출 방법 은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 즉, 기록 매체는 컴퓨터에 상술한 각 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 될 수 있다.

상기한 바에서, 각 실시예에서 설명한 각 구성요소 및/또는 기능은 서로 복합적으로 결합하여 구현될 수 있으며, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100 : 움직임 벡터 추출 장치
110 : 탐색 수행부
120 : 탐색범위 결정부
121 : 표준편차 산출부
122 : 표준편차 비교부

Claims (5)

1. 대상 블록에 대한 복수의 움직임 정보 후보를 유도하는 단계; 및
   상기 복수의 움직임 정보 후보를 기초로 상기 대상 블록의 움직임 정보를 결정하는 단계를 포함하되,
   상기 복수의 움직임 정보 후보를 유도하는 단계는,
   기 도출된 제1 움직임 정보 성분 및 제2 움직임 정보 성분에 기초한 차이를 임계치와 비교하는 단계; 및
   상기 비교 결과에 기초하여 상기 대상 블록의 움직임 정보 후보를 유도하는 단계를 포함하는 움직임 정보 결정 방법.
2. 제1항에 있어서,
   상기 복수의 움직임 정보 후보 중 어느 하나는, 원 영상보다 낮은 해상도를 갖는 서브 샘플링 영상에서의 탐색을 통해 유도되는 것을 특징으로 하는, 움직임 정보 결정 방법.
3. 제2항에 있어서,
   상기 제1 움직임 정보 성분은 기 도출된 움직임 벡터의 X 성분이고, 상기 제2 움직임 정보 성분은, 기 도출된 움직임 벡터의 Y 성분이고, 상기 제1 움직임 정보 성분 및 상기 제2 움직임 정보 성분에 기초한 차이는, 상기 제1 움직임 정보 성분 및 상기 제2 움직임 정보 성분 사이의 표준 편차이고,
   상기 비교 결과에 따라, 상기 서브 샘플링 영상에서의 탐색을 수행할 것인지 여부가 결정되는 것을 특징으로 하는 움직임 정보 결정 방법.
4. 제2항에 있어서,
   상기 서브 샘플링 영상은 상기 원 영상에 대하여 가로 및 세로가 1/2로 해상도가 낮아진 영상인 것을 특징으로 하는 움직임 정보 결정 방법.
5. 삭제

Images