KR980013418A

KR980013418A - 영역기반 동영상부호화시스템의 영역분할 및 움직임추정을 동시에 최적화하기 위한 방법 및 장치

Info

Publication number: KR980013418A
Application number: KR1019960029629A
Authority: KR
Inventors: 이창우; 박종욱; 이상욱
Original assignee: 김광호; 삼성전자 주식회사
Priority date: 1996-07-22
Filing date: 1996-07-22
Publication date: 1998-04-30
Also published as: KR100223170B1

Abstract

본 발명은 영역기반 동영상부호화시스템의 영역분할 및 움직임추정을 동시에 최적화하기 위한 방법 및 장치에 관한 것이다. 본 발명은 입력되는 동영상신호의 영역화를 위하여 영역을 분할하고 병합하는데 있어서 움직임추정오차를 기준으로 하며, 영역분할시 어느 한 부분에만 움직임추정오차가 집중되는 경우에도 영역을 분할하며, 불필요하게 분할된 영역에 대한 병합시 두 영역을 병합하여 움직임추정하였을 때 전체 영상에 대하여 움직임추정오차의 증가분을 병합에 대한 비용으로 할당하여 그 비용이 최소가 되는 영역부터 정지조건을 만족할 때까지 병합하도록 구성된다. 따라서, 본 발명은 매우 낮은 비트율로 동영상을 전송하는 데 적합하도록 영역분할 및 각 영역에 대한 움직임추정을 동시에 최적화할 수 있는 기법을 제공한다.

Description

영역기반 동영상부호화시스템의 영역분할 및 움직임추정을 동시에 최적화하기 위한 방법 및 장치

본 내용은 요부공개 건이므로 전문내용을 수록하지 않았음

이를 위하여 영상을 영역화한 후에 움직임추정을 하는 기법들이 제안되었는데, 대부분 동영상을 부호화하기 위한 움직임추정과 영역분할을 별개로 다루었다. 즉, 영역화를 수행한후에 생성된 영역에 대하여 움직임추정을 수행하거나, 움직임을 먼저 세밀히 추정하여 움직임벡터필드를 구성하고 이로부터 영역화를 진행하는 등 영역분할과 움직임추정이 분리되었다. 이는 동영상의 특성을 제대로 살리기 어려운 문제가 있었다. 따라서, 본 발명은 매우 낮은 비트율로 동영상을 전송하기 위한 영역기반 동영상부호화에서 영역분할과 움직임 추정을 동시에 수행하여 동영상특성을 제대로 살리면서 부호화 성능이 저하됨을 방지하기 위한 기법을 제시한다.

도1은 본 발명에 따른 영역분할 및 움직임추정을 동시에 최적화하기 위한 방법을 개략적으로 설명하기 위한 흐름도.

제2도는 본 발명에 따른 영역기반 동영상부호화시스템의 영역분할 및 움직임추정을 동시에 최적화하기 위한 장치를 나타내는 블록도.

도3 및 도4는 도 2 장치에서 영역분할부의 영역분할형태를 나타내는 개념도.

*도면의 주요부분에 대한 부호의 설명

21: 일정크기구획부, 22: 영역분할부, 23: 분할조건판단부, 24: 영역병합부, 25: 병합조건판단부, 26: 부호화기.

이와 같은 본 발명의 영역기반 동영상부호화시스템의 영역분할 및 움직임추정을 동시에 최적화하기 위한 방법은 영역기반 동영상부호화방법에 있어서, (1) 프레임단위 동영상신호를 입력받아 일정크기의 구획단위로 나누는 단계와, (2) 소정의 분할조건판단에 따라 일정크기의 구획단위 동영상신호를 쿼드트리형태로 영역분할 하는 단계와, (3) 일정크기의 구획단위와 쿼드트리형태로 분할된 각 영역단위로 움직임추정하고, 이를 분할조건에 적용하여 영역분할여부를 판단하는 단계와, (4) 소정의 병합조건판단에 따라 분할된 영역들중 불필요하게 분할된 영역을 병합하는 단계와, (5) 분할된 영역들에 대해 인접한 영역과 병합하여 움직임추정하고, 이를 병합조건에 적용하여 영역병합여부를 판단하는 단계, 및 (6) 최종 분할된 영역들과 그 영역의 움직임추정을 통해 구한 움직임벡터를 부호화하는 단계를 포함한다. 또한, 본 발명의 영역기반 동영상부호화시스템의 영역 분할 및 움직임추정을 동시에 최적화하기 위한 장치는 영역기반 동영상부호화장치에 있어서, 입력되는 프레임 단위 동영상신호를 일정크기의 구획단위로 나누어 출력하는 일정크기구획부와, 상기 일정크기의 구획단위 동영상신호를 분할조건판단에 따라 영역분할하는 영역분할부와, 상기 일정크기의 구획단위 동영상신호와 상기 분할된 영역의 동영상신호를 움직임추정하고, 이를 분할조건에 적용하여 영역분할여부를 판단하는 분할조건판단부와, 상기 영역분할부에서 최종 분할된 영역의 동영상신호를 입력받아 병합조건판단에 따라 불필요하게 분할된 영역을 병합하여 출력하는 영역병합부와, 상기 분할된 영역들에 대해 인접한 영역과 병합하여 움직임추정하고, 이를 병합조건에 적용하여 영역병합여부를 판단하는 병합조건판단부, 및 상기 영역병합부에서 출력되는 영역기반 동영상신호와 그 영역의 움직임추정을 통해 구한 움직임벡터를 부호화하는 부호화기를 포함한다.

이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예를 상세히 기술하기로 한다.

도1은 본 발명에 따른 영역분할 및 움직임추정을 동시에 최적화하기 위한 방법을 개략적으로 설명하기 위한 흐름도이고, 도2는 본 발명에 따른 영역기반 동영상부호화시스템의 영역분할 및 움직임추정을 동시에 최적화하기 위한 장치를 나타내는 블록도이다. 도시된 바와 같이, 본 발명의 장치는 입력되는 프레임단위 동영상신호를 일정크기의 구획으로 나누어 출력하는 일정크기구획부(21)와, 일정크기의 구획단위 동영상신호를 입력받아 쿼드트리형태로 영역분할하여 출력하고, 소정의 분할조건판단결과에 따라 영역을 분할하여 출력하는 영역분할부(22)를 구비하고 있다. 일정크기구획부(21)와 영역분할부(22) 사이에는 일정크기의 구획단위와 분할된 각 영역단위로 움직임추정하고, 이를 분할조건들에 적용하여 영역분할을 판단하는 분할조건판단부(23)가 연결된다. 영역분할부(22)에는 또한, 분할된 각 영역에 대해 소정의 병합조건판단결과에 따라 영역을 병합하여 출력하는 영역병합부(24)가 연결된다. 영역병합부(24)에는 분할된 각 영역에 대해 인접한 영역과 병합하여 움직임추정하고, 이를 병합조건에 적용하여 영역병합을 판단하는 병합조건판단부(25)가 연결된다. 영역병합부(24)에는 또한, 최소한의 움직임추정오차를 갖도록 분할된 영역과 각 영역에 대한 움직임벡터를 입력받아 부호화하여 출력하는 부호화기(26)가 연결되도록 구성된다. 이와 같이 구성된 본 발명에 따른 영역기반 동영상 부호화시스템의 영역분할 및 움직임추정을 동시에 최적화하기 위한 방법 및 장치에 대한 동작을 도 3 및 도 4를 참조하여 좀더 구체적으로 설명한다.

도 3은 도 2장치의 영역분할부(22)에서 일정크기의 구획을 쿼드트리형태로 영역분할한 상태를 나타내는 개념도이며, 도 4는 도2장치의 영역분할부(22)에서 일정크기의 구획을 2개의 영역으로 분할한 상태를 나타내는 개념도이다. 먼저, 일정크기구획부(21)는 프레임단위로 동영상신호를 입력받는다(단계 101), 일정크기구획부(21)는 입력된 동영상신호를 32×32 크기의 구획으로 나누어 영역분할부(22)와 분할조건판단부(23)로 각각 출력하고, 분할조건판단부(23)는 입력되는 32×32 크기의 구획단위 동영상신호에 대해 움직임추정한다(단계 102). 이때, 영역분할부(22)는 입력되는 32×32 크기의 구획단위 동영상신호를 퀴드트리(Quad-tree)형태로 영역분할한다(도 3참조)(단계 103). 분할조건판단부(23)는 또한 퀴드트리형태로 분할하여 얻어지는 각 영역의 동영상신호에 대해 움직임추정한다. 분할조건판단부(23)는 잘 알려진 절대차평균(Mean of Absolute Difference; MAD)방법을 사용하여 움직임추정 오차를 구하고, 이를 다음의 분할조건에 적용하여 영역분할여부를 판단한다.

[조건 1]

[조건 2]

여기서, C1, C2는 1보다 작은 상수로 실험을 통해 결정되며, MADm은 분할되지 않은 일정크기의 구획단위 움직임추정오차, MAD₀, MAD₁, MAD₂, MAD₃은 쿼드트리형태로 분할된 각 영역단위 움직임추정오차, MADs,(MADi, i=1,2,3,4)는 분할된 각 영역단위 움직임추정오차의 평균을 나타낸다. 분할조건판단부(23)는 먼저, 분할조건 1에 근거하여 쿼드트리형태로 영역분할하여 움직임추정을 하였을 때 일정크기의 구획단위 움직임추정했을 때 보다 C1의 가중치에 해당하는 만큼 이득이 있으면 즉, 움직임추정오차가 적어졌으면 계속 영역을 분할한다. 그런데, 분할조건 1의 판단에 의해서만 영역분할하면 영역내의 일부분에 다른 물체에 해당하는 영역이 있는 경우 분리가 되지 않을 수 있다. 즉, 성질이 다른 영역이 원래의 구획내에 존재하지만 그 면적이 상대적으로 작아서 움직임추정오차(MAD;의 평균값만을 고려하는 경우 그 영향이 무시될 가능성이 크기 때문이다. 이러한 경우에도 영역분할이 이루어지게 하기 위해서 분할조건 2를 추가한다. 영역분할부(22)는 분할조건 2에 근거하여 쿼드트리형태로 분할된 일정크기의 구획단위 동영상신호를 도 4의 7가지 형태와 같이 두 개의 영역으로 분할한다. 분할조건판단부(23)의 분할조건 2에서는 영역분할부(22)에서 분할한 두 영역의 움직임추정오차의 평균에 대한 차이가 일정크기의 구획단위 움직임추정오차보다 C2의 가중치에 해당하는 만큼 크면 즉, 분할한 두 영역에서 한 영역이 다른 영역에 비해서 상당히 다를 경우 영역을 계속 분할한다. 이처럼 분할조건 2에 의하여 영역의 한부분만 다른 물체에 해당하는 영역이 존재해도 분할이 된다. 영역분할부(22)는 분할 조건판단부(23)의 분할조건 1과 2에 따라 입력되는 프레임단위 동영상신호를 영역분할한다. 한편, 분할조건판단부(23)의 분할조건판단에 따라 영역분할부(22)에서 분할된 영역들을 입력받는 영역병합부(24)는 불필요하게 분할된 영역들에 대해서 영역병합한다(단계 104). 영역병합부(24)는 분할된 영역들에 대해서 병합조건판단부(25)의 병합조건판단에 따라 병합한다. 병합조건판단부(25)는 먼저, 분할된 모든 구획들에 대해서 인접한 주변 구획과 병합되었을 때의 비용 즉, 정보량을 계산한다. 두 영역을 병합하였을 때의 비용은 다음 수학식으로 계산된다.

[수학식]

여기서, ｜R｜은 영역 R의 화소수를 나타내고, MSE는 평균제곱오차(Mean Square Error)법을 사용하여 구한 움직임추정오차를 나타낸다. 따라서, 이 비용은 두 영역을 병합하여 하나의 움직임으로 움직임보상을 수행하였을 때 영상 전체에 대해 움직임추정오차의 증가분을 의미한다. 두 영역을 병합한 움직임추정을 위해서는 두 영역의 크기가 비슷할 경우 하나의 영역으로 병합하여 움직임추정을 하여 최적의 움직임 벡터값을 추정한다. 만약, 어느 한 구획의 크기가 다른 구획보다 월등히 큰 경우에는 큰 구획의 움직 임벡터로 병합된 영역의 움직임벡터를 대신한다. 그런 다음, 가장 작은 병합비용을 갖는 영역쌍을 찾아서 병합을 수행하고, 생성된 새로운 영역에 대하여 주변 구획들과의 병합비용을 다시 계산하여 기록한다. 영역병합부(24)와 병합조건판단부(25)는 이 과정을 정지조건이 만족될 때까지 반복한다. 여기서, 정지조건은 프레임단위의 영역분할갯수 또는 동영상 부호화에 할당된 비트수로 정해진다. 영역병합부(24)에서는 한 프레임에 대해서 최소한의 움직임추정오차를 갖도록 분할된 영역과 각 영역에 대한 움직임벡터를 얻게 되며, 이는 부호화기(26)로 출력된다(단계 105). 부호화기(26)는 분할된 영역의 영상신호와 각 영역에 대한 움직임벡터를 함께 부호화하여 출력한다. 이외에도, 본 발명에서 제안한 부호화기법의 성능을 더 향상시키기 위하여 병합비용에 분할된 영역의 영상신호를 부호화하기 위한 비용을 추가할 수도 있다. 예를 들면, 영역의 윤곽선을 부호화하는 데 사용되는 비트의 증감 또는 영역내부의 정보를 부호화하는 데 사용되는 비트의 증감등이다. 또한, 영역분할의 정지조건을 삽입하기 위하여 영역의 갯수 또는 부호화비트할당기법 등의 기법이 적용될 수 있다.

상술한 바와 같이, 본 발명은 영역기반 동영상부호화시스템의 영역분할 및 움직임 추정을 동시에 최적화하기 위한 방법 및 장치에 관한 것으로 입력되는 동영상신호를 일정크기의 구획으로 나누어 움직임추정하고, 각 구획을 쿼드트리형태로 분할하여 다시 움직임추정하여 각 구획단위의 움직임추정오차와 각 구획의 분할된 영역의 움직임추정오차의 평균을 정해진 분할조건에 적용하여 분할에 의한 이득이 발생하는 동안 계속 분할하고, 불필요하게 분할된 영역에 대해서 병합되었을 때의 정보량이 가장 작은 영역부터 병합하여 정지조건을 만족할 때까지 병합하므로써 최소한 움직임추정오차를 갖도록 영역분할하고, 분할된 영역의 움직임벡터를 얻을 수 있어 동영상특성을 제대로 살리면서 영역기반 동영상 부호화의 성능을 향상시킬 수 있는 효과를 갖는다.

본 발명의 목적은 영역기반 동영상 부호화에서 움직임추정과 동시에 최소의 움직임추정오차를 갖도록 영역을 분할하여 부호화성능을 향상할 수 있도록 한 영역기반 동영상부호화시스템의 영역분할 및 움직임추정을 동시에 최적화하기 위한 방법을 제공함에 있다.

본 발명의 다른 목적은 전술한 영역기반 동영상부호화시스템의 영역분할 및 움직임 추정을 동시에 최적화하기 위한 방법을 구현하기 위한 장치를 제공함에 있다.

Claims

영역기반 동영상부호화방법에 있어서, (1) 프레임단위 동영상신호를 입력받아 일정크기의 구획단위로 나누는 단계; (2) 소정의 분할조건판단에 따라 일정크기의 구획단위 동영상신호를 쿼드트리형태로 영역분할하는 단계; (3) 일정크기의 구획단위와 쿼드트리형태로 분할된 각 영역단위로 움직임추정하고, 이를 분할조건에 적용하여 영역분할여부를 판단하는 단계; (4) 소정의 병합조건판단에 따라 분할돈 영역들중 불필요하게 분할된 영역을 병합하는 단계; (5) 분할된 영역들에 대해 인접한 영역과 병합하여 움직임추정하고, 이를 병합조건에 적용하여 영역병합여부를 판단하는 단계; 및 (6) 최종 분할된 영역들과 그 영역의 움직임추정을 통해 구한 움직임벡터를 부호화하는 단계를 포함하는 영역기반 영상부호화시스템의 영역분할 및 움직임추정을 동시에 최적화하는 방법.
제1항에 있어서, 제(3)단계에서 상기 분할조건은 상기 쿼드트리형태로 분할된 영역의 움직임 정오차에 대한 평균(MADs)이 일정크기의 구획단위 움직임추정오차(MADm)에 비해 소정 가중치(C1)만큼 오차가 줄어드는 경우(MAD_m× C₁＞ MAD_S) 영역분할하도록 설정된 것을 특징으로 하는 영역기반 동영상부호화시스템의 영역분할 및 움직임추정을 동시에 최적화하는 방법.
제2항에 있어서, 제(3)단계는 제(2)단계에서 상기 분할조건에 의해서 영역분할시 분할된 영역내에 임의의 물체가 존재할 경우를 고려하여 쿼드트리형태의 일정크기 구획을 두 영역으로 분할시 하나의 영역이 다른 영역에 비해서 상당히 달라 두 영역의 움직임추정오차의 평균에대한 차이 (｜avg(MAD_U1)-avg(MAD_U2)｜)가 일정크기의 구획단위 움직임추정오차(MADm)에 비해 소정 가중치(C2) 만큼 큰 경우 (｜avg(MAD_U1)-avg(MAD_U2)｜＞ C₂×MAD_n) 영역을 분할하도록 다른 분할조건을 설정하는 것을 특징으로 하는 영역기반 동영상부호화시스템의 영역분할 및 움직임추정을 동시에 최적화하는 방법.
제3항에 있어서, 제(2)단계에서 상기 영역분할은 상기 다른 분할조건을 만족시 쿼드트리형태의 일정크기 구획을 두 영역으로 분할하는 것을 특징으로 하는 영역기반 동영상부호화시스템의 영역분할 및 움직임추정을 동시에 최적화하는 방법.
제2항 또는 제3항에 있어서, 제(3)단계에서 상기 움직임추정오차는 절대차평균(Mean of Absolute Difference; MAD)법을 사용하는 것을 특징으로 하는 영역기반 동영상부호화시스템의 영역분할 및 움직임추정을 동시에 최적화하는 방법.
제1항에 있어서, 제(5)단계에서 상기 병합조건은 두 영역을 병합하여 하나의 움직임으로 움직임보상을 수행했을 때 전체에 대한 움직임추정오차의 증가분을 병합비용으로 하여 다음 식에 따라 구하고, 병합비용이 작은 순으로 정지조건을 만족할 때까지 병합하도록 설정된 것을 특징으로 하는 영역기반 동영상부호화시스템의 영역분할 및 움직임추정을 동시에 최적화하는 방법.

여기서, ｜R｜은 영역 R의 화소수를 나타내고, MSE는 평균제곱오차(Mean Square Error)법을 사용하여 구한 움직임추정오차를 나타낸다.
제6항에 있어서, 제(5)단계에서 상기 정지조건은 영역분할갯수 또는 부호화할당 비트로 설정되는 것을 특징으로 하는 영역기반 동영상부호화시스템의 영역분할 및 움직임추정을 동시에 최적화하는 방법.
영역기반 동영상부호화장치에 있어서, 입력되는 프레임단위 동영상신호를 일정크기의 구획단위로 나누어 출력하는 일정크기구획부; 상기 일정크기의 구획단위 동영상신호를 분할조건판단에 따라 영역분할하는 영역분할부; 상기 일정크기의 구획단위 동영상신호와 상기 분할된 영역의 동영상신호를 움직임추정하고, 이를 분할조건에 적용하여 영역분할여부를 판단하는 분할조건판단부; 상기 영역 분할부에서 최종 분할된 영역의 동영상신호를 입력받아 병합조건판단에 따라 불필요하게 분할된 영역을 병합하여 출력하는 영역병합부; 상기 분할된 영역들에 대해 일접한 영역과 병합하여 움직임추정하고, 이를 병합조건에 적용하여 영역병합여부를 판단하는 병합조건판단부; 및 상기 영역병합부에서 출력되는 영역기반 동영상신호와 그 영역의 움직임추정을 통해 구한 움직임벡터를 부호화하는 부호화기를 포함하는 영역기반 동영상부호화시스템의 영역분할 및 움직임추정을 동시에 최적화하는 장치.
제8항에 있어서, 상기 일정크기구획부는 입력되는 프레임단위 동영상신호를 32×32 크기의 구획으로 나누어 출력하는 것을 특징으로 하는 영역기반 동영상부호화시스템의 영역분할 및 움직임추정을 동시에 최적화하는 장치.
제8항에 있어서, 상기 분할조건판단부는 쿼드트리형태로 영역분할시 각 영역의 움직임추정오차의 평균이 일정크기의 구획단위 움직임추정오차에 비해 소정 가중치만큼 이득이 발생된 경우를 분할조건 1로하고, 쿼드트리형태의 원래 일정크기 구획을 두 영역으로 분할시 두 영역의 움직임추정오차의 차이가 클 경우를 분할조건 2로 하여 분할조건 1과 분할조건 2를 만족할 때마다 상기 영역분할부에서 영역분할하도록 하는 것을 특징으로 하는 영역기반 동영상부호화시스템의 영역분할 및 움직임추정을 동시에 최적화하는 장치.
제10항에 있어서, 상기 영역분할부는 상기 분할조건 1이 만족될 때마다 일정크기의 구획단위 동영상신호를 쿼드트리형태로 분할하고, 상기 분할조건 2가 만족될 때마다 쿼드트리형태의 원래 일정크기 구획을 두 영역으로 분할하여 출력하는 것을 특징으로 하는 영역기반 동영상부호화시스템의 영역분할 및 움직임추정을 동시에 최적화하는 장치.
제8항에 있어서, 상기 병합조건판단부는 분할된 모든 영역에 대해 인접한 영역과 병합시 그 병합된 영역의 움직임추정오차의 증가분을 계산하여, 그 움직임추정오차의 증가분이 작은 순부터 정지조건이 만족될 때까지 상기 영역병합부에서 영역병합하도록 하는 것을 특징으로 하는 영역기반 영상부호화시스템의 영역분할 및 움직임추정을 동시에 최적화하는 장치.

※ 참고사항 : 최초출원 내용에 의하여 공개하는 것임.