KR20000032761A - 매크로블록 단위 영역 분할 및 배경 모자이크구성방법 - Google Patents

Abstract

본 발명은 움직임이 없는 배경을 갖는 영상의 객체 기반 부호화를 위한 매크로블록 단위 영역 분할 및 배경 모자이크 구성방법에 관한 것으로서, 위치 및 초점이 고정된 카메라로부터 얻어지는 움직임이 거의 없는 배경과 느린 움직임을 갖는 객체로 이루어지는 영상을 현재의 영상과 이전 영상의 차이를 이용하여, 영상 부호화 방법이나 장치에서 부호화의 기본 단위로 가장 널리 사용하는 16x16 화소 크기의 매크로블록 단위의 변화 영역과 비변화 영역으로 구분하고, 이 결과로부터 영상 전체 중에서 영상의 변화가 존재할 때마다 항상 재구성되어 부호화 효율을 극대화할 수 있도록 시간에 따라 거의 변화하지 않는 영역에 해당하는 매크로블록으로만 이루어지는 배경 모자이크를 구성함으로써, 복잡도가 매우 낮아 실시간으로 구현하기가 용이할 뿐만 아니라 객체의 모양 부호화 효율 또한 극대화할 수 있는 효과가 있다.

Description

매크로블록 단위 영역 분할 및 배경 모자이크 구성방법

본 발명은 움직임이 없는 배경을 갖는 영상의 객체 기반 부호화를 위한 매크로블록 단위 영역 분할 및 배경 모자이크 구성방법에 관한 것으로서, 영상을 움직임과 변화가 존재하는 객체 영역과 움직임과 변화가 거의 없는 배경 영역으로 분할하되, 배경 영역에 대하여는 영상 전체 중에서 시간에 따라 거의 변화되지 않는 영역에 해당하는 매크로블록으로만 이루어지는 배경 모자이크를 구성하여 부호화되어야 하는 영역의 크기를 최소화함으로써, 부호화 효율을 극대화할 수 있는 영역 분할방법을 제공하고자 한다.

또한, 본 발명에서는 영상의 분할 단위로서 16x16 화소 크기의 매크로블록을 사용하여 매우 낮은 복잡도를 가질 뿐만 아니라, 객체의 모양 부호화 효율을 극대화할 수 있는 영역 분할방법을 제공하고자 한다.

동영상을 이용하는 영상 전화 시스템은, 일반적으로 극히 제한된 대역폭을 갖는 통신 채널을 이용하게 되므로 전송되어야 하는 정보의 양을 줄이기 위해 영상을 압축하여 전송하는 것이 필수적이다.

이때 사용되는 영상 부호화 방법 중의 하나로 영상을 배경 영역과 객체 영역으로 분할하여 부호화하는 객체 기반 부호화 방법을 들 수 있다.

이 방법은 입력되는 영상을 움직임과 변화가 거의 없는 배경 영역과 움직임과 변화가 존재하는 객체 영역으로 분할하고, 분할된 각 영역을 일반적인 블록 단위 영상 부호화 기법, 즉 이산 여현 변환과 양자화 등의 방법을 이용하여 부호화한다.

또한, 분할된 각 영역의 모양 정보가 복호화 단계에서의 영상 재구현을 위해 별도로 부호화되어 전송된다.

따라서, 이러한 객체 기반 영상 부호화 방법의 부호화 효율을 극대화하기 위해서는 영상을 효율적으로 부호화하는 것이 매우 중요한데, 종래의 영역 분할 기법들은 영상의 시간적 변화 또는 공간적 변화 정보를 이용하여 영상을 화소 단위의 영역으로 분할하였다.

즉, 영상을 몇 개의 영역으로 나누기 위해서 매 화소 단위로 밝기의 변화 유무를 판정하고 이로부터 해당 화소를 배경 영역 또는 객체 영역으로 판정하는 매우 복잡한 방법을 사용하였다.

따라서, 기존의 영역 분할방법들은 화소 단위로 영상을 분할하기 위해 매우 복잡한 과정을 거쳐야 하기 때문에 이를 실시간으로 구현하기가 매우 곤란하다.

또한, 화소 단위로 얻어지는 영역별 모양 정보를 부호화하여 전송하기 위해 상당히 많은 비트를 소모하여 부호화 효율을 극대화하는데 한계가 있으며, 특히 전체적인 부호화율이 낮아지더라도 모양 정보의 부호화율은 일정 수준 이상으로 낮출 수 없어 매우 낮은 부호화율로 부호화하는 경우에는 객체 기반 부호화 방법의 장점을 충분히 살릴 수 없는 문제점을 안고 있다.

아울러, 배경 영역을 항상 현재의 영상과 바로 직전의 영상 사이의 변화 정보를 이용하여 판별하므로, 움직임이 없는 배경 영역을 움직임이 존재하는 객체 영역으로부터 분할하여 부호화 효율을 높이고자 하는 객체 기반 부호화 방법의 장점을 충분히 살릴 수 없다.

상기 문제점을 해결하기 위해 본 발명은, 영상을 움직임과 변화가 존재하는 객체 영역과 움직임과 변화가 거의 없는 배경 영역으로 분할하되, 배경 영역에 대해서는 배경 모자이크를 구성하여 부호화되어야 하는 영역의 크기를 최소화함으로써 부호화 효율을 극대화할 수 있는 영역 분할방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 영상의 분할 단위로서 16x16 화소 크기의 매크로블록을 사용하여 매우 낮은 복잡도를 가지면서, 객체의 모양 부호화 효율을 극대화할 수 있는 영역 분할방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명은, 연속된 두 영상을 입력받는 제 1 단계; 입력된 영상으로부터 현재 영상의 각 매크로블록에 대한 변화 유무를 검출하기 위한 검정통계량을 계산하는 제 2 단계; 계산된 검정통계량을 이용하여 각 매크로블록의 변화 여부를 판단하여 변화검출마스크를 생성하는 제 3 단계; 현재 프레임의 변화검출마스크와 바로 이전 프레임의 변화검출마스크, 현재 영상, 그리고 배경 모자이크를 이용하여 각 매크로블록을 배경 영역과 객체 영역으로 판별하는 제 4 단계로 구성하는 것을 특징으로 한다.

도 1은 본 발명에 대한 흐름도,

도 2는 본 발명의 일실시예에 따른 영역 판별 단계의 세부 흐름도,

이하, 본 발명의 일실시예에 관하여 첨부된 도면을 참조하면서 상세히 설명한다.

도 1 은 본 발명에 따른 영역 분할 및 배경 모자이크 구성방법의 처리 흐름도를 나타낸다.

먼저, 현재영상과 이전영상을 입력받는데(10), 여기에 사용되는 이전 영상은 부호화 및 복호화 과정을 거친 복원 영상 또는 원 영상 중 택일 할 수 있다.

두 영상이 입력되면, 이 두 영상으로부터 각 매크로블록의 검정통계량을 구하는데(20), 계산되는 검정통계량은 매크로블록내의 모든 화소에 대한 두 영상 사이의 밝기차의 자승합(sum of squared error)을 변화가 없는 매크로블록의 밝기차의 표준편차(variance)로 나눈 값으로 수식적으로 표현하면 아래 수학식 1과 같다.

여기서, d(k)는 화소 위치 k에서의 두 영상 사이의 밝기차를 의미하며, σ는 변화가 없는 매크로블록의 밝기차의 표준편차를 의미한다.

이때, σ를 결정하기 위해서는 변화가 없는 매크로블록을 알아야 하는데 다음의 두 가지 방법 중 하나를 사용할 수 있다.

첫째, 움직이는 물체가 화면 가운데에 존재한다고 가정하고 화면의 첫 줄에 존재하는 매크로블록과 좌우 처음과 마지막 열의 매크로블록은 변화가 없는 매크로블록으로 간주하여 이들로부터 σ를 계산할 수 있다.

둘째, 변화가 없는 매크로블록은 변화가 존재하는 매크로블록에 비해 밝기차가 상대적으로 작을 것이고, 물체가 차지하는 부분이 전체 영상 중 80% 미만이라고 가정하여 전체 영상에 해당하는 매크로블록 중 밝기차가 가장 적은 20%의 매크로블록으로부터 σ를 계산한다.

이를 통해 각 매크로블록의 검정통계량이 계산되면, 이를 미리 정해 놓은 문턱 값과 비교하여 각 매크로블록의 변화 유무를 판별하여 변화검출마스크를 생성한다(30).

즉, 매크로블록의 검정통계량이 값이 문턱값 보다 크면 이 매크로블록은 변화 매크로블록으로 판정하고, 그렇지 않으면 비변화 매크로블록으로 판정하게 된다.

이때의 문턱값은 검정오차 및 매크로블록 내의 화소 수에 따라 결정된다.

각 매크로블록별로 변화 유무가 판별되면, 이 정보와 바로 직전 영상의 변화검출마스크와 현재 영상 및 배경 모자이크로부터 각 매크로블록이 속하게 되는 영역을 결정한다(40).

도 2는 영역 분할 단계의 마지막 단계인 영역 판별 단계의 세부 흐름도로서, 각 매크로블록이 속하게 되는 영역을 결정하고, 이 결과를 통해 배경 모자이크를 재구성하는 기능을 수행한다.

먼저, 변화검출마스크를 이용하여 현재 매크로블록이 변화 매크로블록으로 판별되었는지, 비변화 매크로블록으로 판별되었는지 판단한다(41).

상기 판별 후 변화 매크로블록인 경우 이전 영상의 변화검출마스크를 이용하여 이전 영상의 동일한 위치의 매크로블록이 객체 영역으로 판별되었는지, 배경 영역 또는 배경 모자이크로 판별되었는지 판단한다(42).

배경 영역으로 판별된 경우, 현재 영상의 매크로블록이 배경 모자이크의 동일한 위치에 있는 매크로블록과 유사한지를 판단한다(43).

상기 단계에서는 두 매크로블록 내의 화소에 대한 d(k)의 합을 구하고, 이 차이가 현재 영상에서 비변화 매크로블록으로 판별된 매크로블록 내의 화소에 대한 d(k)의 합의 평균보다 작을 경우 배경 모자이크와 유사한 것으로 판별한다.

상기 변화 및 비변화 매크로블록 판별 후 비변화 매크로블록인 경우 이전 영상의 변화검출마스크를 이용하여 이전 영상의 동일한 위치의 매크로블록이 객체 영역으로 판별되었는지, 배경 영역으로 판별되었는지, 또는 배경 모자이크로 판별되었는지를 판단한다(46).

모자이크로 판별되면, 현재 매크로블록과 배경 모자이크의 동일한 위치에 존재하는 매크로블록과 유사한지를 판단한다(47).

상기 이전 영상의 동일한 위치의 매크로블록이 객체 영역으로 판별된 경우 해당 매크로블록을 객체 영역으로 판별한다(44).

또한, 상기 이전 영상의 동일한 위치의 매크로블록이 모자이크로 판별된 경우 배경영역으로 판별하되, 해당 매크로블록과 동일한 위치에 존재하는 배경 매크로블록 대신 배경 영역의 매크로블록으로 출력한다(45).

마지막으로, 이전 영상의 동일한 위치의 매크로블록이 배경영역으로 판별된 경우 해당 매크로블록을 배경영역으로 판별하고, 배경 모자이크의 동일한 위치에 존재하는 매크로블록은 해당 매크로블록으로 갱신한다(48).

상기와 같이 이루어지는 본 발명은, 영상 전화와 같이 낮은 복잡도를 요구하는 시스템에서도 영역 분할을 통한 객체 기반 영상 부호화 방법을 이용할 수 있도록 하여 부호화 효율을 극대화하고, 매크로블록 단위의 단순한 모양 정보를 생성하여 낮은 부호화율에서 모양 정보로 인한 비트 소모를 최소화함으로써, 매우 낮은 전송 속도가 요구되는 시스템에서도 객체 기반 영상 부호화 방법을 이용할 수 있도록 하는 효과를 갖는다.

Claims (6)

1. 객체 기반 영상 부호화를 위한 영상의 영역 분할방법에 있어서,

   연속된 두 영상을 입력받는 제 1 단계와;

   입력된 영상으로부터 현재 영상의 각 매크로블록에 대한 변화 유무를 검출하기 위한 검정통계량을 계산하는 제 2 단계와;

   계산된 검정통계량을 이용하여 상기 각 매크로블록의 변화 여부를 판단하여 변화검출마스크를 생성하는 제 3 단계와;

   현재 프레임의 변화검출마스크와 바로 이전 프레임의 변화검출마스크, 현재 영상 및 배경 모자이크를 이용하여 상기 각 매크로블록을 배경 영역과 객체 영역으로 판별하는 제 4 단계를 포함하는 것을 특징으로 하는 매크로블록 단위 영역 분할 및 배경 모자이크 구성방법.
2. 제 1 항에 있어서,

   상기 제 2 단계의 검정통계량은,

   매크로블록내의 모든 화소에 대해 두 영상 사이의 밝기차의 자승합을 변화가 없는 매크로블록의 밝기차의 표준편차로 나눈 값을 사용하는 것을 특징으로 하는 매크로블록 단위 영역 분할 및 배경 모자이크 구성방법.
3. 제 2 항에 있어서,

   상기 변화가 없는 매크로블록은,

   화면의 첫 줄에 존재하는 매크로블록과 좌우 처음과 마지막 열의 매크로블록을 이용하거나, 전체 영상에 해당하는 매크로블록 중 밝기차가 가장 적은 매크로블록을 사용하는 것을 특징으로 하는 매크로블록 단위 영역 분할 및 배경 모자이크 구성방법.
4. 제 1 항에 있어서,

   상기 제 3 단계의 변화검출마스크 생성은,

   각 매크로블록의 검정통계량을 검정오차 및 매크로블록내의 화소 수에 따라 미리 정해지는 문턱값을 검정통계량과 비교하여 생성하는 것을 특징으로 하는 매크로블록 단위 영역 분할 및 배경 모자이크 구성방법.
5. 제 1 항에 있어서,

   상기 제 4 단계의 상기 영역 판별은,

   현재 영상의 변화검출마스크 정보와 바로 직전 영상의 변화검출마스크, 현재 영상 및 배경 모자이크 영상을 이용하여 현재 매크로블록이 변화가 있는 매크로블록인지를 판단하는 제 1 부단계와;

   제 1 부단계 수행 후 이전 영상의 동일한 위치의 매크로블록이 어떤 영역으로 판별되었는지 판단하는 제 2 부단계와;

   제 2 부단계 수행 후 현재 매크로블록이 배경 모자이크의 동일한 위치에 존재하는 매크로블록과 유사한지를 비교하는 제 3 부단계로 이루어진 것을 특징으로 하는 매크로블록 단위 영역 분할 및 배경 모자이크 구성방법.
6. 제 5 항에 있어서,

   제 3 부단계의 현재 매크로블록과 배경 모자이크의 유사도의 비교는,

   현재 영상의 매크로블록과 배경 모자이크의 매크로블록간의 화소값의 차이의 합을 변화가 없는 것으로 판단된 매크로블록과 이전 영상 매크로블록과의 화소값의 차이의 합의 평균을 이용하는 것을 특징으로 하는 매크로블록 단위 영역 분할 및 배경 모자이크 구성방법.