KR100814424B1

KR100814424B1 - 폐색영역 검출장치 및 검출방법

Info

Publication number: KR100814424B1
Application number: KR1020060103090A
Authority: KR
Inventors: 추이펑; 민종술; 권오재
Original assignee: 삼성전자주식회사
Priority date: 2006-10-23
Filing date: 2006-10-23
Publication date: 2008-03-18
Also published as: CN101170673A; US20080095399A1

Abstract

폐색영역 검출장치 및 검출방법이 개시된다. 이 발명의 폐색영역 검출장치는 프레임을 소정 개수의 블록으로 분할하여 블록단위로 복수의 후보움직임벡터를 추정하고 상기 복수의 후보움직임벡터 중에서 각 블록의 움직임벡터를 결정하는 움직임 추정부; 상기 각 블록의 결정된 움직임벡터를 이용하여 상기 각 블록이 커버드영역 블록인지 또는 언커버드영역 블록인지의 폐색의 유형을 검출하는 제1 폐색영역 검출부; 상기 제1 폐색영역 검출부에서 폐색의 유형이 검출된 블록들 중 불규칙적으로 나타나는 커버드영역 블록 또는 언커버드영역 블록을 제거하는 폐색영역 감축부; 및 상기 폐색영역 감축부를 거쳐 출력되는 블럭들 각각이 전경블록인지 또는 배경블록인지를 검출하는 제2 폐색영역 검출부를 포함한다. 본 발명에 따르면, 커버드영역인지 또는 언커버드영역인지의 폐색의 유형을 검출하고 폐색의 유형이 검출된 블록들 각각이 전경블록인지 또는 배경블록인지를 계층적 판단방법을 이용하여 검출함으로써 폐색영역의 검출의 정확성이 증대될 수 있는 폐색영역 검출장치 및 검출방법이 제공된다.

폐색영역, 전경, 배경, FRC, 움직임벡터, 움직임추정

Description

폐색영역 검출장치 및 검출방법{Device for detecting occlusion area and method thereof}

도 1은 본 발명의 검출대상이 되는 폐색영역을 도시한 도면.

도 2는 본 발명의 일실시예에 따른 폐색영역 검출장치를 개략적으로 도시한 도면.

도 3은 본 발명에 따라 폐색영역의 검출에 이용되는 블록으로 구성된 매트릭스를 나타낸 도면.

도 4는 본 발명의 일실시예에 따라 불연속적인 에지의 움직임벡터의 방향을 나타낸 도면.

도 5는 본 발명의 일실시예에 따라 폐색영역의 검출에 이용되는 라인메모리를 도시한 도면.

도 6은 본 발명의 일실시예에 따라 폐색영역의 검출에 이용되는 매트릭스를 나타낸 도면.

도 7은 본 발명의 일실시예에 따라 폐색영역의 검출에 이용되는 라인 평균움직임벡터를 갖는 현재프레임을 나타낸 도면.

도 8은 본 발명의 폐색영역 검출장치의 검출결과를 나타낸 도면.

도 9는 본 발명의 폐색영역 검출과정을 개략적으로 나타낸 흐름도.

*도면 중 주요부분의 설명*

210 : 움직임 추정부 220 : 제1 폐색영역 검출부

230 : 폐색영역 감축부 240 : 제2 폐색영역 검출부

250 : 폐색영역 복구부

본 발명은 폐색(occlusion)영역 검출장치 및 검출방법에 관한 것으로, 더욱 상세하게는, 커버드영역인지 또는 언커버드영역인지의 폐색의 유형을 검출하고 폐색의 유형이 검출된 블록들 각각이 전경블록인지 또는 배경블록인지를 계층적 판단방법을 이용하여 검출함으로써 폐색영역의 검출의 정확성이 증대될 수 있는 폐색영역 검출장치 및 검출방법에 관련된다.

일반적으로, FRC(Frame rate conversion)는 움직임추정(Motion Estimation) 및 움직임보상(Motion Compensation) 기법에 의하여 원래의 프레임 사이에 보간 프레임을 생성하여 영상의 일시적인 해상도를 높여줌으로써 모션블러(Motion blur)를 처리하기 위해 이용된다.

FRC는 움직임추정을 위해 일반적으로 블록 매칭 알고리즘(Block Matching Algorithm, BMA)을 이용한다. BMA는 연속입력되는 두 장의 프레임을 블록단위로 비교하여 블록당 하나의 움직임벡터를 추정한다. 이때, 움직임벡터는 주로 두 프레임 간 SAD(Sum of Absolute Difference)값, 즉 픽셀값의 절대차의 합을 이용하여 추정한다.

그러나 프레임 내 존재하는 전경과 배경이 서로 다른 움직임을 갖고 이동하는 폐색(Occlusion)영역에서는 영상정보가 한 프레임에만 존재하게 되어 추정된 움직임벡터가 부정확하다. 도 1은 폐색영역을 예시한 것으로, 도 1의 (a)는 이전 프레임(n-1)에서 현재프레임(n)으로 물체가 이동하고 있는 것을 도시한 것이며, (b)는 프레임을 계층적으로 도시하여 물체의 이동을 나타낸 것이다. 영역 1은 폐색영역의 언커버드영역(uncovered area)을 나타내며, 영역 3은 폐색영역의 커버드영역(covered area)을 나타내며, 영역 2는 커버링의 변화가 없는 부분이다. 영역 1의 언커버드영역은 이전 프레임(n-1)에서 가려졌던 부분이 현재프레임(n)에 나타나게 되고, 영역 3의 커버드영역은 이전 프레임(n-1)에서 가려지지 않았던 부분이 현재프레임(n)에서 가려지게 된다. 따라서 이들 영역은 현재프레임(n)과 이전 프레임(n-1)의 한쪽에만 움직임벡터 추정을 위한 정보 데이터가 존재하게 되어 이들 영역의 움직임 벡터의 정확성이 떨어지게 된다.

또한 이 언커버드영역 또는 커버드영역의 정확한 움직임벡터를 추정하기 위해서는 이들 영역이 폐색영역 영상의 어느 부분에 해당하는지를 검출하여야 하므로 폐색의 유형의 검출뿐만 아니라 폐색의 유형별로 전경인지 배경인지를 검출할 필요성이 있다.

본 발명은 상기한 문제점을 해결하기 위한 것으로, 커버드영역인지 또는 언커버드영역인지의 폐색의 유형을 검출하고 폐색의 유형이 검출된 블록들 각각이 전경블록인지 또는 배경블록인지를 계층적 판단방법을 이용하여 검출함으로써 폐색영역의 검출의 정확성이 증대될 수 있는 폐색영역 검출장치 및 검출방법을 제공하고자 한다.

상기한 목적을 달성하기 위하여 본 발명에 따른 폐색영역 검출장치는 프레임을 소정 개수의 블록으로 분할하여 블록단위로 복수의 후보움직임벡터를 추정하고 상기 복수의 후보움직임벡터 중에서 각 블록의 움직임벡터를 결정하는 움직임 추정부; 상기 각 블록의 움직임벡터를 이용하여 상기 각 블록이 커버드영역 블록인지 또는 언커버드영역 블록인지의 폐색의 유형을 검출하는 제1 폐색영역 검출부; 상기 제1 폐색영역 검출부에서 폐색의 유형이 검출된 블록들 중 불규칙적으로 나타나는 커버드영역 블록 또는 언커버드영역 블록을 제거하는 폐색영역 감축부; 및 상기 폐색영역 감축부를 거쳐 출력되는 블럭들 각각이 전경블록인지 또는 배경블록인지를 검출하는 제2 폐색영역 검출부를 포함한다.

바람직하게, 상기 제2 폐색영역 검출부에서 전경블록인지 또는 배경블록인지가 검출되지 않은 블록은 상기 블록의 주변블록들의 검출결과에 따라 전경블록인지 배경블록인지가 결정되는 폐색영역 복구부를 더 포함한다.

또한 바람직하게, 상기 움직임 추정부는 상기 각 블록의 복수의 후보움직임벡터 중 소정 후보움직임벡터와 상기 각 블록의 결정된 움직임벡터로부터 도출되는각 블록의 SAD값들을 이용하여 전경 플래그를 더 생성한다.

바람직하게, 상기 제1 폐색영역 검출부는 상기 움직임 추정부에서 결정된 움직임벡터를 갖고 소정 개수의 블록들로 구성된 매트릭스의 좌우측 간 평균 움직임벡터들의 차이를 이용하여 상기 폐색의 유형을 결정한다.

또한 바람직하게, 상기 제2 폐색영역 검출부는 상기 폐색영역의 블록들 사이의 불연속적인 에지의 움직임벡터 방향을 이용하여 현재 처리블록이 전경블록인지 또는 배경블록인지를 검출한다.

바람직하게, 상기 제2 폐색영역 검출부는 현재 처리블록의 폐색의 유형이 커버드영역이라면, 현재 처리블록이 전경블록인지 또는 배경블록인지를 커버드영역 전경 라인메모리 또는 커버드영역 배경 라인메모리에 저장되어 있는 이전 라인의 소정 블록들의 움직임벡터들을 참조하여 검출한다.

또한 바람직하게, 상기 제2 폐색영역 검출부는 현재 처리블록의 폐색의 유형이 커버드영역이라면, 소정 개수의 블록으로 구성된 매트릭스의 상기 현재 처리블록을 포함한 열이 모두 상기 커버드영역 블록들이며, 상기 열에 인접한 주변블록들의 한 열이 모두 상기 언커버드영역 블록들인 경우, 현재 처리블록을 전경블록으로 판별한다.

바람직하게, 상기 제2 폐색영역 검출부는 소정 개수의 블록으로 구성된 매트 릭스의 현재 처리블록을 포함한 열의 블록들이 모두 전경 플래그이고 상기 열에 인접한 주변블록들의 한 열이 모두 전경 플래그가 아닌 경우, 상기 현재 처리블록을 전경블록으로 판별한다.

또한 바람직하게, 상기 제2 폐색영역 검출부는 현재 처리블록의 움직임벡터를 상기 현재 처리블록이 속하는 현재프레임의 라인 평균움직임벡터와 비교함으로써 상기 현재 처리블록이 전경블록인지 또는 배경블록인지를 검출한다.

바람직하게, 상기 제2 폐색영역 검출부는 현재 처리블록의 폐색의 유형이 언커버드영역이라면, 상기 현재 처리블록이 전경블록인지 또는 배경블록인지를 언커버드영역 전경 라인메모리 또는 언커버드영역 배경 라인메모리에 저장되어 있는 이전 라인의 소정 블록들의 움직임벡터들을 참조하여 판별한다.

또한 바람직하게, 상기 제2 폐색영역 검출부는 현재 처리블록의 폐색의 유형이 언커버드영역이라면, 상기 현재 처리블록의 결정된 움직임벡터와 소정 블록들의 라인 후보움직임벡터로부터 도출되는 소정 블록들의 SAD값들을 이용하여 상기 현재 처리블록이 전경블록인지를 판별한다.

이하, 첨부된 도면들을 참조하여 본 발명을 보다 상세히 설명한다.

도 2는 본 발명에 따른 폐색영역 검출장치를 개략적으로 도시한 도면이다. 본 발명의 폐색영역 검출장치는 움직임 추정부(210), 제1 폐색영역 검출부(220), 폐색영역 감축부(230), 제2 폐색영역 검출부(240) 및 폐색영역 복구부(250)를 포함한다.

움직임 추정부(210)는 현재 프레임을 소정 개수의 블록으로 분할하여 블록단 위로 복수의 후보움직임벡터를 추정하고 상기 복수의 후보움직임벡터 중에서 각 블록의 움직임벡터를 결정한다. 복수의 후보움직임벡터는 전역탐색움직임벡터, 라인후보움직임벡터, 평균후보움직임벡터, 제로후보움직임벡터 등 검색범위 및 방법에 따라 다양하게 도출될 수 있다. 여기서 라인후보움직임벡터는 현재 처리블록과 동일한 수평 라인 위치에서의 이전 프레임의 넌-제로(non-zero) 움직임벡터들의 평균으로부터 도출된다. 상기와 같이 도출된 복수의 후보움직임벡터들 중 SAD값이나 소정 정보를 기초로 가장 적절한 값이 각 블록의 움직임벡터로 결정된다.

또한 움직임 추정부(210)는 각 블록의 복수의 후보움직임벡터 중 소정 후보움직임벡터와 각 블록의 결정된 움직임벡터로부터 도출되는 각 블록의 SAD값들을 이용하여 전경 플래그를 더 생성한다. 다음과 같은 조건을 만족하는 경우 전경 플래그로 정의된다:

여기서,

는 현재 처리블록(m,n)의 라인후보움직임벡터의 SAD값이며,

는 복수의 후보움직임벡터들 중 가장 적절한 값으로서 결정된 움직임벡터로부터 도출되는 현재 처리블록(m,n)의 SAD값이다. 또, LINESAD_THRESH는 라인후보움직임벡터의 소정 양수의 임계값이며, SADDIFF_THRESH는 SAD값의 차이에 대한 소정 양수의 임계값이다.

제1 폐색영역 검출부(220)는 각 블록의 움직임벡터를 이용한 소정 조건에 따라 각 블록이 커버드영역 블록인지 또는 언커버드영역 블록인지의 폐색의 유형을 검출한다. 도 3을 참조하면, 3×3 개의 블록으로 분할된 매트릭스가 도시되며, 블록 4는 현재 처리블록(m, n)을 나타내며, 나머지 블록들은 현재 처리블록에 인접하는 주변블록들이다. 먼저 폐색의 유형을 검출하기 위하여 매트릭스의 좌우측 한 열씩(블록 0, 3, 6 또는 블록 2, 5, 8)을 에지블록으로 정의하고, 움직임벡터의 평균값을 계산한다. 이때, 우측 에지블록을 기준으로 분할할 경우(도 3의 (a))와, 좌측 에지블록을 기준으로 분할할 경우(도 3의 (b))의 두 경우로 각 분할된 블록들의 평균움직임벡터를 계산한다. 좌측 에지블록을 기준으로 분할할 경우, MVmean_right에 블록 1, 2, 4, 5, 7, 8이 포함되며, 우측 에지블록을 기준으로 분할할 경우에는 MVmean_left에 블록 0, 1, 3, 4, 6, 7이 포함된다. 이와 같이 분할하여 계산하는 이유는 폐색영역인 경우, 현재 처리블록과 인접하는 주변블록 사이에 불연속적인 움직임이 있는 경계선, 즉 에지가 형성되기 때문이다. 각 분할된 블록들의 평균움직임벡터는 다음과 같은 수식을 이용하여 계산된다:

여기서, W₀, ....W₈은 가중치를 나타낸다.

상기와 같이 계산된 평균움직임벡터를 기초로 현재 처리블록의 움직임방향을 예측한다. 움직임방향은 MVmean_left값에 대하여 현재 처리블록을 포함하고 있는 좌측의 6개 움직임벡터의 분산도가 소정 임계값보다 작을 경우는 현재 처리블록은 좌측 움직임방향인 것으로, MVmean_right값에 대하여 현재 처리블록을 포함하고 있는 우측의 6개 움직임벡터의 분산도가 소정 임계값보다 작을 경우는 현재 처리블록은 우측 움직임방향인 것으로 판단한다. 이때, 현재 처리블록이 폐색영역인 한도에서는 현재 처리블록은 좌, 우측 움직임방향을 동시에 가질 수 없다.

현재 처리블록이 좌측 움직임방향을 가지는 경우, 다음과 같은 조건 (1)를 만족하는 경우 커버드영역블록으로 판정하고, 조건 (2)를 만족하는 경우 언커버드영역블록으로 판정한다:

(1)

(2)

현재 처리블록이 우측 움직임방향을 가지는 경우, 다음과 같은 조건(3)를 만족하는 경우 커버드영역블록으로 판정하고, 조건 (4)를 만족하는 경우 언커버드영역블록으로 판정한다:

(3)

(4)

여기서, MVDIFF_THRESH는 일정한 양의 임계값이다.

폐색영역 감축부(230)는 제1 폐색영역 검출부에서 폐색의 유형이 검출된 블록들 중 불규칙적으로 나타나는 커버드영역 블록 또는 언커버드영역 블록을 제거한다. 현재프레임의 모든 블록들이 제1 폐색영역 검출부를 통과한 후 검출된 다른 커버드영역 블록들 또는 언커버드영역 블록들과 동떨어져 불규칙적으로 나타나는 폐색의 유형들은 검출의 오류라 할 것이므로 제거될 필요가 있다. 한편, 폐색영역 감축부(230)로부터의 출력은 제2 폐색영역 검출부(240)로 전달됨과 동시에 다음 프레임에서 제2 폐색영역 검출부(240)의 분석에 이용되기 위하여 저장된다.

제2 폐색영역 검출부(240)는 폐색영역 감축부(230)를 거쳐 출력되는 블럭들 각각이 전경블록인지 또는 배경블록인지를 검출한다. 여기서 출력되는 블록들 각각은 커버드영역인지 언커버드영역 블록인지의 폐색의 유형이 이미 결정되어 있다. 먼저, 제1 폐색영역 검출부와 폐색영역 감축부(230)를 거쳐 출력되는 블럭들 각각이 커버드영역인 경우를 설명한다.

A. 제2 폐색영역 검출부(240)는 폐색영역의 블록들 사이의 불연속적인 에지의 움직임벡터를 이용하여 현재 처리블록이 전경블록인지 또는 배경블록인지를 검출한다. 현재블록이 폐색영역 블록이라면, 현재블록과 인접하는 주변블록 사이에는 움직임벡터가 불연속되는 에지가 존재한다. 도 4의 (a)는 현재 처리블록이 커버드 영역인 경우로, 전경(object)과 배경(background) 사이에 움직임벡터가 불연속되는 에지가 존재하고, 이 에지는 이전 프레임과 현재 프레임을 비교할 때, 우측방향으로 이동하여 우측방향의 움직임벡터를 갖는다. 이때, 위에서 언급한 바와 같이, 이전 프레임에 대한 정보는 폐색영역 감축부(230)를 거친 출력이 현재 프레임이 처리되기 전에 저장되어 이용된다. 현재 처리블록의 움직임벡터가 상기한 에지의 움직임벡터와 유사하다면, 현재 처리블록을 전경블록으로 판정한다. 또 현재 처리블록의 움직임벡터가 상기한 에지의 움직임벡터와 유사하지 않다면, 현재 처리블록은 전경블록이 아닐 수가 있는데, 이때는 현재 처리블록의 움직임벡터와 인접 주변블록의 움직임벡터를 참조하여 현재 처리블록이 전경인지 배경인지를 결정하게 된다.

B. 다음으로, 상기한 방법에 의하여 현재 처리블록이 전경인지 배경인지가 검출되지 않았다면, 라인메모리를 참조할 수 있다. 본 발명의 폐색영역 검출장치의 라인메모리는 커버드영역에 대한 전경 및 배경 라인메모리, 언커버드영역에 대한 전경 및 배경 라인메모리의 총 4개이다. 각 라인메모리는 현재 처리블록 이전 라인의 폐색영역 검출결과를 저장하고 있다. 예컨대, 폐색영역이 커버드영역의 전경인 경우 커버드영역의 전경 라인메모리에 저장된다. 라인메모리는 시스템이 각 블록을 라인단위로 처리하기 때문에 현재 처리블록이 속하는 수평라이의 이전 라인의 모든 블록이 제2 폐색영역 검출부를 통과한 후 갱신된다. 도 5는 라인메모리의 각 블록을 나타낸 도면이다. 라인메모리의 (n-1), (n), (n+1) 블록 중 어느 하나와 현재 처리블록(current block)(m, n)의 움직임벡터가 유사하다면, 해당 라인메모리의 종류에 따른 움직임벡터를 가진 것으로 판정한다. 예를 들어, 현재 처리블록(m, n)의 움직임벡터가 커버드영역 전경 라인메모리의 블록, (n-1), (n), (n+1) 중 어느 하나의 움직임벡터와 유사하다면, 현재 처리블록은 커버드영역의 전경블록으로 판정된다.

C. 또 다음으로, 상기한 방법에 의하여도 현재 처리블록이 전경인지 배경인지가 검출되지 않은 경우, 다음의 방법을 이용하여 현재 처리블록의 폐색영역을 검출한다. 먼저, 도 6에서 보는 바와 같이, 소정 개수의 블록으로 매트릭스를 구성한다. 매트릭스의 현재 처리블록(4)을 포함한 열(빗금친 부분)이 모두 커버드영역 블록들이며, 불연속되는 주변블록들, 0, 3, 6 또는 2, 5, 8이 언커버드영역 블록들인 경우, 현재 처리블록을 전경블록으로 판정한다. 이 방법은 현재 처리블록이 언커버드영역일 때는 적용되지 않는다.

D. 상기한 방법에 의하여도 현재 처리블록이 전경인지 배경인지가 검출되지 않는 경우, 다음의 방법을 이용하여 현재 처리블록의 폐색영역을 검출한다. 여기에서는 움직임추정부(210)에서 생성된 전경 플래그가 이용된다. 판단방법은 상기한 C방법과 동일하다. 즉, 소정 개수의 블록으로 매트릭스를 구성하고 매트릭스의 현재 처리블록(4)을 포함한 열이 모두 전경 플래그이며, 불연속되는 주변블록들, 0, 3, 6 또는 2, 5, 8이 전경 플래그가 아닌 경우, 현재 처리블록을 전경블록으로 판정한다.

E. 마지막으로, 상기한 방법에 의하여도 현재 처리블록이 전경인지 배경인지가 검출되지 않는 경우, 다음의 방법을 이용하여 현재 처리블록의 폐색영역을 검출한다. 즉, 현재 처리블록의 움직임벡터를 현재 처리블록이 속하는 현재프레임의 라 인 평균움직임벡터와 비교함으로써 현재 처리블록이 전경블록인지 또는 배경블록인지를 검출한다. 대부분의 영상에서는 배경 움직임벡터는 라인 평균움직임벡터와 유사하다. 라인 평균움직임벡터는 현재 처리블록이 속하는 현재프레임의 수평라인의 움직임벡터의 평균값이다. 도 7은 현재 처리블록(m, n)과 현재 처리블록(m, n)이 속하는 현재프레임의 수평라인을 도시한다. 따라서 현재 처리블록의 움직임벡터가 라인 평균움직임벡터와 유사하면, 현재 처리블록을 배경블록인 것으로 판정한다.

다음은, 제1 폐색영역 검출부(220)와 폐색영역 감축부(230)를 거쳐 출력되는 블럭들 각각이 언커버드영역인 경우이다. 제2 폐색영역 검출부(240)는 커버드영역에서의 전경과 배경의 검출방법과 마찬가지로 다음의 방법들을 계층적으로 수행한다.

먼저, 제2 폐색영역 검출부(240)는 폐색영역의 블록들 사이의 불연속적인 에지의 움직임벡터를 이용하여 현재 처리블록이 전경블록인지 또는 배경블록인지를 검출한다(도 4의 (b) 참조). 이 방법은 상기한 A 방법과 동일한 방법으로 현재 처리블록의 폐색영역을 검출하므로 부가적인 설명은 생략한다.

다음으로, 상기한 방법에 의하여 현재 처리블록이 전경인지 배경인지가 검출되지 않았다면, 라인메모리를 참조할 수 있다. 따라서 현재 처리블록이 언커버드영역이라면, 언커버드영역에 대한 전경 및 배경 라인메모리를 참조하여 현재 처리블록의 폐색영역을 검출한다. 상기한 B 방법과 동일한 방법을 이용하므로, 부가설명은 생략한다.

또 다음으로, 상기한 방법에 의하여도 현재 처리블록이 전경인지 배경인지가 검출되지 않은 경우, 움직임추정부(210)에서 생성된 전경 플래그를 이용한다. 이 방법 역시 앞에서 설명된 D 방법과 동일하므로, 별도의 설명은 생략한다.

다음으로, 상기한 방법에 의하여도 현재 처리블록이 전경인지 배경인지가 검출되지 않은 경우, 제2 폐색영역 검출부(240)는 현재 처리블록의 결정된 움직임벡터와 라인 후보움직임벡터로부터 도출되는 소정 블록들의 SAD값들을 이용하여 현재 처리블록이 전경블록인지를 판별한다. 언커버드영역에서의 배경블록의 SAD값은 대응 전경블록인 경우보다 일반적으로 높다. 이는 이전 프레임에서 배경블록에 대응하는 부분을 찾을 수 없기 때문이다. 따라서 다음과 같은 조건을 만족할 때 현재 처리블록(m, n)은 언커버드영역의 전경블록이다.

,

: 현재 처리블록(m,n)이 좌측방향의 움직임벡터일 때

: 현재 처리블록(m,n)이 우측방향의 움직임벡터일 때

: 현재 처리블록(m,n)이 우좌측방향의 움직임벡터일 때

여기서, FINALSAD_THRESH, SADDIFF_THRESH, LSAD_THRESH는 모두 일정한 양의 임계값이다.

마지막으로, 상기한 방법에 의하여도 현재 처리블록이 전경인지 배경인지가 검출되지 않는 경우, 현재 처리블록의 움직임벡터를 현재 처리블록이 속하는 현재프레임의 라인 평균움직임벡터와 비교함으로써 현재 처리블록이 전경블록인지 또는 배경블록인지를 검출한다. 이 방법 역시 상기한 E 방법과 동일하므로, 부가설명은 생략한다.

폐색영역 복구부(250)는 제2 폐색영역 검출부에서 상기와 같은 방법에 의하여도 전경블록인지 또는 배경블록인지가 검출되지 않은 블록들이 존재할 수 있는데, 이들 블록들은 주변블록들의 검출결과에 따라 전경블록인지 배경블록인지가 결정될 수 있다. 예컨대, 전경블록들 사이에서 불규칙적으로 나타나는 일부 블록이 전경인지 배경인지 검출되지 않았다면, 이 블록을 전경블록으로 지정할 수 있다.

도 8은 상기와 같이 폐색영역 검출장치를 거쳐 폐색의 유형이 검출된 결과를 나타낸다. 대체로 커버드영역블록은 전경인 인물의 앞부분인 진행방향에, 언커버드영역블록은 전경인 인물의 뒷부분에 나타남을 알 수 있다.

도 9는 본 발명에 따른 폐색영역 검출방법을 개략적으로 도시한 흐름도이다. 먼저, 현재 프레임을 소정 개수의 블록으로 분할하여 블록단위로 복수의 후보움직임벡터를 추정하고 복수의 후보움직임벡터 중에서 각 블록의 움직임벡터를 결정한다(S910). 다음으로, 각 블록의 움직임벡터를 이용하여 각 블록이 커버드영역 블록인지 또는 언커버드영역 블록인지의 폐색의 유형을 검출한다(S920). 이후, 폐색의 유형이 검출된 블록들 중 불규칙적으로 나타나는 커버드영역 블록 또는 언커버드영역 블록을 제거하며(S930), 상기한 제거하는 단계를 거쳐 출력되는 블록들 각각이 전경블록인지 또는 배경블록인지를 검출한다(S940).

본 발명에 따르면, 커버드영역인지 또는 언커버드영역인지의 폐색의 유형을 검출하고 폐색의 유형이 검출된 블록들 각각이 전경블록인지 또는 배경블록인지를 계층적 판단방법을 이용하여 검출함으로써 폐색영역의 검출의 정확성이 증대될 수 있는 폐색영역 검출장치 및 검출방법이 제공된다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였으나, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능함은 물론이고, 그와 같은 수정 또는 변형은 첨부하는 청구항의 기재범위 내에 있는 것이다.

Claims

프레임을 소정 개수의 블록으로 분할하여 블록단위로 복수의 후보움직임벡터를 추정하고 상기 각 블록의 움직임 벡터를 복수의 후보움직임벡터 중 어느 하나로 결정하는 움직임 추정부;

상기 각 블록의 결정된 움직임벡터를 이용하여 상기 각 블록이 커버드영역 블록인지 또는 언커버드영역 블록인지의 폐색의 유형을 검출하는 제1 폐색영역 검출부;

상기 제1 폐색영역 검출부에서 폐색의 유형이 검출된 블록들 중 불규칙적으로 나타나는 커버드영역 블록 또는 언커버드영역 블록을 제거하는 폐색영역 감축부; 및

상기 폐색영역 감축부를 거쳐 출력되는 블럭들 각각이 전경블록인지 또는 배경블록인지를 검출하는 제2 폐색영역 검출부를 포함하는 폐색영역 검출장치.
청구항 1에 있어서, 상기 제2 폐색영역 검출부에서 전경블록인지 또는 배경블록인지가 검출되지 않은 블록은 상기 블록의 주변블록들의 검출결과에 따라 전경블록인지 배경블록인지가 결정되는 폐색영역 복구부를 더 포함하는 폐색영역 검출장치.
청구항 1에 있어서, 상기 움직임 추정부는 상기 각 블록의 복수의 후보움직임벡터 중 어느 하나의 후보움직임벡터로부터 도출되는 각 블록의 SAD값들과 상기 각 블록의 결정된 움직임벡터로부터 도출되는 각 블록의 SAD값들을 이용하여 전경 플래그를 더 생성하는 폐색영역 검출장치.
청구항 1에 있어서, 상기 제1 폐색영역 검출부는 상기 움직임 추정부에서 결정된 움직임벡터를 갖고 복수개의 블록들로 구성된 매트릭스의 좌우측 간 평균 움직임벡터들의 차이를 이용하여 상기 폐색의 유형을 결정하는 폐색영역 검출장치.
청구항 1에 있어서, 상기 제2 폐색영역 검출부는 상기 폐색영역의 블록들 사이의 불연속적인 에지의 움직임벡터의 방향을 이용하여 현재 처리블록이 전경블록인지 또는 배경블록인지를 검출하는 폐색영역 검출장치.
청구항 1에 있어서, 상기 제2 폐색영역 검출부는 현재 처리블록의 폐색의 유형이 커버드영역이라면, 현재 처리블록이 전경블록인지 또는 배경블록인지를 커버드영역 전경 라인메모리 또는 커버드영역 배경 라인메모리에 저장되어 있는 이전 라인의 소정 블록들의 움직임벡터들을 참조하여 검출하는 폐색영역 검출장치.
청구항 1에 있어서, 상기 제2 폐색영역 검출부는 현재 처리블록의 폐색의 유형이 커버드영역이라면, 복수개의 블록들로 구성된 매트릭스의 상기 현재 처리블록을 포함한 열이 모두 상기 커버드영역 블록들이며, 상기 열에 인접한 주변블록들의 한 열이 모두 상기 언커버드영역 블록들인 경우, 상기 현재 처리블록을 전경블록으로 판별하는 폐색영역 검출장치.
청구항 1에 있어서, 상기 제2 폐색영역 검출부는 복수개의 블록들로 구성된 매트릭스의 현재 처리블록을 포함한 열의 블록들이 모두 전경 플래그이고 상기 열에 인접한 주변블록들의 한 열이 모두 전경 플래그가 아닌 경우, 상기 현재 처리블록을 전경블록으로 판별하는 폐색영역 검출장치.
청구항 1에 있어서, 상기 제2 폐색영역 검출부는 현재 처리블록의 움직임벡터를 상기 현재 처리블록이 속하는 현재프레임의 라인평균 움직임벡터와 비교함으로써 상기 현재 처리블록이 전경블록인지 또는 배경블록인지를 검출하는 폐색영역 검출장치.
청구항 1에 있어서, 상기 제2 폐색영역 검출부는 현재 처리블록의 폐색의 유형이 언커버드영역이라면, 상기 현재 처리블록이 전경블록인지 또는 배경블록인지를 언커버드영역 전경 라인메모리 또는 언커버드영역 배경 라인메모리에 저장되어 있는 이전 라인의 소정 블록들의 움직임벡터들을 참조하여 판별하는 폐색영역 검출장치.
청구항 1에 있어서, 상기 제2 폐색영역 검출부는 현재 처리블록의 폐색의 유형이 언커버드영역이라면, 상기 현재 처리블록의 결정된 움직임벡터와 라인 후보움 직임벡터로부터 도출된 소정 블록들의 SAD값들을 이용하여 상기 현재 처리블록이 전경블록인지를 판별하는 폐색영역 검출장치.
(a) 프레임을 소정 개수의 블록으로 분할하여 블록단위로 복수의 후보움직임벡터를 추정하고, 상기 각 블록의 움직임벡터를 상기 복수의 후보움직임벡터 중 어느 하나로 결정하는 단계;

(b) 상기 각 블록의 움직임벡터를 이용하여 상기 각 블록이 커버드영역 블록인지 또는 언커버드영역 블록인지의 폐색의 유형을 검출하는 단계;

(c) 상기 폐색의 유형이 검출된 블록들 중 불규칙적으로 나타나는 커버드영역 블록 또는 언커버드영역 블록을 제거하는 단계; 및

(d) 상기 단계 (c)를 거쳐 출력되는 블록들 각각이 전경블록인지 또는 배경블록인지를 검출하는 단계를 포함하는 폐색영역 검출방법.
청구항 12에 있어서, 상기 단계 (d)에서 전경블록인지 또는 배경블록인지가 검출되지 않은 블록은 상기 블록의 주변블록들의 검출결과에 따라 전경블록인지 배경블록인지가 결정되는 단계를 더 포함하는 폐색영역 검출방법.
청구항 12에 있어서, 상기 단계 (a)는 상기 각 블록의 복수의 후보움직임벡터 중 어느 하나의 후보움직임벡터로부터 도출되는 각 블록의 SAD값들과 상기 각 블록의 결정된 움직임벡터로부터 도출되는 각 블록의 SAD값들을 이용하여 전경 플래그를 더 생성하는 폐색영역 검출방법.
청구항 12에 있어서, 상기 단계 (b)는 상기 결정된 움직임벡터를 갖고 복수개의 블록들로 구성된 매트릭스의 좌우측 간 평균 움직임벡터들의 차이를 이용하여 상기 폐색의 유형을 결정하는 폐색영역 검출방법.
청구항 12에 있어서, 상기 단계 (d)는 상기 폐색영역의 블록들 사이의 불연속적인 에지의 움직임벡터의 방향을 이용하여 수행되는 폐색영역 검출방법.
청구항 12에 있어서, 상기 단계 (d)에서 현재 처리블록의 폐색의 유형이 커버드영역이라면, 현재 처리블록이 전경블록인지 또는 배경블록인지는 커버드영역 전경 라인메모리 또는 커버드영역 배경 라인메모리에 저장되어 있는 이전 라인의 소정 블록들의 움직임벡터들을 참조하여 판별되는 폐색영역 검출방법.
청구항 12에 있어서, 상기 단계 (d)에서 현재 처리블록의 폐색의 유형이 커버드영역이라면, 복수개의 블록들로 구성된 매트릭스의 상기 현재 처리블록을 포함한 열이 모두 상기 커버드영역 블록들이며, 상기 열에 인접한 주변블록들의 한 열이 모두 상기 언커버드영역 블록들인 경우, 현재 처리블록을 전경블록으로 판별하는 폐색영역 검출방법.
청구항 12에 있어서, 상기 단계 (d)는 복수개의 블록들로 구성된 매트릭스의 현재 처리블록을 포함한 열의 블록들이 모두 전경 플래그이고 상기 열에 인접한 주변블록들의 한 열이 모두 전경 플래그가 아닌 경우, 상기 현재 처리블록을 전경블록으로 판별함으로써 수행되는 폐색영역 검출방법.
청구항 12에 있어서, 상기 단계 (d)는 현재 처리블록의 움직임벡터를 상기 현재 처리블록이 속하는 현재프레임의 라인평균 움직임벡터와 비교함으로써 수행되는 폐색영역 검출방법.
청구항 12에 있어서, 상기 단계 (d)에서 현재 처리블록의 폐색의 유형이 언커버드영역이라면, 상기 현재 처리블록이 전경블록인지 또는 배경블록인지는 언커버드영역 전경 라인메모리 또는 언커버드영역 배경 라인메모리에 저장되어 있는 이전 라인의 소정 블록들의 움직임벡터들을 참조하여 판별되는 폐색영역 검출방법.
청구항 12에 있어서, 상기 단계 (d)에서 현재 처리블록의 폐색의 유형이 언커버드영역이라면, 상기 현재 처리블록의 결정된 움직임벡터와 라인 후보움직임벡터로부터 도출되는 소정 블록들의 SAD값들을 이용하여 상기 현재 처리블록이 전경블록인지를 판별하는 폐색영역 검출방법.