KR0170866B1 - 움직임 영역 추출 장치 - Google Patents

Abstract

본 발명은 물체가 움직임으로 인하여 발생하는 움직임 영역(changed region)을 추출하기 위하여 영상간 정보를 이용하는 움직임 영역 추출 방법 및 장치에 관한 것으로, 종래의 장치에서 추출된 현재의 움직임 영역과 이전에 추출된 움직임 영역에서 얻은 움직임 물체의 영역을 더함으로써 더 우수한 움직임 영역을 추출하게 되어, 영상 전확. 영상회의 시스템 비디오 부호화 및 복호하기 등 움직임 영역을 추출할 필요가 있는 시스템에서 보다 나은 화질의 향상을 얻을 수 있게 되며, 제품의 신뢰성 또한 높이게 된다.

Description

움직임 영역 추출 방법 및 장치

제1도는 종래의 움직임 영역 추출 장치의 블럭도.

제2도는 본 발명 움직임 영역 추출 장치의 블럭도.

제3도는 현재 영상과 이전 영상을 통해 얻을 움직임 영역도이다.

제4도는 움직임 영역의 예를 1차원적으로 나타낸 도면.

* 도면의 주요부분에 대한 부호의 설명

1 : 프레임 차 추출부 2 : 문턱값 처리부

3 : 중간값 필터부 4 : 영역 제거부

10 : 가산기 20 : 움직임 보상부

30 : 움직임 물체 추출부 40 : 메모리부

본 발명은 물체가 움직임으로 인하여 발생하는 움직임 영역(changed region)을 추출하기 위하여 영상간 정보를 이용하는 움직임 영역 추출 방법 및 장치에 관한 것으로, 영상전화 및 영상회의 시스템, 영상 부호와 및 복호기 등에 이용 가능하다.

일반적인 움직임영역의 실제의 예를 1차원으로 나타낸 것이 제4도로, x축은 프레임상의 위치를 나타낸 것이고, y축은 x에 위치한 화소에서의 그레이값을 나타낸다.

그레이값이 0이 아닌 부분이 물체부분이다. 위의 그림은 이전프레임{(k-1)th프레임}을 나타낸 것으로서 a부분이 물체영역이다. 아래의 그림은 현재 프레임{(k-th프레임)}을 나타낸 것으로서 c부분이 물체부분이다.

이전 프레임과 현재 프레임의 차를 구하면 d부분 0이 아닌 값을 지닌다. 이 부분이 현재 프레임의 움직임 영역이다.

전체프레임에서 움직임 정보를 구하는 대신 움직임 영역을 구하고 이 영역에 대해서만 움직임 정보를 구하는 것이 보다 정확한 움직임 정보 추정을 가능하게 한다.

추정된 움직임 정보를 제4도에서 가는 선으로 표시하였다. 구해진 움직임 정보를 이용하여 이전 프레임의 위치를 찾을 때 움직임 영역(d)의 바깥으로 나가면 b, 그렇지않고 움직임 영역내로 들어가면 c가 된다.

이때 c가 움직임 물체이고, b는 a에 의해 가려져 있다가 드러난 배경부분이다.

제4도는 이상적인 예를 나타낸 것이고 실제영상은 2차원이며 잡음, 물체의 신호특성 등의 영향으로 여러 가지 문제가 발생될 수 있다.

이러한 문제점들을 극복하기 위해 종래의 움직임 추출장치는 제2도와 같이 구성되는바, 이는 호터의 논문에서 제안된 것이다.

즉, 현재 영상과 이전 영상과의 차를 구하는 프레임 차 추출부(1)와, 상기 프레임 차 추출부(1)에서 구해진 값에 대해서 해당 화소를 중심으로 윈도우(WINDOW)를 만들어 윈도우 내의 절대값 평균이 문턱값 이상이면 중앙 화소를 움직임 영역으로 판단하는 문턱값 처리부(2)와, 해당 화소를 중심으로 윈도우를 만들어 윈도우 내의 중간값으로 윈도우의 중간값을 대치하는 중간값 필터부(3) 및 움직임 영역으로 판단된 영역과 움직이지 않는 영역으로 판단된 영역 중 고립된 작은 영역을 제거하는 영역 제거부(4)로 구성된다.

상기와 같이 구성된 움직임 영역 추출 장치의 동작은 다음과 같다.

우선, 이전 영상과 현재 영상을 프레임 차 추출부(1)에서 입력하여 각각의 영상의 차를 구한 뒤, 문턱값 처리부(2)에서 차의 값에 대해 해당 화소를 중심으로 윈도우를 만들어 윈도우 내의 절대값 평균이 문턱값 이상이면 중앙 화소를 움직임 영역으로 판단하는 과정을 거치고, 그리고 중간값 필터부(3)에서 해당 화소를 중심으로 윈도우를 만들어 윈도우 내의 중간값으로 윈도우의 중앙값을 대치한다.

그리고 나서, 영역 제거부(4)에서 움직임 영역으로 판단된 영역과 움직이지 않은 영역으로 판단된 영역중 고립된 작은 영역을 제거하여 움직임 영역을 추출한다.

결과적으로 종래에는 현재 프레임에서의 움직임 영역 추출을 현재 프레임{(k-th프레임)}과 이전프레임{(k-1)th프레임}의 두 영상만을 고려한다.

이전 프레임에서의 움직임 추출은 이전 프레임과 그 이전 프레임{(k-2)th프레임}의 두 영상만을 고려한다.

따라서, 연속된 프레임에서의 움직임 영역은 상관관계가 없게 되어 움직임 영역을 추출하고 이 영역 단위로 영상신호(이들 정보, 모양정보, 색상정보)를 부호화하는 방식에서, 모양정보의 전송량을 줄이기 위해 이전 모양 정보와의 차이를 전송하는데 이 접근방식은 이전 모양정보와 현재 모양정보사이에 유사성이 존재한다는 것을 전제로 한 것이다.

그러나 종래 움직임 영역 추출방식은 연속된 프레임에서의 움직임 영역간에 상관관계가 없게 되므로 둘 사이의 유사성이 작아 모양정보부호화시 많은 비트 전송량이 요구된다.

또한, 움직임이 작거나 물체와 배경신호간의 차이가 작을 때에는 움직임 영역 추출이 어려워져 극단적인 예로 움직임이 없는 경우에는 움직임 영역은 전혀 추출하지 못하게 된다.

본 발명은 이러한 점을 감안하여, 현재의 추출된 움직임 영역에서 물체 영역을 추출, 저장하고 이를 다음 프레임의 움직임 영역에 더함으로써 더 우수한 움직임 영역을 추출하고자 함이 특징이다.

즉, 본 발명 움직임 영역 추출 장치는, 현재 영상과 이전 영상과의 차를 구하는 프레임 차 추출부와, 상기 프레임 차 추출부에서 구해진 값에 대해서 해당화소를 중심으로 윈도우를 만들어 윈도우 내의 절대값 평균이 문턱값 이상이면 중앙 화소를 움직임 영역으로 판단하는 문턱값 처리부와, 해당 화소를 중심으로 윈도우를 만들어 윈도우 내의 중간값으로 윈도우의 중간값을 대치하는 중간값 필터부 및 움직임 영역으로 판단된 영역과 움직이지 않는 영역으로 판단된 영역중 고립된 작은 영역을 제거하는 영역 제거부와 같이 구성된 일반적인 움직임 영역 추출 장치에 있어서, 움직임 영역에서 물체 영역을 추출하는 수단과, 다음 프레임에 사용하기 위하여 저장하는 메모리부, 기존방식으로 추출된 움직임 영역과 메모리부에 저장된 물체영역을 더하는 가산부를 포함하여 이루어진다.

이하, 본 발명의 일실시예를 첨부도면을 참고로 하여 설명한다.

제2도는 본 발명 움직임 영역 추출 장치의 블럭도이다.

현재 영상과 이전 영상과의 차를 구하는 프레임 차 추출부(1)와, 상기 프레임차 추출부(1)에서 구해진 값에 대해서 해당 화소를 중심으로 윈도우를 만들어 윈도우 내의 절대값 평균이 문턱값 이상이면 중앙 화소를 움직임 영역으로 판단하는 문턱값 처리부(2)와, 해당 화소를 중심으로 윈도우를 만들어 윈도우 내의 중간값으로 윈도우의 중간값을 대치하는 필터부(3)와, 움직임 영역으로 판단된 영역과 움직이지 않은 영역으로 판단된 영역 중 고립된 작은 영역을 제거하는 영역 제거부(4)와, 상기 영역 제거부(4)에서 출력된 움직임 영역을 움직임 정보를 통해 보상하는 움직임 보상부(20)와, 상기 움직임 보상부(20)에 의해 얻어진 보상된 움직임 영역을 현재 움직임 영역이 존재하는 부분만 남기고, 나머지를 제거함으로써 움직임 물체를 추출하는 움직임 물체 추출부(30)와, 상기움직임 물체 추출부(30)에서 추출된 움직임 물체를 한 프레임 지연시키는데 사용되는 메모리부(40) 및 상기 메로리부(40)에 의해 한 프레임 지연된 움직임 물체 영역, 즉 이전 프레임의 물체 영역과 상기 영역 제거부(4)에서 현재 출력되는 움직임 영역을 더하여 최종적인 움직임 영역을 얻는데 사용되는 가산기(10)를 포함하여 구성된다.

상기와 같이 구성되는 본 발명 움직임 영역 추출 장치 및 방법의 동작은 다음과 같다.

우선, 영역 제거부(4)에서 출력되는 움직임 영역 추출은 기존의 기술과 동일하므로 생략한다.

영역 제거부(4)에서 출력된 움직임 영역은 움직임 보상부(20)에서 움직임 정보를 통해 움직임 보상된다. 상기 보상된 움직임 영역은 움직임 물체 추출부(30)에서 현재 움직임 영역이 존재하는 부분만 남기고 나머지는 제거되어 움직임 물체가 추출된다.

이렇게 추출된 움직임 물체는 메모리부(40)에 저장됨으로써 한 프레임 지연시키게 되며, 지연된 움직임 물체 영역, 즉 이전 프레임의 움직임 물체 영역은 상기 영역 제거부(4)에서 현재 추출되는 움직임 영역과 가산기(10)를 통해 더해진다. 이로써 최종적인 움직임 영역을 추출하게 된다.

본 발명의 장치들은 일정한 단계에 의한 동작에 따라 움직임 영역을 추출하게 된다.

즉, 상기 영역 제거부(4)에서 출력된 움직임 영역을 움직임 보상부(20)에서 움직임 정보를 통해 움직임 보상하는 단계, 보상된 움직임 영역을 움직임 물체 추출부(30)에서 현재 움직임 영역이 존재하는 부분만 남기고 나머지는 제거하여 움직임 물체를 추출하는 단계, 추출된 움직임 물체를 메모리부(40)에 저장하여 한 프레임 지연시키는 단계, 상기 메모리부(40)에 의해 지연된 이전 프레임의 움직임 물체 영역과 상기 영역 제거부(4)에서 현재 추출되는 움직임 영역을 가산기(10)에서 더하여 최종적인 움직임 영역을 추출하는 단계를 따라 움직임 영역을 추출한다.

제3도는 움직임 물체가 좌에서 우로 이동한 경우 현재 영상과 이전 영상의 차를 통해 추출된 움직임 영역을 나타낸다. 움직임 정보를 통해 이동보상했을 때 움직임 영역 밖에서 이동보상되는 경우를 제외한 나머지 영역만 움직임 물체의 영역으로 판단된다.

이를 제4도를 이용하여 설명하면, 움직임 보상부(20)와 같이 움직임 물체 추출부(30)에서는 d에서 c를 추출한다. 움직임물체추출부(30)에서는 영역제거부(4)에서와 같이 b를 판단하여 d로부터 b를 제거함으로서 c를 얻는다.

메모리부(40)에 저장되는 영역은 현재 프레임의 움직임 물체, c를 저장하는 것이다. 이 c는 저장된 후 다음 프레임의 움직임 영역에 가산기(10)를 통하여 더하여진다.

여기서, 가산기(10)의 동작을 자세히 설명하면, 각 화소의 위치에서 두 입력 프레임{영역제거부(4)의 출력과 메모리부(40)의 출력}의 같은 위치에서 하나라도 움직임 영역이면 가산기의 출력의 해당위치는 움직임 영역으로 하는 것이다.

본 발명은 실제 물체를 계속 움직임 영역에 포함되게 함으로써 연속된 프레임상에서의 추출된 움직임 영역들이 유사성을 유지하게 된다. 본 발명은 물체가 어느 기간동안 연속된 프레임상에 존재하는 경우에 의미가 있다.

이상에 살펴본 바와 같이 본 발명에 따르면, 영상 전화기, 영상회의 시스템 비디오 부호화 및 복호하기 등 움직임 영역을 추출할 필요기 있는 시스템에서 움직임 영역을 효과적으로 추출함으로써 화질이 향상되어 제품의 신뢰성이 높아진다.

Claims (2)

1. 현재 영상과 이전 영상과의 차를 구하는 프레임 차 추출부(1)와, 상기 프레임 차 추출부(1)에서 구해진 값에 대해서 해당화소를 중심으로 윈도우를 만들어 윈도우 내의 절대값 평균이 문턱값 이상이면 중앙화소를 움직임 영역으로 판단하는 문턱값 처리부(2)와, 해소화소를 중심으로 윈도우를 만들어 윈도우내의 중간값으로 윈도우의 중간값을 대치하는 중간값 필터부(3) 및 움직임 영역으로 판단된 영역과 움직이지 않는 영역으로 판단된 영역중 고립된 작은 영역을 제거하는 영역제거부(4)로 된 움직임 영역 추출장치에 있어서, 상기 영역제거부(4)를 통해 출력되는 움직임 영역을 현재 움직임 영역이 존재하는 부분만 남기고 나머지를 제거함으로써 움직임 물체를 추출하는 물체추출부(30)와, 상기 움직임 물체 추출부(30)에서 추출된 움직임 물체를 한 프레임 지연시키는데 사용되는 메모리(40)와, 상기 메모리부(40)에 의해 한 프레임 지연된 움직임 물체 영역과 상기 영역제거부(4)에서 현재 출력되는 움직임 영역을 더하여 최종적인 움직임 영역을 얻는 가산기(10)를 포함하여 구성됨을 특징으로 하는 움직임 영역 추출장치.
2. 이전 영상과 현재 영상을 입력받아 프레임 차 추출부(1)에서 각각의 영상의 차를 구하고, 문턱값 처리부(2)에서 차의 값에 대해 해당 화소를 중심으로 윈도우를 만들어 윈도우 내의 절대값평균이 문턱값 이상일 때 중앙 화소를 움직임 영역으로 판단하며, 중간값 필터(3)에서 해당 화소를 중심으로 윈도우를 만들어 윈도우 내의 중간값으로 윈도우의 중앙값을 대치한 후 영역 제거부(4)에서 움직임 영역으로 판단된 영역과 움직이지 않은 영역으로 판단된 영역중 고립된 작은 영역을 제거하여 움직임 영역을 추출하는 움직임 영역 추출 방법에 있어서, 움직임 영역을 움직음 물체 추출부(30)에서 현재 움직임 영역이 존재하는 부분만 남기고 나머지는 제거하여 움직임 물체를 추출하는 단계, 상기 단계에서 추출된 움직임 물체를 메모리부(40)에 저장하여 한 프레임 지연시키는 단계, 상기 메모리부(40)에 의해 지연된 이전 프레임의 움직임 물체 영역과 상기 영역 제거부(4)에서 현재 추출되는 움직임 영역을 더하는 단계로 이루어짐을 특징으로 하는 움직임 영역 추출 방법.