KR0151410B1 - 영상신호의 운동벡터 검출방법 - Google Patents

Abstract

준정지 화상 처리를 위해 제안된 디지털 영상신호의 운동벡터 검출방법은 현재프레임과 이전프레임에 존재하는 상기 영상신호에 대한 윤곽을 각기 검출하기 위한 윤곽화상 검출과정과, 상기 윤곽검출 과정으로부터 윤곽검출된 화상들을 각기 2진 화상화 하기위한 2진화상화 과정과, 상기 2진 화상화 과정에서 각기 2진 화상화된 화상으로부터 각 화상의 평탄부분을 제외한 윤곽부분에 대해서만 상기 프레임간의 운동벡터를 검출하기 위한 운동벡터 검출 과정으로 이루어져 있으며, 상기의 과정에 따라 프레임간의 운동벡터를 효과적으로 구할 수 있게 될 것이다.

Description

영상신호의 운동벡터 검출방법

제1도는 종래의 뮤즈(MUSE)방식의 준정지 화상 처리 설명도.

제2도는 본 발명에 적용되는 하드웨어 블럭도.

제3도는 본 발명의 운동벡터 검출방법의 원리를 설명하기 위한 윤곽검출의 설명도.

제4도는 본 발명에 따른 운동벡터 검출의 처리 흐름도.

본 발명은 HDTV(High DefinitionTelevision)등과 같은 고화질 텔레비전에 관한 것으로, 특히 준정지 화상을 처리하기 위해 프레임간의 운동벡터를 효과적으로 검출할 수 있는 영상신호의 운동벡터 검출방법에 관한 것이다.

전형적으로 잘알려진 운동벡터(Motion Vector)는 연속된 두 프레임의 화상에 있어서 이전에 프레임에 비하여 현재의 프레임이 어느 방향으로 어느정도 움직였나 하는 것을 화소(pixel) 단위의 벡터량으로 나타낸 것을 의미한다.

이러한 운동벡터는 두 프레임 사이의 변화요인에 따라 프레임내의 물체(object)에 대한 운동벡터와 카메라의 패닝(panning)등에 의한 프레임간 운동벡터(Interfame Motion Vector)로 구별된다.

일본의 NHK에서 개시된 고화질 TV(HDTV)인 MUSE에서는 수신측에서의 복원방법의 차이에 따라 화상 신호를 동영역(Moving Region), 정지영역(Staionary Region), 준정지영역(Pseudo-Moving Region)으로 구분된다. 여기서 준정지 영역은 TV카메라의 패닝등에 의해서 화면전체가 움직이는 것을 말하며, 제1(a)도에 나타낸 이전 프레임의 화상이 제1(b)도에 나타낸 현재 프레임의 화상에서는 오른쪽 위로 패닝되어 있을 경우에 이를 동영역으로 처리하게 되면 수신측에서는 제1(c)도에서와 같이 화상의 문드러짐(softing)이 발생하게 된다.

이 때문에, 상기 MUSE 방식에서는 화면내의 물체가 아닌 화면 전체가 움직인 경우를 준 정지 화상으로 하고 이 경우 프레임간의 움직임 즉, 프레임간의 운동벡터를 검출후 수신측에 보내주게 된다. 따라서 수신측에서는 화상이 움직인 만큼 프레임 메모리내의 이전 프레임 정보를 어드레스를 이동시켜 읽어내면 제1(d)도와 같이 준정지화상으로의 처리가 가능하다.

이러한 경우에, 프레임간의 운동벡터를 구하는 방법으로는 절대치 에러(absolute error), 평균방 에러(mean square error)를 이용하여 연속하는 화상간의 차를 최소로 하는 이동량을 구하는 방법과, 대각상관(cross correlation)을 최대로 한 이동량을 구하는 방법등이 알려져 있으나 이 방법들을 이용하는 종래의 방법은 운동벡터를 검출하는데 따른 연산처리 속도가 느리고 하드웨어 구현도 복잡해지는 문제점이 있어왔다.

따라서 본 발명의 목적은 영상신호의 운동벡터를 검출하는데 따른 연산처리 속도를 개선 시킬 수 있는 운동벡터 검출방법을 제공함에 있다.

본 발명의 또다른 목적은 운동벡터 검출에 따른 하드웨어를 간단히 할수 있는 운동벡터 검출방법을 제공함에 있다.

상기의 목적을 달성하기 위한 본 발명의 방법에 따르면, 현재 프레임과 이전프레임에 존재하는 상기 영상신호에 대한 윤곽을 각기 검출하기 위한 윤곽화상 검출 과정과, 상기 윤곽검출 과정으로부터 윤곽검출된 화상들을 각기 2진 화상화 하기위한 2진화상화 과정과, 상기 2진 화상화 과정에서 각기 2진 화상화된 화상으로부터 각 화상의 평탄부분을 제외한 윤곽부분에 대해서만 상기 프레임간의 운동벡터를 검출하기 위한 운동벡터 검출 과정이 마련되어 진다.

여기서, 상기의 윤곽검출 과정은 상기 영상신호의 화소별로 각 방향에 대한 주변화소와의 경사를 구한 다음 그 최대값을 미리 설정된 임계치와 비교함에 의해 윤곽을 검출하는 것에 의해 달성되어지며, 상기 2진 화상화 과정은 상기 윤곽 검출된 화상들 중에서 윤곽부분에 위치한 화소는 1로, 상기 윤곽부분 이외에 위치한 화소는 0으로 대이함에 의해 달성되어 지며, 상기 운동벡터 검출 과정은 상기 현재 프레임의 MxN(여기서 M, N은 자연수) 화상을 N1xN2 (여기서 N1, N2 = 4,8,16) 크기의 블럭으로 나누고 해당블럭이 윤곽부분을 포함하고 있는가를 검사하기 위해 각 블럭에 대하여 1의 갯수 Nb를 계산하는 제1단계와, 상기 제1단계에서 상기 Nb가 미리 설정된 임계치 THR1보다 작을 경우에는 다음 블럭내의 Nb를 계산하여 클경우에는 상기 현재 프레임의 블럭내의 한화소와 이전프레임의 화소를 검색하여 그값이 일치하는 운동벡터 α,β를 블럭별로 구한후 각 블럭에서 얻어진 상기 운동벡터 α,β 중에서 가장 많이 나타나는 비율 운동벡터 C αβ를 검출하는 제2단계와, 상기 제2단계에서 검출된 상기 비율운동 벡터 C αβ가 미리 설정된 임계치 THR2(여기서 THR2는 0.85보다 큰 분수)보다 클경우에는 상기 운동벡터 α,β를 상기 두프레임간의 운동벡터로 설정하며 작을 경우에는 동영역으로 처리하는 제3단계로 이루어짐에 의해 달성되어 질 것이다.

이하 본 발명을 첨부한 도면을 참조하여 원리 및 바람직한 일실시예를 상세히 설명한다.

제2도는 본 발명을 수행하기 위한 하드웨어의 전체 블럭도로서, 제1,2윤곽검출부(10,11), 제1,2화상화부(12,13), 운동벡터검출부(20)로 이루어져 있다.

상기 제2도를 참조하면, 입력되는 이전 프레임과 현재프레임의 화상신호는 우선 상기 제1,2 윤곽검출부(10,11)에 인가되어 윤곽검출(Edge Detection)이 되어진다.

상기의 윤곽검출을 하는 방법은 알려진 국부 8방향 윤곽검출 수행(Local 8 Directionlal Edge Detection Operator) 이라는 방법을 사용하였는데, 이 방법의 원리도가 제3도에 나타나 있다.

이 윤곽검출 방법은 화소 주변의 8개의 화소들 사이의 관계로부터 윤곽을 검출하는 방법으로, MxN 크기의 화상의 임의의 화소를 χ[m][n], m=1,2,..,M, n=1,2,..N라 하고 각 방향의 경사(gradient)를 Gk, k=1,...8이라 정의할 때 상기 Gk는 상기 제3도에 의해 다음의 식과 같이 구해진다.

위의 식을 사용함에 의해 각 방향의 경사를 구한다음, 구해진 경사 Gk중에서 최대값 Max(Gk)을 구해 그값이 미리 정해진 임계치 이상이면 그 화소의 위치 (m,n)에 상기 max(Gk)를 위치시키고, 임계치 이하인 경우에는 '0'(영)을 위치시킨다. 이과정을 상기 MxN개의 모든 화소에 적용함으로써 윤곽신호된 화상을 얻을 수 있으며 이는 상기 윤곽화상 검출과정에 대응됨을 알 수 있다.

다음으로, 상기 윤곽검출된 화상은 2진 화상화되는데, 여기서 2진 화상이란 '0'과 '1'의 값으로만 구성된 화상으로 윤곽부분에 위치한 화소는 1의 값을 갖게 되고 그렇지 않은 화소는 '0'의 값을 가지게 되는 화상을 말한다.

따라서 윤곽검출된 화상이 제1,2화상화부(12,13)에 각각 입력되었을 때 윤곽부분에 위치한 화소를 '1'로 대치함으로써 윤곽검출된 2진화 화상을 얻을 수 있다.

상기 제2도에서 분리되어 있는 제1,2 윤곽검출부(10,11)와 제1,2화상화부(12,13)는 윤곽검출시 어떤 화소위치의 최대 경사가 임계치 이상일 경우에 그 최대 경사값을 위치시키는 대신에 1을 대응시키는 방법에 의해 두 과정을 하나의 과정으로 줄일 수도 있을 것이다.

따라서, 상기 2진화 화상은 운동벡터 검출부(20)에 입력되어 프레임간의 운동벡터가 검출 되어지는데 그 방법의 흐름도가 제4도에 나타나 있다.

상기의 방법은 우선 현재 프레임의 MxN 화상을 N1×N2 (여기서 N1,N2=4,8,16 크기의 블럭으로 나누고 (단계40) 각 블럭에 대하여 블럭내의 '1'의 갯수(Nb)를 조사함으로써 그 블럭이 윤곽부분을 포함하여 있는가를 검사한다 (단계41).

상기 단계 41에서 조사된 Nb를 단계 42에서 판단하여 블럭안의 '1'의 갯수(Nb)가 미리 정해준 임계치(THR1)보다 작으면 다음 블럭으로 넘어가서 블럭안의 T의 갯수를 조사하고 (단계 49) 임계치 보다 크면 블럭안에 윤곽부분이 포함되어 있다고 가정하여, 현재 프레임의 블럭안의 하나의 화소 y[m][n], m=1,..., N1, n=1,...N2와 이전 프레임의 화소 χ[m-α][n-β], α.β = -8,..8을 비교하여 그 값이 일치하는 즉, y[m][n] = [m-α][n-β]인 (α.β)를 구하고 단계 43). 블럭안의 모든 화소들에 대하여 같은 과정을 향하여 가장 많은 비율을 차지하는 (α.β)를 그 블럭에 대한 운동벡터로 정한다음 다음에 (단계 44) 다음 블럭으로 넘어가서 같은 과정을 행한다(단계 46).

모든 블럭에 대하여 위의 과정을 실행한 다음 각 블럭가에서 얻어진 운동벡터(α.β)를 비교하여 가장 많은 블럭에서 나타나는 (α.β)를 구한다음 그 운동벡터의 비율이 정해준 임계치(THR20.85) 보다 크면 단계 47) 그(α.β)를 두 프레임간의 운동벡터로 정하고 (단계 48), 작으면 두 프레임간에 운동벡터가 없다고 생각하여 동영역으로 처리하게 된다 (단계 50). 이때 운동벡터(α.β)의 범위를 (-8,-8)에서 (8,8)까지로 정한 이유는 일반적으로 카메라의 패닝이 프레임당 8 픽셀(pixel) 이상 일어날 경우 그것은 화면 전체를 동영역으로 처리해도 될 만큼 화질이 열화되므로 운동벡터를 구할 필요가 없기 때문이다.

상술한 바와같이 본 발명은 고화질용 HDTV 방식인 MUSE에서 준정지 화상을 처리하기 위한 프레임간 운동벡터를 검출하는데 매우 유용하게 이용될 수 있음을 알 수 있다.

Claims (4)

1. 디지탈 영상신호의 운동벡터 검출방법에 있어서, 현재프레임과 이전프레임에 존재하는 상기 영상신호에 대한 윤곽을 각기 검출하기 위한 윤곽화상 검출 과정과, 상기 윤곽검출 과정으로부터 윤곽검출된 화상들을 각기 2진 화상화 하기위한 2진화상화 과정과, 상기 2진 화상화 과정에서 각기 2진 화상화된 화상으로부터 각 화상의 평탄부분을 제외한 윤곽부분에 대해서만 상기 프레임간의 운동벡터를 검출하기 위한 운동벡터 검출 과정으로 이루어짐을 특징으로 하는 운동벡터 검출방법.
2. 제1항에 있어서, 상기 윤곽화상 검출 과정이 상기 영상신호의 화소별로 각 방향에 대한 주변화소와의 경사를 구한다음 그 최대값을 미리 설정된 임계치와 비교함에 의해 윤곽을 검출하는 것을 특징으로 하는 운동벡터 검출방법.
3. 제1항에 있어서, 상기 2진 화상화 과정이 상기 윤곽 검출된 화상들 중에서 윤곽부분에 위치한 화소는 1로, 상기 윤곽부분 이외에 위치한 화소는 0으로 대치함에 의해 2진화상화 하는 것을 특징으로 하는 운동벡터 검출방법.
4. 제1항에 있어서, 상기 운동벡터 검출 과정이 상기 현재 프레임의 MxN(여기서 M, N은 자연수) 화상을 N1xN2 (여기서 N1, N2 = 4,8,16) 크기의 블럭으로 나누고 해당블럭이 윤곽부분을 포함하고 있는가를 검사하기 위해 각 블럭에 대하여 1의 갯수 Nb를 계산하는 제1단계와, 상기 제1단계에서 상기 Nb가 미리 설정된 임계치 THR1보다 작을 경우에는 다음 블럭내의 Nb를 계산하여 클경우에는 상기 현재 프레임의 블럭내의 한화소와 이전프레임의 화소를 검색하여 그값이 일치하는 운동벡터 α,β를 블럭별로 구한후 각 블럭에서 얻어진 상기 운동벡터 α,β 중에서 가장 많이 나타나는 비율 운동벡터 C αβ를 검출하는 제2단계와, 상기 제2단계에서 검출된 상기 비율운동 벡터 C αβ가 미리 설정된 임계치 THR2(여기서 THR2는 0.85보다 큰 분수)보다 클경우에는 상기 운동벡터 α,β를 상기 두프레임간의 운동벡터로 설정하며 작을 경우에는 동영역으로 처리하는 제3단계로 이루어짐을 특징으로 하는 운동벡터 검출방법.