KR100186831B1 - 영상의 동작 필드 분할 방법 및 비디오 영상의 엔코딩에의 응용 - Google Patents

Abstract

본 발명에 따른 동작 필드의 분할 방법은, 영상 픽셀에 할당된 동작 벡터로부터 블럭형 동작 필드를 형성하며, 상기 필드로부터 동작의 우세 벡터군을 추출하기 위해 블럭형 벡터 필드의 처리를, 동작의 확대된 클래스의 대표적인 것만을 유지하도록 근접 벡터를 제거함으로서 행하는 것으로 이루어진다. 이 감소된 우세 벡터군의 한 벡터는 각 블럭에 재할당되며, 그 결과적인 필드는 시간 필터링 후에 쿼드트리 엔코딩법에 의한 영상의 엔코딩에 사용된다.

본 발명은 특히, 1Mbit/s의 한계치로의 디코딩 보조 디지털 데이터의 셋업에 응용한다.

Description

영상의 동작 필드 분할 방법 및 비디오 영상의 엔코딩에의 응용

본 발명은, 비디오 영상의 엔코딩/디코딩 분야에 관한 것으로, 특히 디코딩 보조 디지털 데이터를 1Mbit/s와 같은 처리량(throughput)을 가지고 부가할 수 있는 전송 채널을 통해서 고해상도 영상을 전송하는 것에 관한 것이다. 본 발명의 목적은, 특히 영상의 포인트적 동작(motion) 필드를 1Mbit/s의 임계까지 엔코딩하기 위해 분할하는 방법 및 이를 비디오 영상의 엔코딩에 응용하는 것이다.

(발명이 속하는 기술 분야의 설명)

디지털 비디오 영상을 전송하는 방법으로 현재 가장 유효한 공지 방법은 전송된 라인 전송속도를 감소시킬 수 있도록 하는 처리를 전송 이전에 행하는 방법이다. 이에 따라서, 예를들면, 모든 픽셀에 관련되는 모든정보(색도, 휘도)를 전송하는 대신에, 상기 처리 방법은 영상들 간의 차, 특히 영상 또는 픽셀 소자의 변위를 찾아내어, 영상을 갱신하기 위한 정보만을, 즉 한 영상에서부터 다음 영상까지의 구역 또는 픽셀의 변위에 특성을 부여하는 벡터를 전송하는 것을 가능하게 한다. 유효한 처리방법은 포인트마다 하나의 동작 벡터를 확립하는 것과 이 동작 필드를 전송하는 것으로 이루어진다.

1Mbit/s의 전송속도는, 비디오 영상의 포인트적인 동작필드의 완전한 전송을 행하는데는 너무 느리다. 따라서, 최상의 영상 재생을 얻기 위해 전송될 동작 필드에 관계되는 정보를 신중하게 선택하는 것이 중요하며, 전송된 정보의 엔코딩은 이전 영상, 및 현재 영상과 관련된 동작 필드로부터 행하여진다.

포인트적 동작의 에스티메이터(estimator)로부터 생기는 동작 필드의 처리에 적합한 제 1구성은 n×n 픽셀(n은 항상 2의 제곱)의 블럭당 단 하나의 동작 벡터를 전송하는 것이다. 라인당 1440 포인트의 고해상도 그리드 및 라인수 1152개에 기초하여, 그 결과적인 전송속도는 8×8 블럭에 대해 전송 속도가 1.3 Mblock 이다.

전송속도를 상기의 전송속도(1Mbit/s)보다 낮게 유지하는 동안 엔코딩을 최적화하기 위해서, 쿼드트리(quad-tree)라고 칭하여지는 엔코딩 방법이 매우 유효한 것으로 증명되었다. 실제로, 이 방법은 다른 사이즈의 블럭을 사용하여, 블럭 전송속도를 감소시키는 것을 가능하게 한다. 이 때문에, 문제는 블럭의 세트에 가능하면 가장 균일한 포인트적 동작 필터를 되돌려 주는 것이다.

따라서, 포인트적 동작 필드의 전체 히스토그램을 구성하는 것이 가능하다. 처음부터 이 절차는 포괄적인 것이며, 이것은 처리될 데이터량을 증대시킨다. 또한, 다음으로 n×n 의 블럭 각각에 하나의 벡터를 할당하기 위해, 히스토그램으로부터 우세(dominant)한 것으로 확인되는 각각의 벡터는, 그 블럭에 대해 최상의 벡터를 선택하도록 n×n 블럭의 모든 동작 벡터와 비교되어야 한다. 그러므로 이 분할 방법은 복잡하여 시간이 걸린다.

(배경기술)

본 발명은, 비디오 영상의 엔코딩/디코딩 분야에 관한 것으로, 특히 디코딩 보조 디지털데이터를 1Mbit/s와 같은 처리량(throughput)을 가지고 부가할 수 있는 전송 채널을 통해서 고해상도 영상을 전송하는 것에 관한 것이다. 본 발명의 목적은, 특히 영상의 포인트적 동작(motion)필드를 1Mbit/s의 임계까지 엔코딩하기 위해 분할하는 방법 및 이를 비디오 영상의 엔코딩에 응용하는 것이다.

(발명의 개요)

본 발명의 주제는 , 엔코딩 이후에 전송될 우세(dominant)벡터를, 쿼드트리 엔코딩에 의한 후속 처리를 위한 최적의 방식으로, 추출할 수 있게 하는 동작(motion)의 에스티메이터에 의해 얻어진 동작 필드를 분할하는 방법이다.

이 때문에, 본 발명에 따른 분할 방법은 첫째로, 블럭에 대해 사용 가능한 동작 벡터들의 세트로부터 최적의 동작 벡터를 각각의 n×n 블럭에 할당하기 위해서 동작 필드에 대해 국부적인 처리를 행하는 것으로 이루어진다. 다음으로, 포괄적인 처리는, 이미 감소된 수의 벡터를 포함하여 포인트적 동작 필드로부터 얻어지는 최상의 동작 필드 블럭으로서 간주될 수 있는 n×n 블럭형 벡터 필드로부터 한 세트의 우세 벡터를 추출 가능하게 한다.

따라서 우세 벡터들의 추출 이후에 n×n 블럭 벡터를 재할당하는 단계가 용이하게 된다.

또한, 본 발명에 따른 분할 방법을 실시하기 위해서 n×n 블럭 동작 필드를 직접 고려하는 것도 가능하다.

또한 본 발명의 주제는 비디오 영상의 쿼드트리 엔코딩에 상기 분할 방법을 응용하는 것이다.

본 발명에 따르면, 전 영상에 대한 영상의 픽셀의 변위를 영상면내에 2개의 성분을 갖는 벡터의 형태로 전달하는 동작 에스티메이터로부터의 동작 필드를 분할하는 방법은,

- 영상을 n×n 픽셀의 블럭으로 구분하고, 다수결에 따라서 가능한 벡터로부터 각 블럭에 대해 선택된 동작 벡터를 할당하는 예비단계 ;

- 블럭형 동작 벡터의 히스토그램을 셋업하는 단계로서, 그 단계의 종료시에 생긴 동작 벡터들의 분류를 그들의 발생 회수에 따라서 행하는 단계 ;

- 각각의 상기 블럭에 대해서, 상기 히스토그램으로부터 선택된 유한 개 N의 우세 벡터로부터 선정되고, 이들 우세 벡터로부터 상기 블럭의 초기 벡터에 가장 근접한 동작 벡터를 재할당하는 단계 ;

- 인접하는 블럭과 대응되지 않는 동작 벡터를 갖는 분리된 블럭의 벡터를 필터링 하는 단계 ;

- 결과로서의 필터링된 동작 필드의 엔코딩에 필요한 전송속도를 계산하고 이 전송속도가 최대 가능 전송속도 이하인 것을 검사하며, 전송속도가 최대 가능 전송속도보다 큰 경우 보다 적은수의 우세 벡터로부터 상기, 각각의 블럭에 동작 벡터를 재할당하는 단계가 다시 행해지도록 하는 단계를 포함하는 것을 특징으로 한다.

본 발명은 첨부된 도면을 참조하여 기술한 하기의 상세한 설명으로부터 보다 명확히 이해될 것이다.

제 1도는 두개의 연속하는 영상 사이의 한 필셀의 동작 벡터를 도시하는 도면.

제 2도는 고해상도 영상 및 본 발명에 따른 분할 방법을 실행하기 위한 그 구분을 도시하는 도면.

제 3도는 기본 블럭에 대한 동작 벡터 및 그로부터 블럭 벡터의 할당을 유발시키는 히스토그램 테이블의 성분들로 이루어진 테이블의 형성을 도시하는 도면.

제 4도는 블럭 벡터의 할당 후의 필터링 단계를 도시하는 도면.

제 5도는 1/4영상에 대해 필터링된 동작 블럭 필드의 벡터 히스토그램의 형성을 도시하는 도면.

제 6도는 동작의 분류에 의해 벡터를 추출하는 단계를 도시한 도면.

제 7도는 2차 최대치를 제거한 후의 우세 벡터의 테이블을 도시한 도면.

제 8도는 연속하는 영상의 대응 부분에서의 우세 벡터를 고려하는 시간 필터링 단계를 도시하는 도면.

제 9도 및 제 10도는 각각, 16×16의 기본 블럭으로된 매크로블럭 내의 균일한 벡터 구역 및 대응하는 엔코딩 트리를 도시하는 도면.

제 11도는 본 발명에 따라서 포인트적 동작 필드를 분할하는 방법을 도시하는 흐름도

전술한 바와 같이, 상기 분할 방법은 동작 에스티메이터에 의해 제공되는 표인트적 동작 필드에 특별히 응용한다. 포인트적 동작 에스티메이터는, 분석되는 비디오 영상의 각 포인트에 대하여, 현재 영상 및 그 이전 영상 사이의 대응하는 픽셀의 변위에 특성을 부여하는 동작 벡터 V를 제공한다는 것을 전술하였다. 그러므로, 이 벡터는 영상면의 x 및 y 좌표축에 있어서 성분 V_x및 V_y를 갖는다.

제 1도는 동작 벡터, 및 그 영상의 성분을 도시하는 것으로, 영상 I₁의 포인트 P는 후영상 I₂의 P´이 된다.

본 발명에 따른 포인트적 동작 필드로부터의 분할 방법이 하기에 기술된 방식으로 진행된다.

제 1단계는 n×n 픽셀의 블럭당 한 개의 동작 벡터를 할당하는 것으로 이루어진다. 제 2도는 1440 칼럼(column) 및 1152 라인(line)을 갖는 고밀도 영상을 도시하고 있는데, 에스티메이터에 의해 행하여지는 동작 예측 방법에 따라서, 포인트당 하나의 벡터, 또는 한 라인의 두 포인트중에서 한 포인트(one point in two of a line)에 대한 하나의 벡터(이전 라인의 벡터의 형태로 스태거된 포인트에 대응하는 다음 라인에 대해 계산된 벡터)에 의해 구성된 하나의 동작 필드가 사용 가능하다. 이 제 1단계는 그 블럭의 64(또는 32)개의 벡터중의 한 벡터를 n×n (8×8)포인트로 이루어진 블럭에 속하게 하는 것으로 이루어지며, 이 벡터는 다수결에 의해서 블럭의 벡터로서 선택된다. 이 때문에, 각 블럭중 동작 벡터의 성분 V_x및 V_y는, 제 3도에 도시된 바와 같이, X 성분을 테이블 TABX, Y성분을 테이블 TABY로 해서 블럭의 치수와 더불어 테이블내에 랭크되어 있다. 따라서, 예를 들어 테이블 TABX에서, k번째 칼럼 및 첫번째 라인에 대응되는 위치의 값 TABX(k, 1)은 블럭의 라인 1에서 랭크 k의 픽셀 성분 V_x이다. 블럭 V(k, 1)의 벡터에 대하여, 다음의 동작이 실행되어, 이 벡터의 성분 및 블럭 V(i, j)의 다른 벡터의 성분간의 일탈 정도를 결정한다. 여기서 i 및 j는 세트 [1, n]을 기술한다 :

(1) FX = │TABX(k, 1) - TABX(i, j)│

(2) FY =│TABY(k, 1) - TABY(i, j)│

이들 2개의 테스트는 벡터 V(k, 1)와 그 블럭의 벡터와의 정밀도내에서의 비교에 대응한다.

S1이 벡터(1/8 = 0.125 픽셀)의 정밀도와 같다고 하면, FX 및 FY가 임계치 S1보다 작거나 같으면, 벡터 V(k, 1)의 발생수는 1씩 증가된다. V(k, 1)의 발생수는 HISTO(k, 1)로 표시되고 테스트가 만족될 때마다, HISTO(k, 1)는 갱신된다 :

(3) HISTO(k, 1) = HISTO(k, 1) +1

V(k,1)와 유사한 벡터의 분산 역시 갱신된다.

(4) DISP(k, 1) = DISP(k, 1) +FX +FY

그 블럭에 대한 한 벡터의 선택은, 최고의 발생회수를 갖는 벡터, 및 발생회수가 동일한 경우에는 최저의 분산(dispersion)을 갖는 벡터를, 그 블럭의 테이블 TABX 및 TABY로 구성되는 테이블 HISTO로부터 취함으로써 그들의 비교의 종료시에 행하여진다. 테이블 TABX 및 TABY에는, 벡터 V(6, 5)의 성분 V_X= 2.125 및 V_X= 1.250이 예로서 기입되어 있다. 즉, 분석에 의해서 현재 8×8 블럭의 5번째 라인의 6번째 포인트의 동작 벡터로 기입되었다.

이와 마찬가지의 예로서, 유사한 것으로 고려된 벡터의 성분을 포함하는 데이블 TABX 및 TABY의 위치(차 FX 및 FY는 S₁= 0.125 보다 작다)는 ×자로 표시되어 있다. 결과로서 얻어진 테이블 HISTO에는, 이 벡터의 발생회수인 HISTO(5, 6)는 16과 동일하게 나타내어진다. 대응하는 분산은 DISP(6, 5) = 2.5로 나타내어진다.

본 발명에 따른 동작 필드 분할 방법의 제 2단계는 블럭 벡터의 할당으로부터 야기되는 동작 필드의 필터링으로 이루어진다. 이 필드는 현재 처리되는 벡터의 주변에서 인접하는 블럭의 벡터를 포함하는(3×3)윈도우를 고려함으로써 필터링된다. 이 윈도우에서의 중심 벡터는 8개의 인접하는 벡터와 비교되고, 이 벡터가 이들 모든 인접 벡터와 떨어져 있는 경우에는 그 벡터는 이들, 인접 벡터중의 하나로 치환된다.

벡터 V(V_x및 V_y)는, X 및 Y를 따라 V 및 V´의 성분의 차의 절대치인 FX 및 FY가 소정의 임계치 S₂보다 큰 경우에, 벡터 V´(V´_x, V´_y)로부터 떨어져 있는 것으로 간주된다. 예를들면 S₂는 0.5가 될 수 있다. 그러므로 하나의 벡터가 그 인접한 모든 벡터로부터 떨어져 있는 경우, 그것은 필터링된다. 즉, 8개의 인접 블럭중에, 대응하는 테이블 HISTO(k, 1)에서 필터링될 블럭의 포인트적 벡터중 발생 회수가 가장 높게 나타나는 1개의 블럭, 그리고 발생회수가 동일한 경우에는 최저의 분산을 갖는 것에 의해 치환되며, 발생회수 및 분산은 이전 단계에서 기술할 바와 같이 필터링될 블럭의 각각의 벡터에 대해 계산되어진다.

제 4도는 이 필터링 단계를 도시하고 있다. 제 3도에 도시된 테이블을 갖고, 필터링 단계에 관해 처리중인 것으로 가정되는 블럭에 대하여 수입되는 벡터를 벡터 V(6, 5) = (2.125, 1.1250)가 되도록 가정하면, 이 중심 블럭은 8개의 인접블럭에 의해 둘러싸여져서(3×3)블럭의 필터링 윈도우를 형성한다. 도시된 예에서, 이 벡터는 모든 인접한 것으로부터 떨어져 있지 아니하므로 유지된다(그것은 이전 라인의 블럭 및 동일 라인의 인접한 것에 특히 근접해 있다).

다음 단계는 동작 필드의 히스토그램(histogram)을 형성하는 것으로 이루어진다.

하나의 히스토그램이, 1/4의 고밀도 영상에 대해, 즉 사이즈(1440/2n, 1152/2n)의 동작 벡터, 즉 1/8 = 0.125 픽셀의 정밀도를 가지고 수치 -16과 +16 사이에 포함된 성분을 갖는 동작 필드의 벡터로 된 각각의 테이블에 대해서, 즉 상기의 예에서는 90×72 블럭에 대해서 이루어지며, 단순화를 위해 각 성분의 1×8이 행해지고, 이것은 정수 성분을 갖는 255×255의 가능한 벡터를 제공한다.

-V_x는 세트 [-15.875, +15.875]에 속하고, 따라서 8V_x는 세트 [-127, +127]에 속한다.

-V_y는 세트 [-15.875, +15.875]에 속하고, 따라서 8V_y는 세트 [-127, +127]에 속한다.

필터링된 블럭형 동작 필드의 히스토그램을 구성하기 위해서, 가능한 모든 변위 8V_x및 8V_y를 포함하는 이차원 테이블이 이용된다. 이 테이블의 중심위치는 제로 변위 벡터에 대응한다. 1/4영상의 동작 벡터의 테이블이 분석되고, 그리고 고려중인 1/4영상의 블럭의 각각의 변위 벡터에 대해, 히스토그램 테이블의 대응하는 위치는, 양호한 실시예에서 히스토그램의 확대를 이 단계에서 행하도록 8개의 인접 위치와 더불어 증분된다. 제 5도는 1/4 영상에 대한 히스토그램 테이블을 도시하고 있으며, 벡터 V(2.125, 1.250), 즉 8V(17, 10)를 갖는 제 4도에 도시한 현재 블럭을 만나게 되고, 도시된 바와같이 인접해 있는 위치가 증분되는 경우 갱신하는 것에 대해 상세히 도시하고 있다. 도면을 상세히 보면, 위치는 좌표로 표시되어 있다. 그 내용(나타나 있지 않음)은 연속적인 증가에 의존한다. 이 히스토그램을 구성한 후, 1/4 영상(90×72블럭)에 대해, 임계치 S₃(S₃은 4로 세트될 수 있음)보다 큰 발생회수를 갖는 모든 벡터는 이 발생에 의해서 제 6도에 도시된 바와같이 새로운 테이블 내로 옮겨진다. 그러므로 테이블의 각 라인은 3개의 구역, 즉 벡터의 발생회수, 그 x 성분 V_x(또는 8V_x), 및 그 y 성분 V_y(또는 8V_y)를 포함한다. 발생수를 감소시키는 것에 의한 분류는 이 테이블에서 행하여진다.

다음 단계는, 변위 벡터의 x성분, 변위 벡터의 y성분, 및 발생수를 포함하는 전 단계의 끝에서 얻어진 테이블로부터, 각각의 동작의 분류를 나타내는 벡터를 추출하는 것이다. 이 때문에, 행하여진 분류에 있어서 먼저, 즉 그 테이블내의 라인 1에서 최대 발생수를 갖는 벡터, 및 1보다 큰 지수를 가지고 테이블의 다른 모든 벡터들 간에 비교가 행하여진다. 필터링의 컨텍스트(context)에 있어서의 근사 평가 동안 동일한 임계치인 임계치 S₂(즉, 예를 들면 S₂=0.5)내에 근접한 것으로서 고려되는 것들은 제거되고, 그 테이블의 내용은 그 갭을 채우도록 시프트된다.

다음 단계는 2차 최대치를 제거하는 것이다. 높은 발생회수를 갖는 벡터의 주변에는, 근접해 있지만 임계치 S₂보다 큰 성분차로 평가된 근사도를 갖고, 발생회수가 적은 벡터가 약간 있다. 이 현상은 우세 벡터에 대한 히스토그램의 확대에 대응한다. 이들 벡터는, 차가 0.5보다 클지라도 근접해 있는 벡터에서 유효하게 그룹화된다. 그 이유는 전 단계에서 얻어진 클래스의 저하된 동작 필드의 히스토그램 2차 최대치를 발생하는 이러한 벡터를 유지하는 것이 쓸모없기 때문이다.

그러나, 이 조작 동안에, 영상의 각 포인트가 그 인접해 있는 것에 매우 근접한 변위를 갖지만 모든 영상 포인트가 상이한 변위를 갖기 때문에 사실상 평평한 히스토그램을 생성하는 효과를 갖는 줌(zoom)또는 회전형의 영상의 전반적인 동작을 포함할 필요가 있다. 그 결과, 그 히스토그램의 2차 최대치가 탐색되면, 검사된 제 1벡터는 테이블의 제 1라인으로부터의 것, 즉 발생회수가 최대인 것이고, 이 벡터내의 2차 최대치의 존재는 그 테이블내의 1보다 큰 지수를 갖는 적어도 2개의 벡터가 임계값 S₅내에서 그것에 근접할 때까지는 고려되지 않는다.

SORT(N, 3)를 클래스로의 구분에 의해 생긴 3개의 구역을 갖는 1차원 테이블로 하며, N은 그 알고리즘의 이 단계에 남아 있는 벡터의 수이다. k를 테이블 SORT내에서 검사될 벡터 라인의 지수라 하면, k는 1에서 N까지 변화한다. k, i, j보다 큰 지수를 갖는 라인상의 적어도 2개의 벡터가 라인 k의 벡터의 발생회수보다 적은 발생회수를 가지면서 라인 k내의 벡터에 근접해 있으면, 이들 벡터는 2차 최대치로 고려되어 제거된다. 다음으로 테이블 SORT의 내용은 그 갭을 채우기 위해 시프트되고, 대응하는 발생회수가 갱신된다.

근접의 개념은 전술한 바와같이 결정되지만, 임계값 S₅(S₅는 예를 들면 2로 세트된다)는 상이하다. 제 7도에 도시된 테이블 SORT에 있어서, SORT(k, 1)은 라인 k에 랭크된 벡터의 X성분이며, SORT(k, 2)는 동일한 벡터의 Y성분이다.

i 및 j를 k보다 크게 하자,

│SORT(k, 1) - SORT(i, 1)│ ＜ S₅

│SORT(k, 2) - SORT(i, 2)│ ＜ S₅및

│SORT(k, 1) - SORT(j, 1)│ ＜ S₅

│SORT(k, 2) - SORT(j, 1)│ ＜ S₅인 경우,

라인 i 및 j에 랭크된 벡터는 2차 최대치이며 테이블 SORT로부터 삭제된다.

이들 조작은 k =1에 대해서 개시되고 이어 k는 테이블 SORT의 모든 벡터가 커버될 때까지 증가된다.

이 단계의 종료시에 보다 높은 발생회수를 갖는 최대치 주변에서 2차 최대치가 제거된다.

이어서, 다음단계는 시간 필터링이다.

이시간 필터링은 전 단계의 끝에서 N_t벡터를 포함하는 테이블 SORT에 적용된다. 이전 조작의 목적은, 쿼드트리(quad-tree)라 칭하여지는 엔코딩 방법에 의해서 처리 이후에 엔코딩될 동작 필드의 전송속도를 저하시키기 위해 1/4의 고밀도 영상으로부터 우세벡터를 추출하는 것이었다. 전달된 벡터의 수는 허용 전송속도의 함수로서 선택되고 1/4영상에 대해 Nmax로 표시된다.

테이블 SORT의 제 1Nmax 벡터는 버퍼 메모리 MEM1로 전송되어서, 이전 영상에 대해 우세 벡터로서 추출되고 제 8도에 도시된 바와같이 버퍼 메모리 MEM2에 포함되는 것들과 비교된다. 메모리 MEM1로 전송된 Nmax로부터 테이블 SORT의 한 벡터가, 임계치 S₁으로 초기에 정의된 거리에 있어서 메모리 MEM2의 모든 벡터로부터 떨어져 있는 경우, 이 벡터는 SORT로부터 제거된다. 다음으로 테이블 SORT는 그 갭을 채우도록 시프트되고 N_T가 Nmax보다 크면 부가 벡터를 회복한다. 테이블 SORT의 Nmax벡터가 테이블 MEM2의 벡터에 근접해 있음을 결정한 후, 이들 벡터는 다음 모듈(module)로 옮겨진다. 테이블 MEM1의 내용은, 새로운 동작이 나타나는 경우, 예를 들면 2개의 영상에 공통인 배경내의 한 목표가 이동을 시작하는 경우를 고려하는 방식으로 테이블 MEM2로 옮겨진다. 테이블 MEM2의 내용은 시간 필터링의 결과에 의해서는 변경되지 않는다.

다음단계는 영상내의 n×n치수의 픽셀의 각 블럭으로 하나의 벡터를 재할당하는 단계이다.

재할당 단계는, 전 단계에 의해 선택된 벡터를 사용하므로써, 각각의 n×n영상 픽셀 블럭에 대해 이 블럭을 가장 잘 나타낼 수 있는 벡터를 검사하는 것으로 이루어진다. 사실상, 영상에서 우세한 것으로서 고려되는 Nmax벡터(이들 벡터는 수적인 면에서 Nmax보다 더 적다)중의 하나는 n×n픽셀의 각각의 기본 블럭에 할당된다. 이 때문에, 제 1단계(n×n 블럭당 한개의 벡터를 할당)에 의해 생기는 벡터들의 필드가 또다시 처리되고, 이 블럭에 초기에 할당된 벡터에 가장 근접한 우세 벡터가 각각의 블럭에 속하게 된다.

제 1단계의 종료시에 V(V_x, V_y)를 고려중인 블럭의 벡터로 한다. 이 벡터 및 테이블 SORT의 각각의 우세 벡터간의 거리는 다음과 같이 계산된다.

D₁(k) = Max(D_x(k), D_y(k))

D_x(k) =│V_x- SORT(k,1)│

D_y(k) =│V_y- SORT(k,2)│

그 블럭에 할당된 벡터는 상기 거리 D₁(K)로 정의된 최소치를 부여하는 테이블 SORT내의 랭크 k의 벡터 Vas(Vas_x, Vas_y)이다.

그러나, 최소거리 D₁(K)이 임계치 S₅보다 크면, 벡터는 이 블럭에 할당되지 않는다.

또한, 여러개의 지수 k가 동일한 최소치 D1을 제공하는 경우, 이들 지수에 대응하는 동작 벡터는 다음과 같은 거리 D2(k)를 제공하는 것을 취함으로써 결정된다.

D2(k) = 최저min(D_x(k), D_y(k))

이 단계의 종료시에 우세 벡터가 할당될 수 없는 블럭이 존재한다.

다음단계는 비할당된 블럭을 처리하는 것이다. 상술한 바와 같이, 한 벡터를 각각의 n×n 블럭에 재할당하는 단계의 종료시에, 테이블 SORT의 우세 벡터중 어느것도 적합하지 않은 것이 있다. 이들 블럭은, 동작의 에스티메이터의 오동작에 의해 초기 동작에 에러가 있는 블럭이 될수도 있거나, 또는 예를 들여 매우 작은 사이즈의 동작의 목표에 대응하는 특히 국소적인 동작을 갖는 블럭이 될 수도 있다.

이들 블럭에 대하여, 벡터의 할당 단계는 쿼드트리엔코딩으로 행하여진다. 쿼드트리 구분에 있어서 고려중인 블럭에 인접하는 3개의 블럭이 동일한 벡터를 갖는 경우에, 상기 방식으로 이 벡터는 비할당된 블럭에 할당되는 것이다. 쿼드트리 엔코딩에 있어서 3개의 인접 블럭의 벡터가 동일하지 않은 경우, 8개의 가장 근접한 블럭의 주변의 우세 벡터는 그 비할당된 블럭에 속한다.

다음단계는 분리된 블럭을 필터링하는 것이다.

비할당된 블럭을 처리하는 단계의 끝에서 얻어지는 재할당된 동작의 필드는 분리된 벡터를 갖는 블럭을 제거하기 위해 필터링된다. 왜냐하면 이들 블럭은 엔코딩 속도에 대해 코스트(cost)가 높기 때문이다. 하나의 블럭이 동일한 벡터를 갖는 8개의 블럭으로 둘러싸이고, 이에 따라 중앙 블럭의 벡터가 인접해 있는 모든 블럭과 상이한 경우 그 블럭을 분리된 벡터를 갖는 블럭으로 칭한다. 이 경우에 인접하는 블럭의 벡터는 중앙 블럭에 할당된다.

이 필터링 단계의 종료시에 행해지는 다음단계는 엔코딩 속도를 계산하는 것이다.

실제로, 전송전에, 이와같이 행하여진 분할 방법에 의해 얻어지는 동작 벡터를 엔코딩하는 코스트(cost)가 최대 허용 엔코딩 속도와 적합한 지를 검증하는 것이 필요하다. 동작 필드에 관계하는 정보는, 쿼드트리로서 언급된 엔코딩 방법에 의해서, 즉 4개의 상현에 따라 대응하는 픽셀의 매크로블럭을 구분하고 다음으로 이 구분에 의해 얻어진 블럭이 벡터의 동작 필드에 대해서 균일할 때까지 각 상현을 4등으로 구분하는 것에 의해 구성되는 엔코딩 트리에 따라서, 상술한 바와 같이 엔코딩된다. 이러한 방법은 예를들어 Computer Vision Graphics, and Image Processing Vol. 37, 402-419(1987)의 C.A. SHAFFER 및 H. SAMET에 의한 논문 Optimal Quadrature Construction Algorithm에 개시되어 있다.

엔코딩 후의 전송속도는 예를들면 128×128 픽셀의 매크로블럭을 고려하여 계산된다. n을 2의 거듭제곱으로 해서 n×n이 기본 블럭의 사이즈라면, 매크로 블럭 자체에 대응하는 초기 레벨 외에 각 매크로블럭의 엔코딩 트리에서의 깊이 레벨 log₂(128/n)가 있다. 레벨 0을 초기 레벨로 하면, 제 1레벨, 즉 64×64개의 블럭중 하나가, 매크로블럭이 균일하지 않은 경우 얻어진다. 제 2레벨은 매크로 블럭이 균일하지 않은 경우 64×64 블럭에 대해서 얻어지고 이에 따라서 그 처리는 치수 n×n의 기본 블럭까지 계속 행하여진다.

1/4의 고밀도 영상에 대해 전송 속도 D는 다음식을 통해 얻어진다.

D = No × b × MB × C (bits/s)

- NO는 모든 엔코딩 트리의 노드수이다.

- b는 한 노드에 대해 각각의 가능한 상태의 기술에 필요한 비트수이다.

- MB는 1/4 영상에 대한 매크로블럭의 수이다.

- C는 초당 필드의 수이다.

한 노드의 상태는, 영상의 동작 필드를 나타내는 우세 벡터중의 하나, 또는 블럭을 4로 구분하는 것을 나타내는 트리의 저레벨로 통과하는 지시자(indicator)이다.

이전 분할 알고리즘에 의해 추출된 벡터의 수를 Nt라하고, 시간 필터링후 실제로 전송된 벡터의 수를 Ntrans라 하고, 전송된 벡터의 최대수를 Nmax라 가정하면(Ntrans는 항상 Nmax보다 작거나 같다), 노드의 상태를 기술하는데 필요한 비트의 수는 log₂(Ntrans +1)보다 크거나 같은 정수이다.

제 9도 및 제 10도는 4개의 레벨 0, 1, 2, 3으로 16×16 기본 블럭의 매크로블럭에 대한 구분 단계 및 엔코딩 단계를 도시하고 있다. 제 9도는 제 10도에 도시된 엔코딩 트리에 대응하는 매크로블럭의 동작 필드를 분할하는 것을 도시하고 있다. 매크로블럭의 서북부 상현은, 레벨 1의 다른 벡터에 의해 각기 엔코드되는 서남부 및 동남부 상현과 마찬가지로 균일하다. 동북부 상현은 레벨 2의 벡터에 의해 각기 엔코드된 3개의 균일한 상현, 및 레벨 3에서 4로 구분한 후에 엔코드된 하나의 불균일한 상현을 포함한다. 레벨 3의 블럭은 균일화된다. 제 10도에 도시된 엔코딩 트리는 13개의 노드를 포함한다. Nmax = 7 이고 Ntrans = Nmax이면, 노드의 상태를 기술하는데 필요한 비트의 수는 E[log₂8], 즉 3이다(E(X)는 X 이상의 정수를 고려하는 것으로 이루어지는 조작을 나타낸다). 최종 레벨까지 감소시키는 것은 불필요하다. 이 도면에 도시되어 있는 것과 같은 매크로블럭의 트리의 코스트는 13×E(log₂(Nmax + 1))이다. Nmax가 7이면, 즉 이 1/4영상에 대해 기록된 7개의 우세 벡터가 존재하면, 트리의 코스트는 13×13=39 비트이다.

그 수가 반드시 정수인 매크로블럭은 분할이 행해지는 1/4 고밀도 영상보다 큰 구역을 커버(cover)한다. 실제로, 1/4의 HD 영상은 8×8 픽셀로된 90×72 기본 블럭을 포함하고, 수평으로 6개의 매크로블럭보다 적으며 수직으로는 5개의 블럭보다 적다. 그 1/4 고밀도 영상으로부터 과잉되는 매크로블럭의 일부는 엔코딩 트리에 대해 최소의 코스트를 제공하는 벡터에 의해 채워진다.

분할 알고리즘은 각각의 1/4 영상에 별개로 행하여진다. 그러므로 전술한 식에 의해 계산되는 전송속도는 합계 전송속도의 일부에만 대응한다.

최종 단계는 전송속도를 조정하는 단계이다.

전 단계의 종료시에 계산된 전송속도가 허용된 한계보다 더 큰 한에 있어서는, 분할 방법은 벡터를 각각의 n×n 블럭으로 재할당하는 단계의 개시시에 다시 사용되고, 이 단계를 다시 행하기 전에 수 Nmax를 1만큼 감소한다. 다음으로 마지막 4개의 단계는 합계된 계산 전송속도가 최대허용 전송속도 이하일 때까지 다시 사용된다.

포인트적 동작 필드, 즉 각 픽셀당 하나의 동작 벡터 또는 연속하는 라인에 스태거된 형태로 배치되는 각 라인의 둘 중 하나의 픽셀에 대한 하나의 동작 벡터를 포함하는 것을 이용하는 분할 방법에 대해서는 전술하였다.

본 발명에 따른 방법은 상류측에서 사용된 동작 에스티메이터가 블럭 동작 벡터를 제공하는 경우에는 블럭 동작 필드 분할에 마찬가지로 적용된다. 이 경우에는 물론, n×n블럭당 하나의 벡터를 할당하는 단계는, 에스티메이터가 n×n 블럭당 하나의 동작 벡터를 부여하는 경우 삭제되거나, 또는 에스티메이터가 n×n보다 작은 사이즈의 블럭에 대해 하나의 동작 벡터를 부여하는 경우 변형된다.

제 11도는 포인트적 동작 필드를 분할하는 방법의 각종 단계의 흐름을 상술한 바와 같이 도시하고 있다. 즉,

- 입력 E₁에 인가되는 포인트적 동작 벡터의 필드로부터 n×n블럭당 하나의 벡터 할당 ;

- 제 1단계에 의해 얻어지는(또는 입력 E₂에 인가된 n×n 픽셀의 블럭형 동작 벡터 필드가 이용할 수 있으면 직접 이용할 수 있는)블럭형 동작 필드를 필터링 ;

- 1/4 영상에 대해 필터링된 동작 필드의 히스토그램 형성 ;

- 동작의 클래스마다 대표적 벡터 추출 ;

-2차 최대치의 제거 ;

-시간 필터링 ;

-각각의 n×n 블럭에 벡터를 재할당 ;

- 벡터 할당이 될 수 없는 블럭의 처리 ;

- 분리된 블럭의 필터링 ;

- 엔코딩 속도의 계산, 및 이 속도가 임계치보다 작음을 검사, 즉 속도가 작지 않으면 새로이 재할당하는 단계가 상술한 바와 같이 실행되고, 속도가 적합하면 출력 S에서 얻어지는 분할된 동작 벡터 필드의 엔코딩이 전송을 위해 실행되는 것을 도시하고 있다.

본 발명은 위에서 기술한 바와 같은 방법에 국한되지 않는다. 특히, 그 분할 방법의 각 단계에서 어떤 수의 선택이 행하여졌고 어떤 수의 계산이 각 단계에서 행하여진다. 블럭의 치수 및 임계치에 대해서 예로서 제공된 상기 도면도 그것에 국한되지 않는다. 그러나 임계치에 관해서는 S₂가 S₁보다, 크고 S₅가 S₂보다 커야 한다.

또한, 특히 다음으로 제공된 쿼드트리 엔코딩에 적합한 1/4 영상 처리는 본 발명의 본질적인 요소는 아니다. 계산 용량이 영상의 단 한번의 처리를 위해서 충분하면, 전체 영상에 대해 동일한 처리를 행하거나, 또는 1/4 영상이 아닌 영상의 부분에 대한 처리를 동일하게 행하는 것이 가능하다.

n×n 블럭의 동작 필드를 필터링하는 단계(분할 방법의 제2 단계)는 후속 처리를 용이하게 하지만, 분리된 블럭을 필터링하는 단계가 다음에 제공되고, 전체적으로 본 발명에 의한 분할 방법이 분리된 동작 벡터를 포함하지 않는 것을 목적으로 한다는 사실에 의해 특히 본질적이지 않다. 따라서, 분할 방법의 제 2단계 및 제 9단계에서 언급된, 동작 필드의 필터링 및/또는 분리된 블럭의 필터링은, 실행된 시퀀스 분석의 형식에 의존하여 변형되거나 생략될 수 있다.

가장 흔히 생기는 동작 벡터의 테이블 형성을 가능하게 하는 히스토그램의 형성 단계에서, 필터링 후의 현재 블럭에 대해 허용된 벡터에 대응하는 위치가 증가될 뿐만 아니라 그것에 인접하는 8개의 벡터도 증가된다는 것도 상술하였다. 히스토그램을 확대하기 위해 제공된 이 특징은, 예를들면 영상이 단 1회 처리된다면 어떤 경우에는 필요치 않다는 것이 증명될 수 있다. 성분 V_x및 V_y의 8배의 승산은 유리하지만 불가결한 것은 아니다.

본 발명의 범위를 벗어나지 않고 다른 변형예가 제공될 수 있다. 예를들어 어떤 경우에는 동작 클래스당 하나의 대표적 벡터의 추출단계를 행하지 않고 최대 발생회수를 갖는 히스토그램 테이블의 N개의 벡터를 선택하고, 엔코딩 이전에 각각의 블럭에 벡터를 재할당하기 위해 우세 벡터로서 그 벡터들을 직접 사용하는 것이 충분하다.

Claims (12)

1. 전 영상에 대한 영상의 픽셀의 변위를 영상면내에 2개의 성분을 갖는 벡터의 형태로 전달하는 동작 에스티메이터로부터의 동작 필드를 분할하는 방법에 있어서, 영상을 n×n 픽셀의 블럭으로 구분하고, 다수결에 따라서 가능한 벡터로부터 각 블럭에 대해 선택된 동작 벡터를 할당하는 예비단계 ;

   블럭형 동작 벡터의 히스토그램을 셋업하는 단계로서, 그 단계의 종료시에 생긴 동작 벡터들의 분류를 그들의 발생회수에 따라서 행하는 벡터 히스토그램 셋업단계 ;

   각각의 상기 블럭에 대해서, 상기 히스토그램으로부터 선택된 유한 개 N의 우세 벡터로부터 선정되고, 이들 우세 벡터로부터 상기 블럭의 초기 벡터에 가장 근접한 동작 벡터를 재할당하는 단계 ;

   인접하는 블럭과 대응되지 않는 동작 벡터를 갖는 분리된 블럭의 벡터를 필터링하는 단계 ;

   결과로서의 필터링된 돋작 필드의 엔코딩에 필요한 전송속도를 계산하고 이 전송 속도가 최대 가능 속도 이하인 것을 검사하며, 전송속도가 최대 가능 전송속도보다 큰 경우 보다 적은 수의 우세 벡터로부터 상기 각각의 블럭에 동작 벡터를 재할당하는 단계가 다시 행해지도록 하는 단계를 포함하는 것을 특징으로 하는 동작 필드 분할 방법.
2. 제 1항에 있어서, 포인트적 동작 필드의 처리를 위해, 상기 예비 단계는 n×n픽셀의 각 블럭에 대해 그 블럭에서의 발생회수가 최대인 동작 벡터를 검색하고, 동일한 경우에는 최소의 분산을 갖는 동작 벡터를 검색하는 것으로 이루어진 것을 특징으로 하는 동작 필드 분할 방법.
3. 제 1항에 있어서, 한 동작 필드의 블럭처리에 대해, 상기 예비단계는, 블럭이 치수n×n을 갖는 경우 상기 동작 필드를 전송하고, 이동작 필드가 보다 작은 치수의 블럭에 대해 성립하면 그 n×n 블럭에 할당된 벡터를 전송하는 것으로 이루어진 것을 특징으로 하는 동작 필드 분할 방법.
4. 제 1항 내지 제 3항 중 어느 한항에 있어서, 상기 동작 필드의 블럭 필터링 단계는 상기 히스토그램의 형성 단계전에 행하여지고, 상기 블럭 필터링 단계는 그 블럭의 벡터가 그것의 8개의 인접 블럭의 벡터로부터 떨어져 있다고 평가되는 경우 상기 블럭의 동작 벡터를 상기 8개의 인접 블럭의 벡터중 하나로 대체하는 것으로 이루어지는 것을 특징으로 하는 동작 필드 분할 방법.
5. 제 1항 내지 제 3항중 어느 한 항에 있어서, 상기 블럭형 동작 벡터 필드의 히스토그램 형성은 2차원 테이블로부터 행해지고, 그 중앙위치는 0 변위에 대응하며, 다른 위치는 가능한 모든 변위에 대응하며, 상기 테이블의 동일 라인의 위치(각 칼럼)는 현재 영상에서의 변위의 횡좌표(각 종좌표)성분에 대응하며, 상기 히스토그램은 현재 분석된 블럭의 면위에 대응하는 위치 및 상기 히스토그램 테이블의 8개의 인접 위치의 내용을 1만큼 증가시킴으로써 형성되는 것을 특징으로 하는 동작 필드 분할 방법.
6. 제 5항에 있어서, 상기 재할당 단계에 대해, 상기 우세 벡터는 상기 히스토그램 테이블 내에서 최대 발생회수를 갖는 N개의 벡터인 것을 특징으로 하는 동작 필드 분할 방법.
7. 제 5항에 있어서, 상기 재할당 단계전에, 상기 히스토그램 테이블의 대응 위치의 내용의 순서를 저하시킴으로써 벡터를 분류하고, 보다높은 랭크의 벡터에 근접한 벡터를 제거하여 동작의 확대된 클래스를 나타내는 벡터의 시퀀스를 임계치 S₂내에 형성하는 것으로 이루어져, 동작의 클래스당 하나의 대표적 벡터를 추출하는 단계가 앞서 있는 것을 특징으로 하는 동작 필드 분할 방법.
8. 제 7항에 있어서, 상기 동작의 확대된 클래스를 나타내는 벡터중에서, 보다 높은 랭크의 벡터에 S₂보다 큰 임계치 S₅와 비교해서 근접이 허용되는 2개의 상이한 벡터쌍에 의해 한정되는 2차 최대치에 대응하는 것은 마찬가지로 제거되고, 상기 근접 벡터의 상기 제거 후에 잔존하는 벡터군은 블럭 동작 필드의 엔코딩에 사용되는 우세 벡터군인 것을 특징으로 하는 동작 필드 분할 방법.
9. 제 8항에 있어서, 상기 재할당 단계전에, 상기 우세 벡터군의 시간 필터링은 각각의 벡터를 전 영상에 대해 성립된 우세 벡터군의 모든 벡터와 비교하며, 전 영상과 관련된 군의 모든 벡터로부터 떨어져 있는 것으로 평가되는 벡터를 제거하는 것에 의해 행하여지는 것을 특징으로 하는 동작 필드 분할 방법.
10. 제 1항에 있어서, 상기 재할당 단계는, 상기 우세 벡터군내에서, 상기 블럭의 초기 벡터에 가장 근접한 벡터를, 상기 초기 벡터와 각각의 상기 우세 벡터간의 거리를 계산하여 최소 거리가 되게 하는 우세 벡터를 선택함으로써 검사하는 것으로 이루어진 것을 특징으로 하는 동작 필드 분할 방법.
11. 제 10항에 있어서, 상기 최소거리가 되게하는 상기 우세 벡터는 상기 거리가 임계치보다 작을때만 그 블럭에 재할당되며, 벡터의 할당이 불가능한 블럭은 인접하는 블럭의 벡터에 따라 벡터의 엔코딩중에 할당되는 것을 특징으로 하는 동작 필드 분할 방법.
12. 쿼드트리형의 방법에 따른 영상의 엔코딩에 제 1항에 따른 비디오 영상의 동작 필드 분할 방법을 적용하는 방법.