KR0174446B1

KR0174446B1 - 가중 함수를 이용한 블록 매칭 움직임 추정 장치

Info

Publication number: KR0174446B1
Application number: KR1019950003960A
Authority: KR
Inventors: 정해묵
Original assignee: 배순훈; 대우전자주식회사
Priority date: 1995-02-28
Filing date: 1995-02-28
Publication date: 1999-03-20
Also published as: KR960033134A

Abstract

본 발명의 블록 매칭 움직임 추정 장치는 이전 프레임내의 각 후보블록에 대한 현재 프레임내의 탐색블록간의 변위를 나타내는 움직임 벡터들과 유사도를 나타내는 오차 함수들을 발생하고, 다수의 오차함수들에 대하여 계산된 가중함수를 가중하며 최소의 오차를 수반하는 가중된 오차함수를 선택하여 그것에 상응하는 움직임 벡터를 출력한다. 본 발명에 따른 가중함수는 상기 탐색블록내에서 규정된 국부 서브블록에 대한 국부 분산값을 포함한다. 상기 가중함수의 다른 실시예는 2차원 그레디언트 필터에 의해 필터링된 탐색블록에 대한 그레디언트 함수를 포함한다.

Description

가중 함수를 이용한 블록 매칭 움직임 추정 장치

제1도는 본 발명에 따른 가중 함수를 이용하는 블록 매칭 움직임 추정 장치의 개략도.

제2도는 국부 서브블록을 가지는 현재 프레임의 탐색 블록과 이전 프레임의 탐색 블록간의 예시적인 블록 정합 과정을 예시하는 도면.

제3도는 다른 실시예의 가중 함수를 생성하는 2 차원그레디언트 필터의 필터 윈도우를 예시하는 도면.

* 도면의 주요부분에 대한 부호의 설명

10 : 탐색 블록 형성부 15 : 탐색 영역 형성부

18 : 가중 함수 발생부 21,22,29 : 블록 매칭부

41-49 : 가중오차함수 발생부 50 : 최소 오차함수 검출기

60 : 움직임 벡터 선택기 72 : 탐색 블록

74 : 국부 서브블록

본 발명은 영상 신호 부호화 시스템에 사용하기 위한 움직임 추정 장치에 관한 것으로, 특히, 가중 함수를 이용하여 움직임 벡터를 검출하는 움직임 추정 장치에 관한 것이다.

일련의 영상 프레임(frame)을 포함하는 영상신호가 디지탈 형태로 표현될 때, 특히, 고선명 텔레비젼(HDTV) 시스템의 경우에는 상당량의 전송 데이타가 발생된다. 그러나, 통상적인 전송 채널의 이용 가능한 주파수 대역폭은 한정되어 있기 때문에, 한정된 채널 대역폭을 통해서 상당량의 디지탈 데이타를 전송하기 위해서는 전송 데이타를 압축 또는 감축하지 않으면 안된다.

다양한 비디오 압축 기법들중에서, 인접한 두개의 비디오 프레임들간의 비디오 신호들의 시간적인 중복성(Temporal Redundancy)을 이용해서 비디오 신호들을 압축하는 움직임 보상 프레임간 부호화(Motion Compensated Interframe Coding)기법이 효과적인 압축 기법들중의 하나로 알려져 있다.

이와같은 움직임 보상 프레임간 부호화 방법에 있어서, 현재 프레임 데이타는 현재 프레임(Current Frame)과 이전 프레임(Previous Frame)간의 움직임 추정에 의해서 이전 프레임 데이타로 부터 에측된다. 이와같이 추정된 움직임은 이전 프레임과 현재 프레임간의 픽셀들의 변위를 나타내는 2차원 움직임 벡터들로서 나타낼 수 있다.

본 기술 분야에서 제안된 움직임 추정 기법들중의 하나는 블록 매칭(Block Matching)알고리즘이다. 블록 매칭 알고리즘에 따르면, 현재 프레임은 동일한 크기를 갖는 다수개의 탐색 블록(Search Block)들로 분할된다. 전형적으로, 탐색 블록의 크기는 8 x 8 내지 32 x 32 픽셀 범위를 갖는다. 현재 프레임내 탐색 블록에 대한 움직임 벡터를 결정하기 위해서, 현재 프레임의 탐색 블록과 이전 프레임내의 대체로 큰 탐색 영역내에 포함된 동일한 크기를 갖는 복수개의 후보 블록(Candidate Block)들 각각과의 유사성 계산(Similarity Calculation)을 수행한다. 탐색 블록과 후보 블록 각각과의 유사성 측정을 수행하는 경우에는 평균 제곱 오차(Mean Square Error : MSE)를 이용하는 오차 함수(error function)가 사용되며, 이러한 오차 함수는 하기 수학식 1와 같이 표현될 수 있다.

상기 수학식 1에서 H x V 는 탐색 블록의 크기를 나타내고, I(i,j) 는 탐색 블록내 좌표 (i,j) 에서의 픽셀의 루미넌스 레벨을 나타내고, P(i,j) 는 후보 블록내 좌표 (i,j) 에서의 픽셀의 루미넌스 레벨을 나타낸다.

그리고, 정의에 의하면, 움직임 벡터는 최소의 오차 함수를 야기하는 탐색 블록과 후보 블록간의 변위를 나타내며, 이러한 움직임 벡터는 수신기에서 상기 이전 프레임으로 부터 블록 단위로 영상을 재구성하는데 사용된다.

그러나, 상기와 같은 움직임 보상 프레임간 부호화 구성은, 블록들간의 상관을 나타내는 오차 함수의 사용에 기인한 인접 블록들간의 연속성을 고려하지 않고 있다. 따라서, 블록 경계가 구조적으로 직선이기 때문에 그 블록 경계가 가시화될 수 있고 특히 관측자에게 그 블록 경계의 불연속이 눈에 띄일 수가 있다. 이처럼 움직임 보상 과정중에 인접 블록간의 경계에서 발생하는 블록킹 현상은 부호화된 영상의 화질을 저하시키는 요인이 된다.

그러므로, 본 발명의 목적은 프레임간 부호화시에 블록 경계의 불연속으로 인한 블록킹 현상을 줄일 수 있는 개선된 움직임 추정 장치를 제공하는데 있다.

본 발명의 다른 목적은 인접 블록들간의 경계 영역의 연속성을 유지시켜 주는 움직임 벡터를 정확하게 검출할 수 있는 개선된 움직임 추정 장치를 제공하는데 있다.

상술한 목적을 달성하기 위한 본 발명의 일실시예에 따른 가중함수를 이용한 블록 매칭 움직임 추정 장치는 현재 프레임의 탐색블록과 이전프레임의 탐색영역내 각각의 후보블록간의 움직임을 추정하여 상기 탐색블록과 상기 각 후보블록간의 변위를 나타내는 움직임 벡터들과 상기 움직임 벡터들에 상응하는 오차함수들을 발생하는 수단; 상기 탐색블록의 가장자리 픽셀을 제외한 내부 픽셀에 의해 규정되는 국부 서브블록에 대한 국부 분산값을 계산하는 수단; 상기 각 오차함수에 상기 국부 분산값을 가중하여 가중된 오차함수들을 발생하는 수단; 상기 가중된 오차함수들중에서 최소의 오차함수를 수반하는 하나의 가중된 오차함수를 선택하여 상기 선택된 가중된 오차함수에 상응하는 움직임 벡터를 출력하는 수단을 포함하는 것을 특징으로 한다.

상술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 가중함수를 이용한 블록 매칭 움직임 추정 장치는 현재 프레임의 탐색블록과 이전프레임의 탐색영역내 다수의 후보블록간의 움직임을 추정하여 상기 탐색블록과 상기 각 후보블록간의 변위를 나타내는 움직임 벡터들과 상기 움직임 벡터들에 상응하는 오차함수들을 발생하는 수단; 상기 탐색블록을 2차원 그레디언트 필터링하여 상기 탐색블록내의 픽셀들에 대한 그레디언트 함수를 발생하는 수단; 상기 각 오차함수에 상기 그레디언트 함수를 가중하여 가중된 오차함수들을 발생하는 수단; 상기 가중된 오차함수들중에서 최소의 오차함수를 수반하는 하나의 가중된 오차함수를 선택하여 상기 선택된 가중된 오차함수에 상응하는 움직임 벡터를 출력하는 수단을 포함하는 가중함수를 이용한 블록 매칭 움직임 추정 장치.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.

제1도를 참조하면, 움직임 추정 시스템에 포함된 블록 매칭 움직임 벡터 측정 장치의 바람직한 일실시예가 도시된다.

본 발명의 움직임 추정 시스템은 일련의 연속하는 프레임, 즉, 현재 프레임과 그의 인접한 또는 이전 프레임간의 중복성을 제거시킴으로서 상당한 데이타 압축을 성취하는데 이용된다. 즉, 현재 프레임과 이전 프레임간에는 물체의 변위 또는 움직임에 의해 야기되는 편차(difference)가 생길 수가 있다. 그러나, 이러한 편차들은 프레임내에서 비교적 작은 영역에 국한될 수 있다. 따라서, 현재 프레임의 영상 데이타를 전부 수신기(도시생략)로 전송할 필요는 없다. 그 대신에, 그 변위 정보, 즉, 움직임 벡터를 전송하는 것으로도 충분하다. 그 결과, 수신기는 송신측으로 부터 전송된 움직임 벡터를 이용하여 수신기내의 프레임 메모리에 저장된 이전 프레임으로부터 현재 프레임을 재구성할 수있다.

제1도에 도시된 바와같이, 현재 프레임 신호는 라인(12)을 통해 탐색블록 형성부(10)로 제공된다. 탐색블록 형성부(10)는 현재 프레임을 동일한 크기를 갖는 다수개의 탐색 블록들로 분할하는 역할을 수행하며, 각각의 탐색블록들은 H x V 픽셀 블록들을 포함한다. 간략한 설명을 위해, 현재 프레임의 각 탐색블록에서 H 와 V 모두 16개의 픽셀인 것으로 가정한다. 각각의 탐색블록들은 가중함수 발생을 위한 가중함수 발생부(18)와 각각의 블록 매칭부들로 공급되는데, 제1도에는 그 중의 단지 세개의 블록 매칭부들(21, 22 및 29)만이 예시된다.

가중함수 발생부(18)는 탐색블록, 예로 제2도의 (72)내에서 국부 서브블록(localized subblock)(74)을 규정하는데, 탐색 블록(72)은 탐색 블록(72)의 가장자리를 따라 연장하는 가장자리 픽셀들과 그 가장자리 픽셀을 제외한 가장자리내의 내부픽셀들을 포함함으로써 국부 서브블록(74)을 형성한다. 이러한 국부 서브블록(74)은 탐색블록(72)내의 가장자리 픽셀을 제외하고 형성되는 블록이면 어느것이나 가능하다. 그 다음에 가중함수 발생부(18)는 국부 서브블록(74)에 대한 국부 분산값을 하기 수학식 2를 이용하여 계산한다.

상기 수학식 2에서, var(i,j) 는 국부 서브블록내 좌표(i,j)에서의 픽셀의 분산값을 나타내고; SH x SV 는 국부 서브블록의 크기이고; I(i,j) 는 국부 서브블록내 픽셀 좌표(i,j)에서의 루미넌스 레벨을 나타내며; 그리고 평균(mean)은 국부 서브블록내 내부 픽셀들에 대한 평균 루미넌스 레벨을 나타낸다.

한편, 상술한 수학식 2에서 평균 루미넌스 레벨은 하기 수학식 3과 같이 규정된다.

그 다음, 상기 각 탐색블록에 대한 국부분산값은 본 발명에 따른 가중함수로서 각각의 가중오차함수 발생부들로 제공되며, 제1도에는 그 중의 단지 3 개의 가중오차함수 발생부들(41, 42 및 49)만 예시된다.

한편, 라인(13)을 통해 탐색 영역 형성부(15)에 제공된 이전 프레임은 탐색 또는 비교가 수행될 수 있도록 동일한 크기, 형상 및 패턴으로 된 후보블록들을 순차적으로 형성한다. 탐색 영역 형성부(15)에서는 마치 어느 하나의 후보 블록을 탐색 영역을 통하여 그 상단의 최좌측 위치에서 시작하여 수평 방향으로 한번에 하나의 픽셀씩 이동시킨 다음, 상기 후보 블록이 상기 탐색 영역내의 하단 최우측 위치에 도달할 때까지, 그 탐색 영역을 통하여 한번에 하나의 주사 라인씩 수직 방향으로 하향 이동 시킴으로서 상기 탐색 영역으로 부터 다수의 후보 블록을 형성한다. 따라서 가능한 모든 후보 블록들이 탐색블록과 동일한 H x V 크기로 상기 결정된 탐색 영역내에서 형성되어 각각의 블록 매칭부들(21, 22 및 29)로 공급된다.

각각의 블록 매칭부(21, 22 및 29)에서는 블록매칭 기법을 이용하여 탐색 블록 형성부(10)로부터의 탐색블록과 탐색영역 형성부(21 내지 29)로 부터의 각 후보 블록간의 상대적인 변위를 해당 후보 블록의 움직임 벡터로서 생성하여 라인들(31 내지 29)을 통하여 움직임 벡터 선택기(60)로 각기 제공된다. 이때, 각각의 블록 매칭부(21, 22, 29)에 의해 생성되는 움직임 벡터에 대한 오차 함수가 계산된다. 통상적으로, 오차 함수는 MSE 측정 기법을 이용하여 계산되며, 탐색블록과 후보블록간의 유사성 정도를 나타낸다. 각각의 블록 매칭부(21, 22, 29)에 의해 계산된 오차 함수는 대응하는 가중 오차함수 발생부들(41, 42, 49)로 제공된다.

각각의 가중오차함수 발생부(41 내지 49)에서는 가중함수 발생부(18)로 부터 제공된 가중함수를 각각의 블록 매칭부(21, 22, 29)에 의해 계산된 오차 함수에 가중하여 가중된 오차 함수(W-MSE)를 발생한다. 각각의 가중오차함수 발생부(41 내지 49)에서 발생되는 가중된 오차함수(W-MSE)는 하기 수학식 4와 같이 규정된다.

상기 식에서, H x V 는 탐색블록의 크기이고; I(i,j)는 탐색블록내의 픽셀좌표(i,j)에서 루미넌스 레벨이며; 그리고, P(i,j)는 후보블록내의 픽셀좌표(i,j)에서 루미넌스 레벨이다.

그런 다음, 각각의 가중오차함수 발생부들(41 내지 49)로 부터의 가중된 모든 오차함수들은 최소 오차 검출기(50)로 제공된다. 최소 오차 검출기(50)는 상기 가중 오차함수 둘을 비교하여 가장 작은 오차값을 갖는 하나의 가중된 오차함수를 선택하고 그에 대응하는 블록을 나타내는 선택신호를 움직임 벡터 선택기(60)로 출력한다.

통상적인 멀티 플렉서로 이루어지는 움직임 벡터 선택기(60)는, 상기한 최소 오차 검출기(50)로 부터의 선택신호에 응답하여, 상기 최소 오차함수에 상응하는 후보 블록의 움직임 벡터를 선택한다. 따라서, 후보 블록이 최소 오차함수를 갖는다면, 그 후보 블록은 탐색 블록에 가장 유사한 것으로 간주될 것이며, 따라서 그 후보 블록의 움직임 벡터가 원하는 움직임 벡터로서 선택될 것이다.

제3도는 본 발명에 따른 가중함수의 다른 실시예를 유도하기 위해 사용된 2차원 그레디언트(Gradient) 필터의 필터 윈도우를 나타낸다.

가중함수 발생부(18)에서, 탐색블록은 2차원 그레디언트 필터에 의해 필터되어 가중함수로서 그레디언트 함수를 발생하며, 그레디언트 함수는 본 발명에 따른 가중함수로서 사용된다. 여기에서, 그레디언트 함수는 하기 수학식 5와 같이 규정된다.

상기 식에서, ∇(i, j) 는 탐색블록내의 좌표(i,j)에서 그레디언트를 나타내고; I(i+k,j+1)는 좌표(i+k,j+1)에서 픽셀의 루미넌스 레벨을 나타내며; 그리고, F(k,l) 는 그레디언트 필터의 필터 계수를 나타낸다.

상술한 바와 동일한 방법으로, 이러한 가중 함수는 제1도의 가중오차함수 발생부들(41 내지 49)로 제공되며, 각각의 가중오차함수 발생부(41 내지 49)에서는 대응하는 각각의 블록 매칭부(21, 22, 29)에서 제공된 오차함수에 그레디언트 함수를 가중함수로서 가중함으로써 가중된 오차함수를 생성한다. 이러한 가중된 오차함수는 하기 수학식 6과 같이 나타낼 수 있다.

상기 수식에서, H x V 는 탐색블록의 크기이고; I(i,j) 는 탐색블록내의 픽셀 좌표(i,j)에서 루미넌스 레벨이며; 그리고 P(i,j)는 후보 블록내의 픽셀 좌표(i,j)에서 루미넌스 레벨이다.

상기 필터를 통해 유도된 모든 가중 오차함수들은, 상기에서 기술한 바와같이, 최소 오차를 수반하는 움직임 벡터를 선택하는 상기 최소 오차 검출기(50)로 제공되고, 움직임 벡터 선택기(60)에서 그에 상응하는 후보블록의 움직임 벡터가 선택되어 출력된다.

그러므로, 본 발명에 따르면, 블록매칭을 이용한 현재 프레임의 탐색블록과 각각의 후보블록간의 움직임 벡터를 구할 때, 탐색블록의 가장자리를 제외한 내부의 픽셀들에 대하여 가중값으로 생성하고, 생성된 가중값을 오차함수에 가중하여 가중된 오차함수중에서 최소의 가중 오차값을 갖는 후보블록에 대응하는 움직임 벡터를 최적한 움직임 벡터로서 선택함으로써, 수신측에서 프레임 복원시 블록 에지에서 야기될 수 있는 블록킹 현상을 줄일 수 있는 효과가 있다.

Claims

현재 프레임의 탐색블록과 이전 프레임의 탐색영역내의 다수의 후보블록간의 움직임 벡터들을 블록 매칭 움직임 추정 기법에 의거하여 검출하는 움직임 벡터 검출 장치에 있어서, 상기 탐색블록과 각각의 후보블록간의 움직임을 추정하여 상기 탐색블록과 상기 각 후보블록간의 변위를 나타내는 움직임 벡터들과 상기 움직임 벡터들에 상응하는 오차함수들을 발생하는 수단; 상기 탐색블록의 가장자리 픽셀을 제외한 내부 픽셀에 의해 규정되는 국부 서브블록에 대한 국부 분산값을 계산하는 수단; 상기 각 오차함수에 상기 국부 분산값을 가중하여 가중된 오차함수들을 발생하는 수단; 상기 가중된 오차함수들중에서 최소의 오차함수를 수반하는 하나의 가중된 오차함수를 선택하여 상기 선택된 가중된 오차함수에 상응하는 움직임 벡터를 출력하는 수단을 포함하는 가중함수를 이용한 블록 매칭 움직임 추정 장치.
제1항에 있어서, 상기 국부 분산값은 하기 수학식과 같이 계산되며,

상기 수학식에서, var(i,j) 는 국부 서브블록내 좌표(i,j)에서의 픽셀의 분산값을 나타내고; SH x SV 는 국부 서브블록의 크기이고; I(i,j)는 국부 서브블록내 픽셀 좌표(i,j)에서의 루미넌스 레벨을 나타내며; 평균(mean)은 국부 서브블록내 내부 픽셀들에 대한 평균 루미넌스 레벨인 가중 함수를 이용한 블록 매칭 움직임 추정 장치.
제2항에 있어서, 상기 평균 루미넌스 레벨은 하기 수학식과 같이 계산되는 것을 특징으로 하는 가중 함수를 이용한 블록 매칭 움직임 추정 장치.
제3항에 있어서, 상기 가중된 오차함수는 하기 수학식과 같이 계산되며,

상기 수학식에서, H x V 는 탐색블록의 크기이고; I(i,j)는 탐색블록내의 픽셀좌표(i,j)에서 루미넌스 레벨이며; 그리고, P(i,j) 는 후보블록내의 픽셀좌표(i,j)에서 루미넌스 레벨인 가중 함수를 이용한 블록 매칭 움직임 추정 장치.
현재 프레임의 탐색블록과 이전 프레임의 탐색영역내의 다수의 후보블록간의 움직임 벡터들을 블록 매칭 움직임 추정 기법에 의거하여 검출하는 움직임 벡터 검출 장치에 있어서, 상기 탐색블록과 각각의 후보블록간의 움직임을 추정하여 상기 탐색블록과 상기 각 후보블록간의 변위를 나타내는 움직임 벡터들과 상기 움직임 벡터들에 상응하는 오차함수들을 발생하는 수단; 상기 탐색블록을 2차원 그레디언트 필터링하여 상기 탐색블록내의 픽셀들에 대한 그레디언트 함수를 발생하는 수단; 상기 각 오차함수에 상기 그레디언트 함수를 가중하여 가중된 오차함수들을 발생하는 수단; 상기 가중된 오차함수들중에서 최소의 오차함수를 수반하는 하나의 가중된 오차함수를 선택하여 상기 선택된 가중된 오차함수에 상응하는 움직임 벡터를 출력하는 수단을 포함하는 가중함수를 이용한 블록 매칭 움직임 추정 장치.
제5항에 있어서, 상기 그레디언트 함수는 하기 수학식과 같이 규정되며,

상기 수학식에서, ▽(i,j) 는 탐색블록내의 좌표(i,j)에서 그레디언트를 나타내고; I(i+k,j+1) 는 좌표(i+k,j+1)에서 픽셀의 루미넌스 레벨을 나타내며; 그리고, F(k,l) 는 그레디언트 필터의 필터 계수인 가중함수를 이용한 블록 매칭 움직임 추정 장치.
제6항에 있어서, 상기 가중된 오차함수는 하기 수학식과 같이 계산되며,

상기 수학식에서, H x V 는 탐색블록의 크기이고; I(i,j)는 탐색블록내의 픽셀 좌표(i,j)에서 루미넌스 레벨이며; 그리고 P(i,j) 는 후보 블록내의 픽셀 좌표(i,j)에서 루미넌스 레벨인 가중함수를 이용한 블록 매칭 움직임 추정 장치.