KR0154920B1

KR0154920B1 - 동영상 부호화 장치에 있어서 움직임 추정기

Info

Publication number: KR0154920B1
Application number: KR1019940039975A
Authority: KR
Inventors: 김상호
Original assignee: 배순훈; 대우전자주식회사
Priority date: 1994-12-30
Filing date: 1994-12-30
Publication date: 1998-11-16
Also published as: JPH08242457A; CN1131874A; US5760845A; KR960028495A

Abstract

본 발명은 동영상 부호화장치에 있어서 움직임벡터을 일관성 추정할 수 있는 움직임 추정기를 제공하기 위한 것이다. 본 발명에 따른 움직임 추정기는 현재 프레임의 영상데이타를 저장하는 제1 메모리; 이전 프레임의 영상데이타를 저장하는 제2 메모리; 제1 메모리로부터 출력되는 영상데이타와 제2 메모리로부터 출력되는 영상데이타를 절대차의 합 또는 차의 제곱의 합 계산방식으로 계산하고, 계산된 결과를 출력하는 제1 계산부; 움직임 추정을 위하여 발생된 이동된 거리정보(K, L)가 인가되면 인가된 각 값의 절대치의 합 또는 제곱근의 합에 움직임벡터 추정시 일관성을 결정하는 상수를 승산하는 계산식에 의해 계산하고 계산된 결과를 출력하는 제2 계산부; 제1 계산부로부터 출력된 계산결과값과 제2 계산부로부터 출력된 계산부로부터 출력된 계산결과값을 합산하는 합산부; 소정 블록에 대한 움직임벡터 추정기간동안 합산부로부터 발생된 합산결과중 최소값과 최소값에 대응되게 발생된 이동된 거리정보로 이루어진 움직임벡터를 저장하고, 해당 블록에 대한 움직임벡터 추정이 완료되면 저장된 움직임벡터를 출력하는 판단부; 움직임벡터 추정을 위해 필요한 데이터를 발생하고, 제어하는 제어부로 구성된다. 따라서 임의적인 방향으로 움직임벡터가 추정된는 것에 비해 발생되는 움직임벡터 정보량이 작아 상대적으로 부호화 효율을 향상시킬 수 있다.

Description

동영상 부호화장치에 있어서 움직임 추정기

제1도는 기존의 동영상 부호화장치의 기능 불록도이고,

제2도는 동영상 부호화장치에 이용되는 본 발명에 따른 움직임 추정기의 블록도이다.

* 도면의 주요부분에 대한 부호의 설명

200 : 제어부 210 : 제1 메모리부

220 : 제2 메모리부 230 : 제1 계산부

240 : 제2 계산부 250 : 합산부

260 : 판단부

본 발명은 동영상 보호화 장치의 움직임추정기에 관한 것으로, 특히, 움직임 벡터에 대한 부호화효율을 향상시킬 수 있는 움직임 추정기에 관한 것이다.

고화질 텔레비젼(HDTV:High Definition Television)등과 같이 디지탈 데이터 전송을 기본으로 하는 고화질 영상시스템에서는 종래의 텔레비젼에 비해 크게 향상된 화질의 영상을 제공한다. 그러나 전송해야 할 데이터량이 많아 한정된 대역폭을 통해 영상 데이터를 전송하기 위해서, 고화질 영상시스템에는 높은 압축율의 부호화 기법이 적용되고 있다. 제1도는 일반적인 고화질 영상시스템에 구비된 기존의 동영상 부호화장치의 기능블럭도이다. 제1도를 참조하여 기존의 동영상 부호화장치의 동작을 설명하면 다음과 같다.

먼저, 영상데이타는 이산 코사인 변환(Discrete Cosine Transform:이하 DCT라 약함)부(110)와 양자화(Quantization:이하 Q라 약함)부(115)를 거쳐 공간적인 중복성이 제거되고, 가변길이 부호화(Variable Length Coding:이하 VLC라고 약함)부(120)를 거쳐 데이터 비트스트림 자체의 중복성이 제거된다. 그리고, 움직임 보상(Motion Compensation) 예측 부호화 과정을 통해 영상의 시간적인 중복성이 제거된다.

특히, 움직임보상 예측 부호화는 이전 프레임과 현재 프레임을 비교하여 현재 프레임의 영상이 이전 프레임의 영상에 비해 어느 방향으로 얼마나 움직였는 지를 추정한 움직임 벡터와 이전 프레임을 이용하여 움직임 보상을 실시하고, 현재 프레임의 영상신호에서 움직임 보상된 신호를 감산한 차이신호를 압축부호화하는 방식이다. 여기서 움직임 보상은 현재 인가된 프레임과 이전 프레임을 이용하여 물체의 움직임 정도를 소정의 알고리즘으로 추정(Estimation)하여 추출된 움직임 벡터(Motion Vector:MV)만큼 이전 프레임을 이동시켜 주는 것이고, 움직임 벡터는 현재 인가된 프레임의 화소들이 이전 프레임에 비해 어느 방향으로 얼마나 움직였는지를 나타내는 화소단위의 벡터량이다.

이러한 움직임 보상 예측 부호화는 소정 블록단위로 이루어지는 경우에, 해당 블록사이즈에 따라 결정된 이전 프레임에서의 움직임 탐색영역(Search Range)내에서 가장 작은 차분을 내는 위치의 블록과의 차이를 구하는 방식으로 이루어진다. 움직임 탐색영역은 일반적으로 수평방향으로 -16화소 - +15화소사이이고 수직방향으로 각각 -8 화소에서 +7 화소사이로 결정되고, 움직임 벡터 추정은 블록단위로 이루어진다. 움직임 벡터는 수평 움직임벡터(Mvx) 및 수직 움직임벡터(Mvy)로 이루어 진다.

일반적으로 동영상신호의 압축효율은 움직임 추정방법에 의해 결정되는데, 종래의 움직임벡터 추정은 풀 서치(Full Search) 방법을 사용하여, 탐색영역 내의 모든 움직임에 대해 절대차의 합(SAE:Sum of Absolute Error)이나 차의 제곱의 합(SSE:Sum of Square Error)을 구하여, 가장 최소값을 갖는 부분의 위치와 현재 프레임상에서 해당 블록의 위치간의 벡터량을 구하는 방식으로 이루어진다.

그러나 이와 같이 움직임벡터 추정이 이루어지므로 인하여, 시간이 지남에 따라서 약간씩 밝아지거나 어두워지는 동영상, 혹은 잡음이 약간 섞이는 영상 및 밝기가 약간만 변하는 평탄한 부분에서 움직임 벡터가 어느 일정한 방향으로 추정되지 못하고, 임의적인(random)방향으로 추정될 수 있다. 이와 같은 임의적인 방향으로 추정될 경우에, 움직임 벡터의 가변길이 부호화량은 증가되어 부호화효율을 저하시키는 문제가 있다.

본 발명은 상술한 문제를 해결하기 위하여 안출된 것으로, 동영상을 부호화 하는데 있어서 움직임 벡터의 추정이 일관성이 있게 이루어지도록 구현된 움직임 추정기를 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위하여 본 발명에 따른 움직임 추정기는, 현재 프레임(Frame)의 영상 데이터를 저장하고, 인가되는 제1 읽기 어드레스신호(R1)에 따라 저장되어 있는 소정의 영상데이타(C[X,Y])를 출력하는 제1 메모리부; 현재 프레임 영상 데이터의 움직임 벡터 추정을 위한 과거 프레임의 영상데이타를 저장하고, 인가되는 제2 읽기 어드레스신호(R2)에 따라 저장되어 있는 소정의 영상데이타(P[X+K, Y+L])를 출력하는 제2 메모리부; 제1 메모리부로부터 출력되는 소정의 영상데이타(C[X, Y])와 제2 메모리부로부터 출력되는 소정의 영상데이타(P[X+K, Y+L])가 인가되면, 절대차의 합 또는 차의 제곱의 합 계산식에 의해 계산을 수행하고, 수행결과를 제1 계산결과값(RESULT1)으로 출력하는 제1 계산부; 움직임 벡터 추정을 위해 발생된 이동된 거리정보(K, L)가 인가되면, 인가된 각 값의 절대치의 합 또는 제곱근의 합에 움직임벡터 추정시 일관성을 결정하는 상수를 승산하는 계산식에 의해 계산을 수행하고, 수행결과를 제2 계산결과값(RESULT2)으로 출력하는 제2 계산부; 제1 계산부로부터 출력되는 제1 계산결과값과 제2 계산부로부터 출력되는 제2 계산결과값을 합산하여 출력하는 합산부; 현재 프레임의 소정 블록에 대한 움직임벡터 추정기간동안, 합산부로부터 전송된 값중 최소값과 최소값에 대응되게 발생된 소정의 이동된 거리정보(K, L)로 이루어진 움직임 벡터(MV)를 저장하고, 소정 블록에 대한 소정 탐색영역내의 모든 영상데이타를 대상으로 움직임벡터 추정처리가 완료될 때, 저장하고 있는 움직임 벡터(MV)를 소정 블록에 대해 추정된 움직임벡터로 출력하는 판단부; 소정 주기의 클럭신호에 동기되어, 제1 읽기 어드레스신호(R1), 제2 읽기 어드레스신호(R2), 이동된 거리정보(K, L), 및 움직임벡터 추정처리 완료를 알리는 종료신호(E)를 각각 제공하여 움직임벡터 추정처리를 제어하는 제어부를 포함하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세하게 설명하기로 한다.

제2도는 동영상 부호화장치에 있어서 본 발명에 따른 움직임 추정기의 기능 블록도로서, 제어부(200), 제1 및 제2 메모리부(210, 220), 제1 및 제2 계산부(230, 240), 합산부(250), 및 판단부(260)로 구성된다.

제어부(200)는 클럭신호(CLK)에 동기되어, 현재 처리할 영상 데이터의 위치(X, Y)를 지정하기 위한 제1 읽기 어드레스신호(R1)를 제1 메모리부(210)로, 현재 처리할 영상 데이터의 움직임 벡터(Motion Vector:MV) 추정(Estimation)을 위해 이전 프레임의 영상데이타의 위치(X+K, Y+K)를 지정하기 위한 제2 읽기 어드레스 신호(R2)를 제2 메모리부(220)로, 움직임 벡터(MV) 추정을 위해 이동된 거리(K, L)를 제2 계산부(240) 및 판단부(260)로, 그리고 움직임 벡터 추정을 위한 탐색영역(Search Range)내 모든 영상데이타의 위치 지정이 완료되면 종료신호(E)를 판단부(260)로 출력하도록 동작된다.

제1 메모리부(210)는 현재 프레임(Frame)의 영상 데이터를 저장하고, 제어부(200)로 부터 제공되는 제1 일기 어드레스신호(R1)에 따라 저장하고 있던 영상데이타(C[X, Y])를 제1 계산부(230)로 출력한다.

제2 메모리부(220)는 현재 프레임 영상 데이터의 움직임 벡터 추정을 위한 이전(또는 과거) 프레임의 영상데이타를 저장하고, 제어부(200)로부터 제공되는 제2 읽기 어드레스 신호(R2)에 따라 저장하고 있던 영상데이타(P[X+K, Y+L])를 제1 계산부(230)로 출력한다.

제1 및 제2 계산부(230, 240)는 기설정된 계산식에 의해 계산을 수행한다. 제1 및 제2 계산부(230, 240)에 설정될 수 있는 계산식은 다양하다. 예를 들어, 16X16 크기의 거대구획(Macro Block)단위로 움직임을 찾고 절대차의 합(SAE: Sum of Absolute Error)에 의해 움직임 판단할 경우에, 각 계산부(230,240)에 설정되는 계산식을 설명하면 다음과 같다.

우선, 제1 계산부(230)는 제1 및 제2 메모리부(210, 220)로부터 각각 영상데이타(C[X, Y]) 및 (P[X+K, Y+L])가 인가되면, 하기 수학식 1에 의해 계산을 수행하고, 그 계산결과를 제1 계산결과값(RESULT1)으로 출력한다.

또한, 제2 계산부(240)는 제어부(200)로부터 제공되는 상기 움직임 벡터 추정을 위한 이동된 거리(K, L)가 인가되면, 하기 수학식 2에 의해 계산을 수행하고, 그 계산결과를 제2 계산결과값(RUSULT2)으로 출력한다.

움직임 벡터 추정이 상술한 바와 같이 16X16화소의 거대블럭단위로 이루어지는 상황에서, 움직임 벡터 추정의 탐색 영역이 수평 및 수직방향으로 각각 -8 화소 내지 +7 화소사이일 때, 수학식 1에서 X 및 Y는 0 내지 15의 정수이고, 수학식 2에서 K 및 L은 -8 내지 7의 정수이다. 그리고, 수학식 2에서 a 는 움직임벡터=0(즉, K=0, L=0)쪽으로 움직임추정이 이루어지는 경향을 얼마나 강하게 줄 것인지를 결정하는 상수로서, 그 값이 크면 클수록 움직임벡터=0쪽으로 더 많이 선택되도록 움직임 추정이 이루어진다. 그러나 너무 크면, MAE나 MSE보다 움직임벡터 선택에 더 영향을 끼치게 되어 좋지 않기 때문에 a는 다수의 실험에 의해 보다 적합한 값이 선택되어야 하는데, 일반적으로 5 내지 10정도의 값이 적합하다.

합산부(250)는 제1 및 제2 계산부(230, 240)로부터 각각 제공되는 제1 계산결과값(RUSULT1) 및 제2 계산결과값(RUSULT2)을 합산하여 판단부(260)로 출력한다.

판단부(260)는 움직임 벡터 및 최소값을 저장하고, 합산부(260)로부터 전송되는 합산값과 최소값을 비교한다. 이 때, 최소값은 해당 탐색영역에서 움직임추정시 지금까지 합산부(260)로부터 전송된 합산값들중 가장 작은 값으로, 초기에는 처음 발생된 합산값이 최소값으로 저장된다. 이와 같은 기준으로 저장된 최소값과 합산값의 비교결과, 현재 제공된 합산값이 저장되어 있는 최소값 보다 작을 경우, 현재 입력된 합산값을 최소값으로 다시 저장하여 저장되어 있는 최소값을 갱신한다. 그리고 제어부(200)로부터 현재 전송된 이동된 거리(K, L)데이타로 움직임 벡터를 갱신한다. 즉, 현재 인가된 이동된 거리(K, L)값을 움직임벡터로 저장한다. 그러나 최소값과 합산값을 비교한 결과, 현재 제공된 합산값이 저장되어 있는 최소값보다 작지 않으면, 저장되어 있는 최소값 및 움직임벡터에 대한 갱신은 이루어지지 않는다.

이와 같은 판단부(260)의 동작은 제어부(200)로부터 종료신호(E)가 제공될 때 까지 반복적으로 이루어진다. 제어부(200)로부터 종료신호(E)가 인가되면, 판단부(260)는 저장하고 있는 움직임 벡터(Motion Vector : MV)를 해당 블록에 대한 추정된 움직임벡터(K, L)로 출력한다. 이 때, K는 움직임 벡터(Mvx)의 수평방향에 대한 값이고, L은 움직임 벡터(Mvy)의 수직방향의 값이다.

한편, 차의 제곱의 합(SSE : Sum of Square Error)을 구하는 계산식에 의해 움직임 벡터(MV)를 추정하는 경우에, 제1 계산부(230)는 하기 수학식 3에 의해 계산이 이루어지고, 그 계산결과는 제1 계산결과값(RUSULT1)으로 출력된다.

그리고, 제2 계산부(240)는 수학식 4에 의해 계산이 이루어지고, 그 계산결과는 제2 계산결과값(RUSULT2)으로 출력된다.

이때, 움직임 벡터 추정이 상술한 바와 같이 16X16화소단위로 이루어지고, 움직임 벡터 추정의 탐색영역을 수평 및 수직방향으로 각각 -8 화소 내지 +7 화소라 할 때, X 및 Y는 상술한 경우와 동일하게 0 내지 15의 정수이고, K 및 L은 -8 내지 7의 정수이다. 그리고 b는 상술한 a와 같은 조건의 상수로서, 실험적으로 15-20정도의 값이 적합하다.

상술한 바와 같이, 본 발명은 동영상 부호화장치에 있어서 현재 프레임과 이전 프레임간의 절대차의 합 또는 차의 제곱의 합과 움직임벡터의 거리를 합성하여 움직임벡터가 일관성 있게 선택되도록 움직임 추정을 수행하는 장치를 제공함으로써, 임의적인 방향으로 움직임벡터가 추정되는 경우에 비해 발생되는 움직임벡터량을 줄일 수 있어 가변길이 부호화효율을 향상시킬 수 있는 잇점이 있다.

Claims

현재 프레임(Frame)의 영상 데이터를 저장하고, 인가되는 제1 읽기 어드레스신호(R1)에 따라 저장되어 있는 소정의 영상데이타(C[X, Y])를 출력하는 제1 메모리부(210); 상기 현재 프레임 영상데이타의 움직임 벡터 추정을 위한 과거 프레임의 영상데이타를 저장하고, 인가되는 제2 읽기 어드레스신호(R2)에 따라 저장되어 있는 소정의 영상데이타(P[X+K, Y+L])를 출력하는 제2 메모리부(220); 상기 제1 메모리부(210)로부터 출력되는 상기 소정의 영상데이타(C[X, Y])와 상기 제2 메모리부(220)로부터 출력되는 상기 소정의 영상데이타(P[X+K, Y+L])가 인가되면, 하기 수학식 1에 의해 계산을 수행하고, 수행결과를 제1 계산결과값(RUSULT1)으로 출력하는 제1 계산부(230);(여기서 X, Y, K, L은 임의의 정수이다.) 상기 움직임 벡터 추정을 위해 발생된 이동된 거리정보(K, L)가 인가되면, 하기 수학식 2에 의해 계산을 수행하고, 수행결과를 제2 계산결과값(RESULT2)으로 출력하는 제2 계산부(240);(여기서 K, L은 임의의 정수이고, a는 움직임 벡터 추정시 일관성의 정도를 결정하는 상수로, 양의 정수이다.) 상기 제1 계산부(230)로부터 출력되는 상기 제1 계산결과값과 상기 제2 계산부(240)로부터 출력되는 상기 제2 계산결과값을 합산하여 출력하는 합산부(260); 현재 프레임의 소정 블록에 대한 상기 움직임벡터 추정기간동안, 상기 합산부(260)로부터 전송된 값중 최소값과 상기 최소값에 대응되게 발생된 소정의 이동된 거리정보(K, L)로 이루어진 움직임 벡터(MV)를 저장하고, 상기 소정 블록에 대한 소정 탐색영역내의 모든 영상데이타를 대상으로 상기 움직임벡터 추정처리가 완료될 때, 저정하고 있는 상기 움직임 벡터(MV)를 상기 소정 블록에 대해 추정된 움직임벅터로 출력하는 판단부(260); 소정 주기의 클럭신호에 동기되어, 상기 제1 읽기 어드레스신호(R1), 제2 읽기 어드레스신호(R2), 상기 이동된 거리정보(K, L), 및 상기 움직임벡터 추정처리 완료를 알리는 종료신호(E)를 각각 제공하여 상기 움직임벡터 추정처리를 제어하는 제어부(200)를 포함하는 것을 특징으로 하는 동영상 부호화장치에 있어서 움직임 추정기.
현재 프레임(Frame)의 영상데이타를 저장하고, 인가되는 제1 읽기 어드레스신호(R1)에 따라 저장되어 있는 소정의 영상데이타(C[X, Y])를 출력하는 제1 메모리부(210); 상기 현재 프레임 영상데이타의 움직임 벡터 추정을 위한 과거 프레임의 영상데이타를 저장하고, 인가되는 제2 읽기 어드레스신호(R2)에 따라 저장되어 있는 소정의 영상데이타(P[X+K, Y+L])를 출력하는 제2 메모리부(220); 상기 제1 메모리부(210)로부터 출력되는 상기 소정의 영상데이타(C[X, Y])와 상기 제2 메모리부(220)로부터 출력되는 상기 소정의 영상데이타(P[X+K, Y+L])가 인가되면, 하기 수학식 1에 의해 계산을 수행하고, 수행결과를 제1 계산결과값(RESULT1)으로 출력하는 제1 계산부(230);(여기서 X, Y, K, L은 임의의 정수이다.) 상기 움직임 벡터 추정을 위해 발생된 이동된 거리정보(K, L)가 인가되면, 하기 수학식 2에 의해 계산을 수행하고, 수행결과를 제2 계산결과값(RESULT2)으로 출력하는 제2 계산부(240);(여기서 K, L은 임의의 정수이고, b는 움직임벡터 추정시 일관성의 정도를 결정하는 상수로, 양의 정수이다.) 상기 제1 계산부(230)로부터 출력되는 상기 제1 계산결과값과 상기 제2 계산부(240)로부터 출력되는 상기 제2 계산결과값을 합산하여 출력하는 합산부(260); 현재 프레임의 소정 블록에 대한 상기 움직임벡터 추정기간동안, 상기 합산부(260)로부터 전송된 값중 최소값과 상기 최소값에 대응되게 발생된 소정의 이동된 거리정보(K, L)로 이루어진 움직임 벡터(MV)를 저장하고, 상기 소정 블록에 대한 소정 탐색영역내의 모든 영상데이타를 대상으로 상기 움직임벡터 추정처리가 완료 될 때, 저장하고 있는 상기 움직임 벡터(MV)를 상기 소정 블록에 대해 추정된 움직임벡터로 출력하는 판단부(260); 소정 주기의 클럭신호에 동기되어, 상기 제1 읽기 어드레스신호(R1), 제2 읽기 어드레스신호(R2), 상기 이동된 거리정보(K, L), 및 상기 움직임벡터 추정처리 완료를 알리는 종료신호(E)를 각각 제공하여 상기 움직임벡터 추정처리를 제어하는 제어부(200)를 포함하는 것을 특징으로 하는 동영상 부호화장치에 있어서 움직임 추정기.