KR100238890B1

KR100238890B1 - 개선된 텍스쳐 움직임 벡터 추정 장치 및 그 추정 방법

Info

Publication number: KR100238890B1
Application number: KR1019970049178A
Authority: KR
Inventors: 이상훈
Original assignee: 전주범; 대우전자주식회사
Priority date: 1997-09-26
Filing date: 1997-09-26
Publication date: 2000-01-15
Also published as: KR19990026864A

Abstract

본 발명은 하이브리드 부호화 기법을 이용하여 영상의 택스쳐 정보를 부호화하는 시스템에 있어서, 움직임을 추정하고자 하는 N×N 현재 블록에 인접하는 다수의 N×N 참조 블록의 대응 경계 화소값들과 각 N×N 후보 블록의 경계 화소값들간의 절대차 총합값에 근거하여 NN 현재 블록의 움직임을 고속으로 추정할 수 있도록 한 개선된 텍스쳐 움직임 벡터 추정 기법에 관한 것으로, 이를 위하여 본 발명은, 종래 방법에서와 같이 현재 블록과 후보 블록간의 움직임 추정을 위한 블록 매칭을 모든 대응 화소들에 대한 자승 오차를 구하여 해당 후보 블록에 대응하는 절대차 합을 산출하지 않고, 현재 블록에 인접하는 주변의 참조 블록의 경계 화소값들과 이에 대응하는 후보 블록의 각 변의 경계 화소값들간의 자승 오차값의 총합값만으로 해당 후보 블록에 대응하는 절대차 합을 산출하는 기술적 수단을 채용함으로써, 하이브리드 부호화 기법을 갖는 텍스쳐 정보의 블록 단위 움직임 추정시에 발생하는 계산량을 대폭적으로 절감할 수 있는 것이다.

Description

개선된 텍스쳐 움직임 벡터 추정 장치 및 그 추정 방법

본 발명은 영상신호를 저전송율로 압축 부호화하는 물체 기반 부호화 장치에 관한 것으로, 더욱 상세하게는 프레임을 윤곽 정보와 텍스쳐 정보(밝기 정보)를 분리하여 각각 부호화 할 때 현재 프레임내 텍스쳐 정보와 재구성된 이전 프레임내 텍스쳐 정보간의 블록 단위 움직임 추정을 고속으로 실현하는 데 적합한 움직임 벡터 추정 장치 및 그 추정 방법에 관한 것이다.

이 기술분야에 잘 알려진 바와 같이, 이산화된 영상신호의 전송은 아나로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 "프레임"으로 구성된 영상신호가 디지탈 형태로 표현될 때, 특히 고품질 텔레비젼(HDTV)의 경우 상당한 양의 전송 데이터가 발생하게 된다. 그러나, 종래의 전송 채널의 사용가능한 주파수 영역이 제한되어 있으므로, 많은 양의 디지탈 데이터를 전송하기 위해서는 전송하고자 하는 데이터를 압축하여 그 전송량을 줄일 필요가 있다.

따라서, 송신측의 부호화 시스템에서는 영상신호를 전송할 때 그 전송되는 데이터량을 줄이기 위하여 영상신호가 갖는 공간적, 시간적인 상관성을 이용하여 압축 부호화한 다음 전송채널을 통해 압축 부호화된 영상신호를 수신측의 복호화 시스템에 전송하게 된다.

한편, 영상신호를 부호화하는데 주로 이용되는 다양한 압축 기법으로서는, 확률적 부호화 기법과 시간적, 공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.

상기한 부호화 기법중의 하나인 대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장 부호화)등을 이용한다. 여기에서, 움직임보상 DPCM 은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이러한 방법은, 예를 들어 Staffan Ericsson 의 "Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding", IEEE Transactions on Communication, COM-33, NO.12 (1985년, 12월), 또는 Ninomiy와 Ohtsuka의 "A motion Compensated Interframe Coding Scheme for Television Pictures",IEEE Transactions on Communication, COM-30, NO.1 (1982년, 1월)에 기재되어 있다.

보다 상세하게, 움직임보상 DPCM 에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로 부터 예측하는 것이다. 여기에서, 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다. 여기에서, 물체의 화소 변위는, 잘 알려진 바와같이, 소정크기(예를들면, 8×8 블록, 16×16블록 등)의 블록단위로 현재 프레임의 현재 블록을 재구성된 이전 프레임의 탐색영역내 다수의 후보 블록들과 비교하여 최적 정합 블록을 결정하여 입력되는 현재 프레임에 대해 블록 전체에 대한 프레임간 변위 벡터(프레임간에 블록이 이동한 정도)를 추정하는 블록단위 움직임 추정기법과 각 화소단위로 현재 프레임의 화소값을 이전 프레임의 화소값들로 부터 추정하여 보상하는 화소단위 움직임 추정기법 등을 통해 그 움직임을 추정할 수 있을 것이다.

따라서, 송신측에서는 영상신호를 전송할 때 상술한 바와같은 부호화 기법을 통해 블록단위 또는 화소단위로 영상신호가 갖는 공간적, 시간적인 상관성을 고려해 압축 부호화하여 출력측의 버퍼에 차례로 저장하게 되며, 이와같이 저장된 부호화된 영상데이터는 채널의 요구에 부응하여 소망하는 비트 레이트로 전송채널을 통해 수신측의 복호화 시스템에 전송될 것이다.

보다 상세하게, 송신측의 부호화 시스템에서는 이산 코사인 변환(DCT)등의 변환부호화를 이용하여 영상신호의 공간적인 중복성을 제거하고, 또한 움직임 추정,예측등을 통한 차분부호화를 이용하여 영상신호의 시간적인 중복성을 제거함으로서, 영상신호를 효율적으로 압축하게 된다.

통상적으로, 상술한 바와같은 DPCM/DCT 하이브리드 부호화 기법은 목표 비트레이트가 Mbps 급이고, 그 응용분야로서 CD-ROM, 컴퓨터, 가전제품(디지탈 VCR 등), 방송(HDTV) 등이 될 수 있으며, 세계 표준화기구에 의해 표준안이 이미 완성된, 영상내의 블록단위 움직임의 통계적 특성만을 주로 고려하는, 고전송율의 부호화에 관한 MPEG1,2 및 H.261 부호화 알고리즘 등에 주로 관련된다.

한편, 최근들어 PC 의 급격한 성능 향상과 보급 확산, 디지탈 전송기술의 발전, 고화질 디스플레이 장치의 실현, 메모리 디바이스의 발달 등으로 가전제품을 비롯한 각종 기기들이 방대한 데이터를 가진 영상 정보를 처리하고 제공할 수 있는 기술중심으로 재편되고 있는 실정이며, 이러한 요구를 충족시키기 위하여 비트레이트가 kbps 급인 기존의 저속 전송로(예를들면, PSTN, LAN, 이동 네트워크 등)를 통한 오디오-비디오 데이터의 전송과 한정된 용량의 저장장치로의 저장을 위해 고압축율을 갖는 새로운 부호화 기술을 필요로 하고 있다.

그러나, 상술한 바와같은 기존의 동영상 부호화 기법들은 이동 물체의 모양과 전역 움직임(global motion)등과는 관계없이 전체 영상에서 지역적인 블록 움직임에 근거하고 있다. 따라서, 기존의 동영상 부호화 기법들은 저전송율에서 블록별 이동 보상 부호화를 적용하는 경우 블록화 현상, 모서리 떨림 현상, 반점 현상 등과 같은 화질 저하가 최종 복원되는 재생 영상에 나타나게 된다. 또한, 저전송율의 영상 전송을 위해 해상도를 유지하려면 영상 데이터의 고 압축율이 필요한데, 상기한 기존의 DCT 변환에 기초한 하이브리드 부호화 기법으로는 그 구현이 불가능하다.

따라서, 현재로서는 기존의 DCT 변환에 기초한 부호화 기법에 대해 추가 압축 실현을 위한 부호화 기법의 표준이 필요한 실정이며, 이러한 시대적인 필요 욕구에 따라 최근 인간의 시각 특성에 바탕을 두고 주관적 화질을 중요시하는 MPEG4 의 표준안 제정을 위한 저전송율 동영상 부호화 기법에 대한 연구가 도처에서 활발히 진행되고 있다.

이러한 필요 충족을 위해 현재 연구되고 있는 실현 가능한 유력한 저전송율 동영상 부호화 기법들로서는, 예를들면, 기존의 부호화 기법을 향상시키고자 하는 파형 기반 부호화(Wave-Based Coding), 모델 기반 부호화(Model-Based Coding)의 일종에 속하는 동영상 물체 기반 부호화(Object-Based Coding), 영상을 복수개의 부블록으로 분할하여 부호화하는 분할 기반 부호화 (Segmentation-Based Coding), 영상의 자기유사성을 이용하는 프렉탈 부호화(Fractal Coding) 등이 있다. 여기에서, 본 발명은 동영상 물체 기반 부호화 기법에 관련된다고 볼 수 있다.

본 발명에 관련되는 동영상 물체 기반 부호화 기법으로는 물체 지향 해석 및 합성 부호화 기법(object - oriented analysis - synthesis coding technique)이 있으며, 이러한 기법은 Michael Hotter, "Object - Oriented Analysis - Synthesis Coding Based on Moving Two - Dimentional Objects", Signal Processing : Image Communication 2, pp.409-428(December, 1990)에 개시되어 있다.

상기한 물체 지향 해석 및 합성 부호화 기법에 따르면, 입력 비디오 신호는 임의의 물체들로 나누어지고, 각 물체의 움직임, 윤곽 및 내용정보(즉, 화소 밝기 정보) 데이터는 그들 상호간의 데이터 특성상 성질이 전혀 다른 정보이므로 그 부호화 방법이 서로 독립적, 즉 서로 다른 부호화 채널을 통해 각각 처리된다. 따라서, 각각 별개의 부호화 채널을 통해 부호화된 정보들은, 예를들면 멀티플렉서 등을 통해 다중화되어 전송기로 보내질 것이다. 여기에서, 본 발명은 실질적으로 프레임내 텍스쳐 정보(밝기 정보)의 블록 단위 움직임을 추정하는 기법에 관련된다.

한편, 연속되는 영상의 경우 시간축상으로 많은 상관성(redundancy)을 포함하는 데, 물체 기반 부호화에서 이용되는 텍스쳐 정보(밝기 정보)도 마찬가지로 연속되는 두 영상의 텍스쳐 정보간에 어느 정도의 상관성을 포함한다. 따라서, 동영상의 텍스쳐 정보를 효과적으로 부호화하기 위해서는 시간축상으로 존재하는 텍스쳐간의 상관성을 최대로 이용할 필요가 있다.

따라서, 영상의 텍스쳐 정보들은 프레임내 또는 프레임간 상관성을 고려한 하이브리드 부호화 기법을 통해 부호화, 즉 현재 프레임과 재구성된 이전 프레임간의 N×N 블록(예를들면, 8×8 또는 16×16 등) 단위의 움직임 추정, 보상을 통해 얻어지는 에러신호(또는 오차신호)를 DCT, 양자화 및 가변길이 부호화 등의 기법을 적용하여 부호화된다.

한편, 물체의 움직임을 N×N 블록 단위로 추정하는 데 있어서, 기존에는 현재 프레임의 N×N 현재 블록과 이전 프레임의 P×P 탐색영역내 각 N×N 후보 블록간의 대응하는 모든 화소간의 절대차 총합값을 각각 산출하고, 이 산출된 총합값들중 그 값이 가장 작은 값에 대응하는 N×N 후보 블록을 최적 정합 블록으로 결정하도록 하고 있다.

즉, 16×16 블록 단위로 움직임을 추정하는 경우 매 후보 블록마다 총 256개의 화소에 대하여 그 차이를 구하여 모두 더함으로써, 해당 후보 블록에 대한 절대차 총합값을 구하게 되는 데, 이러한 방식의 경우 그 계산량이 지나치게 과다한 관계로 MPEG 4 알고리즘을 채용하는 부호화 시스템을 양방향 통신에 적용하는 경우 실시간 처리에 가장 큰 장애요인이 되고 있는 실정이다.

여기에서, MPEG 4에서 움직임 추정 및 보상부분이 차지하는 계산량은 실질적으로 전체 부호화 시스템의 대략 30% 정도를 차지하고 있다. 따라서, 부호화 시스템에서의 실시간 처리를 원활하게 하기 위해서는 움직임 추정 및 보상에서의 계산량 절감이 절실하게 요구되고 있는 실정이다.

따라서, 본 발명은 상기한 점에 착안하여 안출한 것으로, 하이브리드 부호화 기법을 이용하여 영상의 택스쳐 정보를 부호화하는 시스템에 있어서, 움직임을 추정하고자 하는 N×N 현재 블록에 인접하는 다수의 N×N 참조 블록의 대응 경계 화소값들과 각 N×N 후보 블록의 경계 화소값들간의 절대차 총합값에 근거하여 NN 현재 블록의 움직임을 고속으로 추정할 수 있는 개선된 텍스쳐 움직임 벡터 추정 장치 및 그 추정 방법을 제공하는 데 그 목적이 있다.

상기 목적을 달성하기 위한 일관점에 따른 본 발명은, 프레임내 텍스쳐 정보에 존재하는 공간축상의 상관도와 프레임간 텍스쳐 정보에 존재하는 시간축상의 상관도를 이용하여 입력 프레임 신호를 압축 부호화하는 부호화 시스템에서 현재 프레임의 텍스쳐 정보와 재구성된 이전 프레임의 텍스쳐 정보간에 N×N 블록 단위로 움직임을 추정하는 장치에 있어서, 상기 현재 프레임을 기설정된 다수의 N×N 블록으로 분할하는 영역 분할 블록; 상기 분할된 다수의 N×N 블록중 움직임을 추정하고자 하는 N×N 현재 블록에 인접하는 기설정된 다수의 N×N 참조 블록을 결정하고, 상기 N×N 현재 블록의 경계 화소들에 대응하는 상기 결정된 각 참조 블록의 경계 화소값들을 추출하는 인접 경계 화소 추출 블록; 상기 N×N 현재 블록에 대응하는 상기 이전 프레임내 P×P 탐색영역을 다수의 N×N 후보 블록으로 분할하는 후보 블록 발생기; 상기 추출된 각 참조 블록의 경계 화소값들에 각각 대응하는 상기 분할된 N×N 후보 블록의 각 경계 화소값들을 추출하는 경계 화소 추출 블록; 상기 추출된 각 참조 블록의 경계 화소값들과 이들에 각각 대응하는 상기 추출된 후보 블록의 각 경계 화소값들간의 자승 오차를 각각 산출하는 자승 오차 산출 블록; 상기 산출된 자승 오차값을 가산하여 상기 각 후보 블록들에 대한 총 자승 오차값을 연속적으로 각각 산출하는 오차값 합산 블록; 및 상기 산출된 각각의 총 자승 오차값을 비교하고, 그 비교결과에 의거하여, 상기 분할된 다수의 후보 블록중 총 자승 오차값이 가장 작은 후보 블록을 최적 정합 블록으로 결정하며, 상기 N×N 현재 블록과 결정된 최적 정합 블록간의 변위값을 움직임 벡터로써 추출하는 비교 및 판단 블록으로 이루어진 개선된 텍스쳐 움직임 벡터 추정 장치를 제공한다.

상기 목적을 달성하기 위한 다른 관점에 따른 본 발명은, 프레임내 텍스쳐 정보에 존재하는 공간축상의 상관도와 프레임간 텍스쳐 정보에 존재하는 시간축상의 상관도를 이용하여 입력 프레임 신호를 압축 부호화하는 부호화 시스템에서 현재 프레임의 텍스쳐 정보와 재구성된 이전 프레임의 텍스쳐 정보간에 N×N 블록 단위로 움직임을 추정하는 방법에 있어서, 상기 현재 프레임을 기설정된 다수의 N×N 블록으로 분할하는 제 1 과정; 상기 분할된 다수의 N×N 블록중 움직임을 추정하고자 하는 N×N 현재 블록에 인접하는 기설정된 다수의 N×N 참조 블록을 결정하고, 상기 N×N 현재 블록의 경계 화소들에 대응하는 상기 결정된 각 참조 블록의 경계 화소값들을 추출하는 제 2 과정; 상기 N×N 현재 블록에 대응하는 상기 이전 프레임내 P×P 탐색영역을 다수의 N×N 후보 블록으로 분할하는 제 3 과정; 상기 추출된 각 참조 블록의 경계 화소값들에 각각 대응하는 상기 분할된 각 N×N 후보 블록의 각 경계 화소값들을 추출하는 제 4 과정; 상기 추출된 각 참조 블록의 경계 화소값들과 이들에 각각 대응하는 상기 추출된 후보 블록의 각 경계 화소값들간의 자승 오차를 각각 산출하는 제 5 과정; 상기 산출된 자승 오차값을 가산하여 상기 후보 블록에 대한 총 자승 오차값을 산출하여 저장하는 제 6 과정; 상기 분할된 다수의 NN 후보 블록들에 각각 대응하는 총 자승 오차값이 모두 산출될 때까지 상기 제 4 과정 내지 제 6 과정을 반복 수행하는 제 7 과정; 상기 총 자승 오차값이 모두 산출될 때 이 산출된 각각의 총 자승 오차값을 비교하고, 그 비교결과에 의거하여, 상기 분할된 다수의 후보 블록중 총 자승 오차값이 가장 작은 후보 블록을 상기 현재 블록에 대한 최적 정합 블록으로 결정하는 제 8 과정; 및 상기 N×N 현재 블록과 결정된 최적 정합 블록간의 변위값을 움직임 벡터로써 추출하는 제 9 과정으로 이루어진 개선된 텍스쳐 움직임 벡터 추정 방법을 제공한다.

도 1은 본 발명에 따른 텍스쳐 움직임 벡터 추정 장치를 적용하는 데 적합한 하이브리드 영상 부호화 시스템의 블록구성도,

도 2는 본 발명의 바람직한 실시예에 따른 개선된 텍스쳐 움직임 벡터 추정 장치의 블록구성도,

도 3은 본 발명에 따라 현재 프레임내의 움직임 벡터를 추정하고자 하는 N×N 현재 블록에 대한 인접하는 주변 N×N 참조 블록의 일예를 도시한 도면,

도 4는 N×N 현재 블록의 4변에 인접하는 4개의 N×N 참조 블록의 각 경계 화소값들과 N×N 후보 블록의 각 경계 화소값들간의 자승 오차 산출을 위한 대응을 도시한 도면.

＜도면의 주요부분에 대한 부호의 설명＞

202 : 영역 분할 블록 204 : 인접 경계 화소 추출 블록

206 : 후보 블록 발생기 208 : 경계 화소 추출 블록

210 : 자승 오차 산출 블록 212 : 오차값 합산 블록

214 : 비교 및 판단 블록 216 : 메모리 블록

본 발명의 상기 및 기타 목적과 여러가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로 부터 더욱 명확하게 될 것이다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

본 발명의 핵심 기술요지는, 블록 단위 움직임 추정에 있어서 현재 움직임을 추정하고자 하는 N×N 현재 블록에 대해 인접하는 상하 및 좌우측 4방향의 N×N 참조 블록의 경계 화소값들과 NN 후보 블록의 4변의 경계 화소값들간의 대응하는 경계 화소간의 절대차 총합값에 의거하여 움직임을 추정한다는 것으로, 이러한 기술수단을 통해 본 발명에서 얻고자 하는 목적을 달성할 수 있다.

도 1은 본 발명에 따른 텍스쳐 움직임 벡터 추정 장치를 적용하는 데 적합한 영상 부호화 시스템의 블록구성도를 나타낸다.

동도면에 도시된 바와같이, 영상 부호화 시스템은, 제 1 프레임 메모리(102), 감산기(104), 텍스쳐 부호화 블록(106), 양자화 블록(108), 가변길이 부호화 블록(VLC)(110), 텍스쳐 복원 블록(112), 가산기(114), 제 2 프레임 메모리(116), 움직임 추정 블록(ME)(118) 및 움직임 보상 블록(MC)(120)을 포함한다.

도 1을 참조하면, 먼저, 제 1 프레임 메모리(102)에는 도시 생략된 텍스쳐 검출수단을 통해 검출된 부호화하고자 하는 현재 프레임에 대한 텍스쳐 정보(즉, 밝기 정보)가 저장되며, 감산기(104)에서는 라인 L11 을 통해 제 1 프레임 메모리(102)로 부터 제공되는 현재 프레임의 텍스쳐 신호와 후에 상세하게 기술되는 움직임 추정 블록(120)으로 부터 라인 L16 을 통해 제공되는 현재 프레임의 현재 텍스쳐와 재구성된 이전 프레임의 이전 텍스쳐간의 움직임 추정, 보상을 통해 얻어진 예측 텍스쳐 신호(즉, 예측 프레임 신호)를 감산하며, 그 결과 데이터, 즉 텍스쳐간의 차분화소값을 나타내는 에러신호(또는 오차신호)는 다음단의 텍스쳐 부호화 블록(106)에 제공된다.

다음에, 텍스쳐 부호화 블록(106)에서는 이산 코사인 변환(DCT)과 이 기술분야에서 잘 알려진 양자화 방법들을 이용함으로서, 감산기(104)로부터 제공되는 텍스쳐 정보 에러신호를 일련의 양자화된 DCT 변환계수들로 부호화한다. 이때, 도 1에서의 도시는 생략되었으나, 텍스쳐 부호화 블럭(106)에서의 에러신호에 대한 양자화는 출력측 전송 버퍼로 부터 제공되는 데이타 충만상태 정보에 따라 결정되는 양자화 파라메터(QP)에 의거하여 그 스텝 사이즈가 조절된다.

다음에, 라인 L12 상의 양자화된 DCT 변환계수들은 가변길이 부호화 블럭(108)과 텍스쳐 복원 블럭(110)으로 각각 보내진다. 여기에서, 가변길이 부호화 블럭(108)에 제공된 양자화된 DCT 변환계수들은 라인 L15를 통해 후술되는 움직임 추정 블록(116)으로부터 제공되는 움직임 벡터 세트들과 함께 가변길이 부호화된 다음 원격지 수신측으로의 전송을 위해 도시 생략된 전송기로 전달된다.

한편, 텍스쳐 부호화 블럭(106)으로 부터 텍스쳐 복원 블럭(110)에 제공되는 라인 L12 상의 양자화된 DCT 변환계수들은 역양자화 및 역이산 코사인 변환을 통해 다시 복원된 프레임 신호(즉, 텍스쳐 에러신호)로 변환된 다음, 다음단의 가산기(112)에 제공되며, 가산기(112)에서는 텍스쳐 복원 블럭(110)으로 부터의 복원된 프레임 신호(즉, 텍스쳐 에러신호)와 라인 L16 을 통해 후술되는 움직임 보상 블럭(118)으로 부터 제공되는 예측 프레임 신호를 가산하여 재구성된 이전 프레임 신호를 생성하며, 이와같이 재구성된 이전 프레임 신호는 제 2 프레임 메모리(114)에 저장된다. 따라서, 이러한 경로를 통해 부호화 처리되는 매 프레임에 대한 바로 이전 프레임 신호가 계속적으로 갱신되며, 이와같이 갱신되는 재구성된 이전 프레임 신호는 움직임 추정, 보상을 위해 라인 L13을 통해 하기에 기술되는 움직임 추정 블록(116) 및 움직임 보상 블록(118)으로 각각 제공된다.

다른한편, 본 발명에 관련되는 움직임 추정 블록(116)에서는 제 1 프레임 메모리(102)로 부터 제공되는 라인 L11 상의 현재 프레임의 텍스쳐 신호와 상기한 제 2 프레임 메모리(114)로 부터 제공되는 라인 L13 상의 재구성된 이전 프레임의 텍스쳐 신호에 의거하여, 라인 L11 상의 현재 프레임에 대한 N×N 현재 블록과 라인 L13 상의 재구성된 이전 프레임내 P×P 탐색영역의 다수의 N×N 후보 블록간의 블록 매칭을 통해 움직임을 추정하며, 이러한 움직임 추정을 통해 얻어지는 움직임 벡터 세트들은 라인 L14 및 라인 L15를 통해 예측 프레임 신호를 생성하는 움직임 보상 블록(118) 및 VLC 블록(108)으로 제공된다.

이때, 움직임 추정 블록(116)에서는, 본 발명에 따라, 현재 프레임의 현재 블록에 인접하는 다수의 참조 블록(즉, 상하 및 좌우측의 인접 블록)의 각 경계 화소값, 즉 상측에 인접하는 참조 블록의 하측 경계 화소값, 좌측에 인접하는 참조 블록의 우측 경계 화소값, 우측에 인접하는 참조 블록의 좌측 경계 화소값 및 하측에 인접하는 참조 블록의 상측 경계 화소값을 추출하고, 또한 후보 블록의 4변(즉, 상하 및 좌우측)의 경계 화소값들을 추출하며, 이 추출된 대응 경계 화소값들간의 절대차 합을 산출한 다음 그 산출결과에 의거하여 현재 블록에 대한 움직임 벡터를 추정하는 데, 이와같이 움직임 벡터를 추정하는 구체적인 과정에 대해서는 그 세부적인 상세 블록을 도시한 도 2를 참조하여 후에 상세하게 기술될 것이다.

다음에, 움직임 보상 블록(118)에서는 라인 L13을 통해 제 2 프레임 메모리(114)에서 제공되는 재구성된 이전 프레임 신호 및 L14를 통해 움직임 추정 블록(116)에서 제공되는 움직임 벡터들에 의거하는 움직임 보상을 수행하여 예측 프레임 신호를 생성하며, 여기에서 생성된 예측 프레임 신호는 라인 L16을 통해 전술한 감산기(104) 및 가산기(112)로 각각 제공된다.

따라서, 상술한 바와같은 과정을 통해 영상의 텍스쳐 정보(즉, 밝기 정보) 및 움직임 벡터 세트들이 소정의 비트 레이트로 압축 부호화되며, 이와같이 부호화된 텍스쳐 정보들은 다른 부호화 경로 등을 통해 부호화된 윤곽 정보, 오디오 정보, 텍스트 정보 등과 함께 다중화 되어 수신측으로 전송될 것이다.

다음에, 상술한 바와같은 구성을 갖는 부호화 시스템에 적용할 수 있는 본 발명에 따른 텍스쳐 움직임 벡터 추정 장치에 대하여 설명한다.

도 2는 상술한 바와같은 구성을 갖는 영상 부호화 시스템에 적용하는 데 적합한 본 발명의 바람직한 실시예에 따른 개선된 텍스쳐 움직임 벡터 추정 장치의 블록구성도를 나타낸다.

동도면에 도시된 바와같이, 본 발명의 움직임 벡터 추정 장치는 영역 분할 블록(202), 인접 경계 화소 추출 블록(204), 후보 블록 발생기(206), 경계 화소 추출 블록(208), 자승 오차 산출 블록(210), 오차값 합산 블록(212), 비교 및 판단 블록(214) 및 메모리 블록(216)을 포함한다.

도 2를 참조하면, 영역 분할 블록(202)에서는 라인 L11을 통해 도 1의 제 1 프레임 메모리(102)로부터 제공되는 현재 프레임의 텍스쳐 신호를, 일예로서 도 3에 도시된 바와같이, 기설정된 다수의 N×N 현재 블록(예를들면, 16×16 블록)으로 분할하며, 여기에서 분할된 N×N 현재 블록들은 라인 L21을 통해 다음단의 인접 경계 화소 추출 블록(204)과 비교 및 판단 블록(214)으로 각각 제공된다.

또한, 인접 경계 화소 추출 블록(204)에서는 움직임을 추정하고자 하는 N×N 현재 블록에 인접하는 다수의 N×N 참조 블록(즉, 현재 블록의 상하 및 좌우측에 각각 인접하는 4개의 참조 블록)을 결정하고, 이 결정된 각 참조 블록들에 대해 현재 블록에 인접하는 각 경계부분의 경계 화소값들을 각각 추출한다. 일예로서 도 3에 도시된 바와같이, 움직임을 추정하고자 하는 현재 블록이 MB33 이라 가정할 때 인접하는 참조 블록들은 MB23, MB32, MB34, MB43 이 될 것이며, MB23의 하측 경계 화소값, MB32의 우측 경계 화소값, MB34의 좌측 경계 화소값 및 MB43의 상측 경계 화소값들이 각각 추출되며, 이와같이 추출되는 각 경계 화소값들은 라인 L23을 통해 순차적으로 자승 오차 산출 블록(210)으로 제공된다.

이때, 움직임을 추정하고자 하는 현재 블록이 현재 프레임의 상하 또는 좌우측 부분에 존재하는 경계 블록일 경우, 일예로서 도 3에 도시된 MB11이 현재 블록인 경우에는 MB11 현재 블록의 상측 및 좌측에 인접하는 참조 블록이 존재하지 않게 되는 데, 이러한 경우에 있어서는 상측 참조 블록의 하측 경계 화소값을 MB11 현재 블록의 상측 경계 화소값으로 대체할 수 있고, 또한 좌측 참조 블록의 우측 경계 화소값을 MB11 현재 블록의 좌측 경계 화소값으로 대체할 수 있다. 이것은 화소간의 공간적 상관성을 최대한 고려하여 존재하지 않는 참조 블록의 경계 화소값을 생성하도록 함으로써, 움직임 추정을 정밀도가 손상되는 것을 억제하기 위해서이다.

한편, 후보 블록 발생기(206)에서는 라인 L13을 통해 도 1의 제 2 프레임 메모리(114)에서 제공되는 재구성된 이전 프레임의 P×P 탐색영역(예를들면, 32×32 영역 등)에서 기설정된 다수의 N×N 후보 블록(예를들면, 16×16 후보 블록)을 발생, 즉 움직임을 추정하고자 하는 N×N 현재 블록에 대응하는 다수의 N×N 후보 블록을 발생하며, 여기에서 발생되는 각 후보 블록들은 라인 L22를 통해 순차적으로 다음단의 경계 화소 추출 블록(208)과 비교 및 판단 블록(214)으로 각각 제공된다.

다음에, 경계 화소 추출 블록(208)에서는 각 후보 블록에 대해 4변의 경계 화소값을 추출, 일예로서 도 3에 도시된 바와같이, 현재 블록에 대응하는 인접 참조 블록이 MB23, MB32, MB34, MB43 이라고 가정할 때, MB23의 하측 경계 화소값들에 대응하는 후보 블록의 상측 경계 화소값, MB32의 우측 경계 화소값들에 대응하는 후보 블록의 좌측 경계 화소값, MB34의 좌측 경계 화소값들에 대응하는 후보 블록의 우측 경계 화소값, MB43의 상측 경계 화소값들에 대응하는 후보 블록의 하측 경계 화소값들을 각각 추출하며, 이와같이 추출되는 후보 블록의 경계 화소값들은 라인 L24를 통해 순차적으로 자승 오차 산출 블록(210)으로 제공된다.

다른한편, 자승 오차 산출 블록(210)에서는 라인 L23 상의 각 참조 블록의 각 경계 화소값들(즉, 도 4에 도시된 MB23, MB32, MB34, MB43에서 각각 사선으로 채워진 경계 화소값)과 라인 L24를 통해 제공되는 후보 블록의 대응하는 각 경계 화소값들(즉, 도 4에 도시된 후보 블록(PBn)의 4변의 경계 화소값)간의 대응 화소간(즉, 도 4에서 화살표로 표시된 화소간)의 자승 오차를 각각 산출하며, 여기에서 산출된 각 자승 오차값들은 다음단의 오차값 합산 블록(212)으로 제공된다.

다음에, 오차값 합산 블록(212)에서는 현재 블록의 인접하는 각 참조 블록의 경계 화소들과 이에 대응하는 후보 블록의 4변의 경계 화소값들간의 자승 오차값을 가산하여 각 후보 블록에 대응하는 총 자승 오차값을 각각 연산하며, 이와같이 순차 연산되는 각 후보 블록에 대응하는 총 자승 오차값들은 다음단의 비교 및 판단 블록(214)으로 제공된다.

한편, 비교 및 판단 블록(214)에서는 움직임을 추정하고자 하는 현재 블록에 대응하는 다수의 각 후보 블록들간의 총 자승 오차값이 입력될 때마다 메모리 블록(216)에 순차 저장하고, 현재 블록에 대응하는 각 후보 블록들에 대한 총 자승 오차값의 산출이 완료되면 산출된 다수의 총 자승 오차값들을 비교한 다음 그 값이 가장 작은 총 자승 오차값에 대응하는 후보 블록을 최적 정합 블록으로 결정하며, 라인 L21을 통해 전술한 영역 분할 블록(202)으로부터 제공되는 움직임을 추정하고자 하는 현재 블록과 라인 L22를 통해 전술한 후보 블록 발생기(206)로부터 제공되는 결정된 후보 블록간의 변위값을 움직임 벡터로서 추출하여 도 1의 움직임 보상 블록(118) 및 VLC 블록(108)으로 각각 제공한다.

따라서, 도 1의 가변길이 부호화 블록(108)에서는 라인 L12를 통해 제공되는 양자화된 DCT 계수들의 세트들과 함께 라인 L15를 통해 제공되는 영상의 텍스쳐 정보들에 대한 N×N 블록 단위의 움직임 벡터를 가변길이 부호화하며, 이와같이 양자화된 텍스쳐에 대한 데이터값과 움직임 벡터를 포함하는 가변길이 부호화된 디지탈 영상신호는 도시 생략된 전송기로 송신될 것이다.

이상 설명한 바와같이 본 발명에 따르면, 종래 방법에서와 같이 현재 블록과 후보 블록간의 움직임 추정을 위한 블록 매칭을 모든 대응 화소들에 대한 자승 오차를 구하여 해당 후보 블록에 대응하는 절대차 합을 산출하지 않고, 현재 블록에 인접하는 주변의 참조 블록의 경계 화소값들과 이에 대응하는 후보 블록의 각 변의 경계 화소값들간의 자승 오차값의 총합값만으로 해당 후보 블록에 대응하는 절대차 합을 산출하도록 함으로써, 하이브리드 부호화 기법을 갖는 텍스쳐 정보의 블록 단위 움직임 추정시에 발생하는 계산량을 대폭적으로 절감할 수 있어 실시간 처리 개념의 움직임 추정을 실현할 수 있다.

Claims

프레임내 텍스쳐 정보에 존재하는 공간축상의 상관도와 프레임간 텍스쳐 정보에 존재하는 시간축상의 상관도를 이용하여 입력 프레임 신호를 압축 부호화하는 부호화 시스템에서 현재 프레임의 텍스쳐 정보와 재구성된 이전 프레임의 텍스쳐 정보간에 N×N 블록 단위로 움직임을 추정하는 장치에 있어서,

상기 현재 프레임을 기설정된 다수의 N×N 블록으로 분할하는 영역 분할 블록;

상기 분할된 다수의 N×N 블록중 움직임을 추정하고자 하는 N×N 현재 블록에 인접하는 기설정된 다수의 N×N 참조 블록을 결정하고, 상기 N×N 현재 블록의 경계 화소들에 대응하는 상기 결정된 각 참조 블록의 경계 화소값들을 추출하는 인접 경계 화소 추출 블록;

상기 N×N 현재 블록에 대응하는 상기 이전 프레임내 P×P 탐색영역을 다수의 N×N 후보 블록으로 분할하는 후보 블록 발생기;

상기 추출된 각 참조 블록의 경계 화소값들에 각각 대응하는 상기 분할된 N×N 후보 블록의 각 경계 화소값들을 추출하는 경계 화소 추출 블록;

상기 추출된 각 참조 블록의 경계 화소값들과 이들에 각각 대응하는 상기 추출된 후보 블록의 각 경계 화소값들간의 자승 오차를 각각 산출하는 자승 오차 산출 블록;

상기 산출된 자승 오차값을 가산하여 상기 각 후보 블록들에 대한 총 자승 오차값을 연속적으로 각각 산출하는 오차값 합산 블록; 및

상기 산출된 각각의 총 자승 오차값을 비교하고, 그 비교결과에 의거하여, 상기 분할된 다수의 후보 블록중 총 자승 오차값이 가장 작은 후보 블록을 최적 정합 블록으로 결정하며, 상기 N×N 현재 블록과 결정된 최적 정합 블록간의 변위값을 움직임 벡터로써 추출하는 비교 및 판단 블록으로 이루어진 개선된 텍스쳐 움직임 벡터 추정 장치.
제 1 항에 있어서, 상기 다수의 참조 블록은, 상기 현재 블록의 상측, 하측, 좌측 및 우측에 인접하는 4개의 참조 블록인 것을 특징으로 하는 개선된 텍스쳐 움직임 벡터 추정 장치.
제 2 항에 있어서, 상기 추출된 각 참조 블록의 경계 화소값들은, 상기 현재 블록의 상측 경계 화소값들에 대응하는 상기 상측 참조 블록의 하측 경계 화소값, 상기 현재 블록의 좌측 경계 화소값들에 대응하는 상기 좌측 참조 블록의 우측 경계 화소값, 상기 현재 블록의 우측 경계 화소값들에 대응하는 상기 우측 참조 블록의 좌측 경계 화소값 및 상기 현재 블록의 하측 경계 화소값들에 대응하는 상기 하측 참조 블록의 상측 경계 화소값인 것을 특징으로 하는 개선된 텍스쳐 움직임 벡터 추정 장치.
제 2 항에 있어서, 상기 현재 블록의 상측, 하측, 좌측 또는 우측에 인접하는 대응 참조 블록이 존재하지 않을 때, 상기 대응 참조 블록의 경계 화소값들은 상기 현재 블록의 대응하는 경계 화소값들로 대체되는 것을 특징으로 하는 개선된 텍스쳐 움직임 벡터 추정 장치.
프레임내 텍스쳐 정보에 존재하는 공간축상의 상관도와 프레임간 텍스쳐 정보에 존재하는 시간축상의 상관도를 이용하여 입력 프레임 신호를 압축 부호화하는 부호화 시스템에서 현재 프레임의 텍스쳐 정보와 재구성된 이전 프레임의 텍스쳐 정보간에 N×N 블록 단위로 움직임을 추정하는 방법에 있어서,

상기 현재 프레임을 기설정된 다수의 N×N 블록으로 분할하는 제 1 과정;

상기 분할된 다수의 N×N 블록중 움직임을 추정하고자 하는 N×N 현재 블록에 인접하는 기설정된 다수의 N×N 참조 블록을 결정하고, 상기 N×N 현재 블록의 경계 화소들에 대응하는 상기 결정된 각 참조 블록의 경계 화소값들을 추출하는 제 2 과정;

상기 N×N 현재 블록에 대응하는 상기 이전 프레임내 P×P 탐색영역을 다수의 N×N 후보 블록으로 분할하는 제 3 과정;

상기 추출된 각 참조 블록의 경계 화소값들에 각각 대응하는 상기 분할된 각 N×N 후보 블록의 각 경계 화소값들을 추출하는 제 4 과정;

상기 추출된 각 참조 블록의 경계 화소값들과 이들에 각각 대응하는 상기 추출된 후보 블록의 각 경계 화소값들간의 자승 오차를 각각 산출하는 제 5 과정;

상기 산출된 자승 오차값을 가산하여 상기 후보 블록에 대한 총 자승 오차값을 산출하여 저장하는 제 6 과정;

상기 분할된 다수의 NN 후보 블록들에 각각 대응하는 총 자승 오차값이 모두 산출될 때까지 상기 제 4 과정 내지 제 6 과정을 반복 수행하는 제 7 과정;

상기 총 자승 오차값이 모두 산출될 때 이 산출된 각각의 총 자승 오차값을 비교하고, 그 비교결과에 의거하여, 상기 분할된 다수의 후보 블록중 총 자승 오차값이 가장 작은 후보 블록을 상기 현재 블록에 대한 최적 정합 블록으로 결정하는 제 8 과정; 및

상기 N×N 현재 블록과 결정된 최적 정합 블록간의 변위값을 움직임 벡터로써 추출하는 제 9 과정으로 이루어진 개선된 텍스쳐 움직임 벡터 추정 방법.
제 5 항에 있어서, 상기 다수의 참조 블록은, 상기 현재 블록의 상측, 하측, 좌측 및 우측에 인접하는 4개의 참조 블록인 것을 특징으로 하는 개선된 텍스쳐 움직임 벡터 추정 방법.
제 6 항에 있어서, 상기 추출된 각 참조 블록의 경계 화소값들은, 상기 현재 블록의 상측 경계 화소값들에 대응하는 상기 상측 참조 블록의 하측 경계 화소값, 상기 현재 블록의 좌측 경계 화소값들에 대응하는 상기 좌측 참조 블록의 우측 경계 화소값, 상기 현재 블록의 우측 경계 화소값들에 대응하는 상기 우측 참조 블록의 좌측 경계 화소값 및 상기 현재 블록의 하측 경계 화소값들에 대응하는 상기 하측 참조 블록의 상측 경계 화소값인 것을 특징으로 하는 개선된 텍스쳐 움직임 벡터 추정 방법.
제 6 항에 있어서, 상기 현재 블록의 상측, 하측, 좌측 또는 우측에 인접하는 대응 참조 블록이 존재하지 않을 때, 상기 대응 참조 블록의 경계 화소값들은 상기 현재 블록의 대응하는 경계 화소값들로 대체되는 것을 특징으로 하는 개선된 텍스쳐 움직임 벡터 추정 방법.