KR100468384B1

KR100468384B1 - 운동객체기반에서의 움직임 예측 웨이브렛 동영상 압축 및복원장치

Info

Publication number: KR100468384B1
Application number: KR10-2001-0045705A
Authority: KR
Inventors: 김영민; 이명옥
Original assignee: (주)하이칩스
Priority date: 2001-07-28
Filing date: 2001-07-28
Publication date: 2005-01-27
Also published as: KR20030010983A; WO2003013144A1

Abstract

본 발명은 운동객체기반에서의 움직임 예측 웨이브렛 동영상 압축 및 복원장치에 관한 것이다.

이와 같은 본 발명은 움직이는 물체만을 분리하여 웨이브렛 변환을 사용함으로써 이미지크기를 유연하게 변경할 수 있도록 함과 동시에, 각 웨이브렛 밴드별로 이전영상 내의 동일 물체에 대한 움직임 추정이 이루어지게 함으로써 움직임 벡터수 및 그 크기를 현저하게 감소시키도록 하며, 배경정보만을 별도로 추출하여 이전에 전송된 배경정보와 비교하여 그 차이만을 전송함으로써 영상압축률을 크게 증가시키도록 하는데 그 목적이 있다.

Description

운동객체기반에서의 움직임 예측 웨이브렛 동영상 압축 및 복원장치 {Moving object based Motion estimation Wavelet picture Compression and Decompression system}

본 발명은 영상압축 및 복원시스템에 관한 것으로서, 보다 상세하게는 동영상 압축/복원시에 영상의 시간에 따른 중첩성을 이용하여 원 영상과 다음 영상간의 차를 연산하여 저장하고, 다음 영상과 그 다음 영상간의 차를 연산하여 그 결과에 따른 차영상들의 논리곱을 통하여 얻어진 에러영상을 가지고 웨이브렛 변환 및 압축하므로 압축률과 처리속도를 높이고 메모리 사용양을 최소화하기 위한 운동객체기반에서의 움직임 예측 웨이브렛 동영상 압축 및 복원장치에 관한 것이다.

일반적으로 영화나 텔레비전에서처럼 실제와 같이 움직이는 영상을 보기 위해서는 초당 30∼50프레임의 정보가 필요하다. 그러므로 영화 필름이나 비디오테이프를 보면 연속된 프레임들 사이에 나타나는 시간적 변화는 거의 차이를 느낄 수 없을 만큼 미미하다. 이러한 인접 프레임 사이의 용장성(redundancy)을 줄이는 방법으로 영상데이터를 디지털화하여 압축한다.

영상데이터를 압축하는 가장 보편적인 방법은 한 프레임을 8×8 화소의 블록으로 나누고 이산여현변환(Discrete Fourier Transform : 이하 "DCT"라 약칭함)하는 공간적 정보압축하는 블록-DCT처리방법을 주로 사용한다. 이때, DCT의 대상은휘도신호와 색차신호이다.

이와 같은 DCT-블록변환방법은 국부적인 동화상 추정/보상에 관해서는 성능이 좋은편이나, 글로벌 추정/보상 및 처리시간을 줄일 수 없는 문제점이 있었다.

이러한 문제점을 개선하고자, 종래에는 블록-DCT 변환방법 대신에 웨이브렛 전송방법을 사용하였다. 웨이브렛 전송방법은 웨이브렛 계수들의 성질을 이용하여 블록 크기의 결정을 유연성 있게 결정함과 동시에 제일 낮은 4개의 주파수밴드만을 이용하여 계산시간을 줄일 수 있을 뿐만 아니라, 글로벌 동영상의 추정/보상효과를 증가시키도록 하였다.

이와 같은 기술은 기출원 등록된 대한민국 특허등록 "제 0223647 호"(동영상 압축/복원시스템에서의 효과적인 움직임추정/보상방법 및 시스템)에 개시되어 있다.

도 1은 종래 기술에 의한 동영상 압축/복원장치의 블록 구성도로서 이를 참조하여 설명하면 다음과 같다.

영상입력단(IV)으로 영상이 입력되면 제 1 합성기(111)와 동영상 추정/보상부(125)로 입력된다. 상기 제 1 합성기(101)는 입력영상과 동영상 추정/보상부(125)에서 추정된 보상값과 합성한 후 웨이브렛변환기(201)에 입력된다. 웨이브렛변환기(201)에서는 제 1 합성기(101)의 출력을 서브밴드 코딩을 위해 웨이브렛변환을 수행하여 양자화기(103)에 입력시킨다.

양자화기(103)에서는 웨이브렛변환기(201)에서 출력된 신호를 레이트율에 따라 양자화한 후 엔트로피코더(Entropy Coder)(107)에 입력시켜 불확정된 정보량을코딩한다. 상기 양자화기(105)의 출력을 역양자화기(115)에서 역양자화한 후, 역웨이브렛 변환기(203)로 입력시켜 역웨이브렛으로 변환시킨다.

제 2 내지 제 4 합성기(205, 207, 209)는 역웨이브렛변환기(203)에서 출력값과 동영상 추정/보상부(125)로부터의 동영상 추정값을 합성한다.

상기 제 2 합성기(205)의 출력은 제 1 필터(211)에서 수직, 수평의 각각 고, 저역에서 필터링하고, 제 3 합성기(207)의 출력은 제 2 필터(213)에서 수직, 수평의 각각 저,고역에서 필터링하고, 제 4 합성기(209)의 출력은 제 3 필터(215)에서 수직, 수평 각각 고,저역에서 필터링하게 된다.

동영상 추정/보상부(125)에서는 각 영역별로 제 1 내지 제 3 필터(211, 213, 215)에서 필터링된 신호에 의하여 입력된 동영상신호를 추정 및 보상하게 된다.

상기 엔트로피 코더(107)의 출력신호와 동영상 추정/보상부(125)에서의 출력신호는 멀티플렉서(MUX)(109)에서 다중화 출력하게 된다.

멀티플렉서(109)에서 출력된 신호는 출력버퍼(111)를 통해 완충 출력한다. 한편, 레이트 제어부(113)에서는 출력버퍼(111)에서 출력된 신호에 의하여 양자화기(105)의 양자화에 따른 레이트 제어신호를 발생한다.

이와 같이 종래기술은 웨이브렛변환을 이용하며 웨이브렛 계수들의 성질을 이용하여 블록 크기의 결정을 유연성있게 결정함과 동시에 제일 낮은 4개의 주파수 대역만을 이용하여 동작추정 보상을 하여 계산시간을 단축시킴과 동시에 범용동작 추정/보상효과를 증가시킬 수 있는 이점이 있었다.

그러나, 종래기술에 따른 동영상 압축/복원시스템은 다중 해상도 부호화와복호화는 가능하지만, 한 계층이 비트열을 대부분 갖게 되는 문제점이 있었으며, 복호시 시간의 이득이 없었기 때문에 효율성이 떨어지는 문제점 있었다.

본 발명은 상기한 종래기술의 제반 문제점을 해결하기 위한 것으로, 그 목적은 움직이는 물체만을 분리하여 웨이브렛 변환을 사용함으로써 이미지크기를 유연하게 변경할 수 있도록 함과 동시에, 각 웨이브렛 밴드별로 이전영상 내의 동일 물체에 대한 움직임 추정이 이루어지게 함으로써 움직임 벡터 수 및 그 크기를 현저하게 감소시키도록 하며, 배경정보만을 별도로 추출하여 이전에 전송된 배경정보와 비교하여 그 차이만을 전송함으로써 영상압축률을 크게 증가시키도록 하는 운동객체기반에서의 움직임 예측 웨이브렛 동영상 압축 및 복원장치를 제공함에 있다.

도 1은 종래 기술에 따른 동영상 압축/복원장치의 블록 구성도이고,

도 2는 본 발명의 실시예에 따른 운동객체기반에서의 움직임 예측 웨이브렛 동영상 압축장치의 블록구성도이고,

도 3은 도 2에서 바운딩박스 추출부의 설명을 위한 예시도이고,

도 4는 도 2에서 움직임객체 마스크생성부의 동작을 설명하기 위한 각 밴드별 움직임 객체분리 마스크의 추출과정도이고,

도 5a, 5b는 도 2에서 움직임 추정부의 동작설명을 위한 움직임 추정과정 설명도이고,

도 6은 제로추적 알고리즘을 위한 스캔 방향에 따른 우선순위 설명도이고,

도 7은 도 2에서 제 2 다중화부에서 출력되는 비트 스트림의 데이터 형태도이고,

도 8은 본 발명의 실시예에 따른 운동객체기반에서의 움직임 예측 웨이브렛 동영상 복원장치의 블록 구성도이다.

< 도면의 주요부분에 대한 부호의 설명 >

301 : 프레임메모리 302 : 프레임차 연산부

303 : 이진수화부 304 : 바운딩박스 추출부

310, 320 : 제 1, 제 2 웨이브렛 처리부

311, 321 : 제 1, 제 2 공통부분 산출부

312, 322 : 제 1 ,제 2 웨이브렛 변환부

313, 323 : 제 1 ,제 2 웨이브렛 양자화부

314, 324 : 제 1, 제 2 웨이브렛 메모리

330 : 합성부 340 : 움직임객체 마스크생성부

341 : 이진수화부 342 : 마스크메모리

343, 352, 353 : 제 1내지 제 3 앤드연산부

350 : 배경영상 추출부 351 : 반전부

361 : 움직임객체 분리부 362 : 움직임 추정부

370, 390 : 제 1, 제 2 DCT/양자화부

381 : 배경메모리 382 : 비교부

371, 391 : 제 1, 제 2 DCT 372, 392 : 제 1, 제 2 양자화부

410 : 웨이블렛변환/양자화부

421∼425 : 제 1 내지 제 5 엔트로피코딩부

430 : 제 1 다중화부 502 : 역다중화부

510, 530 : 제 1, 제 2 프레임처리부

521, 541 : 제 2, 제 3 다중화부

522, 542 : 제 1, 제 2 프레임메모리

550 : 영상복원부 560 : 에러정보 복원부

570 : 배경화면 복원부 580 : 웨이브렛 처리부

본 발명의 목적을 달성하기 위한 본 발명에 따른 운동객체 기반에서의 움직임 예측웨이브렛 동영상 압축장치는 입력된 영상의 프레임 중 연속된 2개의 영상프레임을 검출하고 검출된 영상 프레임 차를 산출하는 프레임차 연산수단과, 상기 프레임차 연산수단으로부터 출력된 프레임 차를 이진수화하는 이진수화수단과, 상기 이진수화수단을 통해 출력된 프레임차에 의하여 객체에 인접한 블록을 추적하여 직사각형의 바운딩박스를 추출하는 바운딩박스 추출수단과, 상기 바운딩박스 추출수단에서 추출된 바운딩 박스 내에 존재하는 각 프레임영상에 대하여 웨이브렛 변환 및 양자화하는 제 1, 제 2 웨이브렛 처리수단과, 상기 제 1, 제 2 웨이브렛 처리수단으로부터 각각 출력된 웨이브렛 양자화 데이터를 합성하는 합성수단과, 상기 합성수단으로부터 출력된 합성 결과에 따라 프레임의 움직임 객체의 겹침 부분을 산출하여 움직임 객체의 마스크를 생성하는 움직임객체 마스크생성수단과, 상기 움직임객체 마스크생성수단으로부터 출력된 움직임객체 마스크에 의하여 제 2 웨이브렛 처리수단으로부터 출력된 프레임 중 움직임 객체를 분리하는 움직임 객체분리수단과, 상기 제 1 웨이브렛 처리수단으로부터 출력된 프레임 데이터와 움직임객체 분리수단으로부터 출력된 움직임객체 프레임을 참조하여 움직임오류 및 움직임 벡터를 산출하는 움직임 추정수단과, 상기 움직임 추정수단으로부터 출력된 움직임 추정결과인 움직임 오류를 이산여현변환 및 양자화하는 제 1 DCT/양자화수단과, 상기 움직임객체 마스크생성수단에서 출력된 움직임 객체에 의해 가려졌던 배경부분의 영상을 분리 검출하는 배경영상 추출수단과, 상기 배경영상 산출수단으로부터 출력된 영상과 기저장된 배경영상을 비교하여 그 차를 연산하는 비교수단과, 상기 비교수단을 통해 출력된 움직임 오류를 이산여현변환 및 양자화하는 제 2 DCT/양자화수단과, 상기 입력영상의 두 번째 프레임을 웨이브렛 변환 및 양자화하는 웨이브렛변환/양자화수단과, 상기 움직임추정수단, 상기 제 1, 제 2 이산여현변환수단, 상기 바운딩박스 추출수단 및 상기 웨이브렛변환/양자화수단으로 출력된 각 데이터를 엔트로피 디코딩 하는 제 1 내지 제 5 엔트로피코딩수단과, 상기 제 1 내지 제 5 엔트로피코딩수단으로 출력된 신호들을 다중화 하여 엔코딩된 비트스트림을 출력하는 제 2 다중화수단으로 이루어짐을 특징으로 한다.

본 발명의 다른 목적을 달성하기 위한 운동객체기반에서의 움직임 예측 웨이브렛 동영상 복원장치는 입력된 비트스트림을 종류별로 역다중화하는 역다중화수단과, 상기 역다중화수단을 통해 출력된 바운딩 박스정보를 저장 출력하는 제1프레임메모리와, 상기 역다중화수단으로부터 출력된 초기 2 프레임의 내부영상을 VLD(Variable Length Decoding), IWQ(Inverse Wavelet Quantization), IDWT(Inverse Discrete Wavelet Transform)하는 제 1 프레임처리수단과, 상기 역다중화수단으로부터 출력된 3번째 프레임부터 입력된 영상의 모션백터 성분을 VLD 및 움직임 보상을 수행하는 제 2 프레임처리수단과, 상기 역다중화수단으로부터 출력된 부호화된 에러성분을 VLD, RLD(Run Length Decoding), IQ(Inverse Quantization) 및 IDCT(Inverse Discrete Cosine Transform)를 통해 복원하여 상기 모션 벡터와 함께 상기 제 2 프레임처리부로 전송하는 에러정보 복원수단과, 상기 역다중화수단으로부터 출력된 움직임객체에 가려진 배경화면 정보를 VLD, RLD, IP, IDCT를 통해 복원시키는 배경화면복원수단과, 상기 제 2 프레임처리수단 및 상기 배경화면 복원수단으로부터 출력된 영상을 다중화출력하는 제 2 다중화수단과, 상기 제 2 다중화수단으로부터 출력된 영상프레임을 저장하는 제 2 프레임메모리와, 상기 제 2 프레임메모리에 저장된 영상을 IWQ, IDWT를 수행하여 실제영상으로 복원하는 영상복원수단과, 상기 영상복원수단의 출력과 제 1 프레임처리수단의 출력을 다중화하여 상기 제 1 프레임메모리에 저장하는 제 1 다중화수단과, 상기 제 1 프레임메모리에 저장된 그 이전의 프레임을 DWT 및 WQ를 수행하여 상기 제 2 다중화수단으로 출력하는 웨이브렛 처리수단으로 이루어짐을 특징으로 한다.

이와 같이 이루어진 본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.

도 2는 본 발명의 일 실시 예에 따른 운동객체 기반에서의 움직임 예측 웨이브렛 동영상 압축/복원장치의 블록 구성도로서, 입력된 영상(Input Picture F2)의 연속 프레임을 프레임 메모리(301)에 의해 각각의 영상프레임(F1, F2)으로 분리검출하고, 검출된 영상프레임의 영상 프레임차를 산출하는 프레임차 연산부(302)와, 상기 프레임차 연산부(302)로부터 출력된 프레임차를 이진수화하는 이진수화부(303)와, 상기 이진수화부(303)를 통해 출력된 프레임차에 의하여 객체에 인접한 블록을 추적하여 직사각형의 바운딩박스를 추출하는 바운딩박스 추출부(304)와, 상기 바운딩박스 추출부(304)에서 추출된 바운딩 박스 내에 존재하는 각 프레임영상에 대하여 웨이브렛 변환 및 양자화하는 제 1, 제 2 웨이브렛 처리부(310)(320)와, 상기 제 1, 제 2 웨이브렛 처리부(310)(320)로부터 각각 출력된 웨이브렛 양자화 데이터(F^w _1box)(F^w _2box)를 합성하는 합성부(330)와, 상기 합성부(330)로부터 출력된 합성 결과에 따라 프레임의 움직임 객체의 겹침 부분을 산출하여 움직임 객체의 마스크를 생성하는 움직임객체 마스크생성부(340)와, 상기 움직임객체 마스크생성부(340)로부터 출력된 움직임객체 마스크에 의하여 제 2 웨이브렛 처리부(320)로부터 출력된 프레임 중 움직임 객체를 분리하는 움직임 객체분리부(361)와, 상기 제 1 웨이브렛 처리부(310)로부터 출력된 프레임 데이터와 움직임객체 분리부(361)로부터 출력된 움직임객체 프레임을 참조하여 움직임오류 및 움직임 벡터를 산출하는 움직임 추정부(362)와, 상기 움직임 추정부(362)로부터 출력된 움직임 추정결과인 움직임 오류를 DCT 및 양자화하는 제 1 DCT/양자화부(370)와, 상기 움직임객체 마스크생성부(340)에서 출력된 움직임 객체에 의해 가려졌던 배경부분의 영상을 분리 검출하는 배경영상 추출부(350)와, 상기 배경영상 추출부(350)로부터 출력된 영상과 배경메모리(381)에 기저장된 배경영상을 비교하여 그 차를 연산하는 비교부(382)와, 상기 비교부(382)를 통해 출력된 움직임 오류(Error)를 DCT 및 양자화하는 제 2 DCT/양자화부(390)와, 상기 입력영상(Input Picture)의 두 번째 프레임(F2)을 웨이브렛 변환 및 양자화하는 웨이브렛변환/양자화부(410)와, 상기 움직임추정부(362), 상기 제 1, 제 2 DCT/양자화부(370)(390), 상기 바운딩박스 추출부(304) 및 상기 웨이브렛변환/양자화부(410)로 출력된 각 데이터를 엔트로피 디코딩하는 제 1 내지 제 5 엔트로피코딩부(421∼425)와, 상기 제 1 내지 제 5 엔트로피코딩부(421∼425)로 출력된 신호들을 다중화하여 엔코딩된 비트스트림을 출력하는 제 2 다중화부(430)로 구성된다.

이와 같이 구성된 본 발명 실시예에 따른 작용을 첨부된 도 2 내지 도 7을 참조하여 보다 상세히 설명하면 다음과 같다.

먼저, 본 발명은 입력된 영상의 움직임 객체의 바운딩 박스를 추출한 후 웨이브렛변환 및 웨이브렛 양자화한다. 웨이브렛 양자화된 움직임 객체를 분리하여 그 움직임의 방향을 추적 및 추정하게 된다.

도 2는 본 발명의 실시예에 따른 운동객체기반에서의 움직임 예측 웨이브렛 동영상 압축/복원 장치의 블록 구성도를 참조하여 설명하면 다음과 같다.

입력영상(Input Picture) 프레임 중 제일 먼저 입력되는 2개의 연속된 영상 프레임 'F1,F2'는 내부코드영상(Intra coded picture)으로 웨이브렛 변환 및 웨이브렛 양자화과정을 거쳐 엔트로피코딩(VLC)을 수행하므로 부호화된다.

프레임메모리(301)는 입력된 영상은 상기 제 1, 제 2 프레임 'F1, F2'로 분리하고, 프레임차 연산부(301)에서는 그 차이를 산출한 후 이진수화부(303)에서 이진수(BIN)로 변환한다.

이진수화된 프레임(DIF₂₁)은 바운딩박스(bounding box) 추출부(304)에 입력되어 움직임 객체 분리 알고리즘에 의해 인접블록(periphery)이 추적되고, 해당 인접블록을 바운드(bound)하는 직사각형 바운딩박스를 추출하게 된다.

즉, 도 3을 참조하여 바운딩박스를 형성하는 과정을 보다 상세히 설명하면 다음과 같다.

먼저 좌측에서 우측으로 열(row)을 따라 스캐닝(scanning)하면서, 객체가 발견되지 않은 넌제로블록(Non zero block)을 탐색한다. 탐색 중 첫 번째 넌제로블록부터 시작하여 우측으로 진행하면서 현재 인접블록(current periphery)을 둘러싼 4개의 넌제로블록 중 적어도 1면에서 제로블록과 인접하는 블록을 다음 인접블록으로 선정한다.

면으로 인접하는 블록이 2개 이상일 경우 바로 이전(past) 통과블록에 따라 도 6과 같은 우선순위를 두어 다음 인접블록(next periphery)을 선정한다. 또한, 현재 인접블록은 다음 인접블록이 될 수 없으나 그 이전(past) 인접블록은 다음(next) 인접블록이 될 수 있다.

이와 같이 인접블록을 추적하면서 블록 넘버를 기록하다가 시작블록을 다시귀환하거나 프레임 바운더리에 인접한 블록에 도달했을 때 인접블록 추적을 종료한다.

인접블록 중 최소 X좌표, 최소 Y좌표를 선택하여 바운딩박스의 상부좌측코너(top left corner)좌표로 하고, 최대 X좌표, 최대 Y좌표를 선택하면 바운딩박스의 하부우측코너(Bottom right corner)의 좌표로 하여 바운딩 박스를 형성한다.

제 1, 제 2 공통부분산출부(311)(321)에서는 바운딩박스 추출부(304)에서 추출된 바운딩박스는 각 검출된 제 1, 제 2 프레임(F1, F2)과 각각 연산하여 공통된 부분을 산출하게 된다.

즉, 이진수화된 프레임(DIF₂₁)으로부터 존재하는 모든 움직임 객체로부터 각각 바운딩박스를 산출한 후 각 바운딩박스 내에만 존재하는 프레임 'F1, F2'영상에 대해 제 1, 제 2 웨이브렛변환부(312)(322) 및 제 1, 제 2 웨이브렛 양자화부(313)(323)에서 웨이브렛 변환 및 양자화를 수행한다. 각각 웨이브렛 변환 및 양자화한 영상은 제 1, 제 2 웨이브렛메모리(314)(324)에 저장한 후 출력(F^w _1box)(F^w _2box)한다.

바운딩 박스내의 제 1 프레임(F1)에 대한 웨이브렛 변화 프레임을 'BWF1' 제 2 프레임(F2)에 대한 웨이브렛 변화 프레임을 'BWF₂'라 하면 'BWF₁, BWF₂'를 산출하고 그 결과를 이진수화부(341)에서 이진수화한다. 그 다음 마스크메모리(342)를 통하여 이진수화된 결과값으로 제 1, 제 2 프레임(F1, F2)의 객체가 움직임으로 겹쳐져있는 모양을 나타내는 마스크(BWFMASK₁₂)가 생성된다.

여기서, 만약 세 번째 입력프레임 'F3'이 상기한 과정을 거치게 되면 제 2, 제 3 프레임(F2, F3)에 의한 마스크(BWFMASK₂₃)가 마스크메모리(342)를 통하여 얻어지게 된다.

도 4에 도시된 각 밴드별 움직임 객체 분리 마스크 추출도를 참조하여 설명하면 다음과 같다.

제 1 앤드연산부(343)는 상기한 마스크 추출과정을 통해 산출된 'BWFMASK₁₂'와 'BWFMASK₂₃'를 앤드연산(AND) 하게되면, 제 2 프레임(F2)내에서의 움직임 객체만을 나타내는 마스크인 'BWFMASK₂'를 산출할 수 있게 된다.

상기 과정에서 산출된 마스크(BWFMASK₂)와 웨이브렛 변환되어 바운드된 제 2 프레임(F2)인 'BWF₂'를 움직임객체 분리부(361)에서 앤드연산하면 제 2 프레임(F2)내의 움직임 객체(BWF₂ ^OBJ)만을 분리하게 된다.

분리된 움직임 객체는 움직임 추정부(Motion Estimation)(362)로 입력되어 'BWF₁'을 참조프레임으로 하여 움직임 오류 및 움직임 벡터를 산출하게 된다.

또한, 'BWF₂'내의 객체중 이전화면 'BWF₁'의 움직임 객체에 의하여 가려졌던 배경부분은 정지영상 데이터로서 인트라코딩(intracoding)의 대상이 된다.

이를 구하기 위하여 배경영상추출부(350)를 통하여 가려진 배경영상을 추출하게된다. 즉, 제 1 앤드연산부(343)를 통해 분리 출력된 움직임 객체프레임 'BWF₁'를 반전부(351)에서 NOT 연산하고, 그 결과와 마스크메모리(342)로부터 출력된 움직임 객체 마스크(BWFMASK₁₂)를 제 2 앤드연산부(352)에서 앤드연산함으로써 배경영상(BWFMASK^BACK)을 분리검출하게 된다. 분리검출된 배경영상(BWFMASK^BACK)은 제 3 앤드연산부(353)에 의하여 'BWF₂'의 이전화면에서 움직이는 객체에 의해 가려졌던 배경부분(BWF₂ ^BACK)만을 분리할 수 있게 된다.

제 3 앤드연산부(353)에 의하여 산출된 'BWF₂ ^BACK'는 배경메모리(381)에 누적되고, 비교부(382)에서는 이전에 누적된 데이터와 비교하여 그 차이를 연산한다.

비교부(382)를 통하여 산출된 배경데이터 차이와 움직임 추정결과인 움직임 오류는 별도로 각각 제 1, 제 2 DCT변환부(371)(391) 및 제 1, 제 2 양자화부(372)(392)에 의하여 각각 DCT되거나 RLC(Run Length Coding)되어, 다시 한번 변환 코딩되거나 바로 양자화 및 RLC 되어 각 엔트로피코딩부(421∼425)를 통하여 엔트로피코딩을 수행하게 된다.

한편, 바운딩박스 추출부(304)에서 출력된 바운딩박스 정보인 'BINF'는 제 4 엔트로피코딩부(424)를 통해 엔트로피 코딩된다.

또한, 입력 영상 프레임(F2)을 웨이브렛변환/양자화부(410)를 통해 처리된 프레임데이터는 제 5 엔트로피코딩부(425)를 통하여 엔트로피 코딩을 수행한다.

각 엔트로피코딩부(421∼425)에서 출력된 데이터는 제 2 다중화부(430)를 통해 도 7에 도시된 바와 같이 부호화 비트 스트림 포맷으로 출력하게 된다.

상기한, 움직임추정부(362)에 의한 움직임 추정과정에 대하여 도 5a, 5b를 참조하여 보다 상세히 설명하면 다음과 같다.

움직임 추정은 기본적으로 웨이브렛 변환된 영상데이터를 사용하게 된다. 따라서 각 웨이브렛 밴드별로 움직임 추정을 하게되며, 도 5a에 도시된 탐색창에 1개의 밴드영상을 나타낸다.

즉, 움직임 객체 'BWF₁ ^OBJ'을 참조 프레임'BWF₂'에서 탐색하여 최소 에러가 되는 움직임 벡터를 산출하게 된다.

여기서, 움직임 객체 'BWF₁ ^OBJ' 화면은 도 5b에 도시된 바와 같이, 일정크기 의 마크로블록으로 나뉘어서 각 마크로블록을 참조 프레임 'BWF₂'상에서 바운딩박스를 탐색창으로 하여 탐색을 수행하고 움직임 벡터를 산출한다.

만약, 3단계 웨이브렛 변환을 가정하면 각 단계 즉, 각 밴드별로 화면크기가 4배씩 증가하므로 탐색창 크기나 마크로 블록 크기로 4배씩 조정해 준다.

초기에 웨이브렛 변환하기 전에 바운딩 박스 크기가 움직임 객체별로 다르기 때문에 상기한 탐색창 크기나 마크로블록 크기가 달라지게 된다. 따라서 마크로 블록 크기는 16×16 화소(pixel)이하로 제한하여야 한다.

각 마크로 블록별 움직임 벡터를 추출한 후, 그 전체의 평균을 산출한다. 각마크로 블록의 움직임 벡터는 움직임 객체에 대한 모든 마크로 블록의 평균과의 차이로서 코딩된다.

또한, 각 밴드별로 움직이는 벡터 크기가 결정되기 때문에 하위밴드의 움직임 벡터는 최상위 밴드의 움직임 벡터의 2배를 적용하여 움직임 벡터 수를 최소화한다.

운동객체기반에서의 움직임 예측 웨이브렛 동영상 복원장치는 입력된 비트스트림(Input Bit Stream)을 종류별로 역다중화하는 역다중화부(501)와, 상기 역다중화부(501)를 통해 출력된 바운딩 박스정보를 저장 출력하는 제 1 프레임메모리(522)와, 상기 역다중화부(501)로부터 출력된 초기 2 프레임의 내부영상(Intra Picture)을 VLD(Variable Length Decoding), IWQ(Inverse Wavelet Quantization), IDWT(Inverse Discrete Wavelet Transform)하는 제 1 프레임처리부(510)와, 상기 역다중화부(501)로부터 출력된 3번째 프레임부터 입력된 영상의 모션백터 성분을 VLD 및 움직임 보상을 수행하는 제 2 프레임처리부(530)와, 상기 역다중화부(501)로부터 출력된 부호화된 에러성분을 VLD, RLD(Run Length Decording), IQ(Inverse Quantization) 및 IDCT(Inverse Discrete Cosine Transform)를 통해 복원하여 상기 모션 벡터와 함께 상기 제 2 프레임처리부(530)로 전송하는 에러정보 복원부(560)와, 상기 역다중화부(501)로부터 출력된 움직임객체에 가려진 배경화면 정보를 VLD, RLD, IP, IDCT를 통해 복원시키는 배경화면복원부(570)와, 상기 제 2 프레임처리부(530) 및 상기 배경화면 복원부(570)로부터 출력된 영상을 다중화출력하는 제 3 다중화부(541)와, 상기 제 3 다중화부(541)를부터 출력된 영상프레임을 저장하는 제 2 프레임메모리(542)와, 상기 제 2 프레임메모리(542)에 저장된 영상을 IWQ, IDWT를 수행하여 실제영상으로 복원하는 영상복원부(550)와, 상기 영상복원부(550)의 출력과 제 1 프레임처리부(510)의 출력을 다중화하여 상기 제 1 프레임메모리(522)에 저장하는 제 2 다중화부(521)와, 상기 제 1 프레임메모리(522)에 저장된 그 이전의 프레임을 DWT 및 WQ를 수행하여 상기 제 3 다중화부(541)로 출력하는 웨이브렛 처리부(580)로 구성된다.

이와 같이 구성된 본 발명에 실시예를 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.

도 8에 도시된 바와 같이, 입력되는 비트스트림은 5가지 종류로서 'BINF'는 바운딩박스 정보이고 'I'는 비트 스트림의 초기 프레임인 내부 영상(Intra Picture : I-picture)을 나타내며 'MV'는 상기 내부영상의 후속인 영상(P-picture)의 모션벡터이고, 'error'는 움직임 보상을 위한 에러성분이고, 'back'은 현재 프레임의 움직이는 물체에 의해 가려졌던 부분에 해당하는 정보이다.

초기에는 2장의 내부영상(I-picture)이 전송되면 제 1 프레임처리부(510)에서 VLD(Variable Length Decoding), IWQ(Inverse Wavelet Quantization), IDWT(Inverse Discrete Wavelet Transform)되어 제 2 다중화부(521)를 통해 제 1 프레임메모리(522)에 저장한다.

또한, 제 1 프레임 메모리(522)에 저장된 그 이전의 프레임은 웨이브렛 처리부(580)에 의하여 DWT와 WQ를 통해 제 2 프레임메모리(542)에 각 밴드별로 저장된다.

3번째 프레임부터는 영상(P-picture)의 모션벡터(Motion Vector)성분은 제 2 프레임처리부(530)에 의해서 VLD(Variable Length Decoding)되고, 에러성분(error)은 에러정보 복원부(560)를 통해 VLD(Variable Length Decoding), RLD(Run Length Decoding), IQ(Inverse Quantization) 및 IDCT(Inverse Discrete Cosine Transform)되어 모션벡터와 함께 움직임 보상(MC)을 하게 된다. 이때, 참조영상프레임은 제 2 프레임메모리(542)에 저장된 영상을 사용한다.

제 2 프레임메모리(542)에 저장된 데이터는 IWQ(Inverse Wavelet Quantization) 및 IDWT(Inverse Discrete Wavelet Transform)를 통하여 실제영상을 복원되어 제 1 프레임메모리(522)의 해당 바운딩 박스의 위치에 저장된다.

또한, 별도로 전송되는 물체에 가려진 배경화면 부분은 배경화면 복원부(570)에서 VLD, RLD, IQ 및 IDCT를 통해 복원되어 움직임 물체부분과 더해져 제 2 프레임메모리(542)에 저장된다.

이와 같이 복원된 영상 프레임은 제 1 프레임메모리(522)로부터 표시기(도면에 미도시)로 전송된다.

만약, 운동객체의 배경 또는 카메라의 변화가 심할 경우에는 먼저, 비디오 시퀀스의 첫 번째 프레임(I-picture)을 받아서 웨이브렛 디코딩을 수행하여 첫 프레임을 제 1 프레임메모리(522)에 저장한다.

그 다음 두 번째 프레임의 바운드되어 고정된 객체를 먼저 웨이브렛 디코딩하여 저장된 프레임에 더한다.

만약, 카메라가 고정되어 있거나, 배경의 변화가 심하지 않을 경우에는 배경만 추출하는 알고리즘을 사용하여 추출된 배경화면을 한 프레임이 수신되면 이것을 웨이브렛 변환하여 배경 프레임 메모리에 저장한다.

비디오 시퀀스의 첫 번째 프레임(I-picture)을 수신하여 웨이브렛 디코딩 후 제 1 프레임메모리(522)에 저장한다.

두 번째 프레임부터는 바운디드된 움직임 객체 오류만 수신되며 이것은 웨이브렛 디코딩 된 후 이진수화시킨다.

이상에서 설명한 바와 같이, 본 발명에 따른 운동객체기반에서의 움직임 예측 웨이브렛 동영상 압축 및 복원장치는 움직이는 물체만을 분리하여 웨이브렛 변환을 사용하므로써, 이미지의 크기를 유연하게 변경할 수 있는 효과가 있으며, 각 웨이브렛 밴드별로 이전영상 내의 동일 물체에 대한 움직임 추적이 이루어지도록 하므로써, 움직임 벡터수 및 그 크기가 현저하게 감소할 수 있는 효과가 있으며, 배경정보만을 따로 추출하여 기전송된 배경정보와 비교하여 그 차이만을 전송함으로써, 영상압축률을 크게 증가시킬 수 있는 효과가 있다.

Claims

입력된 영상의 프레임 중 연속된 2개의 영상프레임을 검출하고 검출된 영상프레임차를 산출하는 프레임차 연산수단;

상기 프레임차 연산수단으로부터 출력된 프레임차를 이진수화하는 이진수화수단;

상기 이진수화수단을 통해 출력된 프레임차에 의하여 객체에 인접한 블록을 추적하여 직사각형의 바운딩박스를 추출하는 바운딩박스 추출수단;

상기 바운딩박스 추출수단에서 추출된 바운딩 박스 내에 존재하는 각 프레임영상에 대하여 웨이브렛 변환 및 양자화하는 제 1, 제 2 웨이브렛 처리수단;

상기 제 1, 제 2 웨이브렛 처리수단으로부터 각각 출력된 웨이브렛 양자화 데이터를 합성하는 합성수단;

상기 합성수단으로부터 출력된 합성 결과에 따라 프레임의 움직임 객체의 겹침 부분을 산출하여 움직임 객체의 마스크를 생성하는 움직임객체 마스크생성수단;

상기 움직임객체 마스크생성수단으로부터 출력된 움직임객체 마스크에 의하여 제 2 웨이브렛 처리수단으로부터 출력된 프레임 중 움직임 객체를 분리하는 움직임 객체분리수단;

상기 제 1 웨이브렛 처리수단으로부터 출력된 프레임 데이터와 움직임객체 분리수단으로부터 출력된 움직임객체 프레임을 참조하여 움직임오류 및 움직임 벡터를 산출하는 움직임 추정수단;

상기 움직임 추정수단으로부터 출력된 움직임 추정결과인 움직임 오류를 이산여현변환 및 양자화하는 제 1 DCT/양자화수단;

상기 움직임객체 마스크생성수단에서 출력된 움직임 객체에 의해 가려졌던 배경부분의 영상을 분리 검출하는 배경영상 추출수단;

상기 배경영상 산출수단으로부터 출력된 영상과 기저장된 배경영상을 비교하여 그 차를 연산하는 비교수단;

상기 비교수단을 통해 출력된 움직임 오류를 이산여현변환 및 양자화하는 제 2 DCT/양자화수단;

상기 입력영상의 두 번째 프레임을 웨이브렛 변환 및 양자화하는 웨이브렛변환/양자화수단;

상기 움직임추정수단, 상기 제 1, 제 2 이산여현변환수단, 상기 바운딩박스 추출수단 및 상기 웨이브렛변환/양자화수단으로 출력된 각 데이터를 엔트로피 디코딩하는 제 1 내지 제 5 엔트로피코딩수단; 및

상기 제 1 내지 제 5 엔트로피코딩수단으로 출력된 신호들을 다중화하여 엔코딩된 비트스트림을 출력하는 제 2 다중화수단으로 이루어짐을 특징으로 하는 운동객체 기반에서의 움직임 예측 웨이브렛 동영상 압축/복원장치.
제 1 항에 있어서, 상기 바운딩박스 추출수단은 움직임 객체의 인접블록을 추적하면서 움직임객체를 포함한 직사각형의 박스로 형성됨을 특징으로 하는 운동객체 기반에서의 움직임 예측웨이브렛 동영상 압축/복원장치.
제 1 항에 있어서, 상기 제 1 웨이브렛처리수단은 상기 프레임메모리에서 출력된 제 1 프레임 영상과 상기 바운딩박스 추출수단에서 출력된 바운딩 박스의 공통부분을 산출하는 제 1 공통부분 산출부;

상기 제 1 공통부분 산출부에서 출력된 영상을 웨이브렛 변환하는 제 1 웨이브렛 변환부;

상기 제 1 웨이브렛 변환부에서 변환 출력된 영상을 양자화하는 제 1 웨이브렛 양자화부; 및

상기 제 1 웨이브렛 양자화부로부터 출력된 데이터를 저장출력하는 제 1 웨이브렛 메모리를 포함하여 이루어짐을 특징으로 하는 운동객체기반에서의 움직임 예측 웨이브렛 동영상압축/복원장치.
제 1 항에 있어서, 상기 제 2 웨이브렛 처리수단은 상기 입력된 영상과 상기 바운딩박스 추출수단에서 출력된 바운딩 박스를 결합하는 제 2 공통부분 산출부;

상기 제 2 공통부분 산출부에서 출력된 영상을 웨이브렛 변환하는 제 2 웨이브렛 변환부;

상기 제 2 웨이브렛 변환부에서 변환 출력된 영상을 양자화하는 제 2 웨이브렛 양자화부; 및

상기 제 2 웨이브렛 양자화부로부터 출력된 데이터를 저장출력하는 제 2 웨이브렛 메모리를 포함하여 이루어짐을 특징으로 하는 운동객체기반에서의 움직임예측 웨이브렛 동영상압축/복원장치.
입력된 비트스트림을 종류별로 역다중화 하되, 바운딩박스 정보와, 입력되는 비트 스트림의 초기 프레임과, 상기 초기 프레임의 다음 프레임의 모션벡터와, 움직임 보상을 위한 에러정보와, 현재 프레임의 움직임 객체에 의해 가려졌던 배경영상정보를 분리 출력하는 역다중화수단;

상기 역다중화수단을 통해 출력된 바운딩 박스정보를 저장 출력하는 제1프레임메모리;

상기 역다중화수단으로부터 출력된 초기 2 프레임의 내부영상을 VLD(Variable Length Decoding), IWQ(Inverse Wavelet Quantization), IDWT(Inverse Discrete Wavelet Transform)하는 제 1 프레임처리수단;

상기 역다중화수단으로부터 출력된 3번째 프레임부터 입력된 영상의 모션백터 성분을 VLD 및 움직임 보상을 수행하는 제 2 프레임처리수단;

상기 역다중화수단으로부터 출력된 부호화된 에러성분을 VLD, RLD(Run Length Decoding), IQ(Inverse Quantization) 및 IDCT(Inverse Discrete Cosine Transform)를 통해 복원하여 상기 모션 벡터와 함께 상기 제 2 프레임처리부로 전송하는 에러정보 복원수단;

상기 역다중화수단으로부터 출력된 움직임객체에 가려진 배경화면 정보를 VLD, RLD, IP, IDCT를 통해 복원시키는 배경화면복원수단;

상기 제 2 프레임처리수단 및 상기 배경화면 복원수단으로부터 출력된 영상을 다중화출력하는 제 2 다중화수단;

상기 제 2 다중화수단으로부터 출력된 영상프레임을 저장하는 제 2 프레임 메모리;

상기 제 2 프레임 메모리에 저장된 영상을 IWQ, IDWT를 수행하여 실제영상으로 복원하는 영상복원수단;

상기 영상복원수단의 출력과 제 1 프레임처리수단의 출력을 다중화하여 상기 제 1 프레임 메모리에 저장하는 제 1 다중화수단;

상기 제 1 프레임 메모리에 저장된 그 이전의 프레임을 DWT 및 WQ를 수행하여 상기 제 2 다중화수단으로 출력하는 웨이브렛 처리수단으로 이루어짐을 특징으로 하는 운동객체기반에서의 움직임 예측 웨이브렛 동영상 복원장치.
삭제