KR100803611B1

KR100803611B1 - 영상의 부호화, 복호화 방법 및 장치

Info

Publication number: KR100803611B1
Application number: KR1020060118547A
Authority: KR
Inventors: 이재헌; 안태경; 유기원
Original assignee: 삼성전자주식회사
Priority date: 2006-11-28
Filing date: 2006-11-28
Publication date: 2008-02-15
Also published as: EP1991004A2; US20080123747A1; CN101202913A

Abstract

입력된 영상 프레임으로부터 추출된 참조 배경 영상 및 참조 객체 영상을 이용하여 움직임 예측 및 보상을 수행하는 영상 부호화, 복호화 방법 및 장치가 개시된다. 본 발명에 따르면 입력된 각 영상 프레임에 구비된 배경 영상을 이용하여 어느 하나의 영상 프레임에 구비되지 않은 배경 영상을 다른 영상 프레임의 배경 영상을 이용하여 대체함으로써 참조 배경 영상을 생성하여 저장하고, 각 영상 프레임에 구비된 객체 영상을 참조 객체 영상으로 저장한 후, 저장된 참조 배경 영상 및 참조 객체 영상을 이용하여 움직임 예측 및 보상을 수행함으로써 부호화 효율을 향상시킨다.

Description

영상의 부호화, 복호화 방법 및 장치{Method and apparatus for encoding video, method and apparatus for decoding video}

도 1a 내지 도 1c는 각각 본 발명에 따른 영상 부호화 장치에 입력되는 연속된 영상 프레임들의 일 예를 나타낸 도면이다.

도 2a는 도 1a 내지 도 1c의 영상 프레임들을 이용하여 생성한 본 발명에 따른 참조 배경 영상의 일 예를 나타낸 도면이다.

도 2b는 도 1a 내지 도 1c의 영상 프레임들에서 추출된 본 발명에 따른 참조 객체 영상의 일 예를 나타낸 도면이다.

도 3은 본 발명에 따른 영상 부호화 장치의 구성을 나타낸 블록도이다.

도 4는 본 발명에 따른 참조 영상 생성부의 구체적인 구성을 나타낸 블록도이다.

도 5는 본 발명에 따른 영상 부호화 장치에 연속적으로 입력되는 2개의 영상 프레임의 일 예를 나타낸 도면이다.

도 6a 및 도 6b는 도 5의 영상 프레임들 중에서 임의의 t-1 시각에 입력된 영상 프레임에서 분리된 배경 영상 및 객체 영상을 나타낸 도면이다.

도 6c 및 도 6d는 도 5의 영상 프레임들 중 t 시각에 입력된 영상 프레임에서 분리된 배경 영상 및 객체 영상을 나타낸 도면이다.

도 7은 본 발명에 따른 영상 부호화 방법을 나타낸 플로우 차트이다.

도 8은 본 발명에 따른 영상 복호화 장치의 구성을 나타낸 블록도이다.

도 9는 본 발명에 따른 영상 복호화 방법을 나타낸 플로우 차트이다.

본 발명은 영상의 부호화, 복호화에 관한 것으로, 보다 구체적으로는 입력된 영상 프레임들 중 각 영상 프레임에 구비된 배경 영상을 이용하여 하나의 영상 프레임에 구비되지 않은 배경 영상을 다른 영상 프레임의 배경 영상을 이용하여 참조 배경 영상을 생성하여 저장하고, 각 영상 프레임에 구비된 객체 영상을 참조 객체 영상으로 저장한 후, 저장된 참조 배경 영상 및 참조 객체 영상을 이용하여 움직임 예측 및 보상을 수행하는 영상 부호화, 복호화 방법 및 장치에 관한 것이다.

ITU-T H.264/MPEG-4 AVC(Advanced Video Coding) 비디오 코덱(codec)에서는 블록 단위의 샘플 데이터에 대하여 예측을 수행하여 예측 블록을 구하고, 이를 변환 및 양자화하는 방식으로 비디오 데이터를 압축한다.

예측의 방식으로는 인트라 예측(intra prediction)과 인터 예측(inter prediction)의 두 가지 종류가 있다. 인트라 예측의 경우, 현재 슬라이스에 존재하는 이미 인코딩되고 디코딩되어 복원된 주변 블록의 데이터를 이용하여 예측을 수행한다. 인터 예측의 경우, 블록 기반 움직임 보상을 이용하여 이전에 인코딩된 하나 또는 그 이상의 비디오 프레임 또는 필드로부터 예측 영상을 생성한다. 특 히, 이전의 비디오 압축 표준안과 구분되게 H.264에서는 다양한 블록 사이즈(16×16부터 4×4까지), 세밀한 서브 샘플 움직임 벡터를 지원하며, 메인(main) 프로파일과 확장(extended) 프로파일은 B-슬라이스와 가중치 예측을 지원한다. 예측, 변환 및 양자화 과정을 거쳐 압축된 비디오 데이터는, 엔트로피 인코딩(entropy encoding) 과정을 통하여 압축되어 비트스트림이 생성된다.

영상 프레임 내에 움직이는 물체가 있을 때 현재 영상 프레임에는 존재하지만 이전 영상 프레임에는 존재하지 않는 영역이 발생한다. 예를 들면 움직이는 물체에 의해 이전 영상 프레임에서는 가려졌다가 현재 영상 프레임에서는 새롭게 나타나는 배경 영역이 이에 해당한다. 종래 MPEG-2나 MPEG-4에서는 P 픽처의 인터 예측시에 바로 이전에 위치한 I 픽처 또는 P 픽처만을 이용하여 움직임 예측 및 보상을 수행하는데 반하여, H.264에서는 부호화 효율을 높이기 위해서 복수 개의 참조 영상 프레임을 이용한 움직임 예측 및 보상을 수행한다. 즉, H.264 표준에 따르면, 최근에 부호화된 1개 이상 16개 이하의 영상 프레임을 저장해두고 모든 참조 영상 프레임을 이용하여 움직임 예측을 수행한 다음 가장 적은 코스트를 갖는 참조 영상 프레임을 현재 움직임 예측을 수행하고자 하는 블록의 참조 영상 프레임으로 결정한다. 이는 복수 개의 참조 영상 프레임을 이용하는 경우, 바로 이전 영상 프레임에서는 가려져 있어서 나타나지 않은 배경 영역이 시간적으로 더 우선하는 이전 영상 프레임들에서는 움직이는 물체에 의해 가려지지 않아서 나타날 확률이 크기 때문이다.

그러나, 복수 개의 참조 영상 프레임을 이용하는 경우, 참조 영상 프레임의 개수에 비례하여 움직임 예측부의 계산량 및 참조 영상 프레임을 저장하기 위한 메모리 공간이 증가하는 문제점이 있다.

한편, 움직임 예측에 소요되는 계산량 등으로 인해서 현재 영상 프레임의 대상 영역의 위치에 대응되는 참조 영상 프레임의 위치를 중심으로 소정 크기의 탐색 영역 내에서 움직임 예측이 수행된다. 이러한 경우, 움직이는 물체가 갑자기 급격하게 큰 움직임을 갖는 경우 현재 움직임 예측되는 블록은 참조 영상 프레임 내의 탐색 영역을 벗어나게 되어서 움직임 예측을 통해 예측 영상을 형성할 수 없다. 좌우 또는 상하 방향으로 반복되는 움직임을 갖는 물체의 경우에는 시간적으로 훨씬 이전의 참조 영상의 탐색 영역 범위 내에서 움직이는 물체와 유사한 영역을 탐색할 수도 있지만, 전술한 바와 같이 이용가능한 참조 영상 프레임의 개수가 제한되기 때문에 움직임 예측을 통해 예측 영상을 형성할 수 없는 경우가 있다.

또한, 움직이는 물체가 소정의 주기로 변화되지만 반복되는 형태를 갖는 경우, 예를 들면 걸어가는 사람과 같이 매 프레임마다 형태가 변화되지만 소정 주기로 일정 동작이 반복되는 물체에 대한 움직임 예측을 수행하는 경우에는 복수 개의 참조 영상 프레임을 이용하여 부호화 효율을 향상시킬 수 있지만, 움직임 예측시의 계산량 및 메모리 공간의 한계로 인해 이용가능한 참조 영상 프레임의 개수는 제한되는 문제점이 있다.

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 영상 프레임들 중 각 영상 프레임에 구비된 배경 영상을 이용하여 하나의 영상 프 레임에 구비되지 않은 배경 영상을 다른 영상 프레임의 배경 영상을 이용하여 갱신함으로써 참조 배경 영상을 생성하고, 각 영상 프레임에 구비된 객체 영상을 참조 객체 영상으로 저장한 다음, 생성된 참조 배경 영상 및 참조 객체 영상을 이용하여 움직임 예측 및 보상을 수행함으로써 메모리 크기의 큰 증가없이 부호화 효율을 향상시킬 수 있는 영상 부호화 방법 및 장치, 복호화 방법 및 장치를 제공하는 데에 목적이 있다.

상기와 같은 기술적 과제를 해결하기 위하여 본 발명에 따른 영상 부호화 방법은 현재 영상 프레임을 배경 영역과 객체 영역으로 분리하는 단계; 상기 현재 영상 프레임과 이전 영상 프레임을 비교하여 상기 현재 영상 프레임과 이전 영상 프레임에서 배경 또는 객체 사이의 영역 변경 여부를 판별하는 단계; 상기 판별 결과에 따라 이전 영상 프레임들의 배경 영역으로부터 생성된 참조 배경 영상을 상기 현재 영상 프레임의 배경 영역을 이용하여 갱신하고 갱신된 참조 배경 영상을 저장하는 단계; 및 상기 갱신된 참조 배경 영상을 이용하여 상기 현재 영상 프레임 이후의 영상 프레임에 대한 움직임 예측을 수행하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 영상 부호화 장치는 현재 영상 프레임을 배경 영역과 객체 영역으로 분리하는 영역 분리부; 상기 현재 영상 프레임의 배경 영역과 이전 영상 프레임의 배경 영역을 비교하여 상기 현재 영상 프레임과 이전 영상 프레임에서 모두 배경인 영역, 배경에서 객체로 변경된 영역 및 객체에서 배경으로 변화된 영역 을 판별하는 판별부; 상기 판별 결과에 따라 이전 영상 프레임들의 배경 영역으로부터 생성된 참조 배경 영상을 상기 현재 영상 프레임의 배경 영역을 이용하여 갱신하는 갱신부; 상기 갱신된 참조 배경 영상을 저장하는 저장부; 및 상기 갱신된 참조 배경 영상을 이용하여 입력된 영상 프레임들에 대한 움직임 예측을 수행하는 움직임 예측부를 포함하는 것을 특징으로 한다.

본 발명에 따른 영상 복호화 방법은 복호화되는 현재 영상 프레임 이전에 복원된 적어도 2개의 제 1 영상 프레임 및 제 2 영상 프레임을 배경 영역과 객체 영역으로 분리하는 단계; 상기 복원된 제 1 영상 프레임 및 제 2 영상 프레임을 비교하여 상기 제 1 영상 프레임과 상기 제 2 영상 프레임에서 모두 배경인 영역, 배경에서 객체로 변경된 영역 및 객체에서 배경으로 변경된 영역을 판별하는 단계; 상기 판별 결과에 따라 이전에 복원된 영상 프레임들의 배경 영역으로부터 생성된 참조 배경 영상을 상기 제 1 영상 프레임 및 제 2 영상 프레임의 배경 영역을 이용하여 갱신하고 갱신된 참조 배경 영상을 저장하는 단계; 및 상기 갱신된 참조 배경 영상을 이용하여 상기 현재 영상 프레임에 대한 움직임 보상을 수행하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 영상 복호화 장치는 복호화되는 현재 영상 프레임 이전에 복원된 적어도 2개의 제 1 영상 프레임 및 제 2 영상 프레임을 배경 영역과 객체 영역으로 분리하는 영역 분리부; 상기 복원된 제 1 영상 프레임 및 제 2 영상 프레임을 비교하여 상기 제 1 영상 프레임과 상기 제 2 영상 프레임에서 모두 배경인 영역, 배경에서 객체로 변경된 영역 및 객체에서 배경으로 변경된 영역을 판별하는 판별부; 상기 판별 결과에 따라 이전에 복원된 영상 프레임들의 배경 영역으로부터 생성된 참조 배경 영상을 상기 제 1 영상 프레임 및 제 2 영상 프레임의 배경 영역을 이용하여 갱신하는 갱신부; 상기 갱신된 참조 배경 영상을 저장하는 저장부; 및 상기 갱신된 참조 배경 영상 및 상기 비트스트림에 구비된 현재 영상 프레임의 움직임 벡터를 이용하여 상기 현재 영상 프레임에 대한 움직임 보상을 수행하는 움직임 보상부를 포함하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.

도 1a 내지 도 1c는 각각 본 발명에 따른 영상 부호화 장치에 입력되는 연속된 영상 프레임들의 일 예를 나타낸 도면이다. 도 2a는 도 1a 내지 도 1c의 영상 프레임들을 이용하여 생성한 본 발명에 따른 참조 배경 영상의 일 예를 나타낸 도면이고, 도 2b는 도 1a 내지 도 1c의 영상 프레임들에서 추출된 본 발명에 따른 참조 객체 영상의 일 예를 나타낸 도면이다.

임의의 시각에서의 영상 프레임 내에 객체에 의하여 가려진 배경 영역은 객체가 움직임에 따라 노출되어서, 다른 시각의 영상 프레임에서는 가려진 배경 영역에 대한 정보를 획득할 수 있다. 예를 들어, 도 1a 내지 도 1c를 참조하면, t-2 시각에서의 영상 프레임에서 자동차에 의하여 가려진 배경 영역(11)은 자동차의 수평 방향의 움직임에 따라 다음 t-1 시각에서 영상 프레임에서 대응되는 배경 영역의 정보를 이용하여 획득될 수 있다. 유사하게, t-1 시각에서의 영상 프레임에서 자동차에 의하여 가려진 배경 영역(12)은 그 이전의 t-2 시각에서의 대응되는 배경 영역 또는 다음 t 시각에 입력된 영상 프레임의 대응되는 배경 영역을 이용하여 획득될 수 있다.

전술한 바와 같이 종래 기술에 따르면, 움직이는 객체에 의하여 가려진 배경 영상에 대한 움직임 예측시에 이전에 부호화된 후 복원된 복수 개의 참조 영상 프레임들을 이용한다. 즉, 현재 영상 프레임 내의 각 블록과 가장 유사한 영역을 예측하기 위하여 복수 개의 참조 영상 프레임을 이용한 움직임 예측을 수행하여 예측 영상을 형성한다.

도 2a 및 도 2b를 참조하면, 본 발명에 따른 영상 부호화, 복호화 방법 및 장치는 도 1a 내지 도 1c에 도시된 바와 같은 입력 영상 프레임들에 대한 움직임 예측 및 보상시에 현재 부호화되는 영상 프레임 이전에 부호화된 영상 프레임들의 배경 영상 중에서 움직이는 객체 등에 의하여 가려진 영역을 다른 이전 영상 프레임을 이용하여 갱신함으로써 배경 영상만으로 이루어진 참조 배경 영상을 생성하는 한편 이전 영상 프레임에서 검출된 객체 영상을 참조 객체 영상으로 저장한다. 다음, 본 발명에 따른 영상 부호화, 복호화 방법 및 장치는 저장된 참조 배경 영상과 참조 객체 영상을 이용하여 움직임 예측 및 보상을 수행함으로써 부호화 효율을 향상시킨다.

도 3을 참조하면, 본 발명에 따른 영상 부호화 장치(300)는 부호화 제어부(310), 변환 부호화부(320), 변환 복호화부(330), 참조 영상 생성부(340), 움직 임 보상부(350), 움직임 예측부(360) 및 엔트로피 부호화부(370)를 구비한다.

입력 영상은 시간축을 따라서 카메라와 같은 소정의 영상 획득 수단으로부터 입력되는 프레임들 또는 프레임을 소정 크기로 분할하여 얻어진 블록들로 구성된다. 프레임은 순차 주사 방식에 의해 얻어진 순차 주사 프레임, 비월 주사 방식에 의해 얻어진 필드 또는 비월 주사 프레임을 포함한다. 이하 설명하는 영상 데이터는 순차 주사 프레임, 비월 주사 프레임, 필드, 블록 구조의 픽처, 및 프레임을 소정 크기로 분할한 파티션 단위를 포함하는 의미이다.

영상 데이터가 입력되면 부호화 제어부(310)는 입력 영상에 대해 움직임 보상을 수행할지 여부에 따른 코딩-타입(인트라 코딩/인터 코딩)을 결정하여 대응하는 제어 신호를 제1 스위치(S1)로 출력한다. 움직임 보상을 수행할 경우에는 이전 또는 이후에 입력된 영상 데이터가 필요하므로 제1 스위치(S1)는 닫히게 되고 움직임 보상을 수행하지 않을 경우에는 이전 또는 이후에 입력된 영상 데이터가 필요하지 않으므로 제1 스위치(S1)는 열리게 된다. 제1 스위치(S1)가 닫히면 입력 영상과 이전 또는 이후 영상으로부터 얻어진 차 영상 데이터(residue)가 변환 부호화부(320)로 입력되고 제1 스위치(S1)가 열리면 입력 영상만이 변환 부호화부(320)로 입력된다.

변환 부호화부(320)는 입력된 영상 데이터를 변환(transform) 부호화하여 얻어진 변환 계수값들을 소정 양자화 스텝에 따라 양자화하여 양자화된 변환 계수값들로 구성된 2차원 데이터인 N×M 데이터를 얻는다. 사용되는 변환의 예로는 DCT(Discrete Cosine Transform)을 들 수 있다. 양자화는 미리 결정된 양자화 스 텝에 따라 수행된다.

한편, 변환 부호화부(320)로 입력되어 부호화된 영상 데이터는 이후 또는 이전에 입력된 영상 데이터의 움직임 보상을 위한 참조 데이터로 사용될 수 있으므로 변환 복호화부(330)에 의해, 변환 부호화부(320)의 역과정인 역양자화와 역변환 부호화를 거친 후 참조 영상 생성부(340)로 입력된다.

참조 영상 생성부(340)는 이전에 부호화된 후 복원된 영상 프레임을 참조 영상 프레임으로서 저장하는 한편, 후술되는 바와 같이 이전에 부호화된 후 복원된 영상 프레임들을 배경 영역과 객체 영역으로 분리하고, 어느 하나의 영상 프레임에 구비되지 않은 배경 영역을 다른 영상 프레임의 배경 영역을 이용하여 갱신함으로써 참조 배경 영상을 생성한다. 또한 참조 영상 생성부(340)는 분리된 객체 영역을 별도로 참조 객체 영상으로서 저장한다.

변환 복호화부(330)로부터 출력된 데이터가 차 영상 데이터이면 부호화 제어부(310)는 제2 스위치(S2)를 닫아서 변환 복호화부(330)로부터 출력된 차 영상 데이터가 움직임 보상부(350)의 출력과 더해진 다음 참조 영상 생성부(340)로 입력되어 저장되어 이후 영상 프레임에 대한 참조 영상 프레임으로 이용될 수 있도록 한다.

움직임 예측부(360)는 입력된 영상 데이터와 참조 영상 생성부(340)에 저장된 데이터를 비교하여, 현재 입력된 데이터와 가장 유사한 데이터를 찾은 다음, 입력된 영상 데이터와 비교하여 산출된 움직임 벡터 MV(Motion Vector)를 출력한다. 움직임 벡터는 적어도 하나의 참조 영상 프레임을 참조하여 구해진다. 즉, 움직임 벡터는 종래와 같이 복수 개의 과거 및/또는 미래의 영상 프레임을 참조하여 산출될 수 있다. 특히, 본 발명에 따른 움직임 예측부(360)는 현재 부호화하고자 하는 영상 프레임을 배경 영역과 객체 영역으로 분리한 다음, 참조 영상 생성부(340)에 의하여 이전 영상 프레임들로부터 생성된 참조 배경 영상 및 참조 객체 영상을 이용하여 움직임 예측을 수행할 수 있다.

움직임 예측부(360)에 의하여 생성된 움직임 벡터가 참조 영상 생성부(340)로 전달되면 참조 영상 생성부(340)는 움직임 벡터가 가리키는 참조 영상 프레임의 데이터를 움직임 보상부(motion compensation)(350)로 출력하거나, 참조 배경 영상 또는 참조 객체 영상의 해당 영역을 움직임 보상부(350)로 출력한다.

움직임 보상부(350)는 입력받은 데이터를 기초로 현재 부호화하는 영상 데이터에 해당하는 움직임 보상값을 만들어 출력한다.

엔트로피 부호화부(370)는 변환 부호화부(320)로부터 출력되는 양자화된 변환 계수들과 움직임 예측부(360)로부터 출력된 움직임 벡터에 관한 정보를 입력받으며, 부호화 제어부(310)에서 제공되는 코딩 타입 정보, 양자화 스텝 정보, 등 기타 복호화에 필요한 정보들을 입력받아 부호화하여 최종적으로 얻어진 비트스트림을 출력한다.

이하, 입력되는 복수 개의 영상 프레임들에 대한 부호화 동작에 대하여 설명한다. 복수 개의 영상 프레임들 중 첫 번째 영상 프레임은 인트라 예측부(미도시)에 의하여 인트라 예측 부호화된 다음, 복원된 첫 번째 영상 프레임이 참조 영상 생성부(340)에 저장된다. 후술되는 바와 같이, 참조 영상 생성부(340)는 이전에 부호화된 후 복원된 영상 프레임뿐만 아니라, 이전 영상 프레임들로부터 생성되는 참조 배경 영상 및 참조 객체 영상을 저장하기 위한 저장부를 구비한다.

두 번째 입력되는 영상 프레임부터 움직임 예측부(360)는 부호화되는 영상 프레임을 블록 단위로 분할하고, 상기 참조 영상 생성부(340)에 구비된 이전의 부호화된 후 복원된 영상 프레임을 이용한 움직임 예측을 수행하여 각 블록 단위로 움직임 벡터 등의 움직임 정보를 획득한다.

참조 영상 생성부(340)는 영상 프레임들의 움직임 정보를 이용하여 블록 단위로 각 영상 프레임을 배경 블록과 객체 블록으로 구분한다. 영상 프레임 내에 존재하는 배경 영역과 객체 영역을 분리하기 위해서 다양한 알고리즘이 적용될 수 있다. 일 예로, 참조 영상 생성부(340)는 현재 영상 프레임에 대한 움직임 예측을 수행하여 현재 영상 프레임에 구비된 블록들의 움직임 벡터의 크기를 계산하여, 소정 임계치 이상의 변화량을 갖는 블록을 객체 블록으로 결정하고, 소정 임계치 이하의 변화량을 갖는 블록을 배경 블록으로 결정할 수 있다. 또한, 참조 영상 생성부(340)는 하나의 영상 프레임 내에 구비된 블록들의 움직임 벡터의 대표값인 전역 움직임 벡터를 계산한 다음, 전역 움직임 벡터와 소정 임계치 이상의 차이를 갖는 블록을 객체 블록으로 결정하고, 소정 임계치 이하의 차이를 갖는 블록을 배경 블록으로 결정할 수도 있다. 전역 움직임 벡터로는 하나의 영상 프레임 내에 구비된 움직임 벡터의 히스토그램을 구한 다음, 복수 개의 움직임 벡터를 대표하는 평균값 등을 이용할 수 있다.

또한, 참조 영상 생성부(340)는 현재 영상 프레임과 이전 영상 프레임의 배 경 영역을 비교한 다음, 현재 영상 프레임에는 구비되어 있지만 이전 영상 프레임에 구비되지 않은 배경 영역을 이용하여 이전 영상 프레임의 배경 영역을 대체하고, 대체된 배경 영역을 저장부에 참조 배경 영상으로 저장한다. 이러한 과정은 입력되는 영상 프레임들에 대하여 반복됨으로써 참조 배경 영상이 계속하여 갱신된다.

또한, 참조 영상 생성부(340)는 분리된 객체 블록을 별도로 참조 객체 영상으로 저장한다. 만약, 객체 블록을 저장하기 위한 저장 공간이 한정된 경우, 저장 공간이 채워지면 가장 이전에 저장된 객체 블록을 삭제하고 새로운 객체 블록을 저장한다.

이하에서 참조 영상 생성부(340)의 구체적인 구성 및 동작에 대하여 도면을 참조하여 설명한다.

도 4를 참조하면, 본 발명에 따른 참조 영상 생성부(400)는 영역 분리부(410), 판별부(420), 갱신부(430) 및 저장부(440)를 포함한다. 저장부(440)는 이전에 부호화된 후 복원된 이전 영상 프레임(441) 뿐만 아니라, 어느 하나의 영상 프레임에 구비되지 않은 배경 영역을 다른 영상 프레임의 배경 영역을 이용하여 갱신함으로써 생성된 배경 영상만으로 이루어진 참조 배경 영상(442)과, 분리된 객체 영역으로 이루어진 참조 객체 영상(443)을 저장한다.

도 5는 본 발명에 따른 영상 부호화 장치에 연속적으로 입력되는 2개의 영상 프레임의 일 예를 나타낸 도면이다. 도 6a 및 도 6b는 도 5의 영상 프레임들 중에서 임의의 t-1 시각에 입력된 영상 프레임(이하 "t-1 영상 프레임"이라 함)에서 분리된 배경 영상 및 객체 영상을 나타낸 도면이며, 도 6c 및 도 6d는 도 5의 영상 프레임들 중 t 시각에 입력된 영상 프레임(이하 "t 영상 프레임"이라 함)에서 분리된 배경 영상 및 객체 영상을 나타낸 도면이다.

영역 분리부(410)는 현재 영상 프레임에 구비된 블록들에 대한 움직임 예측 결과 생성된 각 블록의 움직임 벡터의 크기를 계산하고, 소정 임계치와 각 블록의 움직임 벡터의 크기를 비교하여 현재 영상 프레임을 배경 영역과 객체 영역으로 분리한다. 예를 들어 도 5를 참조하면, 영상 분리부(410)는 t 영상 프레임에 대한 움직임 예측 결과를 이용하여 t 영상 프레임에 구비된 각 블록의 움직임 벡터의 크기를 계산함으로써 소정 임계치 이상의 움직임 벡터를 갖는 블록을 움직이는 객체를 포함하고 있는 블록(53)으로 검출할 수 있다. 이는 움직이는 객체를 구비하는 블록은 배경 영역에 비하여 상대적으로 큰 움직임 벡터를 갖기 때문이다. 유사하게 영역 분리부(410)는 t-1 영상 프레임에 구비된 각 블록의 움직임 벡터의 크기를 계산하고 소정의 임계치와 비교함으로써 움직이는 객체를 포함하고 있는 블록(51)을 검출할 수 있다.

카메라와 같은 영상 획득 수단의 움직임으로 인해 발생하는 패닝(panning) 영상 프레임에 구비된 객체를 판별하기 위하여, 영역 분리부(410)는 영상 프레임에 구비된 블록들의 움직임 벡터를 대표하는 전역 움직임 벡터를 산출하고, 전역 움직임 벡터와 소정 임계치 이상의 차이를 갖는 움직임 벡터를 갖는 블록을 객체 영역 으로 결정하며, 전역 움직임 벡터와 소정 임계치 미만의 차이를 갖는 블록을 배경 영역으로 결정할 수도 있다. 즉, 패닝 영상의 경우 영상 프레임에 구비된 블록들의 전체적인 움직임을 판단함으로써 패닝되는 방향을 결정한 후, 결정된 패닝 방향을 고려하여 다른 움직임을 갖는 블록을 객체 영역으로 결정한다. 여기서, 전역 움직임 벡터로는 영상 프레임에 구비된 모든 블록의 움직임 벡터의 평균값 등이 이용될 수 있다.

도 6a 내지 6d를 참조하면, 영역 분리부(410)는 t-1 영상 프레임을 객체 영역(61)과 배경 영역(60)으로 분리하고, 분리된 t-1 객체 영역(51)은 저장부(440)에 참조 객체 영상(443)으로서 저장한다. 또한, 영역 분리부(410)는 t 영상 프레임을 객체 영역(63)과 배경 영역(64)으로 분리하고, 분리된 t 객체 영역(53)은 저장부(440)에 참조 객체 영상(443)으로 저장한다. 전술한 바와 같이, 저장부(440)에는 각 영상 프레임에서 추출된 객체 영상이 순차적으로 저장되며, 저장 공간이 다 채워진 경우에는 가장 이전에 저장된 객체 영상부터 새로운 객체 영상으로 대체되어 저장된다.

판별부(420)는 영역 분리부(410)에 의하여 분리된 각 영상 프레임의 배경 영역과 객체 영역을 비교하여, 현재 영상 프레임과 이전 영상 프레임에서 모두 배경인 영역, 배경에서 객체로 변경된 영역 및 객체에서 배경으로 변경된 영역을 판별한다.

다시 도 5를 참조하면, t-1 영상 프레임의 객체 영역(51)은 객체의 움직임에 따라 대응되는 t 영상 프레임의 영역(52)에서는 배경 영역이 된다. 또한, t 영상 프레임의 객체 영역(53)은 이전의 t-1 영상 프레임에서는 배경 영역이었지만 객체의 움직임에 의하여 객체 영역으로 변경된다.

갱신부(430)는 판별 결과에 따라 이전 영상 프레임들의 배경 영역으로부터 생성된 참조 배경 영상을 현재 영상 프레임의 배경 영역을 이용하여 갱신을 수행한다. 구체적으로, 먼저 이전 영상 프레임과 현재 영상 프레임에서 모두 배경 영역으로 판별된 영역에 대해서는 이전 영상 프레임과 현재 영상 프레임의 대응되는 블록 사이의 선명도를 계산하고, 참조 배경 영상의 대응되는 영역을 더 선명한 블록으로 대체한다. 이는 시간적으로 연속되는 영상 프레임 사이에서도 미세한 카메라의 흔들림 등으로 인해 다소 흐린 영상이 존재할 수 있기 때문에 보다 선명한 영상을 이용하여 참조 배경 영상을 형성하기 위한 것이다. 영상의 선명도를 검출하기 위해서 영상에 구비된 에지를 검출하는 다양한 알고리즘이 이용될 수 있다. 왜냐하면 보다 선명한 영상의 경우 흐릿한 영상에 비하여 에지를 검출하기 용이하기 때문이다.

본 발명의 실시예에서는 영상의 선명도를 검출하기 위한 방법으로 영상에 구비된 고주파수 성분을 추출하는 방식을 이용한다. 주파수 성분을 검출시에는 이산 여현 변환(Discrete Cosine Transform)이나 웨이블릿 변환과 같은 다양한 주파수 변환 방식이 이용될 수 있다. 갱신부(430)는 이전 영상 프레임과 현재 영상 프레임에서 모두 배경 영역으로 판별된 영역을 주파수 영역으로 변환한 다음, 현재 영상 프레임의 고주파수 성분과 이전 영상 프레임의 고주파수 성분을 비교하여 보다 큰 고주파수 성분을 갖는 영상 프레임을 더 선명한 화질을 갖는 영상으로 선택한 다. 그리고, 갱신부(430)는 대응되는 참조 배경 영상 프레임의 영역을 선택된 영상의 영역으로 대체함으로써 참조 배경 영상을 갱신한다. 예를 들어, 도 6a 및 도 6c를 참조하면, 갱신부(430)는 t-1 영상 프레임 및 t 영상 프레임에서 모두 배경 영역으로 판별된 블록(66a, 66b)을 주파수 영역으로 변환하고, 모두 배경 영역으로 판별된 블록(66a, 66b)의 고주파수 성분을 비교하여 더 큰 고주파수 성분을 갖는 블록을 선택한다. 갱신부(430)는 선택된 블록으로 대응되는 참조 배경 영상의 영역을 대체함으로써 참조 배경 영상을 갱신한다.

또한, 갱신부(430)는 이전 영상 프레임에서는 객체 영역이었으나, 현재 영상 프레임에서는 배경 영역으로 판별된 블록을 이용하여 참조 배경 영상의 대응되는 영역을 대체함으로써 참조 배경 영상을 갱신한다. 다시 도 6a 및 도 6c를 참조하면, 도면 부호 61로 표시된 영역은 t-1 영상 프레임에서는 객체 영역이었으나, t 영상 프레임에서는 배경 영역으로 변경된 영역이다. 이와 같이 객체 영역에서 배경 영역으로 변경된 영역은 객체에 의하여 가려짐으로써 이전 참조 배경 영상에서 생략된 부분이다. 갱신부(430)는 이전 영상 프레임에서 객체에 의하여 가려진 영역을 다음 영상 프레임의 대응되는 배경 영역으로 대체함으로써 참조 배경 영상을 갱신한다. 갱신부(430)는 입력되는 영상 프레임들에 대하여 상기와 같은 과정을 반복함으로써 저장부(440)에 저장된 참조 배경 영상(442)을 계속 갱신한다.

또한, 저장부(440)에는 각 영상 프레임으로부터 추출된 여러 가지 형태의 참조 객체 영상(443)이 저장된다. 예를 들어, 도 6b 및 도 6d에 도시된 바와 같이, 각 영상 프레임에서 분리된 다양한 형태의 객체 영상(51,53)이 참조 객체 영 상(443)으로서 저장된다. 갱신부(430)에 의하여 생성된 참조 배경 영상(442) 및 각 영상 프레임에서 분리된 참조 객체 영상(443)은 이후의 영상 프레임의 움직임 예측 및 보상에 이용된다. 이와 같이, 각 영상 프레임에서 분리된 객체 영상을 별도로 저장하는 경우, 변화되는 움직임을 갖는 객체의 예측시에 참조 객체 영상으로부터 보다 정확한 예측이 가능하다.

도 7을 참조하면, 단계 710에서 현재 영상 프레임을 배경 영역과 객체 영역으로 분리한다. 전술한 바와 같이, 현재 영상 프레임 내에 구비된 각 블록들의 움직임 벡터의 크기를 검출하고 소정 임계치와 비교하여 배경과 객체를 구별하거나, 또는 현재 영상 프레임에 구비된 각 블록들의 움직임 벡터를 대표하는 전역 움직임 벡터를 계산한 다음 전역 움직임 벡터와 소정 임계치 이상의 차이를 갖는 블록을 객체 블록으로, 그렇지 않은 블록은 배경 블록으로 결정할 수 있다.

단계 720에서, 현재 영상 프레임과 이전 영상 프레임을 비교하여 현재 영상 프레임과 이전 영상 프레임에서 모두 배경으로 유지되는 영역, 배경에서 객체로 변경된 영역, 객체에서 배경으로 변경된 영역을 판별한다.

단계 730에서, 모두 배경으로 유지되는 영역의 경우 현재 영상 프레임과 이전 영상 프레임 중에서 보다 큰 선명도를 갖는 영상을 선택하고, 선택된 영상을 이용하여 참조 배경 영상을 대체함으로써 참조 배경 영상을 갱신한다. 또한, 배경에서 객체로 변경된 영역의 경우에는 현재 영상 프레임의 객체 영역을 별도로 참조 객체 영상으로 저장부(440)에 저장한다. 객체에서 배경으로 변경된 영역의 경우에 는 이전 영상 프레임의 배경 영역에서 생략된 영역이므로, 현재 영상 프레임의 배경 영역을 이용하여 이전 영상 프레임에서 생략된 배경 영역을 보충함으로써 참조 배경 영상을 갱신한다.

단계 740에서, 이후의 영상 프레임에 대해서 상기 단계들을 반복하면서 참조 배경 영상 및 참조 객체 영상을 계속하여 갱신하면서 현재 처리되는 영상 프레임 이전에 상기 단계를 통해 생성된 참조 배경 영상 및 참조 객체 영상을 이용하여 움직임 예측을 수행하여 예측 영상을 생성하고, 예측 영상과 원 영상의 차이를 변환, 양자화 및 엔트로피 부호화를 수행한다.

도 8을 참조하면, 본 발명에 따른 영상 복호화 장치(800)는 도 3의 부호화 장치에 의해 부호화된 비트스트림을 수신하여 복호화하기 위한 장치로서, 비트스트림을 디먹싱하는 디먹싱부(810), 엔트로피 복호화부(820), 변환 복호화부(850)를 구비한다. 또한, 코딩 타입 정보를 해석하는 코딩 타입 정보 해석부(830) 및 움직임 벡터를 해석하는 움직임 벡터 해석부(840)를 구비한다.

비트스트림은 디먹싱부(810)에 의해 엔트로피 부호화된 양자화된 변환 계수들, 움직임 벡터 정보, 코딩 타입 정보 등으로 디먹싱된다. 엔트로피 복호화부(820)는 엔트로피 부호화된 변환 계수들을 엔트로피 복호화하여 양자화된 변환 계수들을 출력한다. 변환 복호화부(850)는 양자화된 변환 계수들을 변환 복호화한다. 복원된 영상 데이터는 움직임 보상을 위해 참조 영상 생성부(860)에 저장된다.

한편, 코딩 타입 정보 해석부(840)는 코딩 타입을 알아내어 움직임 보상이 필요한 인터 타입일 경우 제3 스위치(S30)를 닫는다. 이에 따라, 변환 복호화부(850)로부터 출력된 데이터에 움직임 보상부(870)로부터 출력된 움직임 보상값이 더해져서 복원된 영상 데이터가 얻어지게 된다. 움직임 벡터 해석부(840)는 움직임 벡터 정보로부터 얻은 움직임 벡터가 가리키는 위치를 알려주고, 움직임 보상부(870)는 움직임 벡터가 가리키는 참조 영상 데이터로부터 움직임 보상값을 생성하여 출력한다.

특히, 참조 영상 생성부(860)는 이전에 복원된 영상 프레임들을 이용하여 참조 배경 영상과 참조 객체 영상을 생성하여 저장한다. 참조 영상 생성부(860)는 복원된 영상 프레임들을 이용하는 것을 제외하고는 전술한 도 4의 영상 부호화기의 참조 영상 생성부(400)의 구성 및 동작과 유사하다.

즉, 참조 영상 생성부(860)는 복호화되는 현재 영상 프레임 이전에 복원된 제 1 영상 프레임 및 제 2 영상 프레임을 배경 영역과 객체 영역으로 분리하고, 복원된 제 1 영상 프레임 및 제 2 영상 프레임을 비교하여 제 1 영상 프레임과 제 2 영상 프레임에서 모두 배경인 영역, 배경에서 객체로 변경된 영역 및 객체에서 배경으로 변경된 영역을 판별한다. 그리고, 참조 영상 생성부(860)는 판별 결과에 따라 이전에 복원된 영상 프레임들의 배경 영역으로부터 생성된 참조 배경 영상을 제 1 영상 프레임 및 제 2 영상 프레임의 배경 영역을 이용하여 갱신한다. 전술한 바와 같이, 제 1 영상 프레임과 제 2 영상 프레임에서 모두 배경으로 유지되는 영역의 경우 제 1 영상 프레임과 제 2 영상 프레임 중에서 더 큰 선명도를 갖는 영상 을 선택하고, 선택된 영상을 이용하여 참조 배경 영상을 대체함으로써 참조 배경 영상을 갱신한다. 또한, 배경에서 객체로 변경된 영역의 경우에는 제 2 영상 프레임의 객체 영역을 별도로 참조 객체 영상으로서 저장한다. 객체에서 배경으로 변경된 영역의 경우에는 제 1 영상 프레임의 배경 영역에서 생략된 영역이므로, 제 2 영상 프레임의 배경 영역을 이용하여 제 1 영상 프레임에서 생략된 배경 영역을 보충함으로써 참조 배경 영상을 갱신한다.

움직임 보상부(870)는 코딩 타입 정보 해석부(830)에서 판단된 현재 복호화되는 영상 프레임이 이전 영상 프레임들로부터 생성된 참조 배경 영상 또는 참조 객체 영상을 이용한 경우, 상기 참조 영상 생성부(860)에 의하여 생성된 참조 배경 영상 또는 참조 객체 영상을 이용하여 움직임 보상을 수행하여 예측 영상을 생성한다.

도 9를 참조하면, 단계 910에서 복호화되는 현재 영상 프레임 이전에 복원된 적어도 2개의 제 1 영상 프레임 및 제 2 영상 프레임을 배경 영역과 객체 영역으로 분리한다.

단계 920에서, 복원된 제 1 영상 프레임 및 제 2 영상 프레임을 비교하여 제 1 영상 프레임과 상기 제 2 영상 프레임에서 모두 배경인 영역, 배경에서 객체로 변경된 영역 및 객체에서 배경으로 변경된 영역을 판별한다.

단계 930에서, 판별 결과에 따라 이전에 복원된 영상 프레임들의 배경 영역으로부터 생성된 참조 배경 영상을 제 1 영상 프레임 및 제 2 영상 프레임의 배경 영역을 이용하여 갱신하고 갱신된 참조 배경 영상을 저장한다.

단계 940에서, 갱신된 참조 배경 영상을 이용하여 현재 영상 프레임에 대한 움직임 보상을 수행함으로써 복원된 예측 영상을 생성하고, 복원된 예측 영상은 비트스트림에 구비된 레지듀얼 성분과 더해져서 영상이 복원된다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

전술한 본 발명에 따르면 참조 영상의 저장을 위한 메모리의 크기를 늘리지 않고, 움직임 예측 및 보상을 수행할 때의 계산의 복잡도를 줄이면서도 다중 참조 프레임을 이용하는 것과 같이 부호화 효율을 향상시킬 수 있다. 즉, 이전 영상 프레임들을 이용하여 참조 배경 영상 및 참조 객체 영상을 계속하여 갱신하여 저장한 다음 참조 배경 영상과 참조 객체 영상을 이용하여 움직임 예측 및 보상을 수행함으로써 다수의 참조 영상을 저장할 필요없이 갱신된 참조 배경 영상만을 이용하여 예측 영상을 생성함으로써 부호화 효율이 향상된다. 또한, 객체의 경우 참조 객체 영상을 이용하여 탐색 영역을 확대하지 않고도 쉽게 움직임 예측 및 보상을 수행할 수 있으며, 형태가 변화하는 객체의 경우에도 참조 객체 영상에 저장된 복수 개의 참조 객체 영상들을 이용하여 예측 영상을 생성함으로써 부호화 효율을 향상시킬 수 있다.

Claims

영상 부호화 방법에 있어서,

현재 영상 프레임을 배경 영역과 객체 영역으로 분리하는 단계;

상기 현재 영상 프레임과 이전 영상 프레임을 비교하여 상기 현재 영상 프레임과 이전 영상 프레임에서 배경 또는 객체 사이의 영역 변경 여부를 판별하는 단계;

상기 판별 결과에 따라 이전 영상 프레임들의 배경 영역으로부터 생성된 참조 배경 영상을 상기 현재 영상 프레임의 배경 영역을 이용하여 갱신하고 갱신된 참조 배경 영상을 저장하는 단계; 및

상기 갱신된 참조 배경 영상을 이용하여 상기 현재 영상 프레임 이후의 영상 프레임에 대한 움직임 예측을 수행하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 1항에 있어서,

상기 현재 영상 프레임을 배경 영역과 객체 영역으로 분리하는 단계는

상기 현재 영상 프레임에 대한 블록 기반의 움직임 예측을 수행하여 움직임 벡터를 생성하는 단계;

상기 현재 영상 프레임의 움직임 벡터의 크기를 계산하는 단계; 및

상기 움직임 벡터의 크기가 소정 임계치 이상인 블록을 객체 영역에 포함되 는 것으로 결정하고, 상기 움직임 벡터의 변화량이 소정 임계치 미만인 블록을 배경 영역에 포함되는 것으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 1항에 있어서,

상기 현재 영상 프레임을 배경 영역과 객체 영역으로 분리하는 단계는

상기 현재 영상 프레임에 대한 블록 기반의 움직임 예측을 수행하여 움직임 벡터를 생성하는 단계;

상기 현재 영상 프레임에 구비된 블록들의 움직임 벡터를 대표하는 전역 움직임 벡터를 계산하는 단계; 및

상기 현재 영상 프레임에 구비된 블록들 중에서 상기 전역 움직임 벡터와 소정 임계치 이상의 차이를 갖는 움직임 벡터를 갖는 블록을 객체 영역으로 결정하고, 상기 전역 움직임 벡터와 소정 임계치 미만을 갖는 움직임 벡터를 갖는 블록을 배경 영역으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 1항에 있어서, 상기 참조 배경 영역을 갱신하는 단계는

상기 현재 영상 프레임과 상기 이전 영상 프레임에서 모두 배경으로 판별된 영역의 선명도를 계산하는 단계;

상기 현재 영상 프레임과 상기 이전 영상 프레임의 배경 영역 중에서 선명도 가 더 높은 배경 영역을 선택하는 단계; 및

상기 참조 배경 영상 중에서 상기 선택된 배경 영역과 대응되는 영역을 상기 선택된 배경 영역으로 대체함으로써 상기 참조 배경 영상을 갱신하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 4항에 있어서, 상기 선명도가 더 높은 배경 영역을 선택하는 단계는

상기 현재 영상 프레임과 상기 이전 영상 프레임을 주파수 영역으로 변환하는 단계; 및

상기 현재 영상 프레임과 상기 이전 영상 프레임의 고주파수 성분을 비교하여, 상기 현재 영상 프레임과 상기 이전 영상 프레임 중에서 더 큰 고주파수 성분을 갖는 영상 프레임의 배경 영역을 상기 선명도가 더 높은 배경 영역으로 선택하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 1항에 있어서, 상기 참조 배경 영상을 갱신하는 단계는

상기 이전 영상 프레임에서 객체 영역이고, 상기 현재 영상 프레임에서 배경 영역으로 판별된 상기 현재 영상 프레임의 배경 영역으로 상기 참조 배경 영상의 대응되는 영역을 대체함으로써 상기 참조 배경 영상을 갱신하는 것을 특징으로 하는 영상 부호화 방법.
제 1항에 있어서,

상기 이전 영상 프레임에서 배경 영역이고, 상기 현재 영상 프레임에서 객체 영역으로 판별된 상기 현재 영상 프레임의 객체 영역을 참조 객체 영상으로서 저장하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
영상 부호화 장치에 있어서,

현재 영상 프레임을 배경 영역과 객체 영역으로 분리하는 영역 분리부;

상기 현재 영상 프레임의 배경 영역과 이전 영상 프레임의 배경 영역을 비교하여 상기 현재 영상 프레임과 이전 영상 프레임에서 배경 또는 객체 사이의 영역 변경 여부를 판별하는 판별부;

상기 판별 결과에 따라 이전 영상 프레임들의 배경 영역으로부터 생성된 참조 배경 영상을 상기 현재 영상 프레임의 배경 영역을 이용하여 갱신하는 갱신부;

상기 갱신된 참조 배경 영상을 저장하는 저장부; 및

상기 갱신된 참조 배경 영상을 이용하여 입력된 영상 프레임들에 대한 움직임 예측을 수행하는 움직임 예측부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
제 8항에 있어서, 상기 영역 분리부는

상기 현재 영상 프레임에 대한 블록 기반의 움직임 예측을 수행하여 생성된 움직임 벡터를 이용하여 상기 현재 영상 프레임에 구비된 블록들의 움직임 벡터의 크기를 계산하는 움직임 벡터 크기 계산부; 및

상기 움직임 벡터의 크기가 소정 임계치 이상인 블록을 객체 영역에 포함되는 것으로 결정하고, 상기 움직임 벡터의 변화량이 소정 임계치 미만인 블록을 배경 영역에 포함되는 것으로 결정하는 영역 결정부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
제 8항에 있어서, 상기 영역 분리부는

상기 현재 영상 프레임에 구비된 블록들의 움직임 벡터를 대표하는 전역 움직임 벡터를 계산하는 전역 움직임 벡터 계산부; 및

상기 현재 영상 프레임에 구비된 블록들 중에서 상기 전역 움직임 벡터와 소정 임계치 이상의 차이를 갖는 움직임 벡터를 갖는 블록을 객체 영역으로 결정하고, 상기 전역 움직임 벡터와 소정 임계치 미만을 갖는 움직임 벡터를 갖는 블록을 배경 영역으로 결정하는 영역 결정부를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
제 8항에 있어서, 상기 갱신부는

상기 현재 영상 프레임과 상기 이전 영상 프레임에서 모두 배경으로 판별된 영역의 선명도를 계산하고, 상기 현재 영상 프레임과 상기 이전 영상 프레임의 배경 영역 중에서 선명도가 더 높은 배경 영역을 선택하는 갱신 영역 선택부; 및

상기 참조 배경 영상 중에서 상기 선택된 배경 영역과 대응되는 영역을 상기 선택된 배경 영역으로 대체함으로써 상기 참조 배경 영상을 갱신하는 갱신 수행부 를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
제 11항에 있어서, 상기 갱신 영역 선택부는

상기 현재 영상 프레임과 상기 이전 영상 프레임을 주파수 영역으로 변환하고 상기 현재 영상 프레임과 상기 이전 영상 프레임의 고주파수 성분을 비교하여, 상기 현재 영상 프레임과 상기 이전 영상 프레임 중에서 더 큰 고주파수 성분을 갖는 영상 프레임의 배경 영역을 상기 선명도가 더 높은 배경 영역으로 선택하는 것을 특징으로 하는 영상 부호화 장치.
제 8항에 있어서, 상기 갱신부는

상기 이전 영상 프레임에서 객체 영역이고, 상기 현재 영상 프레임에서 배경 영역으로 판별된 상기 현재 영상 프레임의 배경 영역으로 상기 참조 배경 영상의 대응되는 영역을 대체함으로써 상기 참조 배경 영상을 갱신하는 것을 특징으로 하는 영상 부호화 장치.
제 8항에 있어서, 상기 저장부는

상기 이전 영상 프레임에서 배경 영역이고, 상기 현재 영상 프레임에서 객체 영역으로 판별된 상기 현재 영상 프레임의 객체 영역을 참조 객체 영상으로서 저장하는 것을 특징으로 하는 영상 부호화 장치.
영상 복호화 방법에 있어서,

복호화되는 현재 영상 프레임 이전에 복원된 적어도 2개의 제 1 영상 프레임 및 제 2 영상 프레임을 배경 영역과 객체 영역으로 분리하는 단계;

상기 복원된 제 1 영상 프레임 및 제 2 영상 프레임을 비교하여 상기 제 1 영상 프레임과 상기 제 2 영상 프레임에서 배경 또는 객체 사이의 영역 변경 여부를 판별하는 단계;

상기 판별 결과에 따라 이전에 복원된 영상 프레임들의 배경 영역으로부터 생성된 참조 배경 영상을 상기 제 1 영상 프레임 및 제 2 영상 프레임의 배경 영역을 이용하여 갱신하고 갱신된 참조 배경 영상을 저장하는 단계; 및

상기 갱신된 참조 배경 영상을 이용하여 상기 현재 영상 프레임에 대한 움직임 보상을 수행하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
제 15항에 있어서,

상기 제 1 영상 프레임 및 제 2 영상 프레임을 배경 영역과 객체 영역으로 분리하는 단계는

입력된 비트스트림에 구비된 상기 제 1 영상 프레임 및 제 2 영상 프레임의 움직임 벡터를 이용하여, 상기 제 1 영상 프레임 및 제 2 영상 프레임에 구비된 블록들의 움직임 벡터의 크기를 계산하는 단계; 및

상기 움직임 벡터의 크기가 소정 임계치 이상인 블록을 객체 영역에 포함되는 것으로 결정하고, 상기 움직임 벡터의 변화량이 소정 임계치 미만인 블록을 배 경 영역에 포함되는 것으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
제 15항에 있어서,

상기 제 1 영상 프레임 및 제 2 영상 프레임을 배경 영역과 객체 영역으로 분리하는 단계는

입력된 비트스트림에 구비된 상기 제 1 영상 프레임 및 제 2 영상 프레임의 움직임 벡터를 이용하여, 상기 제 1 영상 프레임에 구비된 블록들의 움직임 벡터를 대표하는 제 1 전역 움직임 벡터 및 상기 제 2 영상 프레임에 구비된 블록들의 움직임 벡터를 대표하는 제 2 전역 움직임 벡터를 계산하는 단계; 및

상기 제 1 영상 프레임 및 상기 제 2 영상 프레임에 구비된 블록들 각각에 대해서 상기 제 1 전역 움직임 벡터 및 제 2 전역 움직임 벡터와 비교하여 소정 임계치 이상의 차이를 갖는 움직임 벡터를 갖는 블록을 객체 영역으로 결정하고, 상기 전역 움직임 벡터와 소정 임계치 미만을 갖는 움직임 벡터를 갖는 블록을 배경 영역으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
제 15항에 있어서, 상기 참조 배경 영역을 갱신하는 단계는

상기 제 1 영상 프레임과 상기 제 2 영상 프레임에서 모두 배경으로 판별된 영역의 선명도를 계산하는 단계;

상기 제 1 영상 프레임과 상기 제 2 영상 프레임의 배경 영역 중에서 선명도 가 더 높은 배경 영역을 선택하는 단계; 및

상기 참조 배경 영상 중에서 상기 선택된 배경 영역과 대응되는 영역을 상기 선택된 배경 영역으로 대체함으로써 상기 참조 배경 영상을 갱신하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
제 18항에 있어서, 상기 선명도가 더 높은 배경 영역을 선택하는 단계는

상기 제 1 영상 프레임과 상기 제 2 영상 프레임을 주파수 영역으로 변환하는 단계; 및

상기 제 1 영상 프레임과 상기 제 2 영상 프레임의 고주파수 성분을 비교하여, 상기 제 1 영상 프레임과 상기 제 2 영상 프레임 중에서 더 큰 고주파수 성분을 갖는 영상 프레임의 배경 영역을 상기 선명도가 더 높은 배경 영역으로 선택하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
제 15항에 있어서, 상기 참조 배경 영상을 갱신하는 단계는

상기 제 1 영상 프레임에서 객체 영역이고, 상기 제 2 영상 프레임에서 배경 영역으로 판별된 상기 제 2 영상 프레임의 배경 영역으로 상기 참조 배경 영상의 대응되는 영역을 대체함으로써 상기 참조 배경 영상을 갱신하는 것을 특징으로 하는 영상 복호화 방법.
제 15항에 있어서,

상기 제 1 영상 프레임에서 배경 영역이고, 상기 제 2 영상 프레임에서 객체 영역으로 판별된 상기 제 2 영상 프레임의 객체 영역을 참조 객체 영상으로서 저장하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
영상 복호화 장치에 있어서,

복호화되는 현재 영상 프레임 이전에 복원된 적어도 2개의 제 1 영상 프레임 및 제 2 영상 프레임을 배경 영역과 객체 영역으로 분리하는 영역 분리부;

상기 복원된 제 1 영상 프레임 및 제 2 영상 프레임을 비교하여 상기 제 1 영상 프레임과 상기 제 2 영상 프레임에서 배경 또는 객체 사이의 영역 변경 여부를 판별하는 판별부;

상기 판별 결과에 따라 이전에 복원된 영상 프레임들의 배경 영역으로부터 생성된 참조 배경 영상을 상기 제 1 영상 프레임 및 제 2 영상 프레임의 배경 영역을 이용하여 갱신하는 갱신부;

상기 갱신된 참조 배경 영상을 저장하는 저장부; 및

상기 갱신된 참조 배경 영상 및 상기 비트스트림에 구비된 현재 영상 프레임의 움직임 벡터를 이용하여 상기 현재 영상 프레임에 대한 움직임 보상을 수행하는 움직임 보상부를 포함하는 것을 특징으로 하는 영상 복호화 장치.
제 22항에 있어서, 상기 영역 분리부는

입력된 비트스트림에 구비된 상기 제 1 영상 프레임 및 제 2 영상 프레임의 움직임 벡터를 이용하여, 상기 제 1 영상 프레임과 상기 제 2 영상 프레임에 구비된 블록들의 움직임 벡터의 크기를 계산하는 움직임 벡터 크기 계산부; 및

상기 움직임 벡터의 크기가 소정 임계치 이상인 블록을 객체 영역에 포함되는 것으로 결정하고, 상기 움직임 벡터의 변화량이 소정 임계치 미만인 블록을 배경 영역에 포함되는 것으로 결정하는 영역 결정부를 더 포함하는 것을 특징으로 하는 영상 복호화 장치.
제 22항에 있어서, 상기 영역 분리부는

입력된 비트스트림에 구비된 상기 제 1 영상 프레임 및 제 2 영상 프레임의 움직임 벡터를 이용하여, 상기 제 1 영상 프레임에 구비된 블록들의 움직임 벡터를 대표하는 제 1 전역 움직임 벡터 및 상기 제 2 영상 프레임에 구비된 블록들의 움직임 벡터를 대표하는 제 2 전역 움직임 벡터를 계산하는 전역 움직임 벡터 계산부; 및

상기 제 1 영상 프레임 및 상기 제 2 영상 프레임에 구비된 블록들 각각에 대해서 상기 제 1 전역 움직임 벡터 및 제 2 전역 움직임 벡터와 비교하여 소정 임계치 이상의 차이를 갖는 움직임 벡터를 갖는 블록을 객체 영역으로 결정하고, 상기 전역 움직임 벡터와 소정 임계치 미만을 갖는 움직임 벡터를 갖는 블록을 배경 영역으로 결정하는 영역 결정부를 포함하는 것을 특징으로 하는 영상 복호화 장치.
제 22항에 있어서, 상기 갱신부는

상기 제 1 영상 프레임과 상기 제 2 영상 프레임에서 모두 배경으로 판별된 영역의 선명도를 계산하고, 상기 제 1 영상 프레임과 상기 제 2 영상 프레임의 배경 영역 중에서 선명도가 더 높은 배경 영역을 선택하는 갱신 영역 선택부; 및

상기 참조 배경 영상 중에서 상기 선택된 배경 영역과 대응되는 영역을 상기 선택된 배경 영역으로 대체함으로써 상기 참조 배경 영상을 갱신하는 갱신 수행부를 포함하는 것을 특징으로 하는 영상 복호화 장치.
제 25항에 있어서, 상기 갱신 영역 선택부는

상기 제 1 영상 프레임과 상기 제 2 영상 프레임을 주파수 영역으로 변환하고 상기 제 1 영상 프레임과 상기 제 2 영상 프레임의 고주파수 성분을 비교하여, 상기 제 1 영상 프레임과 상기 제 2 영상 프레임 중에서 더 큰 고주파수 성분을 갖는 영상 프레임의 배경 영역을 상기 선명도가 더 높은 배경 영역으로 선택하는 것을 특징으로 하는 영상 복호화 장치.
제 22항에 있어서, 상기 갱신부는

상기 제 1 영상 프레임에서 객체 영역이고, 상기 제 2 영상 프레임에서 배경 영역으로 판별된 상기 제 2 영상 프레임의 배경 영역으로 상기 참조 배경 영상의 대응되는 영역을 대체함으로써 상기 참조 배경 영상을 갱신하는 것을 특징으로 하는 영상 복호화 장치.
제 22항에 있어서, 상기 저장부는

상기 제 1 영상 프레임에서 배경 영역이고, 상기 제 2 영상 프레임에서 객체 영역으로 판별된 상기 제 2 영상 프레임의 객체 영역을 참조 객체 영상으로서 저장하는 것을 특징으로 하는 영상 복호화 장치.