KR101431046B1

KR101431046B1 - Fruc를 위한 영상정보 인코딩 방법 및 장치, 저장매체

Info

Publication number: KR101431046B1
Application number: KR1020130015379A
Authority: KR
Inventors: 낭종호; 모홍철
Original assignee: 서강대학교산학협력단
Priority date: 2013-02-13
Filing date: 2013-02-13
Publication date: 2014-08-22

Abstract

본 발명에 따르는 FRUC를 위한 영상정보 인코딩 장치는, 원본 영상정보를 저장하는 저장매체; 및 원본 영상정보에서 선택된 일부 프레임 각각에 대해, 프레임 속성을 부여하고, 상기 프레임 속성이 부여된 프레임 중 미리 정해둔 속성의 프레임인 현재 프레임을 구성하는 다수의 블록 각각에 대해, 각 블록에 대한 모션 벡터를 가상 보간 프레임의 보간 블록과 이에 대응되는 원본 프레임의 블록의 차이가 최소가 되도록 검출하고, 그 다수의 블록에 대한 모션 벡터들을 코딩하여, 그 코딩된 모션 벡터들을 현재 프레임의 코딩결과로서 생성하는 프로세스를 수행하는 프로세서로 구성되며, 상기 미리 정해둔 속성의 프레임은 다른 프레임을 참조하는 프레임이며, 상기 영상정보는 다수의 프레임으로 구성되며, 상기 가상 보간 프레임은 디코딩시 현재 프레임과 참조 프레임의 사이에 보간될 것으로 예측되는 보간 프레임이며, 상기 원본 프레임은 상기 가상 보간 프레임에 대한 원본 영상정보의 프레임인 것을 특징으로 한다.

Description

FRUC를 위한 영상정보 인코딩 방법 및 장치, 저장매체{VIDEO DATA ENCODING METHOD OF ENCODING VIDEO DATA FOR FRUC, APPARATUS AND STORAGE MEDIUM THEREOF}

본 발명은 영상정보를 인코딩하는 기술에 관한 것으로, 더욱 상세하게는 영상정보의 인코딩을 위해 영상정보에 대한 모션 벡터 조합을 생성할 때에, 디코딩 장치에서의 FRUC시에 생성될 보간 프레임과 이에 대응되는 원본 프레임과의 차이가 최소가 될 수 있도록 모션 벡터 조합을 생성하는 FRUC를 위한 영상정보 인코딩 방법 및 장치, 저장매체에 관한 것이다.

인터넷을 포함한 정보통신 기술의 발달에 따라 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기는 부족해졌다. 이에따라 문자, 영상, 음악 등 다양한 형태의 멀티미디어 데이터를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 상기 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며, 전송시에 넓은 대역폭을 요구한다. 이에, 문자나 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 일반적이다.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 것이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 경우와 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려하여 지각적 중복을 제거하는 것이다.

일반적인 비디오 코딩 기법에 있어서, 시간적 중복은 움직임 보상에 근거한 시간적 필터링(temporal filtering)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다. 이와 같이 압축된 비디오 데이터는 다양한 전달 매체를 통하여 다양한 복원 장치(비디오 디코딩 장치)에 제공된다. 상기 복원 장치는 상기 압축된 비디오 데이터에 대하여 상기 압축 과정의 역에 해당하는 과정을 수행하여 복원된 비디오 영상을 얻게 된다.

그런데 다양한 재생 장치 또는 어플리케이션의 요구에 따라서는 복원된 비디오의 프레임 레이트를 변경할 필요가 발생한다. 비디오 프레임 레이트를 저하(down converting)시키는 경우라면 프레임 스킵, 기타 다양한 방법으로 간단히 구현이 가능하지만, 영상 프레임 레이트를 향상(up converting)시키는 경우라면 존재하지 않는 프레임을 보간하여야 하며, 그 보간 결과 재생되는 영상이 사용자에게 얼마나 자연스럽게 보여질 수 있는가가 관건이다. 즉, 프레임 레이트를 향상시키기 위하여 보간하여 삽입한 프레임이 동영상 압축 단계에서 생략한 원본 프레임과의 차이가 최소가 되도록 보간하여야 한다.

프레임 레이트 업 변환(Frame Rate Up Conversion, FRUC) 기술은 영상의 프레임과 프레임 사이에 가상의 프레임을 생성하여 삽입하여 동영상을 보다 자연스럽게 보여주는 효과를 나타내는 기술이다.

상기 프레임 레이트 업 변환 기술로는 프레임 반복(Frame Repetition, FR), 프레임 평균(Frame Averaging, FA), 선형 프레임 보간(Linear frame Interpolation, LI) 등 이 있다. 그러나 이러한 기법들은 모션 벡터(Motion vector)를 고려하지 않기 때문에 복잡도가 낮고 쉽게 보간이 가능하다. 그러나 영상 포맷이 확장되거나 물체의 움직임이 클 경우에는 영상이 고르지 못하고 영상이 중복되는 고스트 현상(Ghost artifact)이 발생한다. 또한 블록 단위로 보간을 하기 때문에 블록간의 경계부분에서 블록화 현상(Block artifact)도 발생할 수 있다.

이러한 문제점을 개선하기 위해, 모션 벡터를 고려한 움직임 보상 프레임 레이트 업 변환(Motion Compensation-Frame Rate Up Conversion, MC-FRUC) 기술이 연구되었다.

상기 움직임 보상 프레임 레이트 업 변환(MC-FRUC) 기술은 삽입될 프레임에 존재할 모션 벡터(Motion Vector, MV)를 추정하여 생성된 가상의 모션 벡터를 이용하여 프레임을 생성하는 기술이다.

상기 MC-FRUC는 정확한 모션 벡터를 예측하는 것에 큰 비중을 두고, 보다 정확한 모션 벡터의 예측에 대한 방향으로 연구가 이루어졌다. 상기 MC-FRUC의 가장 기본적인 기술인 움직임 보상 프레임 보간은 현재 프레임을 중심으로 이전 프레임에서 획득한 모션 벡터를 이용하여 보간 프레임을 생성하는 방법이다.

한편 영상 압축기술로 많이 사용되고 있는 MPEG1, MPEG2, MPEG4, H.263, H.264와 같은 동영상 코덱은 영상 스트림 자체에 모션 벡터를 포함하고 있는 MC-DCT(Motion Compensation-Discrete Cosine Transform) 기반의 동영상 코덱이다.

따라서 MC-DCT 기반의 동영상 코덱으로 인코딩된 동영상들에 FRUC를 적용할 때 이러한 모션 벡터를 활용한다면 연산량을 상당히 낮출 수 있을 것으로 기대되고 있다.

이러한 기대에 따라 본 출원인은 대한민국 특허청에 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법 및 그 장치를 명칭으로 하여 특허출원 제10-2012-0093637호를 제안한 바 있다.

상기 특허 출원된 기술은, 압축 코딩된 영상 프레임내의 매크로 블록을 모션 벡터 보상 프레임 레이트 업 변환에 유용한 모션 벡터를 포함하는 매크로 블록과 그렇지 않은 매크로 블록으로 분류하는 단계; 상기 유용한 모션 벡터를 포함하는 매크로 블록으로 분류된 매크로 블록의 모션 벡터 정보를 획득하는 단계; 상기 그렇지 않은 매크로 블록으로 분류된 매크로 블록에 대하여 모션 벡터 보상 프레임 레이트 업 변환에 사용하기 위한 모션 벡터를 추정하는 단계; 및 상기 획득된 모션 벡터와 상기 추정된 모션 벡터에 기반하여 모션 벡터 보상 프레임 레이트 업 변환을 수행하여 현재 영상 프레임과 참조 영상 프레임 사이의 보간 영상 프레임을 생성하는 단계를 포함하는 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법을 개시하고 있다.

상기 제안된 특허출원기술은 FRUC를 위해 보간 프레임의 모션 벡터를 추정하여야 하므로, 그 정확도에 따라 출력 영상의 품위가 좌우되는 문제가 있었다.

더욱이 종래 기술에 따라 FRUC를 하기 위해서는, 디코딩 장치에서 보간 프레임을 생성하기 위한 모션 벡터를 재추정하여야 하므로, 처리 프로세스가 복잡함은 물론이고 처리 속도도 많이 소요되는 문제도 있었다.

한국특허출원 제2009-0024503호 한국특허출원 제2008-7027837호

본 발명은 영상정보의 인코딩을 위해 영상정보에 대한 모션 벡터 조합을 생성할 때에, 디코딩 장치에서의 FRUC를 고려하여 FRUC시에 생성될 보간 프레임과 이에 대응되는 원본 프레임과의 차이가 최소가 될 수 있도록 모션 벡터 조합을 생성하여, 모션벡터를 이용하여 FRUC를 이행할 때에, 원본 프레임과 유사한 보간 프레임을 생성할 수 있게 하는 FRUC를 위한 영상정보 인코딩 방법 및 장치, 저장매체를 제공하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명에 따르는 FRUC를 위한 영상정보 인코딩 장치는, 원본 영상정보를 저장하는 저장매체; 및 원본 영상정보에서 선택된 일부 프레임 각각에 대해, 프레임 속성을 부여하고, 상기 프레임 속성이 부여된 프레임 중 미리 정해둔 속성의 프레임인 현재 프레임을 구성하는 다수의 블록 각각에 대해, 각 블록에 대한 모션 벡터를 가상 보간 프레임의 블록과 이에 대응되는 원본 프레임의 블록의 차이가 최소가 되도록 검출하고, 그 다수의 블록에 대한 모션 벡터들을 코딩하여, 그 코딩된 모션 벡터들을 현재 프레임의 코딩결과로서 생성하는 프로세스를 수행하는 프로세서로 구성되며, 상기 미리 정해둔 속성의 프레임은 다른 프레임을 참조하는 프레임이며, 상기 영상정보는 다수의 프레임으로 구성되며, 가상 보간 프레임은 디코딩시 현재 프레임과 참조 프레임의 사이에 보간될 것으로 예측되는 보간 프레임이며, 상기 원본 프레임은 상기 가상 보간 프레임에 대한 원본 영상정보의 프레임인 것을 특징으로 한다.

상기한 본 발명은 영상정보의 인코딩을 위해 영상정보에 대한 모션 벡터 조합을 생성할 때에, 디코딩 장치에서의 FRUC를 고려하여 FRUC시에 생성될 보간 프레임 및 이에 대응되는 원본 프레임과의 차이가 최소가 될 수 있도록 모션 벡터 조합을 생성한다. 그 결과, 디코딩시에 모션벡터를 이용하여 FRUC를 이행할 때에, 원본 프레임과 유사한 보간 프레임을 생성할 수 있게 하여, 디코딩된 영상정보의 품위를 향상시킬 수 있는 효과를 야기한다.

또한 본 발명은 디코딩 장치에서 FRUC를 위해 보간 프레임을 생성하기에 적합한 모션 벡터를 인코딩 장치에서 제공함으로서, 디코딩 장치에서의 프레임 레이트 업 변환을 위한 처리 프로세서 및 처리 속도를 감소시킬 수 있는 효과를 야기한다.

도 1은 본 발명의 바람직한 실시예에 따른 FRUC를 위한 영상정보 인코딩 장치의 구성도.
도 2는 본 발명의 바람직한 실시예에 따른 FRUC를 위한 영상정보 인코딩 방법의 흐름도.
도 3 및 도 4는 본 발명의 바람직한 실시예에 따른 모션 벡터 조합 생성 과정을 예시한 도면.

상기한 본 발명은 영상정보의 인코딩을 위해 영상정보에 대한 모션 벡터 조합을 생성할 때에, 디코딩 장치에서의 FRUC를 고려하여 FRUC시에 생성될 보간 프레임 및 이에 대응되는 원본 프레임과의 차이가 최소가 될 수 있도록 모션 벡터 조합을 생성함으로써, 디코딩시 모션벡터를 이용하여 FRUC를 이행할 때에, 원본 프레임과 유사한 보간 프레임을 생성할 수 있게 하여, 디코딩된 영상정보의 품위를 향상시킨다.

또한 본 발명은 디코딩 장치에서 FRUC를 위해 보간 프레임을 생성하기에 적합한 모션 벡터를 인코딩 장치에서 제공함으로서, 디코딩 장치에서의 프레임 레이트 업 변환을 위한 처리 프로세스 및 처리 속도를 감소시킬 수 있다.

<FRUC를 위한 영상정보 인코딩 장치의 구성>

상기한 본 발명의 바람직한 실시예에 따른 FRUC를 위한 영상정보 인코딩 장치의 개략적인 구성을 도 1을 참조하여 상세히 설명한다.

본 발명에 따르는 영상정보 인코딩 장치는 프로세서(100)와 저장매체(102)와 메모리부(104)로 구성된다.

상기 프로세서(100)는 본 발명의 바람직한 실시예에 따라 영상정보 인코딩을 행하는 영상정보 인코딩 프로세스를 수행한다. 상기 영상정보 인코딩 프로세스는 저장매체(102)에 저장된 원본 영상정보를 독출하여 코딩한 후에, 그 코딩된 영상정보를 저장매체(102)에 저장한다.

좀 더 설명하면, 상기 영상정보 인코딩 프로세스는 상기 원본 영상정보를 프레임 단위로 리드하고, 프레임율을 낮추기 위해 리드한 프레임들 중 일부만을 선택한다.

이후, 상기 영상정보 인코딩 프로세스는 상기 선택된 프레임들에 대해 비디오 압축 표준에 따라 I 프레임 또는 P 프레임 또는 B 프레임으로 프레임 속성을 부여하고, 상기 I 프레임으로 설정된 프레임에 대해서는 다른 이미지들의 참조없이 코딩하고, 상기 P 또는 B 프레임으로 설정된 프레임에 대해서는 현재 프레임과 참조 프레임, 가상 보간 프레임에서의 블록의 움직임을 검출하여 모션 벡터 조합을 생성하고, 그 모션 벡터 조합을 코딩한다. 즉, 상기 영상정보 인코딩 프로세스는, 상기 모션 벡터 조합의 생성시에, 현재 프레임과 이전 프레임은 물론이고, 가상 보간 프레임에 대한 원본 프레임을 감안하여 모션 벡터를 생성한다. 여기서, 상기 가상 보간 프레임은 디코딩 장치에 의해 보간될 것으로 예측되는 보간 프레임을 일컫는다.

특히 상기 영상정보 인코딩 프로세스는, P 프레임과 B 프레임 중 이전 프레임을 참조하는 모션 벡터에 대해서만 상기 가상 보간 프레임에 대한 원본 프레임을 감안하여 모션 벡터를 생성하고, B 프레임 중 이후 프레임을 참조하는 모션 벡터에 대해서는 가상 보간 프레임에 대한 원본 프레임을 감안하지 않는 기존 방식에 따라 모션 벡터를 생성한다.

상기 저장매체(102)는 원본 영상정보 및 코딩된 영상정보를 저장한다.

상기 메모리부(104)는 상기 프로세서(100)의 처리 프로그램은 물론이고, 상기 프로세서(100)의 영상정보 인코딩 프로세스가 요구하는 저장영역을 제공한다.

<FRUC를 위한 영상정보 인코딩 과정>

이제 상기한 FRUC를 위한 영상정보 인코딩 장치에 의해 수행되는 본 발명의 바람직한 실시예에 따르는 FRUC를 위한 영상정보 인코딩 방법을 도 2의 흐름도를 참조하여 상세히 설명한다.

상기 프로세서(100)는 원본 영상정보를 프레임 단위로 저장매체(102)에서 리드한다(200단계). 상기 원본 영상정보는 도 3의 (a)에 도시한 바와 같이 프레임 단위로 순차적으로 배열된다.

상기 원본 영상정보가 리드되면, 상기 프로세서(100)는 미리 정해둔 프레임 레이트에 따라 일부 프레임을 선택하여 프레임 레이트를 감소시키며(202단계), 이를 예시한 것이 도 3의 (b)이다.

이와 같이 미리 정해둔 프레임 레이트에 따라 일부 프레임만을 선택하면, 상기 프로세서(100)는 상기 선택된 프레임들에 대해 비디오 압축 기준에 따라 I 프레임 또는 P 프레임 또는 B 프레임 등의 프레임 속성을 부여하여 설정한다(204단계).

상기 선택된 프레임들에 대한 프레임 속성의 설정이 완료되면, 상기 프로세서(100)는 선택된 프레임들 각각에 대해 인코딩을 시작한다.

상기 인코딩을 위해, 상기 프로세서(100)는 매 프레임들에 대해 프레임 속성이 I 프레임인지를 체크한다(206단계).

상기 프레임의 프레임 속성이 I 프레임이면, 상기 프로세서(100)는 현재 프레임의 이미지 데이터 자체에 대해 코딩하여 코딩된 프레임 정보를 생성한다(208단계).

이와달리 상기 프레임의 프레임 속성이 B 또는 P 프레임이면, 상기 프로세서(100)는 현재 프레임을 구성하는 블록들 각각에 대해, 현재 프레임과 참조 프레임과 원본 프레임을 토대로 하여, 가상 보간 프레임의 보간 블록과 이에 대응되는 원본 프레임의 블록과의 차이가 최소가 되는 모션 벡터들을 검출한다(216 단계)

삭제

이하, 전술한 216 단계에 대하여 좀 더 구체적으로 설명한다. 본 발명은 현재 프레임이 이전 프레임을 참조 프레임으로 하는 P 프레임 또는 B 프레임이면, 상기 프로세서(100)가 현재 프레임(fn+1)의 블록(block(x+dx,y+dy,fn+1))과 참조 프레임(fn-1)의 블록(block(x-dx,y-dy,fn-1)) 사이에 보간하고자 하는 가상 보간 프레임(fi)의 블록(block(x,y,fi))에 대해, 그 블록(block(x,y,fi))에 대응되는 현재 프레임(fn+1)의 블록(block(x+dx,y+dy,fn+1))과 참조 프레임(fn-1)의 블록(block(x-dx,y-dy,fn-1))을 중심으로 미리 정해둔 크기로 서치 영역(ε(sx,sy))을 설정한다.

다음, 상기 프로세서(100)는 상기 현재 프레임(fn+1)의 블록(block(x+dx,y+dy,fn+1))과 참조 프레임(fn-1)의 블록(block(x-dx,y-dy,fn-1))을 미리 정해둔 서치 영역(ε(sx,sy))내에서 이동하면서, 상기 가상 보간 프레임의 보간하고자하는 블록에 대한 다수의 후보 모션 벡터들을 검출하고, 상기 다수의 후보 모션 벡터들에 따라 다수의 보간 블록(block(x,y,fi))을 생성하며, 그 다수의 보간 블록들 중 이에 대응되는 원본 프레임의 블록(block(x,y,fo))과 그 차이가 최소인 보간 블록을 검출한다(도 4 참조).

이후 상기 프로세서(100)는 그 검출한 보간 블록에 대응되는 현재 프레임(fn+1)의 블록(block(x+dx,y+dy,fn+1))과 참조 프레임(fn-1)의 블록(block(x-dx,y-dy,fn-1)) 사이의 모션 벡터를 검출하고, 이를 해당 현재 프레임(fn+1)의 블록(block(x+dx,y+dy,fn+1)의 모션 벡터

로 결정한다.

이러한 본 발명에 따른 현재 프레임과 원본 프레임과 참조 프레임을 토대로 하여, 가상 보간 프레임의 보간 블록과 이에 대응되는 원본 프레임의 블록과의 차이가 최소인 보간 블록을 검출하는 과정을 알고리즘으로 나타내면 다음과 같다.

상기 알고리즘에서 MCI()는 후보 모션 벡터에 따라 현재 프레임의 블록(block(x+dx,y+dy,fn+1))과 참조 프레임의 블록(block(x-dx,y-dy,fn-1))을 보간하여 보간 블록(block(x,y,fi))을 생성하는 함수이다. 그리고 상기 SAD 함수는 가상 보간 프레임(fi)의 보간 블록(block(x,y,fi))과 원본 프레임(fo)의 블록(block(x,y,fo)) 사이의 이미지 유사성을 검출하는 함수이다. 그리고 상기 argmin(dx,dy),ε(sx,sy)()는 서치 영역(ε(sx,sy))에서 블록(dx,dy)를 이동시키면서 상기의 연산들을 이행하고, 그 결과 중 최소값을 선택하는 함수를 나타낸다.

상기 알고리즘에서 상기 (dx',dy')는 현재 프레임(fn+1)과 원본 프레임(fo)과 참조 프레임(fn-1)을 토대로 검출해낸 가상 보간 프레임(fi)의 보간 블록과 원본 프레임(fo)의 블록(block(x,y,fo))과의 차이가 최소인 경우의 움직임 벡터를 지시하고,

는 해당 현재 프레임(fn+1)의 블록(block(x+dx,y+dy,fn+1)에 대한 모션 벡터를 나타내고, 이는 상기 검출해낸 움직임 벡터(dx',dy')에 변수 a를 곱하여 결정되며, 상기 변수 a는 인접 프레임의 속성, 혹은 현재 프레임과 참조 프레임 사이에 보간되는 보간 프레임의 개수에 따라 2 또는 3 등의 값으로 설정된다.

그리고 본 발명은 현재 프레임이 이후 프레임을 참조 프레임으로 하는 B 프레임의 모션 벡터의 경우에는 기존 기술에 따라 현재 프레임과 이후 프레임 사이의 모션 벡터 조합을 생성한다.

이러한 과정을 거쳐 해당 블록에 대한 모션 벡터의 검출이 완료되면, 상기 프로세서(100)는 현재 프레임의 모든 블록에 대한 모션 벡터들이 모두 획득되었는지를 체크한다(218단계).

상기 프로세서(100)는 현재 프레임의 모든 블록에 대한 모션 벡터 검출이 완료되지 않았으면, 상기 210단계로 진입하여 현재 프레임의 다른 블록에 대한 모션 벡터를 검출하는 것을 반복하여 현재 프레임의 모든 블록에 대한 모션 벡터를 획득한다.

이와 달리 현재 프레임에 대한 모션 벡터 검출이 완료되었으면, 상기 프로세서(100)는 현재 프레임의 블록들에 대한 모션 벡터들로 구성되는 모션 벡터 조합을 코딩한다(220단계).

이후 상기 프로세서(100)는 원본 영상정보로부터 선택된 프레임들에 대한 코딩이 완료되었는지를 체크하고(222단계), 원본 영상정보로부터 선택된 프레임들에 대한 코딩이 완료되었으면 그 코딩된 영상정보를 저장장치(102)에 저장하고 종료한다(224단계).

상기한 본 발명의 바람직한 실시예에 따른 영상정보 인코딩 방법은 컴퓨팅 가능한 장치에 의해 독취될 수 있는 저장매체에 기록될 수 있으며, 이는 당업자에게 자명하다.

100 : 프로세서
102 : 저장매체
104 : 메모리부

Claims

FRUC를 위한 영상정보 인코딩 장치에 있어서,
원본 영상정보를 저장하는 저장매체; 및
원본 영상정보에서 선택된 일부 프레임 각각에 대해, 프레임 속성을 부여하고,
상기 프레임 속성이 부여된 프레임 중 미리 정해둔 속성의 프레임인 현재 프레임을 구성하는 다수의 블록 각각에 대해, 각 블록에 대한 모션 벡터를 가상 보간 프레임의 보간 블록과 이에 대응되는 원본 프레임의 블록의 차이가 최소가 되도록 검출하고,
그 다수의 블록에 대한 모션 벡터들을 코딩하여, 그 코딩된 모션 벡터들을 현재 프레임의 코딩결과로서 생성하는 프로세스를 수행하는 프로세서로 구성되며,
상기 미리 정해둔 속성의 프레임은 다른 프레임을 참조하는 프레임이며,
상기 영상정보는 다수의 프레임으로 구성되며,
상기 가상 보간 프레임은 디코딩시 현재 프레임과 참조 프레임의 사이에 보간될 것으로 예측되는 보간 프레임이며,
상기 원본 프레임은 상기 가상 보간 프레임에 대한 원본 영상정보의 프레임인 것을 특징으로 하는 FRUC를 위한 영상정보 인코딩 장치.
제1항에 있어서,
상기 프로세서는,
가상 보간 프레임의 각 블록에 대해, 현재 프레임의 서치 영역과 참조 프레임의 서치 영역 각각에서 블록을 이동시켜 가면서 후보 모션 벡터들을 검출하고, 상기 후보 모션 벡터들에 따라 보간 블록들을 생성하고,
그 생성한 보간 블록들 중에서, 상기 보간 블록들에 대응되는 원본 프레임의 블록과의 차이가 가장 적은 보간 블록을 검출하고,
그 보간 블록을 생성한 현재 프레임의 블록과 참조 프레임의 블록 사이의 모션 벡터를 구하고,
그 모션 벡터를 현재 프레임의 블록의 모션 벡터로 결정함을 특징으로 하는 FRUC를 위한 영상정보 인코딩 장치.
삭제
제1항에 있어서,
상기 프로세서는,
현재 프레임이 참조하는 참조 프레임이 이전 프레임인 경우에는 상기 가상 보간 프레임에 대한 원본 프레임을 감안하여 모션 벡터를 검출하고,
현재 프레임이 참조하는 참조 프레임이 이후 프레임인 경우에는 현재 프레임과 참조 프레임 사이의 벡터의 움직임을 토대로 모션 벡터를 검출함을 특징으로 하는 FRUC를 위한 영상정보 인코딩 장치.
제1항에 있어서,
상기 프로세서는,
현재 프레임이 다른 프레임을 참조하지 않는 경우에는 이미지 데이터를 그대로 코딩함을 특징으로 하는 FRUC를 위한 영상정보 인코딩 장치.
영상정보 인코딩 방법에 있어서,
원본 영상정보에서 선택된 일부 프레임 각각에 대해, 프레임 속성을 부여하는 단계;
상기 프레임 속성이 부여된 프레임 중 미리 정해둔 속성의 프레임인 현재 프레임을 구성하는 다수의 블록 각각에 대해, 각 블록에 대한 모션 벡터를 가상 보간 프레임의 보간 블록과 이에 대응되는 원본 프레임의 블록의 차이가 최소가 되도록 검출하는 단계; 및
그 다수의 블록에 대한 모션 벡터들을 코딩하여, 그 코딩된 모션 벡터들을 현재 프레임의 코딩결과로서 생성하는 단계;로 구성되며,
상기 미리 정해둔 속성의 프레임은 다른 프레임을 참조하는 프레임이며,
상기 영상정보는 다수의 프레임으로 구성되며,
상기 가상 보간 프레임은 디코딩시 현재 프레임과 참조 프레임의 사이에 보간될 것으로 예측되는 보간 프레임이며,
상기 원본 프레임은 상기 가상 보간 프레임에 대한 원본 영상정보의 프레임인 것을 특징으로 하는 FRUC를 위한 영상정보 인코딩 방법.
제6항에 있어서,
상기 가상 보간 프레임에 대한 원본 프레임을 감안하여 모션 벡터를 검출하는 것은,
가상 보간 프레임의 각 블록에 대해, 현재 프레임의 서치 영역과 참조 프레임의 서치 영역 각각에서 블록을 이동시켜 가면서 후보 모션 벡터들을 검출하고, 상기 후보 모션 벡터들에 따라 보간 블록들을 생성하고,
그 생성한 보간 블록들 중에서, 상기 보간 블록들에 대응되는 원본 프레임의 블록과의 차이가 가장 적은 보간 블록을 검출하고,
그 보간 블록을 생성한 현재 프레임의 블록과 참조 프레임의 블록 사이의 모션 벡터를 구하고,
그 모션 벡터를 현재 프레임의 블록의 모션 벡터로 결정함을 특징으로 하는 FRUC를 위한 영상정보 인코딩 방법.
삭제
제6항에 있어서,
상기 현재 프레임이 참조하는 참조 프레임이 이전 프레임인지 이후 프레임인지를 체크하는 단계;
상기 참조 프레임이 이후 프레임이면, 이후 프레임인 경우에는 현재 프레임과 참조 프레임 사이의 벡터의 움직임을 토대로 모션 벡터를 검출하는 단계;를 더 구비하며,
상기 참조 프레임이 이전 프레임이면 상기 가상 보간 프레임에 대한 원본 프레임을 감안하여 모션 벡터를 검출함을 특징으로 하는 FRUC를 위한 영상정보 인코딩 방법.
제6항에 있어서,
상기 현재 프레임이 다른 프레임을 참조하지 않는 프레임인지를 체크하는 단계;
상기 현재 프레임이 다른 프레임을 참조하지 않는 프레임인 경우에는 이미지 데이터를 그대로 코딩하는 단계;를 더 구비함을 특징으로 하는 FRUC를 위한 영상정보 인코딩 방법.
제6항, 제7항, 제9항 및 제10항 중 어느 한 항의 방법을 실행하기 위한 프로그램을 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체.