KR101980579B1 - 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법 및 그 장치 - Google Patents

동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법 및 그 장치 Download PDF

Info

Publication number
KR101980579B1
KR101980579B1 KR1020120093637A KR20120093637A KR101980579B1 KR 101980579 B1 KR101980579 B1 KR 101980579B1 KR 1020120093637 A KR1020120093637 A KR 1020120093637A KR 20120093637 A KR20120093637 A KR 20120093637A KR 101980579 B1 KR101980579 B1 KR 101980579B1
Authority
KR
South Korea
Prior art keywords
macroblock
motion vector
conversion
frame
frame rate
Prior art date
Application number
KR1020120093637A
Other languages
English (en)
Other versions
KR20140028203A (ko
Inventor
낭종호
장철진
김상철
Original Assignee
엘지전자 주식회사
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사, 서강대학교산학협력단 filed Critical 엘지전자 주식회사
Priority to KR1020120093637A priority Critical patent/KR101980579B1/ko
Publication of KR20140028203A publication Critical patent/KR20140028203A/ko
Application granted granted Critical
Publication of KR101980579B1 publication Critical patent/KR101980579B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법이 제공된다. 움직임 보상 프레임 레이트 업 변환 방법은 압축 코딩된 영상 프레임내의 매크로 블록을 움직임 벡터 보상 프레임 레이트 업 변환에 유용한 움직임 벡터를 포함하는 매크로 블록과 그렇지 않은 매크로 블록으로 분류하는 단계; 상기 유용한 움직임 벡터를 포함하는 매크로 블록으로 분류된 매크로 블록의 움직임 벡터 정보를 획득하는 단계; 상기 그렇지 않은 매크로 블록으로 분류된 매크로 블록에 대하여 움직임 벡터 보상 프레임 레이트 업 변환에 사용하기 위한 움직임 벡터를 추정하는 단계; 및 상기 획득된 움직임 벡터와 상기 추정된 움직임 벡터에 기반하여 움직임 벡터 보상 프레임 레이트 업 변환을 수행하여 현재 영상 프레임과 참조 영상 프레임 사이의 보간 영상 프레임을 생성하는 단계를 포함한다.

Description

동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법 및 그 장치{METHOD AND APPARATUS FOR MOTION COMPENSATION-FRAME RATE UP CONVERSION OF DYNAMIC IMAGE FRAME}
본 발명은 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법 및 그 장치에 관한 것으로, 상세하게는 H.264와 같이 움직임 벡터를 포함하고 있는 코덱을 이용하여 인코딩된 동영상들의 디코딩시에 해당 동영상에 저장된 움직임 벡터를 현재 프레임과 이전 프레임간의 보간 영상 프레임을 생성하기 위한 프레임 레이트 업 변환에 이용하는 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법 및 그 장치에 관한 것이다.
인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송 시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.
데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려하여 지각적 중복을 제거함으로써 데이터를 압축할 수 있다. 일반적인 비디오 코딩 기법에 있어서, 시간적 중복은 움직임 보상에 근거한 시간적 필터링(temporal filtering)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다. 이와 같이 압축된 비디오 데이터는 다양한 전달 매체를 통하여 다양한 복원 장치(비디오 디코더)에 제공된다. 상기 복원 장치는 상기 압축된 비디오 데이터에 대하여 상기 압축 과정의 역에 해당하는 과정을 수행하여 복원된 비디오 영상을 얻게 된다.
그런데, 다양한 재생 장치 또는 어플리케이션의 요구에 따라서는, 복원된 비디오의 프레임 레이트를 변경할 필요가 발생한다. 비디오 프레임 레이트를 저하(downconverting)시키는 경우라면 프레임 스킵, 기타 다양한 방법으로 간단히 구현이 가능하지만, 영상 프레임 레이트를 향상(upconverting)시키는 경우라면 존재하지 않는 프레임을 보간하여야 하고 그 보간 결과 재생되는 영상이 사용자에게 얼마나 자연스럽게 보여질 수 있는가가 관건이다. 즉, 프레임 레이트가 향상된 프레임이 원래의 영상 압축 코딩 단계에서 향상된 프레임 레이트로 얻어진 프레임과의 차이가 최소화되도록 하는 것이 목적이라고 할 수 있다.
프레임 레이트 업 변환(Frame Rate Up Conversion, FRUC)기술은 영상의 프레임과 프레임 사이에 가상의 프레임을 삽입하여 동영상을 보다 자연스럽게 보여주는 효과를 나타내는 기술이다.
프레임 레이트 업 변환 기술로는 프레임 반복(Frame Repetition, FR), 프레임 평균(Frame Averaging, FA), 선형 프레임 보간(Linear frame Interpolation, LI) 등 이 있다. 그러나 이러한 기법들은 움직임 벡터(Motion vector)를 고려하지 않기 때문에 복잡도가 낮고 쉽게 보간이 가능하다. 그러나 영상 포맷이 확장되거나 물체의 움직임이 클 경우에는 영상이 고르지 못하고 영상이 중복되는 고스트 현상(Ghost artifact)이 발생한다. 또한 블록 단위로 보간을 하기 때문에 블록간의 경계부분에서 블록화 현상(Block artifact)도 발생할 수 있다.
이러한 문제점을 개선하기 위해, 움직임 벡터를 고려한 움직임 프레임 레이트 업 변환 (Motion Compensation-Frame Rate Up Conversion, MC-FRUC) 기술이 연구되었다.
움직임 보상 프레임 레이트 업 변환(MC-FRUC) 기술은 삽입될 프레임에 존재할 움직임 벡터(Motion Vector, MV)를 추정하여 생성된 가상의 움직임 벡터를 이용하여 프레임을 생성하는 기술이다.
MC-FRUC는 정확한 움직임 벡터를 예측하는 것에 큰 비중을 두고, 보다 정확한 모션 벡터의 예측에 대한 방향으로 연구가 이루어졌다. MC-FRUC의 가장 기본적인 기술인 움직임 보상 프레임 보간(Motion-Compensated Frame Interpolation, MCFI)은 현재 프레임을 중심으로 이전 프레임에서 획득한 움직임 벡터를 이용하여 보간 프레임을 생성하는 방법이다.
한편, 영상 압축기술로 많이 사용되고 있는 MPEG1, MPEG2, MPEG4, H.263, H.264 과 같은 동영상 코덱은 영상 스트림 자체에 움직임 벡터를 포함하고 있는 MC-DCT(Motion Compensation-Discrete Cosine Transfrom)기반의 동영상 코덱이다.
따라서 MC-DCT기반의 동영상 코덱으로 인코딩된 동영상들에 FRUC를 적용할 때 이러한 움직임 벡터를 활용한다면 연산량을 상당히 낮출 수 있을 것으로 기대되고 있다.
본 발명이 해결하고자 하는 과제는 H.264와 같이 움직임 벡터를 포함하고 있는 코덱을 이용하여 인코딩된 동영상들의 디코딩시에 해당 동영상에 저장된 움직임 벡터를 현재 프레임과 이전 프레임간의 보간 영상 프레임을 생성하기 위한 프레임 레이트 업 변환에 선택적으로 활용함으로써 프레임 레이트 업 변환의 연산량을 낮출 수 있는 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법 및 그 장치를 제공하는데 있다.
본 발명의 일측면에 의하면, 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법이 제공된다. 움직임 보상 프레임 레이트 업 변환 방법은 압축 코딩된 영상 프레임내의 매크로 블록을 움직임 벡터 보상 프레임 레이트 업 변환에 유용한 움직임 벡터를 포함하는 매크로 블록과 그렇지 않은 매크로 블록으로 분류하는 단계; 유용한 움직임 벡터를 포함하는 매크로 블록으로 분류된 매크로 블록의 움직임 벡터 정보를 획득하는 단계; 그렇지 않은 매크로 블록으로 분류된 매크로 블록에 대하여 움직임 벡터 보상 프레임 레이트 업 변환에 사용하기 위한 움직임 벡터를 추정하는 단계; 및 획득된 움직임 벡터와 추정된 움직임 벡터에 기반하여 움직임 벡터 보상 프레임 레이트 업 변환을 수행하여 현재 영상 프레임과 참조 영상 프레임 사이의 보간 영상 프레임을 생성하는 단계를 포함한다.
분류하는 단계는, 시간적 리던던시 또는 공간적 리던던시에 따른 매크로 블록의 영상 차이값, 또는 움직임 벡터에 기반하여 매크로 블록의 분류를 수행하는 단계를 포함할 수 있다.
분류하는 단계는 임의의 매크로 블록이 움직임 벡터 보상 프레임 레이트 업 변환에 유용한 움직임 벡터를 포함하고 있는지 여부를 판단하는 단계를 더 포함할 수 있다. 여기에서, 판단하는 단계는, 시간적 리던던시를 고려하기 위한 현재 블록과 해당 위치의 이전 프레임에서의 블록의 영상 차이값과, 움직임 벡터의 정확성을 고려하기 위한 현재 프레임의 해당 블록으로부터 움직임 벡터만큼 이동한 위치에 존재한 이전 프레임의 블록과의 영상 차이값, 공간적 리던던시를 고려하기 위한 현재 블록과 해당 블록의 인접 블록들과의 영상 차이값과, 중 적어도 하나 이상에 의해 판단하는 단계를 포함할 수 있다.
판단하는 단계는, 임의의 매크로 블록에 대하여 압축 코딩 방식의 이상치 여부를 판단하는 단계; 이상치가 아닌 경우 시간적 리던던시를 고려한 판단, 움직임 벡터의 정확성을 고려한 판단, 공간적 리던던시를 고려한 판단을 순차적으로 수행하는 단계; 및 공간적 리던던시 고려에 의한 판단 이후에 지지 벡터 기계(SVM)를 이용하여 판단하는 단계를 더 포함할 수 있다.
압축 코딩된 영상 프레임은 H.264로 압축 코딩되어 있으며, 압축 코딩된 영상 프레임내의 매크로 블록은 인트라 부호화 블록, 인터 예측 블록, 인트라 예측 블록을 포함할 수 있다.
분류하는 단계는, 임의의 매크로 블록이 인트라 부호화 블록이면 해당 매크로 블록을 그렇지 않은 블록으로 분류하고, 임의의 매크로 블록이 인터 예측 블록이면 해당 매크로 블록에 저장된 움직임 벡터가 움직임 벡터 보상 프레임 레이트 업 변환에 유용한 움직임 벡터인지를 판단하여 분류하고, 임의의 매크로 블록이 인트라 예측 블록이면 해당 매크로 블록의 인접 매크로 블록중에 색상차가 적은 경우에, 인접 매크로 블록이 움직임 벡터를 저장하고 있으면 유용한 움직임 벡터를 포함하고 있는 매크로 블록으로 분류하고 그렇지 않으면 그렇지 않은 매크로 블록으로 분류하는 단계를 포함할 수 있다.
본 발명의 다른 측면에 의하면, 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 장치가 제공된다. 움직임 보상 프레임 레이트 업 변환 장치는 압축 코딩된 영상 프레임내의 매크로 블록을 움직임 벡터 보상 프레임 레이트 업 변환에 유용한 움직임 벡터를 포함하는 매크로 블록과 그렇지 않은 매크로 블록으로 분류하는 매크로 블록 분류부; 유용한 움직임 벡터를 포함하는 매크로 블록으로 분류된 매크로 블록의 움직임 벡터 정보를 획득하는 움직임 벡터 추출부; 그렇지 않은 매크로 블록으로 분류된 매크로 블록에 대하여 움직임 벡터 보상 프레임 레이트 업 변환에 사용하기 위한 움직임 벡터를 추정하는 움직임 벡터 추정부; 및 획득된 움직임 벡터와 추정된 움직임 벡터에 기반하여 움직임 벡터 보상 프레임 레이트 업 변환을 수행하여 현재 영상 프레임과 참조 영상 프레임 사이의 보간 영상 프레임을 생성하는 보간 프레임 생성부를 포함한다.
본 발명의 다른 측면에 의하면, 적어도 하나의 컴퓨터 구성요소들을 통하여 실행가능하며, 영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법을 수행하기 위한 프로그램 명령어를 포함하는 컴퓨터 프로그램을 기록한 컴퓨터 판독가능한 기록 매체가 제공된다. 컴퓨터 판독 가능한 기록매체는 실행에 의해, 압축 코딩된 영상 프레임내의 매크로 블록을 움직임 벡터 보상 프레임 레이트 업 변환에 유용한 움직임 벡터를 포함하는 매크로 블록과 그렇지 않은 매크로 블록으로 분류하는 단계; 유용한 움직임 벡터를 포함하는 매크로 블록으로 분류된 매크로 블록의 움직임 벡터 정보를 획득하는 단계; 그렇지 않은 매크로 블록으로 분류된 매크로 블록에 대하여 움직임 벡터 보상 프레임 레이트 업 변환에 사용하기 위한 움직임 벡터를 추정하는 단계; 및 획득된 움직임 벡터와 추정된 움직임 벡터에 기반하여 움직임 벡터 보상 프레임 레이트 업 변환을 수행하여 현재 영상 프레임과 참조 영상 프레임 사이의 보간 영상 프레임을 생성하는 단계를 포함하는 단계들을 수행할 수 있게 한다.
본 발명의 일실시예에 의하면, MPEG1, MPEG2, MPEG4, H.263, H.264 와 같은 코덱으로 인코딩된 동영상 프레임에 내장되어 있는 움직임 벡터중에서 프레임 레이트 업 변환에 유용한 움직임 벡터를 분류하고, 분류된 유용한 움직임 벡터를 이용하여 프레임 레이트 업 변환을 수행한다. 그리고, 유용하지 않은 움직임 벡터는 추가적으로 움직임 벡터 추정을 수행한 다음 그 추정된 움직임 벡터를 프레임 레이트 업 변환에 이용한다.
따라서, 프레임 레이트 업 변환에 사용하는 움직임 벡터의 많은 부분을 H.264 스트림에 내장되어 있는 움직임 벡터를 사용할 수 있기 때문에 프레임 레이트 업 변환에 소요되는 시간을 단축시킬 수 있다.
또한, H.264 스트림에 내장되어 있는 모든 움직임 벡터를 프레임 레이트 업 변환에 이용하는 것이 아니라, 프레임 레이트 업 변환에 유용한 움직임 벡터만을 선택적으로 이용함에 따라 프레임 레이트 업 변환에 의해 생성된 보간 영상 프레임의 퀄리티를 효과적으로 개선시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일실시예에 따른 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법에서 임의의 매크로 블록이 움직임 벡터 보상 프레임 레이트 업 변환에 유용한 움직임 벡터를 포함하고 있는지 여부를 판단하는 프로세스를 설명하기 위한 흐름도이다.
도 3은 본 발명의 일실시예에 따른 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법에서 움직임 벡터의 이상치 여부를 판단하기 위해 사용될 수 있는 슈더 코드를 보여준다.
도 4는 본 발명의 일실시예에 따른 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법에서 시간적 리던던시를 고려한 판단 프로세스를 수행하기 위해 사용될 수 있는 슈더 코드를 보여준다.
도 5는 본 발명의 일실시예에 따른 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법에서 움직임 벡터의 정확성을 고려한 판단 프로세스를 수행하기 위해 사용될 수 있는 슈더 코드를 보여준다.
도 6은 본 발명의 일실시예에 따른 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법에서 공간적 리던던시를 고려한 판단 프로세스를 수행하기 위해 사용될 수 있는 슈더 코드를 보여준다.
도 7은 본 발명의 일실시예에 따른 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법에서 지지 벡터 기계(SVM)를 이용하여 판단하는 프로세스를 수행하기 위해 사용될 수 있는 슈더 코드를 보여준다.
도 8은 본 발명의 일실시예에 따른 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법에서 움직임 벡터 추정 프로세스를 수행하기 위해 사용될 수 있는 슈더 코드를 보여준다.
도 9는 본 발명의 일실시예에 따른 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 장치의 구성 블록도이다.
이하, 첨부한 도면들을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다. 다음에 소개되는 실시예들을 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 그리고, 도면들에 있어서, 구성요소의 폭, 길이, 두께 등은 편의를 위하여 과장되어 표현될 수 있다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법을 설명하기 위한 흐름도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법은 매크로 블록 분류 프로세스(S10), 움직임 벡터 획득 프로세스(S20), 움직임 벡터 추정 프로세스(S30), 보간 프레임의 생성 프로세스(S40)를 포함하여 구성될 수 있다.
매크로 블록 분류 프로세스(S10)는 압축 코딩된 영상 프레임내의 매크로 블록을 움직임 벡터 보상 프레임 레이트 업 변환에 유용한 움직임 벡터를 포함하는 매크로 블록과 그렇지 않은 매크로 블록으로 분류하는 동작을 포함할 수 있다.
여기에서는, 영상 프레임의 압축을 위해 H.264을 압축 코덱으로 사용한 경우를 예로 설명하지만, 본 발명은 이에 제한되지 않고, 예를 들어, MPEG-1, MPEG2, MPEG4, H.263 과 같은 다양한 동영상 인코딩 방식이 사용될 수 있다.
H.264 코덱은 동영상의 인코딩시 기본적으로 현재 영상의 프레임과 영상의 참조 프레임의 차이값과, 움직임 벡터를 이용하여 영상을 압축한다.
H.264 코덱에 의해 압축된 영상 프레임은 I-프레임과, P-프레임과, B-프레임으로 나뉠 수 있다.
I-프레임은 영상 프레임 한 장의 이미지의 픽셀값을 온전히 갖고 있는 프레임이다. P-프레임은 이전의 I-프레임이나 P-프레임을 참조프레임으로 하여 단방향 움직임 벡터를 갖는 프레임이다. B-프레임은 바로 이전과 이후에 나올 I-프레임이나 P-프레임을 참조 프레임으로 하여 양방향의 움직임 벡터를 포함하고 있는 프레임이다.
H.264 코덱은 영상의 비트 레이트를 줄이기 위하여 비트레이트가 가장 작게 나타나는 경우에 맞는 블록의 종류를 결정하여 인트라 부호화 블록, 인트라 예측 블록, 인터 예측 블록으로 분류한다.
이에 따라, H.264 코덱에 의해 압축된 코딩된 영상 프레임내에 포함된 매크로 블록은 인트라 부호화 블록, 예측 블록을 포함할 수 있다.
인트라 부호화 블록의 경우 움직임 벡터가 없기 때문에 디코딩 된 후에 움직임 벡터를 추출하기 위해 기존의 움직임 벡터 추정방법을 적용하여 움직임 벡터를 추출해야 한다.
예측 블록은 인터 예측 블록과 인트라 예측 블록으로 구분된다. 인터 예측 블록은 움직임 벡터 정보를 포함하는 예측 블록이다. 인트라 예측 블록은 움직임 벡터 없이 주변부 블록과 유사관계가 있다는 정보를 포함하는 예측 블록이다.
H.264 코덱의 움직임 벡터 추정방법과 프레임 레이트 업 변환 방법의 움직임 벡터 추정방법의 차이로 인해서 인터 예측 블록에 저장된 움직임 벡터는 프레임 레이트 업 변환에 사용될 수도 있고 그렇지 않을 수 도 있다.
따라서, 인터 예측 블록에 저장된 움직임 벡터가 프레임 레이트 업 변환에 사용될 수 있는지를 판단하여 사용할 수 있으면 영상 스트림에 내장된 움직임 벡터를 사용한다. 반면에 사용할 수 없으면 통상의 움직임 벡터 추정 방법을 적용하여 움직임 벡터를 추출해야 한다.
매크로 블록 분류 프로세스(S10)에서, 임의의 매크로 블록이 인트라 부호화 블록이면 해당 매크로 블록을 그렇지 않은 블록으로 분류된다.
또한, 임의의 매크로 블록이 인터 예측 블록이면 해당 매크로 블록에 저장된 움직임 벡터가 움직임 벡터 보상 프레임 레이트 업 변환에 유용한 움직임 벡터인지를 판단하여 분류될 수 있다.
한편, 임의의 매크로 블록이 인트라 예측 블록이면 해당 매크로 블록의 인접 매크로 블록중에 색상차가 적은 경우에, 인접 매크로 블록이 움직임 벡터를 저장하고 있으면 유용한 움직임 벡터를 포함하고 있는 매크로 블록으로 분류된다. 그렇지 않으면 유용한 움직임 벡터를 포함하지 않은 매크로 블록으로 분류된다.
한편, 움직임 벡터 보상 프레임 레이트 업 변환은 영상 프레임에서 매크로 블록별로 움직임 벡터를 추정하는 과정과 추정된 움직임 벡터들을 보간하여 새로운 보간 영상 프레임을 생성하는 과정을 포함하고 있다.
움직임 벡터 보상 프레임 레이트 업 변환은 움직임 벡터 추정과 보간하는 단위에 따라 예를 들어 PRA(Pixel Rotation Algorithm), BMA(Block Matching Algorith), OMA(Object Matching Algorithm)를 사용할 수 있다.
움직임 벡터 보상 프레임 레이트 업 변환은 단방향 움직임 추정 방식과 양방향 움직임 추정 방식을 사용할 수 있다.
한편, H.264 코덱은 영상의 비트 레이트를 줄이는 것을 목표로 하고 있기 때문에 모든 매크로 블록이 프레임간 차이가 가장 적은 움직임 벡터를 선택하지 않는다. 예를 들어, H.264 코덱은 참조 프레임과 현재 프레임에서 동일 위치에 존재하는 매크로 블록들의 색상 차이가 크고 프레임의 차이값이 프레임 자체값보다 비트레이트율이 작은 경우 움직임 벡터(0,0)으로 하며, 프레임간 차이값만을 보내는 특성이 있다.
반면에, 움직임 벡터 보상 프레임 레이트 업 변환은 모든 곳에서 색상 차이가 적은 움직임 벡터를 추출한다.
또한, 영상에서 동일 객체의 색상은 매우 유사한 특성이 있다. 예를 들어 하늘과 구름의 경우 하늘은 파란색만 존재하며 구름은 흰색만 존재할 것이다. 따라서, 동일 객체들의 매크로 블록들은 움직임 벡터가 매우 유사하다.
하지만, H.264는 비트레이트율이 움직임 벡터가 (0,0)인 경우보다 작을 경우, 인근 영역의 움직임 벡터를 사용한다. 이런 경우의 움직임 벡터는 이상치 움직임 벡터(Outlier Motion Vector)가 된다. 이상치 움직임 벡터는 움직임 벡터 보상 프레임 레이트 업 변환시 동일 객체와 다른 방향의 벡터의 크기와 방향을 갖기 때문에 유용하지 않은 움직임 벡터이다. 따라서, H.264의 움직임 벡터중에서 이상치를 걸러내는 작업이 필요하다.
또한, 배경이 고정되어 있을 때 깃발이나 머리카락처럼 바람에 휘날리는 경우와 같이 짧은 시간 동안 배경을 나타나게 했다 감췄다 하는 경우에, H.264는 색상 차가 가장 적은 방향과 크기를 갖는 움직임 벡터의 특성 때문에 배경이 가려졌다 나타나는 순간의 색상차이가 커지므로 방향의 균일성이 떨어지는 현상이 움직임 벡터들이 일정한 방향을 가지 못하는 특성이 생길 수 있다. 따라서, 이러한 움직임 벡터는 움직임 벡터 보상 프레임 레이트 업 변환시 유용하지 않은 벡터이다.
이를 위해, 매크로 블록 분류 프로세스(S10)에서, 시간적 리던던시 또는 공간적 리던던시에 따른 매크로 블록의 영상 차이값, 또는 움직임 벡터에 기반하여 매크로 블록의 분류가 수행될 수 있다.
한편, 매크로 블록 분류 프로세스(S10)에서, 임의의 매크로 블록이 움직임 벡터 보상 프레임 레이트 업 변환에 유용한 움직임 벡터를 포함하고 있는지 여부를 판단하는 프로세스가 더 실행될 수 있다.
여기에서, 판단하는 프로세스는, 시간적 리던던시를 고려하기 위한 현재 블록과 해당 위치의 이전 프레임에서의 블록의 영상 차이값과, 움직임 벡터의 정확성을 고려하기 위한 현재 프레임의 해당 블록으로부터 움직임 벡터만큼 이동한 위치에 존재한 이전 프레임의 블록과의 영상 차이값, 공간적 리던던시를 고려하기 위한 현재 블록과 해당 블록의 인접 블록들과의 영상 차이값 들에 의해 판단될 수 있다.
도 2는 본 발명의 일실시예에 따른 임의의 매크로 블록이 움직임 벡터 보상 프레임 레이트 업 변환에 유용한 움직임 벡터를 포함하고 있는지 여부를 판단하는 프로세스를 설명하기 위한 흐름도이다.
도 2를 참조하면, 임의의 매크로 블록에 대하여 움직임 벡터가 이상치인지 여부를 판단하는 프로세스가 수행될 수 있다(S11).
이상치 움직임 벡터는 주변 매크로 블록에서 존재하는 움직임 벡터들의 평균이 해당 매크로 블록의 움직임 벡터와의 차이가 임계치 이상 나는 것으로 주변 매크로 블록에 비해 두드러지게 크기와 방향이 다른 움직임 벡터이다.
움직임 벡터의 이상치 여부를 판단하기 위해 예를 들어, 도 3에 나타나 있는 슈더 코드가 사용될 수 있다. 판단 결과 이상치 인 경우, 후속 절차에서 해당 매크로 블록에 대하여 움직임 벡터를 추정하는 작업이 수행된다.
움직임 벡터의 이상치 여부를 판단하는 프로세스를 수행하여 이상치가 아닌 경우 시간적 리던던시를 고려한 판단 프로세스가 수행될 수 있다(S12).
시간적 리던던시를 고려한 판단 프로세스는 시간적 관계를 고려하여 움직임 벡터의 유용성을 판단하는 프로세스로서 해당 매크로 블록과 이전 프레임의 동일 위치의 매크로 블록과 색상 차이가 임계치보다 적을 경우에 해당 매크로 블록의 움직임 벡터는 (0,0)으로 한다.
시간적 리던던시를 고려한 판단 프로세스를 수행하기 위해 예를 들어, 도 4에 나타나 있는 슈더 코드가 사용될 수 있다.
시간적 리던던시를 고려한 판단 프로세스를 수행한 이후에 움직임 벡터의 정확성을 고려한 판단 프로세스가 수행될 수 있다(S13).
움직임 벡터의 정확성을 고려한 판단 프로세스는 움직임 벡터만큼 이동한 위치에 존재하는 이전 프레임에서의 매크로 블록과 현재 매크로 블록의 색상 차가 임계치 이상일 경우에 해당 움직임 벡터는 유용하지 않은 움직임 벡터라고 판단할 수 있다.
움직임 벡터의 정확성을 고려한 판단 프로세스를 수행하기 위해 예를 들어, 도 5에 나타나 있는 슈더 코드가 사용될 수 있다.
그 이후에 공간적 리던던시를 고려한 판단 프로세스가 수행될 수 있다(S14).
공간적 리던던시를 고려한 판단 프로세스는 위치적 관계를 고려하여 동일 객체를 판별해 주변 매크로 블록중 동일 객체의 매크로 블록과 위치적 관계를 고려하여 움직임 벡터를 추출한다.
공간적 리던던시를 고려한 판단 프로세스를 수행하기 위해 예를 들어, 도 6에 나타나 있는 슈더 코드가 사용될 수 있다.
공간적 리던던시 고려에 의한 판단 이후에 지지 벡터 기계(SVM)를 이용하여 판단하는 프로세스가 더 수행될 수 있다(S14).
지지 벡터 기계(SVM)를 이용하여 판단하는 프로세스는 매크로 블록의 색상 특징을 추출하여 학습된 지지 벡터 기계(SVM) 모델을 이용하여 해당 움직임 벡터의 유용성 여부를 판단한다. 판단 결과 유용하지 않은 경우, 후속 절차에서 해당 매크로 블록에 대하여 움직임 벡터를 추정하는 작업이 수행된다.
지지 벡터 기계(SVM)를 이용하여 판단하는 프로세스를 수행하기 위해 예를 들어, 도 7에 나타나 있는 슈더 코드가 사용될 수 있다.
움직임 벡터 획득 프로세스(S20)에서, 유용한 움직임 벡터를 포함하는 매크로 블록으로 분류된 매크로 블록의 움직임 벡터 정보를 획득하는 동작이 수행될 수 있다.
움직임 벡터 추정 프로세스(S30)에서, 유용한 움직임 벡터를 포함하는 매크로 블록으로 분류되지 않은 매크로 블록에 대하여 움직임 벡터 보상 프레임 레이트 업 변환에 사용하기 위한 움직임 벡터를 추정하는 동작이 수행될 수 있다.
움직임 벡터 추정 프로세스를 수행하기 위해 예를 들어, 도 8에 나타나 있는 슈더 코드가 사용될 수 있다.
보간 영상 프레임 생성 프로세스(S40)에서, 획득된 움직임 벡터와 추정된 움직임 벡터에 기반하여 움직임 벡터 보상 프레임 레이트 업 변환을 수행하여 현재 영상 프레임과 참조 영상 프레임 사이의 보간 영상 프레임을 생성하는 동작이 수행될 수 있다.
도 9는 본 발명의 일실시예에 따른 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 장치의 구성 블록도이다.
도 9를 참조하면, 본 발명의 일실시예에 따른 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 장치(100)는 디코더(110), 매크로 블록 분류부(120), 움직임 벡터 추출부(130), 움직임 벡터 추정부(140), 보간 프레임 생성부(150)를 포함하여 구성될 수 있다.
디코더(110)는 입력된 동영상 프레임에 영상 디코딩 기술을 적용하여 소정의 프레임율을 갖는 원래의 영상 프레임을 복원한다.
여기에서는, 영상 프레임의 압축을 위해 H.264을 압축 코덱으로 사용한 경우를 예로 설명하도록 한다. 이에 따라, 디코더(110)는 H.264 코덱에 의해 압축된 영상 프레임을 수신하여 원래의 영상 프레임을 복원하여 출력한다. 그렇지만, 본 발명은 이에 제한되지 않고, 예를 들어, 디코더(110)는 사용된 압축 코덱의 종류에 따라 MPEG-1, MPEG2, MPEG4, H.264 와 같은 다양한 동영상 디코딩 방식을 적용할 수 있다.
H.264코덱은 동영상의 인코딩시 기본적으로 현재 영상의 프레임과 영상의 참조 프레임의 차이값과, 움직임 벡터를 이용하여 영상을 압축한다. H.264코덱에 의해 압축된 영상 프레임은 I-프레임과, P-프레임과, B-프레임으로 나뉠 수 있다. I-프레임은 영상 프레임 한 장의 이미지의 픽셀값을 온전히 갖고 있는 프레임이다. P-프레임은 이전의 I-프레임이나 P-프레임을 참조프레임으로 하여 단방향 움직임 벡터를 갖는 프레임이다. B-프레임은 바로 이전과 이후에 나올 I-프레임이나 P-프레임을 참조 프레임으로 하여 양방향의 움직임 벡터를 포함하고 있는 프레임이다. 따라서, 디코더(110)를 통해 복원되어 출력된 영상 프레임은 I-프레임과, P-프레임과, B-프레임으로 구분될 수 있다.
매크로 블록 분류부(120)는 압축 코딩된 영상 프레임내의 매크로 블록을 움직임 벡터 보상 프레임 레이트 업 변환에 유용한 움직임 벡터를 포함하는 매크로 블록과 그렇지 않은 매크로 블록으로 분류할 수 있다.
매크로 블록 분류부(120)는 임의의 매크로 블록이 인터 예측 블록이면 해당 매크로 블록에 저장된 움직임 벡터가 움직임 벡터 보상 프레임 레이트 업 변환에 유용한 움직임 벡터인지를 판단하여 분류할 수 있다.
또한, 매크로 블록 분류부(120)는 임의의 매크로 블록이 인트라 예측 블록이면 해당 매크로 블록의 인접 매크로 블록중에 색상차가 적은 경우에, 인접 매크로 블록이 움직임 벡터를 저장하고 있으면 유용한 움직임 벡터를 포함하고 있는 매크로 블록으로 분류한다. 그렇지 않은 경우에는 매크로 블록 분류부(120)는 해당 매크로 블록을 유용한 움직임 벡터를 포함하지 않은 매크로 블록으로 분류한다.
매크로 블록 분류부(120)는 시간적 리던던시 또는 공간적 리던던시에 따른 매크로 블록의 영상 차이값, 또는 움직임 벡터에 기반하여 매크로 블록의 분류를 수행한다.
이를 위해 매크로 블록 분류부(120)는 임의의 매크로 블록이 움직임 벡터 보상 프레임 레이트 업 변환에 유용한 움직임 벡터를 포함하고 있는지 여부를 판단할 수 있다.
매크로 블록 분류부(120)는 이러한 판단을 위해 시간적 리던던시를 고려하기 위한 현재 블록과 해당 위치의 이전 프레임에서의 블록의 영상 차이값과, 움직임 벡터의 정확성을 고려하기 위한 현재 프레임의 해당 블록으로부터 움직임 벡터만큼 이동한 위치에 존재한 이전 프레임의 블록과의 영상 차이값, 공간적 리던던시를 고려하기 위한 현재 블록과 해당 블록의 인접 블록들과의 영상 차이값 들을 이용할 수 있다.
움직임 벡터 추출부(130)는 유용한 움직임 벡터를 포함하는 매크로 블록으로 분류된 매크로 블록의 움직임 벡터 정보를 획득할 수 있다.
움직임 벡터 추정부(140)는 그렇지 않은 매크로 블록으로 분류된 매크로 블록에 대하여 움직임 벡터 보상 프레임 레이트 업 변환에 사용하기 위한 움직임 벡터를 추정할 수 있다.
보간 프레임 생성부(150)는 움직임 벡터 추출부(130)에 의해 획득된 움직임 벡터와 움직임 벡터 추정부(140)에 의해 추정된 움직임 벡터에 기반하여 움직임 벡터 보상 프레임 레이트 업 변환을 수행하여 현재 영상 프레임과 참조 영상 프레임 사이의 보간 영상 프레임을 생성한다.
본 발명의 일실시예에 따른 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법과 종래의 움직임 보상 프레임 레이트 업 변환 방법의 성능을 비교하도록 한다.
식 1은 종래의 움직임 보상 프레임 레이트 업 변환에서 사용하는 범위 탐색(Range Search)의 시간 복잡도를 나타내고, 식 2는 본 발명의 일실시예에 따른 움직임 보상 프레임 레이트 업 변환에서 사용하는 범위 탐색(Range Search)의 시간 복잡도를 나타낸다.
Figure 112012068737626-pat00001
(식1)
Figure 112012068737626-pat00002
(식2)
여기에서, r은 범위 탐색(Range Search)에서의 탐색 영역이다. 여기에서는 H.264 표준 스펙과 같이 ±32를 이용해 실험하였다. l은 매크로블록의 너비와 높이로서 실험에서는 8로 하였다. N은 매크로 블록의 개수이고 O(SVMclassification)은 SVM을 이용하여 분류를 할 때의 시간복잡도이다. 이는 커널의 종류에 따라 달라진다. M은 본 발명에 의한 규칙에서 움직임 벡터의 유용성 판단이 되지 않을 경우 수행되는 SVM 분류의 횟수다.
실제 BMA에서는 l이 r에 비해 매우 작기 때문에 실제적 영향을 주는 것은 r의 크기이다. H.264인코더와 같은 ±32의 범위로 탐색을 할 경우에 식1과 식2의 비교수행 횟수 차이는 409.6배의 차이가 난다.
본 발명의 일실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 이동 단말기는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (8)

  1. 압축 코딩된 영상 프레임내의 매크로 블록을 움직임 벡터 보상 프레임 레이트 업 변환에 유용한 움직임 벡터를 포함하는 매크로 블록과 그렇지 않은 매크로 블록으로 분류하는 단계;
    상기 유용한 움직임 벡터를 포함하는 매크로 블록으로 분류된 매크로 블록의 움직임 벡터 정보를 획득하는 단계;
    상기 그렇지 않은 매크로 블록으로 분류된 매크로 블록에 대하여 움직임 벡터 보상 프레임 레이트 업 변환에 사용하기 위한 움직임 벡터를 추정하는 단계; 및
    상기 획득된 움직임 벡터와 상기 추정된 움직임 벡터에 기반하여 움직임 벡터 보상 프레임 레이트 업 변환을 수행하여 현재 영상 프레임과 참조 영상 프레임 사이의 보간 영상 프레임을 생성하는 단계를 포함하고,
    상기 압축 코딩된 영상 프레임은 H.264로 압축 코딩되어 있으며,
    상기 압축 코딩된 영상 프레임내의 매크로 블록은 인트라 부호화 블록, 인터 예측 블록, 인트라 예측 블록을 포함하고,
    상기 분류하는 단계는,
    임의의 매크로 블록이 인트라 부호화 블록이면 해당 매크로 블록을 상기 그렇지 않은 블록으로 분류하고,
    임의의 매크로 블록이 인터 예측 블록이면 해당 매크로 블록에 저장된 움직임 벡터가 움직임 벡터 보상 프레임 레이트 업 변환에 유용한 움직임 벡터인지를 판단하여 분류하고,
    임의의 매크로 블록이 인트라 예측 블록이면 해당 매크로 블록의 인접 매크로 블록중에 색상차가 적은 경우에, 인접 매크로 블록이 움직임 벡터를 저장하고 있으면 상기 유용한 움직임 벡터를 포함하고 있는 매크로 블록으로 분류하고 그렇지 않으면 상기 그렇지 않은 매크로 블록으로 분류하는 단계를 포함하는 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법.
  2. 제1항에 있어서, 상기 분류하는 단계는, 시간적 리던던시 또는 공간적 리던던시에 따른 매크로 블록의 영상 차이값, 또는 움직임 벡터에 기반하여 매크로 블록의 분류를 수행하는 단계를 포함하는 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법.
  3. 제2 항에 있어서, 상기 분류하는 단계는
    임의의 매크로 블록이 움직임 벡터 보상 프레임 레이트 업 변환에 유용한 움직임 벡터를 포함하고 있는지 여부를 판단하는 단계를 더 포함하며,
    상기 판단하는 단계는, 시간적 리던던시를 고려하기 위한 현재 블록과 해당 위치의 이전 프레임에서의 블록의 영상 차이값과, 움직임 벡터의 정확성을 고려하기 위한 현재 프레임의 해당 블록으로부터 움직임 벡터만큼 이동한 위치에 존재한 이전 프레임의 블록과의 영상 차이값, 공간적 리던던시를 고려하기 위한 현재 블록과 해당 블록의 인접 블록들과의 영상 차이값과, 중 적어도 하나 이상에 의해 판단하는 단계를 포함하는 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법.
  4. 제3 항에 있어서, 상기 판단하는 단계는,
    임의의 매크로 블록에 대하여 압축 코딩 방식의 이상치 여부를 판단하는 단계;
    이상치가 아닌 경우 상기 시간적 리던던시를 고려한 판단, 상기 움직임 벡터의 정확성을 고려한 판단, 상기 공간적 리던던시를 고려한 판단을 순차적으로 수행하는 단계; 및
    상기 공간적 리던던시 고려에 의한 판단 이후에 지지 벡터 기계(SVM)를 이용하여 판단하는 단계를 더 포함하는 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법.
  5. 삭제
  6. 삭제
  7. 압축 코딩된 영상 프레임내의 매크로 블록을 움직임 벡터 보상 프레임 레이트 업 변환에 유용한 움직임 벡터를 포함하는 매크로 블록과 그렇지 않은 매크로 블록으로 분류하는 매크로 블록 분류부;
    상기 유용한 움직임 벡터를 포함하는 매크로 블록으로 분류된 매크로 블록의 움직임 벡터 정보를 획득하는 움직임 벡터 추출부;
    상기 그렇지 않은 매크로 블록으로 분류된 매크로 블록에 대하여 움직임 벡터 보상 프레임 레이트 업 변환에 사용하기 위한 움직임 벡터를 추정하는 움직임 벡터 추정부; 및
    상기 획득된 움직임 벡터와 상기 추정된 움직임 벡터에 기반하여 움직임 벡터 보상 프레임 레이트 업 변환을 수행하여 현재 영상 프레임과 참조 영상 프레임 사이의 보간 영상 프레임을 생성하는 보간 프레임 생성부를 포함하고,
    상기 압축 코딩된 영상 프레임은 H.264로 압축 코딩되어 있으며,
    상기 압축 코딩된 영상 프레임내의 매크로 블록은 인트라 부호화 블록, 인터 예측 블록, 인트라 예측 블록을 포함하고,
    상기 매크로 블록 분류부는
    임의의 매크로 블록이 인트라 부호화 블록이면 해당 매크로 블록을 상기 그렇지 않은 블록으로 분류하고,
    임의의 매크로 블록이 인터 예측 블록이면 해당 매크로 블록에 저장된 움직임 벡터가 움직임 벡터 보상 프레임 레이트 업 변환에 유용한 움직임 벡터인지를 판단하여 분류하고,
    임의의 매크로 블록이 인트라 예측 블록이면 해당 매크로 블록의 인접 매크로 블록중에 색상차가 적은 경우에, 인접 매크로 블록이 움직임 벡터를 저장하고 있으면 상기 유용한 움직임 벡터를 포함하고 있는 매크로 블록으로 분류하고 그렇지 않으면 상기 그렇지 않은 매크로 블록으로 분류하는
    동영상 프레임의 움직임 보상 프레임 레이트 업 변환 장치.
  8. 적어도 하나의 컴퓨터 구성요소들을 통하여 실행가능하며, 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법을 수행하기 위한 프로그램 명령어를 포함하는 컴퓨터 프로그램을 기록한 컴퓨터 판독가능한 기록 매체로서, 상기 실행에 의해,
    압축 코딩된 영상 프레임내의 매크로 블록을 움직임 벡터 보상 프레임 레이트 업 변환에 유용한 움직임 벡터를 포함하는 매크로 블록과 그렇지 않은 매크로 블록으로 분류하는 단계;
    상기 유용한 움직임 벡터를 포함하는 매크로 블록으로 분류된 매크로 블록의 움직임 벡터 정보를 획득하는 단계;
    상기 그렇지 않은 매크로 블록으로 분류된 매크로 블록에 대하여 움직임 벡터 보상 프레임 레이트 업 변환에 사용하기 위한 움직임 벡터를 추정하는 단계; 및
    상기 획득된 움직임 벡터와 상기 추정된 움직임 벡터에 기반하여 움직임 벡터 보상 프레임 레이트 업 변환을 수행하여 현재 영상 프레임과 참조 영상 프레임 사이의 보간 영상 프레임을 생성하는 단계를 포함하는 단계들을 수행할 수 있게 하고,
    상기 압축 코딩된 영상 프레임은 H.264로 압축 코딩되어 있으며,
    상기 압축 코딩된 영상 프레임내의 매크로 블록은 인트라 부호화 블록, 인터 예측 블록, 인트라 예측 블록을 포함하고,
    상기 분류하는 단계는,
    임의의 매크로 블록이 인트라 부호화 블록이면 해당 매크로 블록을 상기 그렇지 않은 블록으로 분류하고,
    임의의 매크로 블록이 인터 예측 블록이면 해당 매크로 블록에 저장된 움직임 벡터가 움직임 벡터 보상 프레임 레이트 업 변환에 유용한 움직임 벡터인지를 판단하여 분류하고,
    임의의 매크로 블록이 인트라 예측 블록이면 해당 매크로 블록의 인접 매크로 블록중에 색상차가 적은 경우에, 인접 매크로 블록이 움직임 벡터를 저장하고 있으면 상기 유용한 움직임 벡터를 포함하고 있는 매크로 블록으로 분류하고 그렇지 않으면 상기 그렇지 않은 매크로 블록으로 분류하는 단계를 포함하는
    컴퓨터 판독 가능한 기록 매체.
KR1020120093637A 2012-08-27 2012-08-27 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법 및 그 장치 KR101980579B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120093637A KR101980579B1 (ko) 2012-08-27 2012-08-27 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120093637A KR101980579B1 (ko) 2012-08-27 2012-08-27 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20140028203A KR20140028203A (ko) 2014-03-10
KR101980579B1 true KR101980579B1 (ko) 2019-05-21

Family

ID=50641669

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120093637A KR101980579B1 (ko) 2012-08-27 2012-08-27 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101980579B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100809354B1 (ko) * 2007-02-02 2008-03-05 삼성전자주식회사 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070044455A (ko) * 2004-07-20 2007-04-27 콸콤 인코포레이티드 비디오 압축에 대한 인코더 보조-프레임 레이트 업컨버젼(ｅａ-ｆｒｕｃ)을 위한 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100809354B1 (ko) * 2007-02-02 2008-03-05 삼성전자주식회사 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법

Also Published As

Publication number Publication date
KR20140028203A (ko) 2014-03-10

Similar Documents

Publication Publication Date Title
JP5128976B2 (ja) 復元されたフレームのフレーム率をアップコンバートする装置および方法
KR100850706B1 (ko) 적응적 동영상 부호화 및 복호화 방법과 그 장치
JP5269599B2 (ja) 遷移効果のためのマルチメディアコード化技術
KR100694137B1 (ko) 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체
US20150312575A1 (en) Advanced video coding method, system, apparatus, and storage medium
US11743475B2 (en) Advanced video coding method, system, apparatus, and storage medium
KR20110045026A (ko) 압축 도메인에서 유사성 메트릭에 기초한 비디오 코딩의 지능형 프레임 스키핑
JP4518111B2 (ja) 映像処理装置、映像処理方法、及びプログラム
JP2007251453A (ja) 動画像符号化装置及びプログラム
JP2007081720A (ja) 符号化方法
JP2014168150A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び画像符号化復号システム
KR100565308B1 (ko) 에스엔알 스케일러빌리티를 위한 동영상 부호화 및 복호화 장치
US8699576B2 (en) Method of and apparatus for estimating motion vector based on sizes of neighboring partitions, encoder, decoding, and decoding method
JP2011250400A (ja) 動画像符号化装置及び動画像符号化方法
JP4643437B2 (ja) 情報処理装置
KR101431046B1 (ko) Fruc를 위한 영상정보 인코딩 방법 및 장치, 저장매체
KR101980579B1 (ko) 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법 및 그 장치
US20160360219A1 (en) Preventing i-frame popping in video encoding and decoding
JP6016488B2 (ja) 映像圧縮フォーマット変換装置、映像圧縮フォーマット変換方法、およびプログラム
WO2018184411A1 (zh) 一种预测模式的判决方法、装置及存储介质
JP4909592B2 (ja) 動画像再生方法及び装置並びにプログラム
KR100924779B1 (ko) 적응적 동영상 부호화 및 복호화 방법과 그 장치
JP2009278473A (ja) 画像処理装置、それを搭載した撮像装置、および画像再生装置
WO2016193949A1 (en) Advanced video coding method, system, apparatus and storage medium
JPH11155147A (ja) 画像再生方法、画像符号化装置及び画像符号化方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant