KR100533028B1 - 모션벡터 및 매크로블록 타입 결정방법 - Google Patents

모션벡터 및 매크로블록 타입 결정방법 Download PDF

Info

Publication number
KR100533028B1
KR100533028B1 KR10-2003-0035724A KR20030035724A KR100533028B1 KR 100533028 B1 KR100533028 B1 KR 100533028B1 KR 20030035724 A KR20030035724 A KR 20030035724A KR 100533028 B1 KR100533028 B1 KR 100533028B1
Authority
KR
South Korea
Prior art keywords
macroblock
frame
type
motion vector
determining
Prior art date
Application number
KR10-2003-0035724A
Other languages
English (en)
Other versions
KR20040104193A (ko
Inventor
서광덕
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2003-0035724A priority Critical patent/KR100533028B1/ko
Priority to US10/750,932 priority patent/US7463686B2/en
Priority to EP04008259A priority patent/EP1484924A3/en
Priority to JP2004118433A priority patent/JP2004364265A/ja
Priority to CNA2004100431653A priority patent/CN1622471A/zh
Publication of KR20040104193A publication Critical patent/KR20040104193A/ko
Application granted granted Critical
Publication of KR100533028B1 publication Critical patent/KR100533028B1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A62—LIFE-SAVING; FIRE-FIGHTING
    • A62B—DEVICES, APPARATUS OR METHODS FOR LIFE-SAVING
    • A62B1/00—Devices for lowering persons from buildings or the like
    • A62B1/06—Devices for lowering persons from buildings or the like by making use of rope-lowering devices
    • A62B1/18—Other single parts for rope lowering-devices, e.g. take-up rollers for ropes, devices for shooting ropes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 프레임율 변환 트랜스코더에서 생략되지 않고 전송되는 프레임에 대한 모션벡터 및 매크로블록 타입 결정방법에 관한 것으로, 생략된 프레임 N-1의 이후에 전송되는 프레임 N의 매크로블록이 인터 타입인지 생략 타입인지를 판단한 후 인터 타입이면 프레임 N-1의 매크로블록 타입에 따라 프레임 N의 매크로블록에 새로운 모션벡터를 할당하고, 생략 타입이면 프레임 N의 매크로블록과 동일한 위치에 존재하는 프레임 N-1의 매크로블록 타입에 따라 프레임 N의 매크로블록에 새로운 매크로블록 타입을 결정한다.

Description

모션벡터 및 매크로블록 타입 결정방법{METHOD FOR DECIDING TYPES OF MOTION VECTOR AND MACROBLOCK}
본 발명은 모션벡터 및 매크로블록 타입 결정방법에 관한 것으로서, 특히 프레임율 변환 트랜스코더에서 생략되지 않고 전송되는 프레임에 대한 모션벡터 및 매크로블록 타입 결정방법에 관한 것이다.
VOD(Video on Demand) 또는 비디오 스트리밍 서비스는 비디오 콘덴츠를 전송서버에 압축된 파일형태로 저장하고, 사용자가 요청하는 비디오 콘덴츠를 선택적으로 전송하는 서비스이다. 채널 대역폭이 낮은 이동통신망이나 채널 대역폭이 가변적인 인터넷에서 상기 비디오 콘덴츠를 서비스할 때, 채널 대역폭이 급감하거나 체증(congestion)이 증가하면 상기 전송서버는 비디오 전송 프레임율을 줄여야 한다. 상기와 같이 비디오 전송 프레임율을 조절하는 장치가 프레임율 변환 트랜스코더(frame-rate conversion transcoder)이다.
일반적으로 MPEG(moving picture experts group)과 같은 동영상은 예측부호화를 통해 압축된다. 상기 예측부호화는 특정 화소의 신호치를 다른 시간의 영상 신호치와의 차를 이용하여 나타내므로 동영상의 각 프레임은 시간적으로 상호 연관성을 가지고 있다. 상기 프레임은 다수의 매크로블록으로 구성되고, 상기 매크로블록은 인터(inter) 타입과 인트라(intra) 타입으로 구분할 수 있다.
도 1은 일반적인 프레임율 변환 비디오 트랜스코더의 동작을 도식화한 블록도이다.
도 1에 도시된 바와 같이, 상기 프레임율 변환 비디오 트랜스코더(10)는 고 프레임율(high frame-rate)의 비트열을 저 프레임율(low frame-rate)의 비트열로 변환하기 위해 프레임을 생략하는 프레임 생략부(11)와, 상기 프레임 생략부(11)에서 생략된 프레임을 예측의 기준으로 하는 이후의 프레임에 대한 새로운 모션벡터와 매크로블록의 타입을 할당하는 추정부(12)로 구성된다.
상기 비디오 전송 프레임율을 줄이기 위해서 특정 프레임을 생략하는 경우, 상기 생략된 프레임(skipped frame)을 예측을 위한 기준 프레임(reference frame)으로 하는 이후의 프레임에는 새로운 모션벡터와 매크로블록 타입이 결정되어야 한다.
상기 비디오 트랜스코더(10)에서 생략되는 프레임 다음에 전송될 프레임에 대한 새로운 모션벡터를 결정하는 방법으로 J.Youn과 M.Sun이 제안한 FDVS(Forward Dominant Vector Selection) 기법(“Motion vector refinement for high-performance transcoding,”IEEE Trans. on Multimedia, vol.1. no.1. pp 30-40, Mar.1999)이 있다.
기존의 부호기에서 모션벡터를 추정하기 위해 요구되는 계산량은 전체 부호기 계산량의 70%를 차지할 정도로 크다. 따라서, Youn과 Sun은 상기 FDVS 기법에서 모션벡터 추정을 다시 수행하는 대신에 기존에 구해진 모션벡터를 이용하여 새로운 모션벡터를 결정하는 방법을 제안하였다.
도 2는 종래 기술에 의한 FDVS 기법을 도시한 것으로, 프레임 N-1이 전송시에 생략되는 예를 참조하여 FDVS 기법을 설명하면 다음과 같다.
종래의 FDVS 기법은 생략된 프레임의 4개의 매크로블록 중에서 예측하려는 매크로블록과 가장 많이 겹치는 매크로블록의 모션벡터를 지배적인 모션벡터(Dominant Motion Vector)라고 정의하고, 상기 지배적인 모션벡터를 생략된 프레임의 매크로블록에 대한 모션벡터로 정의한다.
도 2에 도시된 바와 같이, 프레임 N의 매크로블록 에 할당된 모션벡터 에 의해 예측된 매크로블록과 프레임 N-1에서 가장 많이 겹치는 매크로블록이 이고, 상기 매크로블록 에 할당된 모션벡터는 이다.
따라서, 상기 생략된 프레임 N-1 다음에 오는 프레임 N의 매크로블록 의 새로운 모션벡터 은 매크로블록 에 할당된 모션벡터 과 매크로블록 에 할당된 모션벡터 의 합으로 계산된다.
하기의 수학식 1은 상기 프레임 N의 매크로블록 에 새로 할당되는 모션벡터 을 수학식으로 표현한 것이다.
상기 수학식 1에 나타난 바와 같이, 종래의 FDVS는 이미 구해진 모션벡터들을 이용하여 생략된 프레임 다음에 전송될 프레임에 대한 새로운 모션벡터를 결정한다.
그러나, 종래의 FDVS는 프레임 N의 매크로블록 의 매크로블록 타입과 생략된 프레임 N-1의 매크로블록 타입을 고려하지 않고 상기 수학식 1을 적용함으로써 다음과 같은 문제점이 발생하게 된다.
첫째, 전송중에 생략된 프레임 N-1의 매크로블록 이 ‘인트라(intra)타입’일 경우에 문제점이 발생한다.
상기 매크로블록 이 ‘인트라(intra)타입’일 경우에 새로 할당되는 모션벡터 은 하기의 수학식 2와 같이 정의된다. 이때, 상기 ‘인트라 타입’의 매크로블록은 모션벡터를 갖지 않으므로 매크로블록 에 할당될 모션벡터 은 (0,0)이 된다.
상기 수학식 2는 프레임 N-2에서 모션벡터 에 의해 예측된 매크로블록이 프레임 N-1에서 모션벡터 에 의해 예측된 매크로블록과 가장 유사하게 매칭되었음을 의미한다. 그러나, 상기 프레임 N-1과 프레임 N-2는 특성이 서로 다르기 때문에 최적의 매칭이 이루어졌다고 볼 수 없다.
둘째, 상기 프레임 N의 매크로블록 이 ‘생략(skipped) 타입’일 경우에 문제점이 발생한다.
종래의 FDVS 기법에서는 상기와 같은 경우에 생략된 프레임 N-1의 매크로블록의 타입에 관계없이 을 ‘생략 타입’으로 결정한다. 그러나, 프레임 N의 매크로블록 과 동일한 위치에 있는 프레임 N-1의 매크로블록이 ‘인트라 타입’이거나 ‘인터(inter) 타입’일 경우에는 상기 매크로블록 과 상기 프레임 N-1의 매크로블록 타입이 일치하지 않는다. 즉, 상기 프레임 N-2를 기준화면으로 복호화된 매크로블록 의 재생영상은 매크로블록 의 실제 영상 데이터와 달라지게 된다.
상기한 바와 같이 종래 기술에 의한 FDVS 기법은 전송중에 생략된 프레임의 매크로블록 타입과 상기 생략된 프레임을 기준으로 예측된 프레임의 매크로블록 타입을 고려하지 않고 새로운 모션벡터를 추정함으로써 수신단의 복호기를 거쳐 재생된 영상과 실제 영상과는 차이가 발생하고, 이후 영상에서 에러가 누적되어 화질의 열화가 발생한다는 문제점이 있다.
따라서, 본 발명의 목적은 비디오 트랜스코더에서 생략되지 않고 전송되는 프레임의 모션벡터와 매크로블록 타입을 정확하게 결정할 수 있는 모션벡터 및 매크로블록 타입 결정방법을 제공하는데 있다.
본 발명의 목적은 비디오 트랜스코더에서 생략된 프레임의 매크로블록 타입을 고려하여 이후 프레임의 모션벡터와 매크로블록 타입을 결정할 수 있는 모션벡터 및 매크로블록 타입 결정방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 모션벡터 및 매크로블록 타입 결정방법은, 입력되는 고 프레임율의 비디오 스트림을 저 프레임율의 비디오 스트림으로 변환 출력하는 프레임율 변환 비디오 트랜스코더에 있어서, 생략된 프레임 N-1의 매크로블록 타입과 입력되는 프레임 N의 매크로블록 타입에 따라 프레임 N의 매크로블록에 새로운 모션벡터 및 매크로블록 타입을 할당하여 출력하는 것을 제 1 특징으로 한다.
본 발명에 따른 모션벡터 및 매크로블록 타입 결정방법은 생략된 프레임 N-1의 이후에 전송되는 프레임 N의 매크로블록이 인터 타입인지 생략 타입인지 판단하는 과정과; 상기 프레임 N의 매크로블록이 인터 타입이면, 상기 생략된 프레임 N-1의 매크로블록의 타입에 따라 상기 프레임 N의 매크로블록에 새로운 모션벡터를 할당하는 과정과; 상기 프레임 N의 매크로블록이 생략 타입이면, 상기 프레임 N의 매크로블록과 동일한 위치에 존재하는 프레임 N-1의 매크로블록 타입에 따라 상기 프레임 N의 매크로블록에 새로운 매크로블록 타입을 결정하는 과정으로 구성되는 것을 제 2 특징으로 한다.
또한, 본 발명에 따른 모션벡터 및 매크로블록 타입 결정방법은 생략된 프레임 N-1 다음에 전송되는 프레임 N의 매크로블록이 인터 타입인 것을 확인하는 과정과; 상기 프레임 N-1의 매크로블록 타입을 판단하는 과정과; 상기 프레임 N-1의 매크로블록 타입에 따라 상기 프레임 N의 매크로블록에 대한 새로운 모션벡터를 할당하는 과정으로 구성되는 것을 제 3 특징으로 한다.
또한, 본 발명에 따른 모션벡터 및 매크로블록 타입 결정방법은 생략된 프레임 N-1 다음에 전송되는 프레임 N의 매크로블록이 생략 타입인 것을 확인하는 과정과; 상기 프레임 N의 매크로블록과 동일한 위치에 존재하는 프레임 N-1의 매크로블록 타입을 판단하는 과정과; 상기 프레임 N-1의 매크로블록 타입과 동일하게 상기 프레임 N의 매크로블록 타입을 결정하는 과정으로 구성되는 것을 제 4 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 모션벡터 및 매크로블록 타입 결정방법의 실시예를 설명하면 다음과 같다.
본 발명은 상기한 종래의 FDVS 기법에서 도출되는 두 가지 문제점을 해결하기 위한 모션벡터 및 매크로블록 타입 결정방법에 관한 것이다. 상기 두 가지 문제점은 전송시에 생략된 프레임 N-1이 인트라(intra) 타입의 매크로블록을 포함하고 있는 경우와 프레임 N의 매크로블록 이 생략 타입인 경우에 발생한다.
첫째, 전송중에 생략된 프레임 N-1이 인트라 타입의 매크로블록을 포함하고 있는 경우에는 새로운 모션벡터를 하기의 수학식 3으로 정의한다.
종래의 FDVS에서는 인트라 타입의 매크로블록에 모션벡터 (0, 0)을 할당하였으나, 본 발명에서는 상기 프레임 N의 매크로블록 에 무한대 모션벡터를 할당함으로써 이 매크로블록 을 인트라 타입으로 결정한다.
둘째, 생략된 프레임 N-1 다음에 전송되는 프레임 N의 매크로블록 이 생략(skipped) 타입일 경우에 새로 할당되는 매크로블록 타입과 모션벡터는 다음과 같다.
종래의 FDVS 기법에서는 생략된 프레임 N-1의 매크로블록 타입에 관계없이 프레임 N의 매크로블록을 생략 타입으로 결정하지만, 본 발명에서는 상기 매크로블록 과 동일한 위치에 있는 프레임 N-1의 매크로블록 타입에 따라 상기 매크로블록 의 매크로블록 타입과 모션벡터를 결정한다.
즉, 상기 매크로블록 과 동일한 위치에 있는 상기 프레임 N-1의 매크로블록 타입이 인트라 타입이면 새로 할당되는 매크로블록 은 인트라 타입이고, 상기 프레임 N-1의 매크로블록 타입이 인터 타입이면 새로 할당되는 매크로블록 은 인터 타입이며, 상기 프레임 N-1의 매크로블록 타입이 생략 타입이면 새로 할당되는 매크로블록 은 생략 타입이다.
도 3은 프레임 N의 매크로블록 이 생략(skipped) 타입일 경우에 상기 매크로블록 의 타입을 새로 할당하는 과정을 C 언어의 표현방식으로 기술한 것이다.
도 3에서 MB_type_MBN 은 매크로블록 의 타입을 의미하고, MB_type_skipped_frame은 생략된 프레임 N-1에서 상기 매크로블록 과 동일한 위치에 있는 매크로블록의 타입을 의미한다.
도 4는 본 발명에 따른 모션벡터 및 매크로블록 타입 결정방법을 도시한 흐름도이다.
도 4에 도시된 바와 같이, 프레임율 변환 비디오 트랜스코더에 입력되는 비디오 스트림에서 프레임 N-1이 생략(S11)되면, 상기 프레임 N-1의 예측을 위한 기준 프레임으로 하는 프레임 N은 모션벡터 및 매크로블록 타입을 재할당한다.
상기 프레임 N의 매크로블록 이 인터 타입인지 생략 타입인지 판단하여(S12), 상기 매크로블록 이 인터 타입이면 모션벡터를 재할당하는 과정을 수행하고, 상기 매크로블록 이 생략 타입이면 해당 매크로블록 타입과 모션벡터를 할당하는 과정을 수행한다. 이때, 상기 매크로블록 이 인트라 타입이면 장면전환과 같이 이전 프레임과 상관관계가 없는 동작이 발생한 것으로 간주하므로 모션벡터를 재할당하는 과정을 수행할 필요가 없다.
따라서, 상기 매크로블록 의 모션벡터 및 매크로블록 타입 결정과정은 상기 매크로블록 이 인터 타입인 경우와 생략 타입인 경우로 나누어 설명한다.
우선, 상기 매크로블록 이 인터 타입인 경우를 설명하면 다음과 같다.
상기 생략된 프레임 N-1의 매크로블록 의 타입이 인트라 타입인지 판단하여(S13), 상기 매크로블록 이 인트라 타입이면 상기 수학식 3을 적용하여 상기 매크로블록 에 대한 새로운 모션벡터를 결정한다(S14). 이때, 새로 할당된 모션벡터는 무한대 모션벡터이다.
상기 생략된 프레임 N-1의 매크로블록 이 인트라 타입이 아니면, 상기 매크로블록 이 생략 타입인지 판단한다(S15). 상기 매크로블록 이 생략 타입이면 상기 수학식 2을 적용하여 상기 매크로블록 에 대한 새로운 모션벡터를 결정한다(S16). 즉, 상기 매크로블럭 이 생략 타입이면 이 매크로블록은 모션벡터를 갖지 않기 때문에 매크로블록 에 할당된 모션벡터 과 새로 할당된 모션벡터는 같아진다.
상기 생략된 프레임 N-1의 매크로블록 이 인터 타입이면, 종래의 FDVS와 같이 수학식 1을 적용하여 상기 매크로블록 에 대한 새로운 모션벡터를 결정한다(S17).
상기한 바와 같이 프레임 N의 매크로블록 이 인터 타입일 경우에는 생략된 프레임 N-1의 매크로블록 의 매크로블록 타입을 고려하여 매크로블록 의 모션벡터를 재할당한다.
상기 생략된 프레임 N-1에서 상기 매크로블록 과 동일한 위치에 있는 매크로블록이 인트라 타입인지 판단하여(S18), 상기 생략된 프레임 N-1의 매크로블록이 인트라 타입이면 상기 매크로블록 도 인트라 타입으로 결정한다.(S19)
상기 프레임 N-1의 매크로블록이 생략 타입일 경우(S20)에는 상기 매크로블록 은 생략 타입으로 결정하고(S21), 상기 프레임 N-1의 매크로블록이 인터 타입일 경우에는 상기 매크로블록 은 인터 타입으로 결정한다. 이때, 상기 매크로블록 이 인터 타입으로 결정된 후, 프레임 N-1의 매크로블록에 해당하는 모션벡터를 상기 매크로블록 의 모션벡터로 할당한다(S23).
즉, 상기 매크로블록 이 인트라 타입이나 생략 타입일 경우에는 새로운 모션벡터를 할당할 필요가 없으나, 상기 매크로블록 이 인터 타입인 경우에는 프레임 N-1의 매크로블록에 할당된 모션벡터를 새로운 모션벡터로 할당한다.
상기한 바와 같이 상기 매크로블록 이 생략 타입인 경우에는 상기 매크로블록 과 동일한 위치에 있는 프레임 N-1의 매크로블록 타입에 따라 새로운 매크로블록 의 타입이 결정된다.
본 발명은 프레임율 변환 비디오 트랜스코더를 통해 생략되지 않고 전송되는 프레임의 매크로블록이 인트라 타입이거나 생략 타입일 경우에도 적용될 수 있는 모션벡터 및 매크로블록 타입 결정방법으로, 비디오 스트림에서 발생 비트량을 감소시킬 수 있을 뿐만 아니라 영상의 재생시에 화질을 향상시킬 수 있다.
하기의 표 1 및 표 2는 초당 30프레임으로 MPEG-1 부호화된 비디오 비트열을 각각 15 프레임과 7.5 프레임으로 변환한 경우에 종래의 FDVS 기법과 본 발명을 적용하여 개선된 FDVS 기법에 의한 성능을 비교한 것이다.
테스트영상 종래의 FDVS 개선된 FDVS
발생 비트량(bytes) 평균 PSNR(dB) 발생 비트량(bytes) 평균 PSNR(dB)
축구 845061 29.19 831462 29.58
탁구 467328 30.79 456531 31.37
정원 1217779 27.93 1193164 28.43
테스트영상 종래의 FDVS 개선된 FDVS
발생 비트량(bytes) 평균 PSNR(dB) 발생 비트량(bytes) 평균 PSNR(dB)
축구 489008 28.99 469577 29.34
탁구 302333 30.68 291734 31.16
정원 779824 27.59 764982 27.94
상기 표 1과 표 2에서 테스트 영상으로는 120 프레임의 축구와 탁구, 정원의 영상을 사용하고, 비트 발생량과 화질의 측면에서 종래의 FDVS 기법과 본 발명에 의해 개선된 FDVS 기법을 비교한다. 이때, 상기 화질 비교의 척도는 피크 신호대 잡음비(PSNR)이다.
상기 개선된 FDVS 기법을 적용한 화질은 종래 FDVS 기법을 적용한 화질보다 최대 0.6dB 정도 개선되고, 발생 비트량도 감소한다. 즉, 본 발명을 적용하여 개선한 FDVS 기법은 적은 비트량을 발생시키는 동시에 화질을 개선할 수 있다.
도 5a와 도 5b는 종래의 FDVS 기법과 본 발명의 개선된 FDVS 기법의 성능을 화면별로 비교하는 도면이다.
이때, 테스트 영상은 초당 30 프레임, 1.5Mbps로 MPEG-1 부호화된 120프레임의 탁구 영상을 사용하고, 상기 테스트 영상을 프레임율 변환 비디오 트랜스코더를 통해 초당 15 프레임으로 변환한다.
또한, 상기 테스트 영상의 68번째 프레임과 98번째 프레임에서 장면전환이 발생한다. 상기 장면전환이 발생하면, 예측부호화의 성능저하로 인해 P-프레임 내의 많은 매크로블록이 인트라 타입으로 결정된다
도 5a는 상기 테스트 화면을 초당 15 프레임으로 변환한 경우의 각 프레임별 피크 신호대 잡음비를 비교한 그래프이다.
종래의 FDVS 기법을 적용한 경우에는 장면전환이 발생한 68번째 프레임과 98번째 프레임이 생략된 후, 69번째 프레임과 99번째 프레임에서 화질이 급격하게 저하된다. 그러나, 개선된 FDVS 기법을 적용한 경우에는 69번째 프레임과 99번째 프레임에서는 이전 프레임 정도의 화질을 유지하고 있다.
도 5b는 상기 테스트 화면의 각 프레임에서 발생한 인트라 타입의 매크로블록 개수와, 생략 타입의 매크로블록 개수를 도시한 도면이다.
도 5b에 도시된 바와 같이, 장면전환이 발생한 68번째 프레임과 98번째 프레임에서 인트라 타입의 매크로블록 개수가 급격히 증가한다. 따라서, 인터 타입의 매크로블록 뿐만 아니라 인트라 타입 및 생략 타입의 매크로블록을 고려한 모션벡터와 매크로블록 타입 결정방법이 필요하고, 상기 각 매크로블록의 타입을 고려한 본 발명을 시스템에 적용하면 화질을 개선시킬 수 있다.
상기한 바와 같이, 본 발명에 의한 모션벡터 및 매크로블록 타입 결정방법은 프레임율 변환 비디오 트랜스코더를 통해 생략되지 않고 전송되는 프레임의 모션벡터 및 매크로블록 타입을 정확하게 재할당 할 수 있는 효과가 있다.
또한, 본 발명에 의한 모션벡터 및 매크로블록 타입 결정방법은 장면전환과 같이 예측부호화의 성능이 저하되는 경우에 화질을 개선시킬 수 있을 뿐만 아니라 발생 비트량도 줄일 수 있는 효과가 있다.
도 1은 일반적인 프레임율 변환 비디오 트랜스코더의 동작을 도시한 블록도.
도 2는 종래 기술에 의한 FDVS 기법의 실시예를 도시한 도면.
도 3은 매크로블록 의 타입을 새로 할당하는 과정을 C 언어로 표현한 도면.
도 4는 본 발명에 따른 모션벡터 및 매크로블록 타입 결정방법을 도시한 흐름도.
도 5a와 도 5b는 종래의 FDVS 기법과 본 발명의 개선된 FDVS 기법의 성능을 화면별로 비교하는 그래프.

Claims (9)

  1. 생략된 프레임 N-1의 이후에 전송되는 프레임 N의 매크로블록이 인터 타입인지 생략 타입인지 판단하는 과정과;
    상기 프레임 N의 매크로블록이 인터 타입이면, 상기 생략된 프레임 N-1의 매크로블록의 타입에 따라 상기 프레임 N의 매크로블록에 새로운 모션벡터를 할당하는 과정과;
    상기 프레임 N의 매크로블록이 생략 타입이면, 상기 프레임 N의 매크로블록과 동일한 위치에 존재하는 상기 프레임 N-1의 매크로블록 타입에 따라 상기 프레임 N의 매크로블록에 새로운 매크로블록 타입을 결정하는 과정으로 이루어진 것을 특징으로 하는 모션벡터 및 매크로블록 타입 결정방법.
  2. 제 1 항에 있어서, 상기 프레임 N의 매크로블록이 인터 타입이면, 상기 생략된 프레임 N-1의 매크로블록 타입을 판단하는 과정과;
    상기 생략된 프레임 N-1의 매크로블록이 인트라 타입이면, 상기 프레임 N의 매크로블록에 무한대의 모션벡터를 새로 할당하는 과정과;
    상기 생략된 프레임 N-1의 매크로블록이 생략 타입이면, 상기 프레임 N의 매크로블록의 모션벡터를 동일하게 할당하는 과정과;
    상기 생략된 프레임 N-1의 매크로블록이 인터 타입이면, 상기 프레임 N의 매크로블록에 할당된 모션벡터와 프레임 N-1의 매크로블록에 할당된 모션벡터의 합을 프레임 N의 매크로블록의 새로운 모션벡터로 할당하는 과정으로 이루어진 것을 특징으로 하는 모션벡터 및 매크로블록 타입 결정방법.
  3. 제 1 항에 있어서, 상기 프레임 N의 매크로블록이 생략 타입이면, 상기 프레임 N의 매크로블록과 동일한 위치에 존재하는 프레임 N-1의 매크로블록 타입을 판단하는 과정과;
    상기 프레임 N-1의 매크로블록이 인트라 타입이면, 상기 프레임 N의 매크로블록을 인트라 타입으로 결정하는 과정과;
    상기 프레임 N-1의 매크로블록이 생략 타입이면, 상기 프레임 N의 매크로블록을 생략 타입으로 결정하는 과정과;
    상기 프레임 N-1의 매크로블록이 인터 타입이면, 상기 프레임 N의 매크로블록을 인터 타입으로 결정하는 과정으로 이루어진 것을 특징으로 하는 모션벡터 및 매크로블록 타입 결정방법.
  4. 제 3 항에 있어서, 상기 프레임 N의 매크로블록을 인터 타입으로 결정한 후, 상기 프레임 N의 매크로블록에 대한 모션벡터를 할당하는 과정을 더 포함하는 것을 특징으로 하는 모션벡터 및 매크로블록 타입 결정방법.
  5. 제 4 항에 있어서, 상기 모션벡터의 할당은, 상기 프레임 N의 매크로블록과 동일한 위치에 있는 프레임 N-1의 매크로블록의 모션벡터와 동일하게 할당하는 것을 특징으로 하는 모션벡터 및 매크로블록 타입 결정방법.
  6. 생략된 프레임 N-1 이후에 전송되는 프레임 N의 매크로블록이 인터 타입인 경우에 프레임 N의 매크로블록에 새로운 모션벡터를 할당함에 있어서,
    상기 프레임 N-1의 매크로블록 타입이 인트라 타입이면, 상기 프레임 N의 매크로블록에 무한대의 모션벡터를 새로 할당하는 과정과;
    상기 프레임 N-1의 매크로블록이 생략 타입이면, 상기 프레임 N의 매크로블록의 모션벡터를 상기 프레임 N-1의 매크로블록에 할당된 모션벡터와 동일하게 할당하는 과정과;
    상기 프레임 N-1의 매크로블록이 인터 타입이면, 상기 프레임 N의 매크로블록에 할당된 모션벡터와 상기 프레임 N-1의 매크로블록에 할당된 모션벡터의 합을 상기 레임 N의 매크로블록의 새로운 모션벡터로 할당하는 과정으로 이루어진 것을 특징으로 하는 모션벡터 및 매크로블록 타입 결정방법.
  7. 생략된 프레임 N-1 이후에 전송되는 프레임 N의 매크로블록이 생략 타입인 경우에 프레임 N의 매크로블록에 새로운 메크로블록 타입을 결정함에 있어서,
    상기 프레임 N의 매크로블록과 동일한 위치에 존재하는 프레임 N-1의 매크로블록 타입을 판단하는 과정과;
    상기 프레임 N-1의 매크로블록이 인트라 타입이면, 프레임 N의 매크로블록을 인트라 타입으로 결정하는 과정과;
    상기 프레임 N-1의 매크로블록이 생략 타입이면, 상기 프레임 N의 매크로블록을 생략 타입으로 결정하는 과정과;
    상기 프레임 N-1의 매크로블록이 인터 타입이면, 상기 프레임 N의 매크로블록을 인터 타입으로 결정하는 과정으로 이루어진 것을 특징으로 하는 모션벡터 및 매크로블록 타입 결정방법.
  8. 제 7 항에 있어서, 상기 프레임 N의 매크로블록을 인터 타입으로 결정한 후, 상기 프레임 N의 매크로블록에 대한 모션벡터를 할당하는 과정을 더 포함하는 것을 특징으로 하는 모션벡터 및 매크로블록 타입 결정방법.
  9. 제 8 항에 있어서, 상기 모션벡터의 할당은, 상기 프레임 N의 매크로블록과 동일한 위치에 있는 프레임 N-1의 매크로블록의 모션벡터와 동일하게 할당하는 것을 특징으로 하는 모션벡터 및 매크로블록 타입 결정방법.
KR10-2003-0035724A 2002-10-16 2003-06-03 모션벡터 및 매크로블록 타입 결정방법 KR100533028B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR10-2003-0035724A KR100533028B1 (ko) 2003-06-03 2003-06-03 모션벡터 및 매크로블록 타입 결정방법
US10/750,932 US7463686B2 (en) 2002-10-16 2003-12-30 Method for determining motion vector and macroblock type
EP04008259A EP1484924A3 (en) 2003-06-03 2004-04-05 Method for determining motion vectors and macroblock types
JP2004118433A JP2004364265A (ja) 2003-06-03 2004-04-13 モーションベクトル及びマクロブロックタイプの決定方法
CNA2004100431653A CN1622471A (zh) 2003-06-03 2004-05-13 确定运动矢量和宏块类型的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0035724A KR100533028B1 (ko) 2003-06-03 2003-06-03 모션벡터 및 매크로블록 타입 결정방법

Publications (2)

Publication Number Publication Date
KR20040104193A KR20040104193A (ko) 2004-12-10
KR100533028B1 true KR100533028B1 (ko) 2005-12-02

Family

ID=33157375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0035724A KR100533028B1 (ko) 2002-10-16 2003-06-03 모션벡터 및 매크로블록 타입 결정방법

Country Status (4)

Country Link
EP (1) EP1484924A3 (ko)
JP (1) JP2004364265A (ko)
KR (1) KR100533028B1 (ko)
CN (1) CN1622471A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101044934B1 (ko) * 2003-12-18 2011-06-28 삼성전자주식회사 움직임 벡터 추정방법 및 부호화 모드 결정방법
CN101573982B (zh) * 2006-11-03 2011-08-03 三星电子株式会社 利用运动矢量跟踪编码/解码图像的方法和装置
JP5389049B2 (ja) * 2008-12-16 2014-01-15 パナソニック株式会社 撮像装置、半導体集積回路、および動きベクトル判定方法
JP6775558B2 (ja) * 2018-09-18 2020-10-28 キヤノン株式会社 画像伸長装置及びその制御方法及びプログラム
EP3739503B1 (en) * 2019-05-14 2023-10-25 Nokia Technologies Oy Video processing

Also Published As

Publication number Publication date
EP1484924A3 (en) 2005-10-26
KR20040104193A (ko) 2004-12-10
JP2004364265A (ja) 2004-12-24
CN1622471A (zh) 2005-06-01
EP1484924A2 (en) 2004-12-08

Similar Documents

Publication Publication Date Title
JP5318561B2 (ja) マルチメディア処理のためのコンテンツ分類
KR100942395B1 (ko) 다층 비디오 설계를 위한 레이트 제어
RU2377737C2 (ru) Способ и устройство для преобразования с повышением частоты кадров с помощью кодера (ea-fruc) для сжатия видеоизображения
US20060002474A1 (en) Efficient multi-block motion estimation for video compression
RU2313190C2 (ru) Способ и устройство для генерации масштабируемого кодированного видеосигнала из немасштабируемого кодированного видеосигнала
JP5058823B2 (ja) 実時間フレーム符号化方法及び装置
KR20070111550A (ko) 예측에 의한 유사 고정 품질 레이트 제어
US20110211637A1 (en) Method and system for compressing digital video streams
KR100592547B1 (ko) 스트리밍을 위한 패킷 스케줄링 방법
US20050063461A1 (en) H.263/MPEG video encoder for efficiently controlling bit rates and method of controlling the same
JP2006510307A (ja) 低コスト複数記述ビデオ・ストリームをゲートウェイで符号化する方法
US9137537B2 (en) Dynamic reference frame decision method and system
US7463686B2 (en) Method for determining motion vector and macroblock type
US8442113B2 (en) Effective rate control for video encoding and transcoding
Koumaras et al. Analysis of H. 264 video encoded traffic
KR100533028B1 (ko) 모션벡터 및 매크로블록 타입 결정방법
KR100929607B1 (ko) 엠펙-2 메인 프로파일에서 ｈ.264/ａｖｃ 베이스라인프로파일로의 트랜스코딩 방법
US6040875A (en) Method to compensate for a fade in a digital video input sequence
KR101371507B1 (ko) 저지연 영상 통신 시스템 및 방법
US20060256860A1 (en) Transcoding with look-ahead
Maksimović et al. The impact of successive B frames on TV signal using different compression techniques and video resolution
JPH11196423A (ja) 画像処理装置および方法、並びに提供媒体
Lonetti et al. Temporal video transcoding for multimedia services
Van der Auwera et al. Video texture and motion based modeling of rate variability-distortion (VD) curves (extended version)
US20150085915A1 (en) Method and system for automatically encoding video with uniform throughput

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121026

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20131024

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20141024

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20151023

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee