KR20050085392A - 분할 연산의 필요성을 감소시킨 디지털 비디오 엔코딩을위해 가변 정확도 화상간 타이밍 특정을 위한 방법 및장치 - Google Patents

분할 연산의 필요성을 감소시킨 디지털 비디오 엔코딩을위해 가변 정확도 화상간 타이밍 특정을 위한 방법 및장치 Download PDF

Info

Publication number
KR20050085392A
KR20050085392A KR1020057010219A KR20057010219A KR20050085392A KR 20050085392 A KR20050085392 A KR 20050085392A KR 1020057010219 A KR1020057010219 A KR 1020057010219A KR 20057010219 A KR20057010219 A KR 20057010219A KR 20050085392 A KR20050085392 A KR 20050085392A
Authority
KR
South Korea
Prior art keywords
video
picture
video picture
motion vector
scale
Prior art date
Application number
KR1020057010219A
Other languages
English (en)
Other versions
KR100804335B1 (ko
Inventor
바린 쥐. 하스켈
데이비드 더블유. 신저
애드리아나 더미트라스
아툴 파리
Original Assignee
애플 컴퓨터, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 컴퓨터, 인크. filed Critical 애플 컴퓨터, 인크.
Publication of KR20050085392A publication Critical patent/KR20050085392A/ko
Application granted granted Critical
Publication of KR100804335B1 publication Critical patent/KR100804335B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Abstract

본 발명은 디지털 비디오 시스템에 있어서 모션 추정을 실행하는 방법 및 장치에 관한 것이다. 특히 효과적인 방법으로 추정 모션 벡터를 신속하게 계산하는 시스템을 제공하는 관한 것이다. 하나의 실시예로, 제1의 피승수는 제1의 비디오 화상과 제2의 비디오 화상 사이의 제1의 디스플레이 시간 차이와 두 스케일 값의 제곱과의 곱에 의해 결정된다. 이러한 과정은 비율에서 분자를 확대시킨다. 다음으로, 상기의 시스템은 스케일 분자를 제2의 비디오 화상과 제3의 비디오 화상 사이의 제2의 처음 디스플레이 시간 차이로 나눈 스케일 비를 정한다. 스케일 비는 계산용의 모션 벡터 추정으로 저장된다. 상기의 스케일 비를 저장함으로써, 스케일 비가 주요 비트를 세이브하고, 스케일 축소가 나누기 연산에 소요되는 필요 시간을 제거하는 방식의 단순 시프트로 실행되기 때문에, 모든 추정된 모션 벡터는 좋은 정밀도로 신속하게 계산될 수 있다.

Description

분할 연산의 필요성을 감소시킨 디지털 비디오 엔코딩을 위해 가변 정확도 화상간 타이밍 특정을 위한 방법 및 장치{Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced rquirements for division operations }
본 발명은 멀티미디어 압축 시스템에 관한 것으로서, 특히 프로세서 집약적인 분할 연산의 필요성을 감소시키고 가변 정확도 화상간 타이밍을 특정으로 하는 방법 및 시스템에 관한 것이다.
디지털이 기반을 이루는 되는 전자 미디어 포맷은 아날로그 전자 매체 포맷을 광범위 하게 대체하고 있다. 디지털 컴팩트 디스크(CDs) 는 오래전에 아날로그 비닐 레코드를 대체했으며, 아날로그 마그네틱 카세트 테이프는 거의 찾아볼 수 없게 되었다. 미니디스크와 MP3(MPEG Audio - layer 3)과 같은 2, 3 세대 디지털 오디오 시스템은 현재 컴팩 디스크의 1세대 디지털 오디오 포팻으로부터 시장을 선점하고 있다.
비디오 미디어 포맷은 오디오 미디어 보다는 점진적으로 디지털 저장과 디지털 전송 포맷으로 바뀌고 있다. 이러한 디지털 채택이 점진적으로 일어나는 이유는 대개 디지털 형태로 적합한 품질의 비디오를 정밀하게 나타내는데 필요한 엄청난 양의 디지털 정보와, 압축된 비디오를 엔코드 하기 위해 필요한 빠른 프로세싱 능력때문이다. 비디오를 정밀하게 나타내는데 필요한 엄청난 양의 디지털 정보는 고용량 디지털 저장 시스템과 고 밴드폭 전송 시스템이 필요하다.
그러나, 비디오는 현재 디지털 저장과 전송 포맷으로 급속히 바뀌고 있다. 빠른 컴퓨터 프로세서, 고밀도 저장 시스템, 효과적인 압축과 엔코딩 알고리즘은 디지털 비디오 전송과 저장을 소비자의 가격관점에서 볼때 매우 실용적으로 만들고 있다. DVD(Digital Versatile Disc), 즉 디지털 비디오 시스템은 해마다 최다 판매되는 가전제품중의 하나가 되고 있다. DVD는 고품질 비디오, 고성능 오디오, 편리함 등 여러가지 이유때문에 선택에 따른 선녹화 후재생 시스템의 비디오 카세트 레코더(VCRs)를 빠른속도로 대신하고 있다. 구식의 아날로그 NTSC(National Televsion Standards Committee) 비디오 전송 시스템은 최근 디지털 ATSC(Advanced Television Standards Commiteee) 비디오 전송 시스템으로 대체되는 과정이 있다.
컴퓨터 시스템은 몇년 동안 다양하고 상이한 디지털 비디오 엔코딩 포맷을 사용해왔다. 특히, 컴퓨터 시스템은 디지털 비디오의 압축, 엔코딩 혹은 디코딩을 각각 실행하기 위해서 상이한 비디오 코더/디코더 방식을 사용해 왔다. 하드웨어 혹은 소프트웨어 설정에 있어서 비디오 코더/디코더 방식은 공통적으로 "코덱(CODEC)" 으로 불리워 진다.
컴퓨터 시스템을 사용하는 최고의 디지털 비디오 압축 및 엔코딩 시스템들은 MPEG(Motion Pictures Expert Group)에 의해 더욱 강화된 디지털 비디오 시스템으로 되어져 왔다. 가장 유명하고 많이 사용되고 있는 MPEG 의 디지털 비디오 포맷은 MPEG-1, MPEG-2, MPEG-4 이다. VCDs(Video CDs)와 초기 소비자 등급 디지털 비디오 편집 시스템은 초기 MPEG-1 디지털 비디오 엔코딩 포맷을 사용한다. DVDs(Digital Versatile Discs)와 DBS(Dish Network brand Direct Broadcast Satellite) 텔레비젼 방송 시스템은 고품질의 MPEG-2 디지털 비디오 압축과 엔코딩 시스템을 사용한다. MPEG-4 엔코딩 시스템은 디지털 비디오 엔코더와 관련 디지털 비디오 플레이어를 기초로 하는 최신 컴퓨터에 의해 빠르게 채택되고 있다.
MPEG-2와 MPEG-4 기준은 일련의 비디오 프레임 또는 비디오 필드를 압축한 후 압축된 프레임 혹은 필드를 디지털 비트스트림으로 엔코드한다. 비디오 프레임 또는 필드를 MPEG-2와 MPEG-4 시스템으로 압축할 때, 비디오 프레임 또는 필드는 화소블록의 직각 그리드로 분할된다. 각각의 화소블록은 독립적으로 압축되고 엔코드된다.
비디오 프레임 혹은 필드를 압축할 때, MPEG-4 기준은 프레임 혹은 필드를 인트라-프레임 (I-프레임), 단향성 예측 프레임 (P-프레임), 양방향성 예측 프레임 (B-프레임)세가지 압축된 프레임 혹은 필드 중 하나의 타입으로 압축할 것이다. 인트라 프레임은 다른 비디오 프레임과 관계 없이 완전히 독립적으로 독립적 비디오 프레임을 엔코드한다. P-프레임은 하나의 미리 디스플레이된 비디오 프레임과 연관된 비디오 프레임을 형성한다. B-프레임은 현재 프레임 이전에 디스플레이된 비디오 프레임과 현재 프레임 이후에 디스플레이 된 비디오 프레임 모두와 연관된 비디오 프레임을 형성한다. 이들 용장 비디오 정보의 효과적인 사용법 때문에 P-프레임과 B-프레임은 일반적으로 최상의 압축을 제공한다.
본 발명의 목적은 비디오 코덱에서 모션 추정(motion estimation)을 구현하기 위한 방법과 장치를 제공하는 것이다. 특히 분할 연산의 방대한 수를 사용하지 않고 매우 효과적인 방법으로 추정 모션 벡터(estimated motion vectors)를 신속하게 계산하는 시스템을 제공하는 것이다.
하나의 실시예로, 제1의 피승수는 제1의 비디오 화상과 제2의 비디오 화상 사이의 제1의 디스플레이 시간 차이와 두 스케일 값의 제곱과의 곱에 의해 결정된다. 이러한 과정은 비율에서 분자를 확대시킨다. 다음으로, 상기의 시스템은 스케일 분자를 제2의 비디오 화상과 제3의 비디오 화상 사이의 제2의 처음 디스플레이 시간으로 나눈 스케일 비를 정한다. 그리고, 스케일 비는 모션 벡터 추정을 계산하기 위해 사용되도록 저장된다. 상기 스케일 비를 저장함으로써, 스케일 비가 주요 비트를 세이브하고, 스케일의 축소가 나누기 연산에 소요되는 필요 시간을 제거하는 방식의 단순 시프트로 실행되기 때문에, 모든 추정된 모션 벡터는 좋은 정밀도로 신속하게 계산될 수 있다.
본 발명의 목적, 특징, 장점들은 도면 및 실시예에서 명확하게 설명될 것이다.
도 1은 하나의 실현 가능한 디지털 비디오 엔코더 시스템의 고 레벨 블록도. 도 2는 다른 화상과 연결되는 화살표들이 모션 보상을 사용하도록 생성된 보조 화상 종속성을 나타내며, 디스플레이 된 화상순으로 나열한 일련의 비디오 화상을 나타낸 도면.
도 3은 다른 화상과 연결되는 화살표들이 모션 보상 사용하도록 생성된 보조 화상 종속성을 나타내며, 화상의 실행된 전송 순서로 리스트된 도 2로부터 비디오 화상들을 나타낸 도면.
도 4는 각 참조가 2제곱으로 선택된 비디오 화상 사이의 거리에서 일련의 비디오 화상들을 그래픽적으로 나타낸 도면.
본 발명은 멀티미디어 압축과 엔코딩 시스템에 있어서, 분할 연산의 필요성을 줄이고, 가변 정확도 화상간 타이밍의 특정을 위한 방법과 시스템에 관한 것이다. 보다 자세한 설명을 위해, 다음의 설명에서 본 발명의 이해를 위한 특정 명칭이 먼저 설명되고 있다. 그러나, 당업자 입장에서 볼 때 이들의 상세한 설명이 본 발명의 실행을 위해 불필요하다는 사실은 명백하다. 예를 들어, 본 발명은 MPEG 멀티미디어 압축 및 엔코딩 시스템에 관하여 상술하고 있다. 하지만, 동일 기술들이 다른 타입의 압축 및 엔코딩 시스템에 손쉽게 적용될 수 있다.
멀티미디어 압축, 엔코딩 개요
도 1은 업계에 잘 알려진 전형적인 디지털 비디오 엔코더(100)의 고 레벨 블럭도를 나타내고 있다. 디지털 비디오 엔코더(100)는 블록도의 왼쪽에서 비디오 프레임(105)의 입력 비디오 스트림을 수신한다. 디지털 비디오 엔코더(100)는 각 비디오 프레임을 화소블록의 그리드로 분해한다. 이 화소블록은 독립적으로 압축된다. 화소블록의 가변적이고 다양한 사이즈는 다른 비디오 엔코딩 시스템에 의해 사용될 수 있을 것이다. 예를 들어, 다른 화소 블록 해상도는 8x8, 8x4, 16x8, 4x4 등 을 포함한다. 또한, 화소블록은 때때로 '매크로블록(macroblocks)'으로 불리기도 한다. 본 명세서에서는 모든 사이즈의 화소들의 블록을 언급할 때, 화소블록이란 단어를 사용할 것이다.
이산 코사인 변환(DCT) 유닛(110) 은 비디오 프레임에 있는 각 화소블록을 처리한다. 상기 프레임은 독립적으로 처리되거나 (인트라-프레임), 모션 보상 유닛(인터-프레임)에서 수신된 다른 프레임들의 정보와 같이 처리될 것이다. 다음으로, 양자화(Q) 유닛(120)은 이산 코사인 변환 유닛(110)의 정보를 양자화 한다. 마지막으로, 양자화된 비디오 프레임은 엔코드된 비트스트림(bitstream)을 산출하기 위해 엔트로피 엔코더(H) 유닛(180)에서 엔코드 된다. 엔트로피 엔코더(H) 유닛 (180)은 가변 길이 코딩(VLC) 시스템을 사용할 것이다.
비디오 프레임이 엔코드된 인터 프레임은 근처의 다른 비디오 프레임과 관련하여 규정되므로, 디지털 비디오 엔코더(100)는 각각 디코드된 프레임이 인터 프레임들이 엔코드된 디지털 비디오 디코더 내에서 어떻게 나타나는의 카피(copy)를 생성해야 한다. 따라서, 디지털 비디오 엔코더(100)의 아랫 부분은 사실상 디지털 비디오 디코더 시스템이다. 특히, 역 양자화(Q-1) 유닛(130)은 비디오 프레임 정보의 양자화를 역전시키고 역 이산 코사인 변환(DCT-1) 유닛(140)은 비디오 프레임 정보의 이산 코사인 변환을 역전한다. 역 이산 코사인 변환(DCT-1) 유닛(140)으로부터 모든 DCT 계수가 재구성 되면, 모션 보상 유닛은 엔코드된 비디오 프레임을 재구성하기 위해 모션 벡터에 따른 정보를 사용할 것이다. 재구성된 비디오 프레임은 나중 프레임의 모션 추정을 위한 참조 프레임으로 사용되어 진다.
이후, 디코드된 비디오 프레임은 그 비디오 프레임에 있는 정보와 관련되어 형성되는 인터 프레임(P 프레임 혹은 B 프레임)을 엔코드 하는데 사용되며, 특히 모션 보상(MC) 유닛(150)과 모션 추정(ME) 유닛(160)은 모션 벡터를 결정하는데 사용되며 인터 프레임을 엔코드 하는데 사용되는 미분 값을 형성한다.
비율 제어기(190)는 디지털 비디오 엔코더(100)의 다양한 소자로부터 정보를 수신하며, 이 정보를 사용해서 각 비디오 프레임의 비트 예산을 배정한다. 비율 제어기(190)는 제한의 특정 세트에 따르는 최고 품질의 디지털 비디오 비트 스트림을 발생시키도록 하는 방법으로 비트 예산을 배정해야 한다. 특히, 비율 제어기(190)은 다량의 정보를 보내 비디오 디코더의 수용가능한 메모리 용량을 초과하는 오버플로잉 버퍼(overflowing buffers), 또는 비디오 디코더가 디스플레이 되기 위한 비디오 프레임을 모두 소진할 정도로 비디오 프레임을 충분히 빠른 속도로 보내지 않는 언더플로잉 버퍼(underflowing buffers) 현상 없이 고품질의 압축된 비디오 스프림을 생성하도록 한다.
화소 블록을 갖는 디지털 비디오 엔코딩
몇몇의 비디오 신호에서는 성공적인 비디오 화상들(프레임 혹은 필드) 사이의 시간이 상수가 아닐 수도 있다. (주의 : 이 명세서에서는 일반적으로 비디오 프레임이나 비디오 필드를 언급할 때 비디오 화상이란 용어를 사용한다.) 예를 들어, 어떤 비디오 화상은 아마도 밴드폭 제약 전송으로 인해 저하될 것이다. 또한, 비디오 타이밍은 카메라 불규칙성 혹은 슬로우 모션이나 빠른 모션과 같은 특정한 효과들 때문에 변할 수 있다. 어떤 비디오 스트림에서는, 오리지널 비디오 소스(original video source)가 단순하게 디자인에 의해 획일적이지 않은 화상간 타임을 가질 수도 있다. 예를 들어, 컴퓨터 그래픽 애니메이션과 같이 합성된 비디오는 비디오 카메라 시스템과 같은 획일적인 타이밍 비디오 캡쳐 시스템에 의한 어떠한 임의의 비디오 타이밍도 부과되지 않기 때문에 획일적이지 않은 타이밍을 가질 수 있다. 유연한 디지털 비디오 엔코딩 시스템은 획일적이지 않은 비디오 화상 타이밍을 조절할 수 있어야 한다.
앞서 언급한 바와 같이, 대부분의 디지털 비디오 엔코딩 시스템은 비디오 화상들을 화소블록의 직각 그리드로 분해한다. 비디오 화상의 각 개별적 화소들은 독립적으로 압축되고 엔코드된다. 예를 들어, ISO MPEG 혹은 ITU H.264와 같은 비디오 코딩 기준은 비디오 화상을 엔코드 하기 위해서 예측되는 화소블록들의 다른 종류들을 사용한다. 그 한 예로, 화소블록은 다음의 세가지 종류중에서 하나가 될 것이다.
1. I-화소블록 - 인트라 (I) 화소 블록, 완전하게 자기규정 되어있으며, 코딩에 있어서 다른 비디오 화상으로 부터 정보를 사용하지 않는다.
2. P-화소블록 - 단향성 예측 (P) 화소블록은 하나의 이전 화상으로부터 화상 정보를 참조한다.
3. B-화소블록 - 양방향성 예측 (B) 화소블록은 하나의 이전 화상과 하나의 이후 비디오 화상으로부터 정보를 사용한다.
만약 비디오 화상의 모든 화소 블록이 인트라 화소블록이라면, 비디오 화상은 인트라 프레임이다. 만약 비디오 화상이 단향성 예측 마크로(macro) 블록이나 인트라 화소블록만을 포함하고 있다면, 비디오 화상은 P 프레임이다. 만약 비디오 화상이 어떠한 양방향성 예측 화소블록을 포함하고 있다면, 비디오 화상은 B-프레임이다. 단순화를 위해, 본 명세서에서는 주어진 화상 내에서 모든 화소 블록들이 동일한 종류로하는 경우를 고려할 것이다.
엔코드 될 비디오 화상들의 예시 시퀀스는 다음과 같이 나타날 것이다. :
I1B2B3B4P5B6B7B8B9P10B11P12B13I14....
여기서, 문자 (I, P 혹은 B)는 비디오 화상이 I-프레임, P-프레임 혹은 B-프레임인 것을 나타내며 숫자는 비디오 화상의 시퀀스에서 비디오 화상의 카메라 순서를 나타낸 것이다. 카메라 순서는 비디오 화상이 기록된 카메라의 순서이며, 또한 비디오 화상들이 디스플레이 되는(디스플레이 순서) 비디오 순서 이다.
앞에서 언급된 비디오 화상의 일련의 예시들은 도 2에 도식적으로 나타나있다. 도 2에서, 화살표들은 저장된 화상(이 케이스의 I-프레임 혹은 P-프레임) 의 화소블록들이 다른 화상들의 모션 추정 예측에 사용되는 것을 나타낸다.
도 2에서는 다른 화상들로부터의 정보가 인트라 프레임 비디오 화상 I1의 엔코딩에 사용되지 않음을 알 수 있다. 비디오 화상 P5는 비디오 화상 I1에서 비디오 화상 P5로 연결된 화살표와 같이 코딩에 있어서 이전 비디오 화상 I1 으로부터 비디오 정보를 사용하는 P 프레임이다. 비디오 화상 B2, 비디오 화상 B3, 비디오 화상 B4 모두는 비디오 화상 I1 와 비디오 화상 P5가 비디오 화상 B2, 비디오 화상 B3, 비디오 호상 B4로 연결되는 화살표와 같이 코딩에 있어서 비디오 화상 I1과 비디오 화상 P5 의 둘 모두의 정보를 사용한다. 일반적으로, 상기 언급된 바와 같이 화상간 타임은 동일하지 않다.
B 화상들이 이후 화상(future pictures ; 이후에 디스플레이 되어지는 화상들) 으로부터 정보를 사용하기 때문에, 전송 순서는 대부분 디스플레이 순서와는 다르다. 특히, 다른 비디오 화상을 구성하는 것이 필요한 비디오 화상들은 첫 번째로 전송되어야한다. 상기의 시퀀스에 따르면, 전송 순서는 다음과 같이 되어야 할 것이다.
I1P5B2B3B4P10B6B7B8B9P12B11I14B13...
도 3은 도 2에서 비디오 화상들의 이전 전송 순서를 도식적으로 나타내고 있다. 다시 말해서, 상기 도면에 있는 화살표들은 저장된 비디오 화상 (본 케이스에서 I 혹은 P)의 화소블록들이 다른 비디오 화상들의 모션 추정 예측에 사용되는 것을 나타낸다.
도 3을 참조해 보면, 시스템은 다른 프레임에 의존하지 않는 I 프레임 I1을 첫번째로 전송한다. 다음에 시스템은 비디오 화상 I1에 의존하는 P프레임 비디오 화상 P5를 전송시킨다. 다음으로 시스템은 비디오 화상 B2가 비디오 화상 P5 이전에 디스플레이 되더라도 비디오 화상 P5 이후에 B 프레임 비디오 화상 B2를 전송시킨다. 그 이유는 비디오 화상 B2를 디코드 하는데 있어서, 디코더는 비디오 화상 B2를 디코드 하는데 필요한 비디오 화상 I1과 P5에서 정보를 수신하고 저장할 것이기 때문에다. 마찬가지로 비디오 화상 I1과 P5 는 연속 비디오 화상 B3 과 비디오 화상 B4 를 디코드 하도록 사용될 것이다. 수신기/디코더는 적절한 디스플레이를 위해 비디오 화상 시퀀스를 재명령한다. 이러한 작동원리에서 I와 P 화상은 때때로 저장된 화상으로 언급된다.
P 프레임 화상의 코딩은 일반적으로 모션 추정을 이용하며, 모션 벡터는 화상의 각 화소블록으로 계산된다. 계산된 모션 벡터를 사용하는 것은 예측 화소블록(P-화소블록)이 전술한 이전 화상에서 화소들의 번역에 의해 형성된다. P 프레임 화상의 실제 화소 블록과 예측 화소 블록 사이의 차는 전송을 위해 코드화 된다.
P-화상
P 화상 코딩은 일반적으로 모션 추정(MC)을 사용하며, 이전 화상에서 위치를 지정하는 모션 벡터(MV)는 현재 화상에서 각 화소블록으로 계산된다. 모션벡터를 사용하면서, 예측 화소블록은 앞서 언급한 이전 화상에서 화소의 번역에 의해 형성될 수 있다. P 화상에서의 실제 화소블록과 예상 화소 블록 사이의 차는 전송을 위해 코드되어 진다.
각 모션 벡터는 또한 예측된 코딩을 통해서 전송되어 진다. 예를 들어, 모션 벡터 예측은 근처에 있는 모션 벡터를 사용해서 형성된다. 이러한 케이스에서, 실제 모션 벡터와 모션 벡터 예측 사이의 차는 전송을 위해 코드되어 진다.
B - 화상
각각의 B 화소블록은 앞서 언급된 이전 비디오 화상을 참조하는 첫번째 모션 벡터와 이후 비디오 화상을 참조하는 두번째 모션 벡터의 두가지 모션 벡터를 사용한다. 이 두개의 모션 벡터들로부터 두개의 예측 화소들이 계산된다. 두개의 예측 화소블록은 최종 예측 화소블록을 형성하기 위해서 어떤 기능을 사용하여 결합된다. 상기와 같이, B 프레임 화상의 실제 화소블록과 최종 예측 화소 블록 사이의 차는 전송을 위해 코드되어 진다.
P 화소블록들과 같이, B 화소블록의 각 모션 벡터는(MV)는 예측된 코딩을 통해서 전송될 것이다. 특히, 예측 모션 벡터는 근처의 모션 벡터 사용으로 형성된다. 그 후에, 실제 모션 벡터와 예측 사이의 차는 전송을 위해 코드되어 진다.
하지만, B 화소블록을 갖는 가장 가까운 곳에 저장된 화상 화소블록의 모션 벡터로부터 모션 벡터를 보간 할 수 있는 기회도 존재한다. 이러한 모션 벡터 보간은 디지털 비디오 엔코더와 디지털 비디오 디코더 모두에서 실행된다.
모션 벡터 보간은 특히 카메라가 움직임이 없는 배경을 지나 천천히 패닝(panning) 하는 곳의 비디오 시퀀스로부터 비디오 화상에 잘 작용한다. 사실, 이러한 모션 벡터 보간은 단독으로 사용되기에도 충분하며, 특히 이는 미분 정보가 보간을 사용하여 엔코드된 B 화소 블록 모션 벡터로 계산되거나 전송되지 않아도 됨을 의미한다.
더욱 자세한 설명을 위해, 상기의 시나리오는 화상 i와 j의 화상간 디스플레이 시간을 Di,j로 나타내며, 만약 화상의 디스플레이 시간이 각각 Ti와 Tj 이라면,
Di,j = Ti - Tj 이며,
이는 Di,k = Di,j + Dj,k
Dj,k = -Dk,j
임을 알 수 있다.
Di,j는 어떤 케이스에서는 음수가 될 수 있음을 주의해야 한다.
따라서, 만약 MV5,1이 I1과 관련된 P5 화소 블록의 모션 벡터라면, 각 I1, P5와 관련된 B2, B3, B4 모션 벡터에 상응하는 화소 블록은 각각 다음과 같이 보간될 것이다.
디스플레이 시간의 비율이 모션 벡터 예측을 위해 사용되기 때문에, 절대적인 디스플레이 시간은 필요하지 않음을 알아야 한다. 따라서, 상대적인 디스플레이 시간이 Di,j 화상간 디스플레이 시간 값에 사용될 것이다.
이러한 시나리오는 H.264 기준에서 예시된 것과 같이 일반화 될 것이다. 종합적으로, P와 B 화상은 모션 벡터 예측을 위해 이전에 전송된 화상을 사용할 것이다. 따라서, 상기의 케이스에서 B3은 예측(prediction)에 있어서 화상 I1과 B2을 사용할 것이다. 또한, 모션 벡터는 보간만 되는 것 뿐만 아니라 외삽(extrapolate)되어질 것이다. 따라서, 이 케이스는 다음과 같은 사실을 도출할 수 있다.
이러한 모션 벡터 외삽(혹은 보간)은 모션 벡터의 예측 코딩을 위한 예측 과정에도 사용될 수도 있다.
엔코딩 화상간 디스플레이 시간
비디오 시퀀스의 가변 화상간 디스플레이 시간은 높은 코딩 효율을 얻을수 있고 비디오 디코더의 조건에 맞는 선택가능한 정확도를 가질 수 있는 방법으로 엔코드되고 전송되어져야 한다. 이론적으로 말하면, 인코딩 시스템은 비교적 단순한 컴퓨터 시스템이 디지털 비디오를 디코드 할 수 있는 것과 같이 디코더를 위한 작업을 단순화 해야 한다.
가변 화상간 디스플레이 시간은 차등 모션 벡터, 다이렉트 모드 모션 벡터(Direct Mode motion vectors), 혹은 암시적 B 예상 블록 웨이팅(Implicit B Prediction Block Weighting)을 계산하기 위해서 다수의 다른 비디오 엔코딩 시스템이 잠재적으로 필요하다.
비디오 시퀀스에 있어서 가변 화상간 디스플레이 시간의 문제점은 일시적 참조의 사용이 뒤엉키는데 있다. 이론적으로 말하면, 비디오 코덱(video CODEC)의 출력 화상에서 정확한 화소 값의 차등은 화상이 디코드되거나 디스플레이 되는 시간에서 독립되어야 한다. 그러므로, 타이밍 발행과 시간 참조는 코덱 레이어의 바깥에서 해결되어져야 한다.
요구되는 시간 독립성의 근본에는 코딩-관계와 시스템-관계의 이유가 있다. 비디오 코덱에서는 시간 참조가 (1)참조 화상 선택을 위한 명령을 확립하기 위해, (2)화상 사이의 모션 벡터를 보간하기 위한, 두가지 목적으로 사용되어 진다.
참조 화상 선택을 위한 명령을 확립하기 위해서는, 하나가 상대적 위치 값의 신호를 단순하게 보내야 한다. 예를 들면, 디코드 명령에 프레임 위치 N과 디스플레이 위치 M사이의 차이, 즉 N-M 에서는 시간 스탬프(time stamps) 혹은 다른 시간 참조들이 필요하지 않다. 모션 벡터를 보간하기 위해서는, 일시적인 간격이 보간 간격과 관련이 있다면, 이러한 일시적인 간격은 유용할 것이다. 하지만, 모션이 비선형임은 정확하지 않을 것이다. 따라서, 모션 벡터 보간을 위해서는 일시적인 정보 보다는 파라미터를 전송하는 것이 적절하다.
시스템의 용어에 있어서, 전형적인 비디오 코덱(CODEC)은 비디오 코덱이 다른 비디오 (그리고 오디오) 코덱들과 공존하는 넓은 시스템의 한 부분으로 생각 될 수 있다. 이러한 멀티 코덱 시스템에 있어서, 좋은 시스템 레이어링과 디자인은, 타이밍과 같이 논리적으로 코덱 독립인 일반적인 기능들이 코덱의 바깥쪽에서 조절되는 것이 필요하다. 시스템에 의한 타이밍의 운용과 독립적으로 각 코덱에 의하지 않은 타이밍의 운용은 동기화와 같이 공통적인 기능들의 모순 없는 운용을 이루는데 있어서 매우 중요하다. 예를 들어, 비디오/오디오 표현과 같이 하나의 스트림 이상을 동시에 다루는 시스템에서, 타이밍 조정은 상이한 스트림 동기화를 유지하기 위해서 때때로 스트림 내부에 필요하다. 이와 유사하게, 상이한 시간 타이밍 조정의 원격 시스템으로부터 스트림을 다루는 시스템에서는 리모트 시스템의 동기화를 유지하는 것이 필요하다. 이러한 타이밍 조정은 시간 스템프 사용을 이룰 수 있게 한다. 예를 들면, 송신장치로부터 "송신기 리포트(Sender Reports)" 의 의미로 링크되고 각 스트림의 RTP레이어에서 RTP로 공급되는 타임 스템프는 동기화로 사용되어 질 것이다. 이러한 송신기 리포트는 다음과 같은 형태를 갖는다.
비디오 RTP 타임스탬프 X는 타임스탬프 Y와 관련하여 조정되어 진다.
오디오 RTP 타임스탬프 W는 타임스탬프 Z와 관련하여 조정되어 진다.
두개의 스트림이 조정되도록 참조 타임스탬프의 벽 시계 비율(wall-clock rate)이 알려져 있다.
하지만, 이러한 타임스템프 참조는 주기적으로 분리되어 두 스트림에 도달하며, 두 스트림을 재조정하게 만드는 원인이 된다. 이는 일반적으로 오디오를 매치하기 위한 비디오 시트림 조절에 의해 이루어 지거나, 혹은 그 반대의 경우를 들 수 있다. 타임 스템프의 시스템 핸들링은 디스플레이 되어지는 화상 값에 영향을 주어서는 안된다. 다시 말하면, 일시적 정보의 시스템 핸들링은 코덱 바깥에서 형성되어야 한다.
실시예
앞서 언급된 바와 같이, 정형화되지 않은 화상간 타임의 케이스에서의 문제점은, 화상간 디스플레이 시간 값 Di,j 을 효과적인 방법으로 디지털 비디오 전송기로 전송하는 것이다. 상기 목표를 달성하기 위한 한가지 방법은 현재 화상과 첫번째 화상 이후의 각 화상의 가장 최근에 전송되어 저장된 화상 사이의 디스플레이 시간 차를 전송시키는 시스템을 가지는 것이다. 에러 내성(error resilience)을 위해, 전송은 상기 화상 내부에서 몇번 동안 반복될 수 있다. 예를 들면, 디스플레이 시간 차는 MPEG나 H264기준의 슬라이스 헤더(slice header) 에서 반복될 수 있다. 만약 모든 슬라이스 헤더가 손실된다면, 정보 디코딩을 위해 손실된 화상에 의지된 다른 화상들 또한 디코드 될 수 없을 것이다.
따라서, 앞에서 언급된 실시예와 관련하여, 시스템은 다음의 화상간 디스플레이 값들을 전송할 것이다.
모션 벡터 추정을 위해서, 화상간 디스플레이 시간 Di,j에 필요한 정확도는 화상에 따라 매우 다양하다. 예를 들어, 만약 두개의 P 프레임 화상 P5와 P7사이에 단일 B 프레임 화상 B6이 충분하지 않다면,
을 보내는 것으로도 충분하다.
여기서 Di,j 화상간 디스플레이 시간 값은 상대 시간 값이다.
대신에, 만약 비디오 화상 B6가 비디오 화상 P5와 비디오 화상 P7사이가 1/4 거리라면, 전송을 위한 적절한 Di,j 보조 화상 디스플레이 시간 값은,
이 된다.
앞서 언급된 두가지 실시예에서, 비디오 화상 B6와 비디오 화상 P7(보조 화상 디스플레이 시간 D6,7)사이의 디스플레이 시간은 디스플레이 시간 "유닛(units)" 값으로 사용된 것에 유의해야 한다. 가장 최근의 실시예에서, 비디오 화상 P5와 비디오 화상 P7(보조 화상 디스플레이 시간 D6,7)사이의 디스플레이 시간 차는 네개의 디스플레이 시간 "유닛"(4*D6,7)이다.
개선된 디코딩 효율
일반적으로, 나눗수가 2의 제곱이면, 모션 벡터 추정 계산값은 매우 단순해진다. 이는 두개의 저장된 화상 사이의 Di,j(화상간 시간)이 도 4에 도시된 바와 같이 2제곱일 경우에는, 실시예에서 쉽게 달성될 수 있다. 양자 택일로, 상기 추정 과정은 2제곱으로 모든 나눗수의 뒷자리를 버리거나 끝수를 반올림하여 규정될 수 있다.
보조 화상 시간이 2제곱일 경우에는, (2의) 정수제곱 수가 보조 화상 시간의 전체 값 대신에 전송되었을 때, 데이타 비트 숫자는 줄어 든다. 도 4는 화상 사이의 거리가 2제곱일 경우를 나타내고 있다. 이러한 케이스에서는, 비디오 화상 P1과 비디오 화상 P3 사이의 D3,1 디스플레이 시간 값이 1(21=2이기 때문에)로 전송되며, 비디오 화상 P7과 비디오 화상 P3 사이의 디스플레이 시간 값, 4는 2로(22=4이기 때문에) 전송된다.
선택적으로, 외삽(extrapolation) 작용의 모션 벡터 보간은 분모가 2제곱인 방법의 스케일링(scaling)에 의해서, 원하는 정확도로 접근할 수 있다. (분모 나눗셈에 있어서 2제곱은, 값의 비트를 단순 시프팅(simple shifting)하여 나누어 만들어 진다.) 예를 들면,
에서, P값은 2제곱이고 Z5,4 = P*D5,4/D5,1 은 가장 가까운 정수값이 되도록 반올림 하거나 끝수를 버린다. P 값은 주기적으로 전송되거나 시스템의 상수로 고정될 것이다. 하나의 예로, P 값은 P=28=256 이다.
이러한 접근법의 이점은, 디코더가 각 화상 마다 한번씩 Z5,4만 계산하거나, 혹은 많은 케이스에서 디코더가 Z값을 미리 계산하고 저장할 수 있다는 것이다. 이는 디코더가 모션 벡터 보간이 더욱 효율적으로 이루어지는 것과 같은 화상에서 모든 모션 벡터가 D5,1로 나누어 지는 것을 방지한다. 예를 들면, 정상 모션 벡터 계산은 다음과 같다.
하지만, 만약Z5,4를 Z5,4 = P*D5,4/D5,1 로 계산하고 저장한다면, 그 결과는 다음과 같다.
하지만 P값이 2제곱으로 되었기 때문에, P로 나누는 것은 비트의 단순 시프트이다. 따라서, Z값이 비디오 화상에 계산되어 수반되는 화소블록으로 모션벡터를 계산하는데 필요한 것은 단일 곱셈과 단일 시프트이다. 또한, 상당한 비트가 계산중에 손실되지 않는 것과 같은 모든 나눗셈의 형성에 의해서 높은 정확도를 유지시킬 수 있다. 이러한 방법으로, 디코더는 엔코더와 같이 같은 모션 벡터 보간을 수행하며, 따라서 어떠한 미스매치 문제들을 회피할 수 있다.
나누기(2제곱으로 나누는 것을 제외하고)는 디지털 컴퓨터 시스템에 있어서 덧셈이나 곱셈보다 더욱 계산적으로 철저한 작업을 수행할 수 있기 때문에, 이러한 접근법은 모션 벡터 보간이나 외삽을 사용하는 화상의 재구성에 필요한 계산을 크게 줄일 수 있다.
어떤 케이스에서는, 모션 벡터 보간이 사용되지 않을 수도 있다. 하지만, 모션 벡터 보간은 적절한 순서로 수신기/플레이어 시스템이 비디오 화상을 디스플레이하는 것과 같이 수신기/플레이어 시스템으로 비디오 화상의 디스플레이 순서를 전송하는 데에 필요하다. 이러한 경우에, Di,j의 단순 부호를 갖는 정수 값은 실제 디스플레이 시간에 관계없이 충분하다. 어떤 응용에서는, 화상 순서를 재구성하는데 오직 부호(양수 혹은 음수)만이 필요함을 언급하고 있다.
화상간 시간 Di,j는 단순 부호를 갖는 정수 값으로 전송될 것이다. 하지만, 추가적인 압축을 이루기 위한 Di,j 값의 엔코딩에 많은 방법들이 사용될 수 있다. 예를 들면, 가변 길이 코드 절대값의 뒤에 오는 부호 비트는 코딩 효율의 조건을 충족시키고 제공하는데 있어서 상대적으로 용이하다.
사용될 수 있는 그러한 가변 길이 코딩 시스템은 UVLC(Universal Variable Length Code)로 알려져 있다. 상기 UVLC 가변 길이 코딩 시스템은 다음의 부호어를 가진다. :
화상간 시간을 엔코딩하는 다른 방법은 산술 코딩(arithmetic coding)을 사용하는 것이다. 전형적으로, 산술 코딩은 데이터 비트의 고 압축을 실행하기 위해서 조건 확률을 사용한다.
따라서, 본 발명에서는 모션 벡터 추정의 사용에 있어서 단순하지만 강력한 화상간 디스플레이 시간의 인코딩 및 전송 방법과 이러한 화상간 디스플레이 시간을 디코딩 방법을 채용한다. 화상간 디스플레이 시간의 인코딩은 가변 길이 코딩이나 산술 코딩을 사용함으로써 매우 효과적으로 만들어 질 수 있다. 또한, 요구되는 가변성은 비디오 코덱의 필요에 일치하도록 선택될 수 있지만 그 이상은 될 수 없다.
전술된 내용은 멀티미디어 압축과 엔코딩 시스템에서 가변 정확도 화상간 타이밍을 특정으로 하는 시스템에 관한 것이다. 이는 통상적인 지식을 가지고, 본 발명의 범위에서 벗어나지 않도록 본 발명 요소들의 조정함으로써 변형, 개량될 수 있다.
따라서, 본 발명에 의하면 디지털 비디오 시스템에 있어서 모션 추정을 효과적으로 실행할 수 있다.

Claims (20)

  1. 제1의 비디오 화상과 제2의 비디오 화상 사이의 제1의 디스플레이 시간 차이에 2제곱값을 곱하는 제1의 피승수를 결정하는 단계,
    상기 피승수를 제2의 비디오 화상과 제3의 비디오 화상 사이의 제2의 처음 디스플레이 시간 차이로 나누는 스케일 비를 결정하는 단계,
    모션 벡터 추정의 계산을 위해 상기 스케일 비를 저장하는 단계를 포함하는 것을 특징으로 하는 디지털 비디오 시스템에서의 모션 추정 실행 방법
  2. 제 1항에 있어서, 상기의 스케일 비와 상기 제1의 비디오 화상과 관련된 모션 벡터를 곱하여 스케일 모션 벡터를 결정하는 단계를 더 포함하는 것을 특징으로 하는 디지털 비디오 시스템에서의 모션 추정 실행 방법.
  3. 제 2항에 있어서, 상기 스케일 모션 벡터를 2제곱 값으로 나누는 단계를 더 포함하는 것을 특징으로 하는 디지털 비디오 시스템에서의 모션 추정 실행 방법.
  4. 제 3항에 있어서, 상기 나누기 단계는 상기 스케일 모션 벡터의 시프트 비트에 의해 실행되는 것을 특징으로 하는 디지털 비디오 시스템에서의 모션 추정 실행 방법.
  5. 제 1항에 있어서, 상기 2제곱 값은 이백오십육을 포함하는 것을 특징으로 하는 디지털 비디오 시스템에서의 모션 추정 실행 방법.
  6. 제 1항에 있어서, 상기 2제곱 값은 통신 채널을 통해 주기적으로 전송되는 것을 특징으로 하는 디지털 비디오 시스템에서의 모션 추정 실행 방법.
  7. 제 1항에 있어서, 나누기에 의한 상기 스케일 비를 결정하는 단계는 비디오 화상마다 한번씩 실행되는 것을 특징으로 하는 디지털 비디오 시스템에서의 모션 추정 실행 방법.
  8. 제 1항에 있어서, 상기 스케일 비는 끝수를 버리는 것을 특징으로 하는 디지털 비디오 시스템에서의 모션 추정 실행 방법.
  9. 제 1항에 있어서, 상기 스케일 비는 가장 근접한 정수로 반올림하는 것을 특징으로 하는 디지털 비디오 시스템에서의 모션 추정 실행 방법.
  10. 제 1항에 있어서, 상기 2제곱 값은 정수를 포함하는 것을 특징으로 하는 디지털 비디오 시스템에서의 모션 추정 실행 방법.
  11. 모션 추정을 실행을 위한 상기 컴퓨터 명령 세트를 포함하며,
    상기 컴퓨터 명령세트는 제1의 비디오 화상과 제2의 비디오 화상 사이의 제1의 디스플레이 시간 차이에 2제곱을 곱한 제1의 피승수를 결정하는 단계,
    상기 피승수를 제2의 비디오 화상과 제3의 비디오 화상 사이의 제2의 처음 디스플레이 시간 차이로 나누는 스케일 비를 결정하는 단계,
    모션 벡터 추정의 계산을 위해 상기 스케일 비를 저장하는 단계들을 수행하는 것을 특징으로 하는 컴퓨터 리드가능한 매체.
  12. 제 11항에 있어서, 상기 컴퓨터 명령은 상기 스케일 비와 상기 제1의 비디오 화상과 관련된 모션 벡터를 곱하여 스케일 모션 벡터를 결정하는 단계를 더 실행하는 것을 특징으로 하는 컴퓨터 리드 가능한 매체.
  13. 제 12항에 있어서, 상기 컴퓨터 명령은 상기 스케일 모션 벡터를 상기 두값의 2제곱 값으로 나누는 단계를 더 실행하는 것을 특징으로 하는 컴퓨터 리드가능한 매체.
  14. 제 13항에 있어서, 상기 나누기는 상기 스케일 모션 벡터의 시프트 비트에 의해 실행되는 것을 특징으로 하는 컴퓨터 리드가능한 매체.
  15. 제 11항에 있어서, 상기 2제곱 값은 이백오십육을 포함하는 것을 특징으로 하는 컴퓨터 리드가능한 매체.
  16. 제 11항에 있어서, 상기 2제곱 값은 통신 채널을 통해 주기적으로 전송되는 것을 특징으로 하는 컴퓨터 리드가능한 매체.
  17. 제 11항에 있어서, 나누기에 의한 상기 스케일 비를 결정하는 단계는 비디오 화상마다 한번씩 실행되는 것을 특징으로 하는 컴퓨터 리드가능한 매체.
  18. 제 11항에 있어서, 상기 스케일 비는 끝수를 버리는 것을 특징으로 하는 컴퓨터 리드가능한 매체.
  19. 제 11항에 있어서, 상기 스케일 비는 가장 근접한 정수로 반올림 하는 것을 특징으로 하는 컴퓨터 리드가능한 매체.
  20. 제 11항에 있어서, 상기 2제곱 값은 정수를 포함하는 것을 특징으로 하는 컴퓨터 리드가능한 매체.
KR20057010219A 2002-12-06 2003-08-07 분할 연산의 필요성을 감소시킨 디지털 비디오 엔코딩을 위해 가변 정확도 화상간 타이밍 특정을 위한 방법 및 장치 KR100804335B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/313,773 2002-12-06
US10/313,773 US6728315B2 (en) 2002-07-24 2002-12-06 Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations

Publications (2)

Publication Number Publication Date
KR20050085392A true KR20050085392A (ko) 2005-08-29
KR100804335B1 KR100804335B1 (ko) 2008-02-15

Family

ID=32505842

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20057010219A KR100804335B1 (ko) 2002-12-06 2003-08-07 분할 연산의 필요성을 감소시킨 디지털 비디오 엔코딩을 위해 가변 정확도 화상간 타이밍 특정을 위한 방법 및 장치

Country Status (10)

Country Link
US (20) US6728315B2 (ko)
EP (1) EP1579689A4 (ko)
JP (3) JP2006509463A (ko)
KR (1) KR100804335B1 (ko)
CN (2) CN101242536B (ko)
AU (2) AU2003258142B2 (ko)
BR (1) BR0316175A (ko)
CA (2) CA2784948A1 (ko)
NO (1) NO20052764L (ko)
WO (1) WO2004054257A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150031468A (ko) * 2012-07-10 2015-03-24 퀄컴 인코포레이티드 비디오 코딩을 위한 타이밍 정보의 코딩

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100396892B1 (ko) * 2000-10-05 2003-09-03 삼성전자주식회사 비디오 ｍｐ3 시스템, 축소 비디오데이터 생성장치와생성방법 및 축소 비디오데이터 복원장치 및 복원방법
WO2004004357A1 (ja) * 2002-06-28 2004-01-08 Matsushita Electric Industrial Co., Ltd. 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム
US7088776B2 (en) * 2002-07-15 2006-08-08 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US8254461B2 (en) * 2002-07-24 2012-08-28 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US6728315B2 (en) 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US7426306B1 (en) * 2002-10-24 2008-09-16 Altera Corporation Efficient use of keyframes in video compression
US6831868B2 (en) * 2002-12-05 2004-12-14 Intel Corporation Byte aligned redundancy for memory array
KR100598093B1 (ko) * 2003-01-29 2006-07-07 삼성전자주식회사 낮은 메모리 대역폭을 갖는 동영상 압축 장치와 그 방법
US7471726B2 (en) * 2003-07-15 2008-12-30 Microsoft Corporation Spatial-domain lapped transform in digital media compression
US7369709B2 (en) * 2003-09-07 2008-05-06 Microsoft Corporation Conditional lapped transform
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8351514B2 (en) * 2004-01-16 2013-01-08 General Instrument Corporation Method, protocol, and apparatus for transporting advanced video coding content
US20050207490A1 (en) * 2004-03-18 2005-09-22 Wang Jason N Stored picture index for AVC coding
KR100693598B1 (ko) * 2004-09-08 2007-03-14 주식회사 팬택앤큐리텔 정지영상을 이용한 동영상 생성 기능을 가지는무선통신단말기 및 그 방법
US20060105166A1 (en) * 2004-11-17 2006-05-18 Lischefski Andrew J Breathable packaging film having enhanced thermoformability
US7471850B2 (en) * 2004-12-17 2008-12-30 Microsoft Corporation Reversible transform for lossy and lossless 2-D data compression
US7305139B2 (en) * 2004-12-17 2007-12-04 Microsoft Corporation Reversible 2-dimensional pre-/post-filtering for lapped biorthogonal transform
US7428342B2 (en) * 2004-12-17 2008-09-23 Microsoft Corporation Reversible overlap operator for efficient lossless data compression
US7751478B2 (en) * 2005-01-21 2010-07-06 Seiko Epson Corporation Prediction intra-mode selection in an encoder
US20060217027A1 (en) * 2005-03-25 2006-09-28 Martuccio Michael C Method and apparatus for fan expressing participation in sporting events
US7852353B1 (en) * 2005-03-31 2010-12-14 Apple Inc. Encoding a transparency (alpha) channel in a video bitstream
US20060233237A1 (en) * 2005-04-15 2006-10-19 Apple Computer, Inc. Single pass constrained constant bit-rate encoding
US8437392B2 (en) * 2005-04-15 2013-05-07 Apple Inc. Selective reencoding for GOP conformity
US7669130B2 (en) * 2005-04-15 2010-02-23 Apple Inc. Dynamic real-time playback
US7912349B1 (en) 2005-04-25 2011-03-22 Apple Inc. Validating frame dependency information
US7710426B1 (en) 2005-04-25 2010-05-04 Apple Inc. Buffer requirements reconciliation
US7885338B1 (en) 2005-04-25 2011-02-08 Apple Inc. Decoding interdependent frames of a video for display
US8442126B1 (en) 2005-06-14 2013-05-14 Apple Inc. Synchronizing audio and video content through buffer wrappers
US7830961B2 (en) * 2005-06-21 2010-11-09 Seiko Epson Corporation Motion estimation and inter-mode prediction
US8036274B2 (en) * 2005-08-12 2011-10-11 Microsoft Corporation SIMD lapped transform-based digital media encoding/decoding
TWI297994B (en) * 2005-12-08 2008-06-11 Inst Information Industry Encoder, method for adjusting decoding calculation, and computer readable record medium therefor
US8170102B2 (en) * 2005-12-19 2012-05-01 Seiko Epson Corporation Macroblock homogeneity analysis and inter mode prediction
US7843995B2 (en) * 2005-12-19 2010-11-30 Seiko Epson Corporation Temporal and spatial analysis of a video macroblock
JP5125329B2 (ja) * 2007-08-31 2013-01-23 富士通セミコンダクター株式会社 符号化装置と符号化方法、および復号化装置と復号化方法
KR101946376B1 (ko) 2007-10-16 2019-02-11 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US8369638B2 (en) 2008-05-27 2013-02-05 Microsoft Corporation Reducing DC leakage in HD photo transform
US8447591B2 (en) * 2008-05-30 2013-05-21 Microsoft Corporation Factorization of overlapping tranforms into two block transforms
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
US20110261887A1 (en) * 2008-06-06 2011-10-27 Wei Siong Lee Methods and devices for estimating motion in a plurality of frames
JPWO2010035733A1 (ja) * 2008-09-24 2012-02-23 ソニー株式会社 画像処理装置および方法
US8275209B2 (en) 2008-10-10 2012-09-25 Microsoft Corporation Reduced DC gain mismatch and DC leakage in overlap transform processing
TW201041404A (en) * 2009-03-06 2010-11-16 Sony Corp Image processing device and method
PL3567855T3 (pl) * 2009-03-23 2023-03-13 Ntt Docomo, Inc. Urządzenie do predykcyjnego kodowania wideo, sposób predykcyjnego kodowania wideo, program do predykcyjnego kodowania wideo, urządzenie do predykcyjnego dekodowania wideo, sposób predykcyjnego dekodowania wideo i program do predykcyjnego dekodowania wideo
US9300969B2 (en) 2009-09-09 2016-03-29 Apple Inc. Video storage
US9060176B2 (en) * 2009-10-01 2015-06-16 Ntt Docomo, Inc. Motion vector prediction in video coding
US8976856B2 (en) * 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
KR101820997B1 (ko) 2011-01-12 2018-01-22 선 페이턴트 트러스트 동화상 부호화 방법 및 동화상 복호화 방법
JP6108309B2 (ja) 2011-02-22 2017-04-05 サン パテント トラスト 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
JP5358746B2 (ja) 2011-03-03 2013-12-04 パナソニック株式会社 動画像符号化方法、動画像符号化装置及びプログラム
JP5786478B2 (ja) 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
US8724712B1 (en) * 2011-07-07 2014-05-13 Google Inc. Apparatus and method for encoding at non-uniform intervals
WO2013042995A2 (ko) * 2011-09-22 2013-03-28 엘지전자 주식회사 영상 정보 시그널링 방법 및 장치와 이를 이용한 디코딩 방법 및 장치
KR20130049526A (ko) * 2011-11-04 2013-05-14 오수미 복원 블록 생성 방법
CN110830797B (zh) * 2012-01-18 2023-09-15 韩国电子通信研究院 视频解码装置、视频编码装置和传输比特流的方法
CN107801030B (zh) 2012-04-23 2020-10-09 太阳专利托管公司 解码方法、解码装置以及编码方法、编码装置
US9544587B2 (en) 2012-05-14 2017-01-10 Google Technology Holdings LLC Scalable video coding with enhanced base layer
US20140029664A1 (en) * 2012-07-27 2014-01-30 The Hong Kong University Of Science And Technology Frame-level dependent bit allocation in hybrid video encoding
US9325992B2 (en) 2013-01-07 2016-04-26 Qualcomm Incorporated Signaling of clock tick derivation information for video timing in video coding
JP6017381B2 (ja) * 2013-07-22 2016-11-02 オリンパス株式会社 像ブレ補正装置及び撮像装置
CN104661046A (zh) * 2013-11-25 2015-05-27 乐视网信息技术（北京）股份有限公司 一种媒体流的解码方法和装置
US9628266B2 (en) * 2014-02-26 2017-04-18 Raytheon Bbn Technologies Corp. System and method for encoding encrypted data for further processing
JP2017059314A (ja) * 2015-09-14 2017-03-23 株式会社ジャパンディスプレイ 表示装置
CN105306866A (zh) * 2015-10-27 2016-02-03 青岛海信电器股份有限公司 帧率转换方法及装置
US10356406B2 (en) 2016-01-19 2019-07-16 Google Llc Real-time video encoder rate control using dynamic resolution switching
KR102301232B1 (ko) * 2017-05-31 2021-09-10 삼성전자주식회사 다채널 특징맵 영상을 처리하는 방법 및 장치
CN108600755B (zh) * 2018-04-19 2021-04-02 西安万像电子科技有限公司 图像帧编码方法及装置
CN110719478B (zh) * 2018-07-15 2023-02-07 北京字节跳动网络技术有限公司 跨分量帧内预测模式导出
WO2020071672A1 (ko) * 2018-10-02 2020-04-09 엘지전자 주식회사 움직임 벡터를 압축하는 방법 및 그 장치
WO2020228763A1 (en) * 2019-05-14 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Methods on scaling in video coding
CN111404847B (zh) * 2020-03-20 2021-03-26 中山大学 一种海洋通信系统的信道估计方法

Family Cites Families (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3757014A (en) * 1971-05-07 1973-09-04 Bristol Myers Co Ts 1,3,4 - oxadiazol-2-yl)thiomethyl)-3-cephem-4-carboxylic acid and sal7-(d-(alpha-amino-alpha-pheyle-acetamido)) - 3-(s-(5-hydroxymethyl -
EP0234826A3 (en) 1986-02-18 1989-04-05 Ciba Corning Diagnostics Corp. Method and apparatus for measuring novel blood gas parameters
US4781968A (en) 1986-02-28 1988-11-01 Digital Equipment Corporation Micro-electronics devices and methods of manufacturing same
GB8825481D0 (en) 1988-11-01 1988-12-07 British Telecomm Interferrometer
US5647049A (en) * 1991-05-31 1997-07-08 Kabushiki Kaisha Toshiba Video recording/reproducing apparatus which uses a differential motion vector determined using two other motion vectors
US5467136A (en) * 1991-05-31 1995-11-14 Kabushiki Kaisha Toshiba Video decoder for determining a motion vector from a scaled vector and a difference vector
EP0595895B1 (en) 1991-07-23 1997-12-29 BRITISH TELECOMMUNICATIONS public limited company Method and device for frame interpolation of a moving image
US5539466A (en) 1991-07-30 1996-07-23 Sony Corporation Efficient coding apparatus for picture signal and decoding apparatus therefor
JP3092280B2 (ja) 1991-07-30 2000-09-25 ソニー株式会社 画像信号の高能率符号化及び復号化装置
US5227878A (en) 1991-11-15 1993-07-13 At&T Bell Laboratories Adaptive coding and decoding of frames and fields of video
US5346664A (en) * 1992-05-11 1994-09-13 Harry Lenson Apparatus and method for forming a ribbon of continuously connected dish-shaped sequins
KR940003404A (ko) * 1992-07-23 1994-02-21 이헌조 프레임 간/프레임 내 움직임 보상 시스템
JPH0662389A (ja) 1992-08-04 1994-03-04 Matsushita Electric Ind Co Ltd 映像信号符号化装置
FR2696026B1 (fr) 1992-09-18 1994-12-30 Sgs Thomson Microelectronics Procédé de masquage d'erreurs de transmission d'image compressée en MPEG.
JP3264043B2 (ja) 1993-04-30 2002-03-11 ソニー株式会社 量子化コントロール装置および方法
US5398072A (en) * 1993-10-25 1995-03-14 Lsi Logic Corporation Management of channel buffer in video decoders
US5502493A (en) * 1994-05-19 1996-03-26 Matsushita Electric Corporation Of America Variable length data decoder for use with MPEG encoded video data
JPH0865681A (ja) * 1994-08-25 1996-03-08 Sony Corp 動きベクトル検出装置およびそれを使用した動き補償予測符号化システム
KR100287211B1 (ko) 1994-08-30 2001-04-16 윤종용 양방향 움직임 추정방법 및 장치
US6608966B1 (en) 1994-10-07 2003-08-19 Intel Corporation VCR-type controls for video server system
JPH08149479A (ja) 1994-11-24 1996-06-07 Matsushita Electric Ind Co Ltd 超低ビットレートビデオ符号化方法
US5724446A (en) 1995-04-18 1998-03-03 Advanced Micro Devices, Inc. Video decoder apparatus using non-reference frame as an additional prediction source and method therefor
GB2301973B (en) 1995-06-06 1999-10-20 Sony Uk Ltd Motion compensated video processing
US5745183A (en) * 1995-08-25 1998-04-28 Thomson Consumer Electronics, Inc. Image motion estimation system which derives candidate block from interpolated motion vectors
US5652629A (en) 1995-09-12 1997-07-29 International Business Machines Corporation Bidirectional motion estimation in a motion video compression system
US6057893A (en) 1995-12-28 2000-05-02 Sony Corporation Picture encoding method, picture encoding apparatus, picture transmitting method and picture recording medium
US5737023A (en) * 1996-02-05 1998-04-07 International Business Machines Corporation Hierarchical motion estimation for interlaced video
ES2191177T3 (es) 1996-05-17 2003-09-01 Matsushita Electric Ind Co Ltd Decodificador de imagenes.
EP0864228B1 (en) 1996-07-05 2001-04-04 Matsushita Electric Industrial Co., Ltd. Method for display time stamping and synchronization of multiple video object planes
US5812199A (en) 1996-07-11 1998-09-22 Apple Computer, Inc. System and method for estimating block motion in a video image sequence
JPH10174065A (ja) 1996-12-06 1998-06-26 Matsushita Electric Ind Co Ltd 画像音声多重化データ編集方法およびその装置
JPH10174035A (ja) 1996-12-16 1998-06-26 Sharp Corp 画像情報処理装置
JP3223962B2 (ja) 1997-01-24 2001-10-29 松下電器産業株式会社 画像復号化方法
JP3304799B2 (ja) 1997-01-30 2002-07-22 株式会社日立製作所 信号処理方法及び装置
US6539120B1 (en) 1997-03-12 2003-03-25 Matsushita Electric Industrial Co., Ltd. MPEG decoder providing multiple standard output signals
US6404813B1 (en) 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
JP3164031B2 (ja) 1997-05-30 2001-05-08 日本ビクター株式会社 動画像符号化復号化装置、動画像符号化復号化方法、及び動画像符号化記録媒体
US6018368A (en) 1997-07-11 2000-01-25 Samsung Electro-Mechanics Co., Ltd. Scalable encoding apparatus and method with improved function of scaling motion vector
KR100240770B1 (ko) * 1997-07-11 2000-01-15 이형도 에너지보상/역보상기능을개선한스케러블부호화기및그방법
US5978029A (en) 1997-10-10 1999-11-02 International Business Machines Corporation Real-time encoding of video sequence employing two encoders and statistical analysis
US6040861A (en) * 1997-10-10 2000-03-21 International Business Machines Corporation Adaptive real-time encoding of video sequence employing image statistics
KR100269125B1 (ko) * 1997-10-25 2000-10-16 윤덕용 양자화효과감소를위한영상데이터후처리방법및장치
US6108047A (en) * 1997-10-28 2000-08-22 Stream Machine Company Variable-size spatial and temporal video scaler
JPH11275592A (ja) 1998-01-22 1999-10-08 Victor Co Of Japan Ltd 動画像符号列変換装置及びその方法
EP0935395A2 (en) 1998-02-06 1999-08-11 Sony Corporation Video encoding methods and apparatus
CN1183778C (zh) 1998-02-13 2005-01-05 松下电器产业株式会社 图象解码装置及记录媒体
JP3649370B2 (ja) 1998-02-25 2005-05-18 日本ビクター株式会社 動き補償符号化装置及び動き補償符号化方法
KR19990036646U (ko) 1998-02-26 1999-09-27 최종환 원예작물 가지 유인 밴드.
JPH11275580A (ja) * 1998-03-24 1999-10-08 Sony Corp 画像データ処理装置、画像データ復号装置及び画像データ符号化装置並びにそれらの方法
US6317460B1 (en) 1998-05-12 2001-11-13 Sarnoff Corporation Motion vector generation by temporal interpolation
JP3104681B2 (ja) 1998-06-10 2000-10-30 日本電気株式会社 オーディオ・ビデオ同期再生方法および装置
JP2000013790A (ja) 1998-06-19 2000-01-14 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
US6295377B1 (en) * 1998-07-13 2001-09-25 Compaq Computer Corporation Combined spline and block based motion estimation for coding a sequence of video images
US6591015B1 (en) 1998-07-29 2003-07-08 Matsushita Electric Industrial Co., Ltd. Video coding method and apparatus with motion compensation and motion vector estimator
JP2000059790A (ja) 1998-08-05 2000-02-25 Victor Co Of Japan Ltd 動画像符号列変換装置及びその方法
DE19843921B4 (de) 1998-09-24 2007-12-27 Krauss Maffei Gmbh Verfahren zum Herstellen von Verbund-Kunststoffformteilen durch Spritzprägen
ID24586A (id) 1998-12-21 2000-07-27 Matsushita Electric Ind Co Ltd Perangkat dan metode penyelarasan waktu dengan menggunakan modul basis waktu dan resolusi peningkatan waktu
US6297852B1 (en) * 1998-12-30 2001-10-02 Ati International Srl Video display method and apparatus with synchronized video playback and weighted frame creation
US6552749B1 (en) * 1999-01-29 2003-04-22 Intel Corporation Method and apparatus for video motion compensation, reduction and color formatting
WO2000052771A1 (de) 1999-02-26 2000-09-08 Infineon Technologies Ag Speicherzellenanordnung und verfahren zu deren herstellung
AT410604B (de) 1999-03-02 2003-06-25 Legrand Oesterreich Steuereinrichtung zur steuerung des stromflusswinkels
US6625322B1 (en) * 1999-06-08 2003-09-23 Matsushita Electric Industrial Co., Ltd. Image coding apparatus
JP3264659B2 (ja) 1999-06-17 2002-03-11 松下電器産業株式会社 ノイズリダクション装置および方法とその記録媒体
JP2001136528A (ja) 1999-11-10 2001-05-18 Matsushita Electric Ind Co Ltd 画像圧縮符号化装置
US20030043918A1 (en) * 1999-12-20 2003-03-06 Jiang Hong H. Method and apparatus for performing video image decoding
US6859609B1 (en) 2000-02-11 2005-02-22 Lsi Logic Corporation Portable digital recorder
JP3593944B2 (ja) 2000-03-08 2004-11-24 日本電気株式会社 画像データ処理装置及びそれに用いる動き補償処理方法
KR100349058B1 (ko) 2000-06-15 2002-08-21 (주)씨앤에스 테크놀로지 영상압축복원장치
JP2001069530A (ja) 2000-07-28 2001-03-16 Fujitsu Ltd 立体映像高能率符号化装置
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US7257312B2 (en) * 2001-10-23 2007-08-14 Thomson Licensing Fast motion trick mode using dummy predictive pictures
AU2003213360A1 (en) * 2002-03-14 2003-09-22 Matsushita Electric Industrial Co., Ltd. Motion vector detection method
KR100508798B1 (ko) 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
PT3525465T (pt) * 2002-04-19 2021-05-10 Panasonic Ip Corp America Método e aparelho de descodificação de imagens
JP2004048632A (ja) * 2002-05-16 2004-02-12 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
JP2004023458A (ja) 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
JP2004088737A (ja) 2002-07-02 2004-03-18 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
CN1666532A (zh) * 2002-07-02 2005-09-07 松下电器产业株式会社 图像编码方法和图像解码方法
JP3824268B2 (ja) 2002-07-02 2006-09-20 松下電器産業株式会社 動きベクトル導出方法、および動きベクトル導出装置
US7088776B2 (en) 2002-07-15 2006-08-08 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
AU2013204690B2 (en) 2002-07-15 2015-11-19 Apple Inc Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
AU2008201106C1 (en) 2002-07-15 2011-06-09 Apple Inc. Method and bitstream for variable accuracy inter-picture timing specification for digital video encoding
US8254461B2 (en) 2002-07-24 2012-08-28 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US6728315B2 (en) 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
PL375706A1 (en) * 2002-10-01 2005-12-12 Thomson Licensing S.A. Implicit weighting of reference pictures in a video decoder
US7801217B2 (en) 2002-10-01 2010-09-21 Thomson Licensing Implicit weighting of reference pictures in a video encoder
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
AU2011265362A1 (en) 2002-12-06 2012-01-19 Apple Inc Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US20080025408A1 (en) 2006-07-31 2008-01-31 Sam Liu Video encoding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150031468A (ko) * 2012-07-10 2015-03-24 퀄컴 인코포레이티드 비디오 코딩을 위한 타이밍 정보의 코딩

Also Published As

Publication number Publication date
JP2006509463A (ja) 2006-03-16
US8934546B2 (en) 2015-01-13
US8817880B2 (en) 2014-08-26
AU2003258142A1 (en) 2004-06-30
US8824565B2 (en) 2014-09-02
US20110243236A1 (en) 2011-10-06
CN1714572A (zh) 2005-12-28
US8942287B2 (en) 2015-01-27
EP1579689A4 (en) 2010-01-20
US20110243240A1 (en) 2011-10-06
US20110243241A1 (en) 2011-10-06
US8953693B2 (en) 2015-02-10
US20110243238A1 (en) 2011-10-06
BR0316175A (pt) 2005-09-27
US8837603B2 (en) 2014-09-16
US6728315B2 (en) 2004-04-27
US8009736B2 (en) 2011-08-30
US20070183502A1 (en) 2007-08-09
US8009737B2 (en) 2011-08-30
US20110243237A1 (en) 2011-10-06
CA2502004A1 (en) 2004-06-24
US20110249753A1 (en) 2011-10-13
US20090022224A1 (en) 2009-01-22
KR100804335B1 (ko) 2008-02-15
JP2011155678A (ja) 2011-08-11
CA2784948A1 (en) 2004-06-24
AU2003258142B2 (en) 2009-03-05
US8885732B2 (en) 2014-11-11
US20040017851A1 (en) 2004-01-29
US8934551B2 (en) 2015-01-13
EP1579689A1 (en) 2005-09-28
JP2010154568A (ja) 2010-07-08
CN101242536A (zh) 2008-08-13
CA2502004C (en) 2012-10-16
US20110243242A1 (en) 2011-10-06
US20070183501A1 (en) 2007-08-09
WO2004054257A1 (en) 2004-06-24
US20070183503A1 (en) 2007-08-09
US20110249752A1 (en) 2011-10-13
US9554151B2 (en) 2017-01-24
CN100417218C (zh) 2008-09-03
AU2009202255A1 (en) 2009-07-02
US8934547B2 (en) 2015-01-13
US8938008B2 (en) 2015-01-20
US7339991B2 (en) 2008-03-04
US10123037B2 (en) 2018-11-06
US8077779B2 (en) 2011-12-13
US8090023B2 (en) 2012-01-03
US8094729B2 (en) 2012-01-10
US20070286282A1 (en) 2007-12-13
US20110243243A1 (en) 2011-10-06
CN101242536B (zh) 2012-07-04
US20110243239A1 (en) 2011-10-06
US20150117541A1 (en) 2015-04-30
US20170094308A1 (en) 2017-03-30
US8817888B2 (en) 2014-08-26
NO20052764L (no) 2005-06-08
US20040184543A1 (en) 2004-09-23
US20110243235A1 (en) 2011-10-06
AU2009202255B2 (en) 2011-09-29

Similar Documents

Publication Publication Date Title
KR100804335B1 (ko) 분할 연산의 필요성을 감소시킨 디지털 비디오 엔코딩을 위해 가변 정확도 화상간 타이밍 특정을 위한 방법 및 장치
JP2010154568A5 (ko)
KR20080015938A (ko) 디지털 비디오 부호화를 위한 가변 정확도 화상간 타이밍지정 방법 및 장치
US8254461B2 (en) Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
AU2011265362A1 (en) Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120203

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130117

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee