KR20110059853A - 축조 기준 프레임을 이용하여 영상을 인코딩하는 시스템 및 방법 - Google Patents

축조 기준 프레임을 이용하여 영상을 인코딩하는 시스템 및 방법 Download PDF

Info

Publication number
KR20110059853A
KR20110059853A KR1020117006212A KR20117006212A KR20110059853A KR 20110059853 A KR20110059853 A KR 20110059853A KR 1020117006212 A KR1020117006212 A KR 1020117006212A KR 20117006212 A KR20117006212 A KR 20117006212A KR 20110059853 A KR20110059853 A KR 20110059853A
Authority
KR
South Korea
Prior art keywords
frame
frames
reference frame
source
encoding
Prior art date
Application number
KR1020117006212A
Other languages
English (en)
Inventor
제임스 반코스키
야오우 수
폴 윌킨스
Original Assignee
구글 잉크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 잉크. filed Critical 구글 잉크.
Publication of KR20110059853A publication Critical patent/KR20110059853A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

이 명세서에서 설명하는 디지털 영상 인코딩 예측 방법은 인코더를 이용하여 축조 기준 프레임을 생성하는 단계와, 후속 디코딩 처리를 위한 압축 디지털 영상 신호를 포함한 비트스트림을 획득하기 위해 축조 기준 프레임을 이용하여 일련의 소스 영상 프레임을 압축하는 단계를 포함한다. 축조 기준 프레임은 후속하는 시청 처리 중에 일련의 디지털 영상 프레임으로부터 제거된다.

Description

축조 기준 프레임을 이용하여 영상을 인코딩하는 시스템 및 방법{SYSTEM AND METHOD FOR VIDEO ENCODING USING CONSTRUCTED REFERENCE FRAME}
관련 출원에 대한 교차 참조
이 출원은 2008년 9월 11일자 출원한 미국 예비 특허 출원 제61/096,189호를 우선권 주장해서 2008년 12월 5일자 출원한 미국 특허 출원 제12/329,041호를 우선권 주장하며, 상기 2개의 출원은 그 전체 내용이 인용에 의해 여기에 통합된다.
기술 분야
본 발명은 일반적으로 영상 인코딩 및 디코딩에 관한 것이다.
오늘날 애플리케이션의 수적 증가는, 예를 들면, 영상 회의를 통한 원격 비즈니스 미팅, 고선명 영상 오락, 영상 광고, 및 사용자가 생성한 영상의 공유 등을 비롯한 다양한 목적에 디지털 영상을 사용할 수 있게 하고 있다. 기술이 발전함에 따라서, 사람들은 영상 품질에 대한 높은 기대치를 갖고 있고, 제한된 대역폭을 가진 통신 채널을 이용하여 전송되는 경우에도 고해상도의 영상을 기대한다.
대역폭 소비를 제한하면서 고품질의 영상 전송을 가능하게 하기 위해, VPx(뉴욕주 클립톤 파크에 소재하는 온투 테크놀로지, 인크.에 의해 공표됨)와 같은 사유 재산 형식, ITU-T 영상 부호화 전문가 그룹(VCEG) 및 ISO/IEC 동영상 전문가 그룹(MPEG)에 의해 공표된 H.264 표준, 및 이들의 현재 및 미래 버젼을 포함한 다수의 영상 압축 방식이 주목되고 있다. H.264는 MPEG-4 파트 10 또는 MPEG-4 AVC(공식적으로는 ISO/IEC 14496-10)라고도 또한 알려져 있다.
이러한 압축 방식은 영상 정보를 전송하는데 필요한 데이터량을 최소화하기 위해 예측 기술을 사용한다. 예측 기술은 복수의 과거에 전송된 프레임 및 미래의 프레임이 무순서로 전송되게 하고 프레임 내의 매크로블록에 대한 잠재적인 기준 프레임 예측기(predictor)로서 사용될 수 있게 한다. 예를 들면, MPEG 또는 H.264 표준과 같은 영상 압축 방식은 프레임을 무순서로 전송할 수 있게 하고, 이들을 이용하여 순방향 또는 양방향 예측을 이용함으로써 더 나은 예측기를 생성할 수 있게 한다. 또한, 예를 들면, H.264 영상 압축 표준은 복수의 과거의 기준 프레임을 예측기로서 사용할 수 있게 한다.
본 발명의 실시예는 후속 프레임의 예측에 사용되는 기준 버퍼를 상주시키기 위해 사용되는 정보를 비트스트림 내에서 전송하는 능력을 갖는다. 이 정보는 후속적으로 디스플레이되지 않는 축조 기준 프레임(constructed reference frame)에 대응한다.
본 발명의 일 실시예는 일련의 소스 영상 프레임으로부터 획득한 일련의 디지털 영상 프레임을 시청(viewing)하는 방법을 제공한다. 이 실시예에 따르면, 본 발명의 방법은 인코더를 이용하여 축조 기준 프레임을 생성하는 단계와, 후속 디코딩 처리를 위한 압축 디지털 영상 신호를 포함하는 비트스트림을 얻기 위해 축조 기준 프레임을 이용하여 상기 일련의 소스 영상 프레임을 압축하는 단계를 포함한다. 축조 기준 프레임은 디코드되지만, 그 다음에 후속의 시청 처리 중에 상기 일련의 디지털 영상 프레임으로부터 제거된다.
일련의 디지털 영상 프레임으로부터 축조 기준 프레임을 추출하는 방법을 비롯하여, 본 발명의 상기 및 기타의 실시예들은 이하에서 더 구체적으로 설명된다.
디지털 영상 인코딩 예측 방법은 인코더를 이용하여 축조 기준 프레임을 생성하는 단계와, 후속 디코딩 처리를 위한 압축 디지털 영상 신호를 포함한 비트스트림을 획득하기 위해 축조 기준 프레임을 이용하여 일련의 소스 영상 프레임을 압축하는 단계를 포함한다. 축조 기준 프레임은 후속하는 시청 처리 중에 일련의 디지털 영상 프레임으로부터 제거된다.
여기에서의 설명은 첨부 도면을 참조하여 이루어지고, 전체 도면에 걸쳐서 동일한 참조 번호는 동일한 구성 요소를 표시한다.
도 1은 영상 압축 비트스트림 내에서 층들의 계층구조를 보인 도이다.
도 2는 본 발명의 실시예에 따라서 영상 데이터를 인코딩 및 재축조하는 과정을 보인 블록도이다.
도 3은 본 발명의 실시예에 따른 영상 압축풀기 시스템의 블록도이다.
도 4는 본 발명의 실시예에 따른 축조 기준 프레임을 사진으로 보인 도이다.
도 5는 본 발명의 실시예에 따라서 축조 기준 프레임을 조립하는 예시적인 방법을 보인 흐름도이다.
도 6은 본 발명의 실시예에 따라서 축조 기준 프레임을 조립하는 예시적인 방법을 보인 흐름도이다.
도 7은 축조 기준 프레임의 부스트 스코어를 계산하는 예시적인 방법을 보인 흐름도이다.
도 8은 도 7에 도시한 예시적인 방법에 따라 브레이크아웃 조건 처리의 예를 보인 흐름도 루프이다.
도 1을 참조하면, VP8 또는 H.264 등의 영상 부호화(video coding) 형식은 영상 스트림(11)의 각 층의 규정된 계층 구조를 제공한다. 층에서의 최상위 레벨은 영상 시퀀스(video sequence)(13)이다. 다음 레벨에서, 영상 시퀀스(13)는 다수의 인접 프레임(15)으로 구성되고, 인접 프레임들은 단일 프레임(17)으로 추가로 세분될 수 있다. 다음 레벨에서, 프레임(17)은 일련의 고정 사이즈의 매크로블록(20)으로 구성되고, 매크로블록(20)은 프레임(17)에서 디스플레이되는 픽셀의 예컨대 16×16 블록에 대응하는 압축 데이터를 내포한다. 각 매크로블록은 대응 픽셀용의 휘도 및 색도 데이터를 내포한다. 매크로블록(20)은 16×8 픽셀 그룹 또는 8×16 픽셀 그룹과 같이 임의의 다른 적당한 사이즈로 될 수 있다. 매크로블록(20)은 다수의 블록으로 더욱 세분된다. 예를 들면, 하나의 블록은 대응 픽셀용의 휘도 및 색도 데이터를 추가로 묘사할 수 있는 4×4 픽셀 그룹이다. 블록들은 또한 8×8, 8×4 및 4×8 픽셀과 같이 임의의 다른 적당한 사이즈의 것으로 할 수 있다.
도 2를 참조하면, 일 실시예에 따라서, 입력 영상 스트림(16)을 인코딩하기 위해, 인코더(14)가 순방향 경로(실선의 접속선으로 도시됨)를 따라서 인트라(intra)/인터(inter) 예측(18), 변환(19), 양자화(22) 및 엔트로피 인코딩(24)의 기능을 수행하여 인코딩된 비트스트림(26)을 생성한다. 인코더(14)는 추가의 매크로블록의 인코딩을 위해 프레임을 재축조하는 재축조 경로(점선의 접속선으로 도시됨)를 또한 포함한다. 인코더(14)는 재축조 경로를 따라서 역양자화(28), 역변환(30), 재축조(32) 및 루프 필터링(34)의 기능을 수행한다. 비트스트림(26)을 인코드하기 위해 인코더(14)의 다른 구조적 변형체를 또한 사용할 수 있다.
입력 영상 스트림(16)이 인코딩을 위해 주어질 때, 입력 영상 스트림(16) 내에 있는 각 프레임(17)은 매크로블록의 단위로 처리된다. 인트라/인터 예측 단계(18)에서, 각 매크로블록은 인트라 예측 모드 또는 인터 예측 모드를 이용하여 인코드된다. 어느 경우이든, 예측 매크로블록은 재축조된 프레임에 기초해서 형성될 수 있다. 인트라 예측의 경우에, 예측 매크로블록은 이전에 인코드되고 재축조된 현재 프레임의 샘플들로부터 형성된다. 인터 예측의 경우에, 예측 매크로블록은 뒤에서 추가적으로 상세히 설명하는 하나 이상의 축조된 기준 프레임으로부터 형성된다.
다음에, 다시 도 2를 참조하면, 예측 매크로블록이 현재 매크로블록으로부터 제거되어 잔여 매크로블록을 생성한다. 변환 단계(19)는 잔여 매크로블록의 코드들을 변환하고, 양자화 단계(22)는 잔여 매크로블록을 양자화하여 양자화 변환 계수의 집합을 제공한다. 양자화 변환 계수는 그 다음에 엔트로피 인코딩 단계(24)에서 엔트로피 부호화된다. 엔트로피 부호화된 계수들은 사용하는 예측 모드의 유형, 움직임 벡터(motion vector) 및 양자화기 값(quantizer value) 등의 매크로블록을 디코드하는데 필요한 정보와 함께 압축 비트스트림(26)으로 출력된다.
도 2의 재축조 경로는 인코더와 디코더가 매크로블록을 디코드하기 위해 필요로 하는 동일한 기준 프레임을 사용하는 것을 보장하기 위해 제공된다. 재축조 경로는, 뒤에서 더 자세히 설명하는 디코딩 처리 중에 발생하는 기능들과 유사하게, 역양자화 단계(28)에 의해 피변환 계수(transformed coefficient)를 역양자화하는 것 및 역변환 단계(30)에서 계수들을 역변환하여 유도 잔여 매크로블록을 생성하는 것을 포함한다. 재축조 단계(32)에서, 예측 매크로블록은 유도 잔여 매크로블록에 추가되어 재축조된 매크로블록을 생성한다. 루프 필터(34)는 재축조된 매크로블록에 적용되어 블록킹 왜곡(blocking distortion)을 저감시킨다.
도 3을 참조하면, 일 실시예에 따라서, 압축 비트스트림(26)을 디코드하기 위해, 디코더(21)는, 위에서 설명한 인코더(14)의 재축조 경로와 유사하게, 엔트로피 디코딩(25), 역양자화(27), 역변환(29), 인트라/인터 예측(23), 재축조(31), 루프 필터(34) 및 디블록킹 필터링(33)의 기능을 수행하여 출력 영상 스트림(35)을 생성한다. 압축 비트스트림(26)을 디코드하기 위해 디코더(21)의 다른 구조적 변형체를 또한 사용할 수 있다.
압축 비트스트림(26)이 디코딩을 위해 주어질 때, 데이터 요소들은 엔트로피 디코딩 단계(25)에서 (예를 들면, 콘텍스트 적응 이진 산술 부호화를 이용하여) 엔트로피 디코드되어 양자화 계수의 집합을 생성할 수 있다. 역양자화 단계(27)는 계수들을 역양자화하고, 역변환 단계(29)는 계수들을 역변환하여 인코더(14)의 재축조 단계에서 생성된 것과 동일한 유도 잔여 매크로블록을 생성한다. 압축 비트스트림(26)으로부터 디코드된 헤더 정보를 이용해서, 인트라/인터 예측 단계(23)에서, 디코더(21)는 인코더(14)에서 생성한 것과 동일한 예측 매크로블록을 생성한다. 재축조 단계(31)에서, 예측 매크로블록은 유도 잔여 매크로블록에 추가되어 재축조된 매크로블록을 생성한다. 루프 필터(34)는 재축조된 매크로블록에 적용되어 블로킹 아티팩트(blocking artifact)를 저감시킨다. 디블로킹 필터(33)는 재축조된 매크로블록에 적용되어 블로킹 왜곡을 저감시키고, 그 결과가 출력 영상 스트림(35)으로서 출력된다.
다시 인코더(14)를 참조하면, 영상 인코딩 방법은 일련의 프레임들 중 각 프레임 또는 각 프레임의 블록들을 압축하기 위해 무손실 또는 손실성 압축 알고리즘을 이용하여 영상 신호를 압축한다. 위에서의 설명으로부터 알 수 있는 바와 같이, 인트라 프레임 부호화는 해당 프레임으로부터의 데이터를 이용하여 그 프레임을 인코딩하는 것을 말하고, 인터 프레임 부호화는 다른 소위 "기준" 프레임에 기초해서 프레임을 인코딩하는 것을 포함한 방식 등의 예측 인코딩 방식을 말한다. 예를 들면, 영상 신호는 프레임들의 임시 시퀀스에서 서로 인접하는 프레임들이 적어도 일부가 서로 정합(matching)하거나 적어도 부분적으로 정합하는 일시적 중복성(temporal redundancy)을 가끔 나타낸다. 인코더는 상기 일시적 중복성의 이익을 취해서 현재 프레임과 하나 이상의 기준 프레임 간의 차에 의해 프레임을 인코딩함으로써 인코드된 데이터의 사이즈를 축소시킬 수 있다.
영상 인코더는 인코딩되는 프레임의 블록들을 하나 이상의 다른 프레임의 부분들과 정합시키는 움직임 보상 기본 알고리즘을 사용할 수 있다. 인코딩된 프레임의 블록은 기준 프레임의 정합 부분과 관련하여 프레임 내에서 편이될 수 있다. 이러한 편이는 움직임 벡터에 특징이 있다. 기준 프레임의 부분적으로 정합하는 부분과 블록 간의 임의의 차는 잔여 매크로블록에 특징이 있다. 인코더(14)는 따라서 프레임의 특수한 구획(partitioning)에 대하여 하나 이상의 움직임 벡터와 잔여 매크로블록을 포함하는 데이터로서 인코드할 수 있다. 프레임을 인코딩하기 위한 블록들의 특수 구획은 인코딩 사이즈와 인코딩으로부터 야기되는 프레임의 콘텐트의 왜곡을 조화시키는 비용 함수(cost function)를 근사적으로 최소화함으로써 선택될 수 있다.
위에서 간단히 설명한 바와 같이, 많은 영상 부호화 알고리즘은 먼저 각 화상을 복수의 매크로블록으로 분할한다. 그 다음에, 각 매크로블록은 움직임 보상과 같은 일부 형태의 예측 부호화 방법을 이용하여 부호화된다. 일부 영상 부호화 표준은 그들의 부호화에 다른 유형의 예측된 매크로블록을 사용한다. 한가지 시나리오에서, 매크로블록은 3가지 유형, 즉 1) 그 부호화시에 다른 화상으로부터의 정보를 사용하지 않는 인트라(I) 매크로블록, 2) 하나의 선행 화상으로부터의 정보를 사용하는 단방향으로 예측된(P) 매크로블록, 및 3) 하나의 선행 화상과 하나의 미래 화상으로부터의 정보를 사용하는 양방향으로 예측된(B) 매크로블록 중의 하나를 사용할 수 있다.
고품질의 압축 영상을 실현하기 위해, 인코딩에 대하여 최소의 차이를 갖도록 최상의 정합 기준 프레임을 갖는 것이 도움이 되고, 이것은 일반적으로 더욱 소형의 인코딩을 야기한다. 현재, 기준 프레임은 과거 프레임, 미래 프레임 또는 인트라 프레임을 기반으로 하고 있고, 따라서 인코더는 예를 들면 미국 출원 공개번호 제2005/0286629호에 개시되어 있는 바와 같이 예측 처리에 사용하기 위한 최상의 정합 블록을 찾을 수 있다. 그러나, 현재 사용되고 있는 기준 프레임은 최종 사용자에게 보여지는 실제 프레임을 기반으로 한다.
이것은 몇 가지 문제점을 야기하는데, 그 중 중요한 문제점은 그러한 기준 프레임이 최상 품질의 기준 데이터를 제공하지 않고 낮은 품질의 영상 압축을 야기할 수 있다는 점이다.
이와 대조적으로, 여기에서 설명하는 인코더(14)에 의해 생성 및 사용되는 기준 프레임은 축조된 기준 프레임이고, 이 기준 프레임은 비트스트림으로 인코드되는 이미지 데이터의 프레임이고 후속적으로 전송되는 프레임의 인코딩을 개선할 수 있다. 종래의 기준 프레임과는 달리, 축조 기준 프레임은 사용자에게 보이지 않는다. 여기에서 설명하는 기술의 유연성 때문에, 축조 기준 프레임은 영상 스트림의 미가공(raw) 이미지 프레임 또는 사용자에게 디스플레이되는 프레임과 동일한 치수(dimension)를 갖지 않을 수도 있다. 그 대신에, 축조 기준 프레임은 이전에 전송된 프레임이 제공한 것보다 더 나은 예측 선택을 후속 프레임에 제공하는 예측기로서 사용된다. 축조 기준 프레임의 생성은 비트스트림에 의해 규정되지 않는다. 그 대신에, 최상의 가능한 축조 기준 프레임의 생성은 인코더에 남겨진 작업이다. 이러한 방법으로, 기준 프레임을 축조하는 연산 비용은 디코더보다 인코더에 의해 이루어진다.
본 발명의 실시예는 현재 프레임 데이터 조각에 대한 예측기로서 하나 이상의 축조된 기준 프레임을 사용한다. 이것은 움직임 보상 및 비움직임 보상 예측을 위해 상기 프레임 버퍼를 사용하는 것을 포함한다. 이것은 또한 전형적인 양방향 예측 모드에서와 같이 예측을 위해 축조 기준 프레임과 실제 기준 프레임의 조합을 사용하는 것을 포함한다.
일반적으로, 축조 기준 프레임은 다수의 방법에 의해 축조될 수 있고 인코딩을 위해 다양한 방법으로 사용될 수 있다. 축조 기준 프레임을 구축하는 방법은 구체적인 예를 설명하기 전에 아래에서 먼저 개략적으로 설명한다.
축조 기준 프레임을 생성하는 제1 방법에 따르면, 프레임이 이미지 프레임의 시퀀스에 정상적으로 나타나기 전의 어느 시점에서 기존 프레임의 복사본(copy)이 비트스트림으로 인코드된다. 여기에서의 인코딩을 위한 관련 매개변수는 기준 프레임의 인코딩의 품질, 즉 "부스트"(boost)이다. 축조 기준 프레임의 신뢰성이 높으면 높을수록, 그 프레임의 정확한 인코딩이 이루어질 가능성이 더 높다. 반대로, 예측 가치가 제한된 기준 프레임은 매우 높은 정밀도 레벨로 인코드할 필요가 없다. 이 제1 방법에서, 프레임의 복사본은 일반적으로 평균 품질보다 어느 정도 더 높은 품질로 인코드되지만, 반드시 그럴 필요는 없다.
다른 프레임들은 상기 축조 기준 프레임을 이용하여 종래의 기술에 따라서 인코드된다. 축조 기준 프레임을 인코드하기 위해 사용되는 목표 프레임이 비트스트림에서 만나게 되면, 목표 프레임은 기존 프레임의 복사본, 즉 축조 기준 프레임을 참고하여 인코드될 것이다. 이러한 인코딩은, 예를 들면, 축조 기준 프레임을 인코드하기 위해 사용하는 품질 레벨보다 더 낮은 품질 레벨, 즉 더 낮은 부스트로 발생할 것이다.
축조 기준 프레임을 생성하는 제2의 방법은 일반적으로 위에서처럼 목표 프레임을 선택하는 단계 및 임시 필터링을 이용하여 상기 목표 프레임에 집중된 몇 개의 소스 프레임으로부터 영상 노이즈를 제거하는 단계를 포함한다. 이러한 축조 기준 프레임은 도 4에 도시하였다. 임시 필터링은 미국 특허 제6,178,205호에 개시된 바와 같이 예컨대 움직임이 보상된 임계 블러 필터(motion-compensated threshold blur filter)를 이용함으로써 인코더에 의해 적용될 수 있다. 상기 특허 문헌의 전체 내용은 인용에 의해 여기에 통합된 것으로 한다. 프레임마다 상이한 영상 노이즈를 제거함으로써 축조 기준 프레임이 복수의 프레임에 대해 더 좋은 예측기로 되게 하고, 영상 스트림의 데이터 압축을 증가시킨다.
추가의 가능한 실시예를 도 5를 참조하여 설명한다. 먼저, 단계 36에서 소정의 프레임을 목표 기준으로서 선택한다. 그 다음에, 상기 프레임의 각 매크로블록에 대하여, 하기의 단계들을 수행한다. 단계 38에서, 상기 프레임의 매크로블록이 선택되고, 그 다음에 수 개의 후보 프레임으로부터 상기 프레임에 대한 최상의 정합 매크로블록이 탐색된다. 즉, 단계 40에서, 수 개의 후보 프레임으로부터의 각 후보 매크로블록이 다른 모든 프레임들 중에서 선택된 매크로블록에 대하여 움직임 조사를 행함으로써 테스트된다. 즉, 목표 기준 프레임에서 선택된 매크로블록과 가장 유사한 후보 매크로블록이 수 개의 후보 프레임 각각으로부터 식별된다. 예를 들면, 목표 기준 프레임의 선택된 매크로블록에 노이즈가 존재하면, 유사한 이미지 특성을 내포한 매크로블록이 후보 프레임으로부터 선택된다. 단계 42에서, 각 후보 매크로블록에 대한 에러 스코어가 계산된다. 에러 스코어는 후보 매크로블록과 모든 다른 후보 매크로블록들 간의 차의 총합을 측정한 것이다. 단계 44에서는 총 에러 스코어가 최저인 후보 매크로블록을 마스터로서 선택한다. 마스터는 단계 46에서 축조 기준 프레임에 복사된다. 단계 38 내지 48이 목표 기준 프레임의 각 매크로블록에 대하여 수행되기 때문에, 단계 48 후에, 단계 50에서는 어떤 남아있는 매크로블록이 있는지를 문의한다. 만일 없으면 처리를 종료한다. 만일 있으면 처리는 단계 38로 복귀하여 목표 기준 프레임의 다음 매크로블록에 대해 단계 38 내지 48을 반복한다. 비록 이 방법을 매크로블록을 참조하여 설명하였지만, 임의 사이즈의 픽셀 블록을 사용하여도 좋다.
축조 기준 프레임을 생성하는 제3의 방법은 배경 추출 및/또는 움직임 세분화를 이용하여 인코딩을 위한 최고 품질의 배경 프레임만을 생성하는 것이다. 배경 추출 및 움직임 세분화를 위한 각종 기술들은 당업계에서 잘 알려져 있다. 일반적으로, 높은 움직임 벡터(즉, 빠르게 움직이는 것)를 가진 임의의 블록은 전경(foreground)으로 간주되고 축조 기준 프레임에 복사되지 않는다. (0,0)의 움직임 벡터 또는 다른 낮은 움직임 벡터(즉, 느리게 움직이는 것)는 배경으로 간주되어 축조 기준 프레임에 복사된다.
물론, 이 방법이 고품질 배경 프레임만을 생성하는 것으로 설명하였지만, 인코드되는 축조 프레임의 수에는 이론상 제한이 없다. 따라서, 전경 및 배경을 별도의 축조 기준 프레임으로 세분화하는 것도 또한 가능하다.
비록 위에서 언급하지는 않았지만, 기준 프레임을 전술한 방법으로 사용하기 위해, 축조 기준 프레임에서 사용하기 위한 알파 채널의 인코딩이 바람직할 수 있다.
축조 기준 프레임을 생성하는 다른 하나의 방법은 이미지 슈퍼 해상도를 이용하여 목표 프레임과 상이한 사이즈의 프레임을 축조하는 것이다. 기준 프레임이 사이즈 및 치수에 있어서 인코드되는 실제 영상과 정확히 일치하는 것은 필수 사항이 아니다. 예를 들면, 줌아웃, 팬 또는 회전시에, 큰 면적은 수 개의 프레임에 걸쳐서 천천히 나타난다. 원래의 프레임보다 더 큰 축조 기준 프레임은 경계 지역에서 더 높은 품질의 예측을 제공한다.
이러한 축조 기준 프레임을 생성하는 하나의 방법이 도 6에 예로서 도시되어 있다. 제1 단계 52에서, 시작 프레임 N이 선택된다. 단계 54에서, 시작 프레임 N으로부터 프레임 N+X(X는 정수)까지의 각 프레임 A에 대하여 다수의 단계가 시작된다. 구체적으로, 단계 54에서, 프레임 A가 시작 프레임 N으로 설정되고, 단계 56에서, 인코더(14)는 프레임 A의 수가 프레임들의 수 N+X보다 더 큰지를 체크한다. 만일 더 크지 않으면, 인코더(14)는 현재의 프레임 A가 시작 프레임 N에 정합하는 최상의 글로벌 움직임 벡터를 찾는다(단계 58). 최상의 글로벌 움직임 벡터는 전체 조사(full search) 또는 다이아몬드 조사 등의 임의의 글로벌 움직임 벡터 조사 방법에 의해 찾아질 수 있다. 이러한 방법은, 예를 들면, 데인(Dane) 등이 신호, 시스템 및 컴퓨터에 관한 제14차 아실로마 회의에서 "글로벌 움직임 벡터 부호화를 위한 효과적인 움직임 정확도 조사"의 제목으로 기고한 기고문(ACSSC '06, Oct-Nov. 2006, 1072-1075페이지)에 개시되어 있다.
단계 58 후에, 프레임은 단계 60에서 증분되고, 단계 54에서는 새로운 프레임이 현재 프레임(A)으로 된다. 단계 56, 58 및 60은 현재 프레임(A)의 수가 단계 56에 표시한 바와 같이 프레임의 수 N+X보다 더 커질 때까지 반복된다. 그 다음에, 처리는 단계 62로 진행하고, 이 단계에서 글로벌 움직임 벡터를 이용하여 서로의 최상부에 정렬된 전체 프레임 집합을 커버하는 바운딩 영역(bounding region)이 생성된다. 다음 단계 64에서는 소스 프레임보다 치수가 더 큰 새로운 이미지가 생성된다. 새로운 이미지는 새로운 이미지가 돌아다닐 때 전체 영역을 커버하도록 충분히 큰 것이 바람직하다.
글로벌 움직임 벡터를 찾아내고 영상 프레임의 집합을 완전하게 경계짓는 새로운 이미지를 단계 64에서 생성한 후에, 새로운 이미지의 각 픽셀에 대하여 나머지 단계들이 수행된다. 즉, 단계 66에서는 새로운 이미지의 픽셀이 선택된다. 단계 68에서는 프레임 A가 시작 프레임 N으로 다시 설정되어 다음 단계들이 시작 프레임 N으로부터 프레임 N+X까지의 각 프레임 A에 대하여 수행된다. 첫째로, 단계 70에서, 인코더(14)는 프레임 A의 수가 프레임들의 수 N+X보다 더 큰지를 체크한다. 만일 더 크지 않으면, 인코더(14)는 선택된 픽셀이 현재 프레임 A 내에 있는지를 단계 71에서 질의한다. 단계 71에서 만일 선택된 픽셀이 현재 프레임 A 내에 있으면, 처리는 단계 72로 진행하고, 이 단계에서 인코더(14)는 픽셀을 후보 집합에 추가한다. 그 다음에 처리는 단계 73으로 진행하여 프레임이 증분된다. 단계 71에서 만일 선택된 픽셀이 현재 프레임 A 내에 없으면, 처리는 단계 73으로 직접 진행하여 프레임을 증분시킨다. 그 다음에, 증분된 프레임이 단계 68에서 현재 프레임으로 설정되고, 단계 71에서는 선택된 픽셀이 새로운 프레임 내에 있는지가 조사된다. 상기 처리를 프레임 집합의 각 프레임에 대하여 완성시켜서 후보 집합을 형성한다. 선택된 픽셀에 대하여 모든 프레임들이 체크되었으면(단계 70의 질의에 대해 '예' 응답으로 표시됨), 처리는 단계 74로 진행하여 다수의 단계들이 후보 집합에 대하여 수행된다.
즉, 단계 74에서는 후보 집합으로부터 최신의 픽셀이 선택되고, 후보 집합의 남아있는 픽셀이 각각 최신 픽셀과 비교된다. 구체적으로, 단계 75에서, 후보 집합 내의 픽셀이 선택된다. 단계 76에서, 인코더(14)는 선택된 픽셀의 강도가 최신 픽셀의 강도로부터 소정의 임계치 이상 더 큰지를 판정한다. 상기 소정의 임계치는 경험적으로 및 프레임 내 픽셀들의 강도 범위에 부분적으로 의존해서 결정된다. 선택된 픽셀의 강도가 최신 픽셀의 강도로부터 소정의 임계치 이상 더 크면, 픽셀은 단계 77에서 후보 집합으로부터 제거된다. 후보 집합 내의 모든 픽셀들이 단계 78에서 체크되었으면(및 단계 76에서의 질의에 대해 '아니오'로 응답함으로써 후보 집합에 남겨지거나 또는 단계 76에서의 질의에 대해 '예'로 응답함으로써 단계 77에서 후보 집합으로부터 제거되었으면), 처리는 단계 79로 진행한다. 그렇지 않으면, 단계 75에서 후보 집합으로부터 새로운 픽셀이 선택되어 단계 76에서 최신 픽셀과 비교된다.
단계 79에서는 후보 집합에 남아있는 픽셀들의 평균 강도가 계산된다. 평균 강도는 예를 들면 프레임 내 픽셀의 위치에 기초한 가중 평균일 수 있다. 그 다음에, 단계 80에서는 평균 강도가 새로운 이미지로부터 생성된 축조 기준 프레임에서의 현재 픽셀 강도 값으로서 저장된다. 즉, 평균 강도 값은 후보 집합을 개발하기 위해 사용되었던 새로운 이미지로부터 선택된 픽셀의 픽셀 위치와 관련하여 저장된다. 단계 82에서는 새로운 이미지 내의 모든 픽셀들이 검토되었는지 여부를 인코더(14)가 질의한다. 만일 모두 검토되었으면 처리를 종료한다. 만일 모두 검토되지 않았으면, 단계 66에서 새로운 이미지의 다음 픽셀이 선택된다. 그 다음에, 다음 픽셀에 대해 단계 70 내지 80의 처리를 반복하여 그 픽셀의 후보 집합을 선택하고 평균 강도 값이 지정되게 한다.
축조 기준 프레임을 생성하는 제5의 방법은 스코어정하기 방법(scoring methodology)을 이용하여 한 프레임 내의 각 블록 또는 매크로블록을 스코어 정하고, 그 다음에 전체 프레임의 전체 스코어를 연산하는 것을 수반한다. 이 스코어는 기준 프레임을 축조하기 위해 어떤 기존 프레임이 사용되었는지(즉, 시간적으로 측정된 어떤 옵셋 값이 축조 기준 프레임을 구축하기 위해 사용된 프레임과 현재 프레임 간에 제공되었는지)를 알기 위해 사용될 수 있다. 몇 가지 스코어정하기 기준을 사용할 수 있다. 예를 들면, 스코어정하기 기준은 인트라 예측 대 인터 예측에서의 에러율을 포함할 수 있다. 이 경우, 에러율이 높으면 높을수록 사용가능한 시간 옵셋이 더 커지고 적용가능한 부스트가 더 높아진다. 다른 하나의 기준은 움직임 벡터이다. 움직임이 적으면 적을수록 사용가능한 시간 옵셋 및 부스트가 더 커진다. 또다른 기준은 줌인 대 줌아웃이고 또다른 기준은 예측 품질의 감퇴율이다.
이하에서는 축조 기준 프레임 및 갱신 간격의 선택 및 적용해야 할 비트율 부스트에 대하여 상세히 설명한다.
하나의 특히 양호한 본 발명의 실시예에 있어서, 축조 기준 프레임의 용도, 빈도 및 품질은 투 패스(two pass) 인코딩 메카니즘을 이용하여 결정된다. 어떤 다른 실시예는 원 패스(one pass) 인코더에서 구현될 수 있고 다른 메트릭을 사용할 것이다.
제1 패스에서, 비디오 클립, 즉 일련의 소스 프레임 또는 이미지의 특성에 관한 정보가 수집된다. 각 매크로블록은 2개의 방법 중 하나, 즉 단순한 DC 예측 인트라 모드, 또는 움직임 벡터를 이용하고 이전(pervious) 프레임 재축조 버퍼라고 부르는 인터 모드에서 인코드된다.
재축조된 에러 스코어는 양측의 인코딩 방법에 대하여 주목되고, 기록(record)은 인트라 모드 및 인트라 또는 움직임 보상 인터 모드의 최상 모드의 프레임에 대한 누적 스코어를 유지한다. 일반적으로, 최상 모드는 인터 부호화 모드이다. 따라서, 이하의 설명에서는 비록 인터 부호화 모드가 반드시 각 프레임에 대한 최상 모드가 아니라 할지라도 누적적인 최상의 스코어가 프레임의 인터 에러 스코어로서 인용될 것이다.
기록은 또한 인코딩에 대한 최상 모드가 인트라가 아닌 인터인 경우의 매크로블록의 백분율, 제로(0) 움직임 벡터가 선택된 경우의 인터 부호화 매크로블록의 백분율 및 사용하는 움직임 벡터에 관한 요약 정보를 유지한다.
제로(0) 움직임 벡터가 선택된 경우의 인터 부호화 매크로블록의 백분율은 얼마나 많은 이미지가 정적(static)인지를 표시한다.
사용하는 움직임 벡터에 관한 요약 정보는 비제로 벡터를 사용하는 매크로블록의 수와 합산값 및 각 움직임 벡터 성분(x, y)에 대한 절대치의 합을 포함한다. 이것으로부터 프레임의 평균 움직임 벡터(만일 약간의 양의 값과 약간의 음의 값이 있는 경우 그 값들은 삭제할 수 있다) 및 프레임의 평균 움직임 벡터 크기가 계산될 수 있다.
제1 패스에서 수집된 정보의 용도 중의 하나는 축조 기준 프레임을 인코드할 것인지 여부 또는 얼마나 자주 인코드할 것인지를 결정하고, 또한 얼마나 많은 비트를 축조 기준 프레임에 소비할 것인지를 결정하는 것이며, 상기 정보는 인코딩 메카니즘의 제2 패스를 포함한다. 축조된 프레임은 특정 실시예에서 평균 품질보다 어느 정도 더 높은 품질(즉, 더 높은 부스트 레벨)로 인코드된다.
부스트된 축조 기준 프레임을 인코딩함으로써 얻어지는 이익은 짧은 프레임 시퀀스 내에서 하나의 프레임으로부터 다른 프레임까지의 예측 품질에 대부분 의존한다. 그러한 기준 프레임을 축조하는 하나의 실시예와 관련하여 위에서 간단히 설명한 것처럼, 기준 프레임을 형성하기 위해 사용된 측정치는 인트라/인터 비율일 수 있다. 인트라/인터 비율은 프레임의 합산된 인트라 에러 스코어(제1 패스에서 측정된 것)를 프레임의 누적적인 인터(또는 최상) 에러 스코어로 나눈 비율이다. 큰 인트라/인터 비율(I/I 비율)은 인터 부호화의 사용이 매우 큰 이익을 제공한다는 것을 의미하고, 이것은 프레임이 선행 프레임에 의해 잘 예측되었음을 시사한다.
축조 기준 프레임이 규정된 최대 간격('최대 간격')까지 관련될 수 있는 프레임의 시퀀스에 대하여, 부스트 스코어는 뒤에서 설명하고 도 7에 도시한 바와 같이 계산된다. 처음에, 시작 프레임 N이 단계 84에서 선택된다. 그 다음에, 프레임 M으로부터 N+'최대 간격'까지의 각 프레임(A)에 대하여 다수의 단계가 수행된다. 즉, 단계 86에서, 현재 프레임(A)이 먼저 시작 프레임(N)으로 설정되고, 현재 프레임(A)이 뒤에서 설명하는 바와 같이 증분된다. 단계 88에 도시한 것처럼, 현재 프레임(A)의 수가 프레임들의 수 N+'최대 간격'보다 더 크면 처리는 종료한다. 현재 프레임(A)의 수가 프레임들의 수인 N+'최대 간격'을 초과하지 않으면 처리는 단계 90으로 진행한다.
단계 90에서, 변수 '이 프레임 쇠퇴율'(ThisFrameDecayRate)이 변수 '다음 프레임 % 인터 부호화'(Nextframe%InterCoded)와 동일하게 설정된다. 변수 '이 프레임 쇠퇴율'은 프레임 A의 쇠퇴율을 나타낸다. 변수 '다음 프레임 % 인터 부호화'는 인코딩을 위한 최상 모드가 인트라 부호화가 아닌 인터 부호화인 경우의 매크로블록의 백분율을 다음 프레임에 대해 유지하는 기록(위에서 설명함)이다. '다음 프레임 % 인터 부호화'의 수가 낮으면, 이것은 다음 프레임의 많은 블록들이 현재 프레임에 의해 빈약하게 예측되었다는 것을 의미한다(그래서 결국에는 인트라 부호화로 종료된다).
단계 90 후에, 인코더(14)에 의한 처리는 단계 92로 진행하여 변수 '거리 인수'(DistanceFactor)가 설정된다. 단계 92에서 계산된 '거리 인수'는 일반적으로 프레임에 대한 부스트의 바람직성(desirability) 및 수행해야 할 부스트의 상대적인 양을 표시한다. 본질적으로, 부스트 스코어를 산출하기 위해 승수(multiplier)를 사용하는데, 이것에 대해서는 뒤에서 더 자세히 설명한다. 움직임의 양이 크면 클수록, 큰 움직임이 부스트를 최소화하거나 제거하는 것을 바람직하게 만들기 때문에 거리 인수의 값은 더 작아진다. 마찬가지로, 프레임에서 작은 움직임이 표시되면, 이것은 더 높은 부스트 레벨이 바람직하기 때문에 더 높은 '거리 인수' 값에 의해 반영된다. 단계 92에서, '거리 인수'는 변수 '이 프레임 평균 움직임 벡터 길이'(This Frame Average Motion Vector Length)를 이 경우 300.0으로 나눈 값과 동일하게 설정한다. 상기 제수(divisor)는, 부분적으로, 변수 '이 프레임 평균 움직임 벡터 길이'를 특정하는 픽셀 유닛의 수에 따라 결정된다. 이 경우, 상기 변수는 1/8 픽셀 유닛으로 특정된다. 변수 '이 프레임 평균 움직임 벡터 길이'는 위에서 설명한 움직임 벡터에 관한 요약 정보로부터 계산된 현재 프레임의 평균 움직임 벡터이다. 여기에서의 제수 300은 약 300/8 픽셀의 평균 움직임 벡터를 나타내고 경험에 의해 결정되었다. 이것은 프레임에 대해 부스트를 적용하는 것이 바람직하지 않음을 표시하는 고레벨의 움직임이다. 위에서 언급한 바와 같이 제수는 변수 '이 프레임 평균 움직임 벡터 길이'를 특정하는 픽셀 유닛의 수에 부분적으로 기초한다. 이것은 또한 프레임의 사이즈에 기초를 둘 수 있다. 예를 들면, HD는 더 양호한 부스트를 적용하도록 더 높은 제수를 요구할 것이다.
다음 단계 94에서, 변수 '거리 인수'가 수 1.0과 비교된다. 만일 '거리 인수'가 1.0보다 작거나 같으면 '거리 인수'는 단계 96에서 1.0-'거리 인수'로 설정된다. 그렇지 않으면, '거리 인수'는 단계 98에서 0으로 설정된다. '거리 인수'의 설정과 상관없이 처리는 단계 100으로 진행하고, 이 단계에서 인코더(14)가 '거리 인수'를 변수 '이 프레임 쇠퇴율'과 비교한다. 단계 100에서 만일 '거리 인수'가 '이 프레임 쇠퇴율'보다 작으면, 처리는 단계 102로 진행하여 변수 '이 프레임 쇠퇴율'이 '거리 인수'의 값을 취한다. 그 다음에, 처리는 단계 104로 진행한다. 단계 100에서 만일 '거리 인수'가 '이 프레임 쇠퇴율'보다 작지 않으면, 처리는 단계 104로 직접 진행한다.
단계 104에서, 변수 '쇠퇴 인수'는 '쇠퇴 인수'의 이전 값에 변수 '이 프레임 쇠퇴율'을 곱한 것과 동일하게 설정된다. '쇠퇴 인수'는 1.0에서 시작하여 제1 패스에서 인터 부호화된 다음 프레임의 블록들의 %에 따라 각 프레임에서 감소하는 값이다(변수 '이 프레임 쇠퇴율'로 표시됨). 앞에서 언급한 바와 같이, '다음 프레임 % 인터 부호화' 수가 적으면, 이것은 다음 프레임의 많은 블록들이 현재 프레임에 의해 빈약하게 예측되었음을 표시한다(따라서, 인트라 부호화로 종료된다). 그러므로, 매크로블록이 시퀀스에서 일 회 인트라 부호화되면, 그 매크로블록에 대하여 그 시퀀스의 양단부에 있는 프레임들 간의 예측 링크가 파괴되었다고 추정한다. '쇠퇴 인수'는 이 예측 링크가 얼마나 잘 유지되는가에 대하여 비교적 있는 그대로의 메트릭을 제공한다.
일 실시예에 있어서, 현재 프레임의 움직임 레벨(제1 패스에서 측정한 것)이 높으면 '쇠퇴 인수'가 또한 감소될 수 있다. 위에서 언급한 바와 같이, '이 프레임 평균 움직임 벡터 길이'는 이 예에서 1/8 픽셀 유닛으로 특정된다. 프레임의 인트라 부호화의 레벨이 높기 때문에, 매우 빠른 움직임(큰 움직임 벡터)이 시퀀스의 양단부 간의 예측 링크 품질을 감퇴시킬 것이라고 추정한다.
단계 104 후에, 처리는 단계 106으로 진행한다. 단계 106에서, 변수 '부스트 스코어'는 이전 '부스트 스코어'에 인트라/인터 비율, 승수 값, '쇠퇴 인수' 및 '줌 인수'의 곱의 결과를 합한 값으로 갱신된다. 인트라/인터 비율과 '쇠퇴 인수'에 대해서는 위에서 설명하였다. 승수 값은 특수 비디오 클립 또는 애플리케이션 유형의 부스트 레벨을 조정하기 위해 인코더(14)에서 사용할 수 있는 조악한 메카니즘(coarse mechanism)을 제공한다. '줌 인수'는 현재 프레임 내에서 외향을 가리키는 움직임 벡터의 수 대 내향을 가리키는 움직임 벡터의 수에 기초하여 결정되는 값이다. 줌아웃시에는 더 많은 부스트가 바람직하다. 줌인시에는 더 적은 부스트가 바람직하다. '중 인수'의 값을 결정하는 한가지 방법은 외향으로 지향되는 각 벡터를 증분시키고 내향으로 지향되는 각 벡터를 감소시키는 카운터를 설정하는 것이다. 벡터의 수로 나누었을 때 -1과 +1 사이의 값이 얻어진다. 그 다음에 눈금치(scale)는 0과 +2 사이로 편이되어 '줌 인수'의 값이 0과 +2 사이로 된다. '줌 인수'의 값은 줌아웃시에 크고(즉, 이 예에서 1.0보다 더 큼) 줌인시에 작다. '부스트 스코어'는 N부터 N+'최대 간격'까지 프레임을 인코딩하기 위해 사용하는 축조 기준 프레임에 대한 소망의 부스트를 나타낸다.
인코더(14)는 단계 108에서 다음 프레임으로 전진하고, 처리 루프는 최대 간격에 도달할 때까지, 또는, 일 실시예에 따르면, 일련의 브레이크아웃 조건(breakout condition)에 부합될 때까지 계속된다. 브레이크아웃 조건을 사용함으로써 인코더(14)는 축조 기준 프레임 갱신들 간에 적당한 더 짧은 간격을 선택할 수 있다.
브레이크아웃 조건을 이용하는 하나의 실시예는 도 8을 참조하여 설명한다. 임의의 브레이크아웃 조건이 존재하는지를 체크하는 도 8의 각 단계는 도 7에 도시한 방법을 실행하는 동안 소정의 간격으로 주기적으로 수행된다. 각 단계는 소정의 시간 간격으로 수행될 수도 있고, 또는 도 7의 처리 중에 특정의 미리 정해진 시간, 예컨대 단계 108에서 프레임이 증분되는 때에 수행될 수도 있다.
도 8을 참조하면, 먼저 단계 110에서 프레임의 수가 변수 '최소 간격'과 비교된다. 프레임의 수는 도 7과 관련하여 설명한 것처럼 현재 프레임 값 A이다. 변수 '최소 간격'은 연속적인 축조 기준 프레임들 사이에 있는 프레임의 미리 규정된 최소 수이다. 만일 프레임의 수가 이 최소 수보다 높지 않으면, 인코더(14)는 브레이크아웃될 수 없다. 즉, 인코더(14)는 다음 축조 기준 프레임에 대하여 더 짧은 간격을 선택할 수 없다.
만일 프레임의 수가 '최소 간격'의 값보다 더 크면, 나머지의 브레이크아웃 조건이 체크된다. 브레이크아웃 조건이 부합하고 브레이크아웃이 발생해야 한다는 것, 즉 도 7의 처리가 현재 프레임 A에서 종료하고 '최소 간격'의 프레임 수에 걸쳐서 축조 기준 프레임의 사용 간격을 줄여야 한다는 것을 표시하기 위해 상기 조건들 중 하나만 부합하면 된다. 예를 들면, '최대 간격'은 30 프레임이고, '최소 간격'은 4 프레임이다. 프레임 비율이 낮을수록 '최대 간격'의 값도 낮아야 한다. 비록 상기 단계들을 특정 순서로 도시하였지만, 실제의 분석 순서는 관계가 없다.
먼저, 단계 112에서, 변수 'Mv 비율 축적기'(MvRatioAccumulator)의 값이 체크된다. 'Mv 비율 축적기'는 움직임의 특성에 대하여 제1 패스에서 수집된 정보를 이용하여 결정되는 값이다. 'Mv 비율 축적기'는 평균 절대 움직임 벡터를 각 프레임의 평균 움직임 벡터로 나눈 결과를 축적하고 이것은 본질적으로 프레임 내 움직임에 대한 무작위성(randomness)의 측정치이다. 큰 값은 예를 들면 이미지의 반대측에 있는 벡터들이 반대 방향을 지시하는 줌의 경우에서처럼 프레임 내의 양의 벡터와 음의 벡터가 서로 상쇄되는 것을 표시한다. 1.0에 접근하는 값은 모든 벡터들이 동일 방향으로 (예를 들면, 팬에서 발생하는 것처럼) 광범위하게 지시하는 것을 표시한다. 그 경우, 새로운 축조 기준 프레임은 필요하지 않다.
단계 112에서 만일 변수 'Mv 비율 축적기'가 60보다 더 크면, 단계 114에서 브레이크아웃 조건이 성립된다. 60의 값은 이 경우에 축조 기준 프레임이 더 자주 생성되는 바람직성을 표시한다. 60의 값은 단지 예일 뿐이고, 전술한 바와 같은 소스 프레임의 특성(예를 들면, 프레임의 사이즈 및 움직임 벡터 길이)에 따라서 다른 값을 사용할 수 있다.
단계 112에서 만일 변수 'Mv 비율 축적기'가 60보다 크지 않으면, 나머지 브레이크아웃 조건의 분석은 단계 116으로 진행하고, 이 단계에서 변수 'AbsMv 인아웃 축적기'(AbsMvInOutAccumulator)의 값이 체크된다. 'AbsMv 인아웃 축적기'는 또한 움직임의 특성에 대하여 제1 패스에서 수집된 정보를 이용하여 결정되는 값이다. 더 구체적으로, 'AbsMv 인아웃 축적기'는 이미지의 중심을 향하여 지시하는 벡터에 비교되는 이미지의 중심으로부터 멀어지도록 지시하는 벡터의 균형(balance)을 표시하고, '줌 인수'와 관련하여 설명한 것과 유사한 방식으로 계산될 수 있다. 이것은 줌인 조건을 줌아웃 조건과 구별하는데 도움을 준다. 단계 116에서, 만일 변수 'AbsMv 인아웃 축적기'의 값이 2보다 더 크면, 단계 114에서 브레이크아웃 조건이 성립되어서 새로운 축조 기준 프레임이 바람직한 것으로 나타난다. 그렇지 않으면, 처리는 단계 118의 최종 브레이크아웃 조건을 체크하는 단계로 진행한다. 2의 값은 경험에 의해 결정된 임계치이고, 프레임의 사이즈 및 움직임 벡터 길이 등의 특성에 따라서 다르게 할 수 있다.
단계 118에서, '부스트 스코어'는 이전 '부스트 스코어'('이전 부스트 스코어')와 비교된다. 만일 '부스트 스코어'가 '이전 부스트 스코어'+2.0보다 작으면, 하나의 프레임으로부터 다음 프레임까지 부스트 스코어가 증가하는 속도가 임계량 아래로 감소되는 상황이 발생된다. 따라서, 단계 118에서 '부스트 스코어'가 '이전 부스트 스코어'+2.0보다 작으면, 단계 114에서 브레이크아웃 조건이 성립되어 새로운 축조 기준 프레임이 바람직한 것으로 나타난다. 그렇지 않으면, 모든 브레이크아웃 조건이 체크되었고, 브레이크아웃 조건에 대한 처리가 종료한다. 도 7의 처리가 다시 시작된다.
단계 118에서의 값 2.0은 시퀀스의 2개의 단부 간의 예측 품질이 허용가능한 최소 레벨 아래로 떨어져서 이전의 축조 기준 프레임과 도 7에서 결정된 후속 축조 기준 프레임 사이의 간격이 너무 커지는 것(즉, 너무 많은 프레임이 이전 축조 기준 프레임을 이용하여 인코드됨)을 나타내는 표시자로서 사용되는 임계치이다. 값 2.0은 현재 프레임에 대해 도 7의 단계 106에서 묘사된 'I/I 비율*승수값*쇠퇴인수*줌인수'의 계산치에 대응하고 상기 계산치에 대한 소정의 변수 범위에서 경험에 의해 결정된다.
도 7 및 도 8과 관련하여 설명한 알고리즘은 '최소 간격'과 '최대 간격' 사이에서 제안된 갱신 간격을 제공할 것이다. 이것은 또한 현재의 갱신에 대해 제안된 비트 할당(또는 비트 부스트)을 제공할 것이다. 여기에서 설명한 예에서, 제안된 비트 할당은 100*부스트 스코어/16이고, 이것은 백분율 비트 할당으로의 정상화이다. 다시 말하면, 부스트 스코어는 가용 비트를 할당하기 위해 사용하는 각 축조 기준 프레임에 대한 상대값이고, 이것은 메모리, 축조 기준 프레임의 수 등에 의존한다.
그러나, 도 7 및 도 8에서 결정된 결과에 관계없이, 축조 기준 프레임을 표시된대로 갱신하는 것이 적당하지 않은 나머지 상황이 있을 수 있다.
일 실시예에서, 갱신된 축조 기준 프레임이 바람직한 것인지를 결정하기 위해 하기의 기준이 사용된다. 만일 시퀀스에 대한 부스트 스코어가 (프레임의 시퀀스에 대한 축조 기준 프레임의 양호한 상관관계를 표시하는) 임계량 이상이고, 그 시퀀스에서 프레임에 대한 '쇠퇴 인수'의 평균값이 (그 시퀀스에 대한 양호한 예측을 표시하는) 임계치 이상이며, 급속한 줌이 검출되지 않았으면(특히 이미지 데이터가 이미지를 떠나는 줌잉 조건), 갱신이 바람직하다. 이 기준은 새로운 축조 기준 프레임이 수행되었을 때 도 8에서의 분석에 응답하여 표시되는 각 루프 후에 체크되는 것이 바람직하다. 이 조건들 중 임의의 하나가 성립하지 않으면, 다음 축조 기준 프레임에 대한 처리가 계속된다. 더 구체적으로 말하면, 현재 프레임은 이전의 축조 기준 프레임을 이용하여 인코드되고, 도 7의 계산이 다음 프레임에서 재시작하여 도 8의 조건이 이전 간격(earlier interval)에서 새로운 축조 기준 프레임의 바람직성을 표시하도록 다시 성립되지 않는 한 '최대 간격'까지 계속된다.
축조 기준 프레임에 대한 적합성, 간격 및 부스트, 또는 유사한 것을 결정하기 위한 전술한 알고리즘은 양방향 예측을 지원하는 인코더/디코더에서, 연속적인 P 프레임들 간의 B 프레임의 최적 개수 및 P 프레임과 B 프레임 사이의 비트 분포를 규정하기 위해 또한 사용될 수 있다.
축조 기준 프레임은 최종 사용자에게 디스플레이될 필요가 없고(즉, 디코드된 최종 영상 출력에 포함될 필요가 없다) 실제 이미지에 대응할 필요가 없다. 그래서, 축조 기준 프레임의 사이즈 및 구성은 임시적이고 인코딩의 품질을 최적화하기 위해 인코더(14)에 의해 프로그램적으로 결정될 수 있다.
한가지 장점은 축조 기준 프레임을 생성하기 위해 사용된 연산을 디코드가 재수행할 필요가 없다는 것이다. 따라서, 축조 기준 프레임을 유도하기 위해 인코더(14)에서 연산적으로 값비싼 처리를 사용할 수 있지만, 이 처리는 디코더(21)에서 수행될 필요가 없기 때문에 더 고속이고 더 경량이며 더 효율적인 디코딩이 가능하다.
전술한 실시예는 본 발명의 이해를 쉽게 하기 위해 기술한 것이고 본 발명을 제한하는 것은 아니다. 반대로, 본 발명은 첨부된 청구범위 내에 포함된 각종 변형 및 등가의 구성을 포괄하는 것으로 의도되고, 청구범위는 관련 법규에 의해 허용되는 한 모든 변형 및 등가 구조를 포함하도록 최광의로 해석되어야 한다.
11: 영상 스트림, 13: 영상 시퀀스
15: 프레임, 17: 프레임
20: 매크로블록, 16: 입력 영상 스트림
18: 인트라/인터 예측, 24: 엔트로피 인코딩
26: 압축 비트스트림, 28: 역양자화
30: 역예측, 32: 재축조
34: 루프 필터링, 25: 엔트로피 인코딩
33: 디블로킹 필터, 35: 출력 영상 스트림

Claims (15)

  1. 일련의 소스 영상 프레임으로부터 획득된 일련의 디지털 영상 프레임들을 시청하기 위한 방법에 있어서,
    인코더를 사용하여 축조 기준 프레임을 생성하는 단계와;
    후속 디코딩 처리를 위해
    후속 디코딩 처리를 위한 압축 디지털 영상 신호를 포함한 비트스트림을 획득하기 위해 상기 축조 기준 프레임을 이용하여 일련의 소스 영상 프레임을 압축하는 단계
    를 포함하고, 상기 축조 기준 프레임은 후속 시청 처리 중에 일련의 디지털 영상 프레임으로부터 누락된 것인, 디지털 영상 프레임 시청 방법.
  2. 제1항에 있어서, 상기 인코더를 이용하여 축조 기준 프레임을 생성하는 단계는 기존의 소스 프레임이 직렬로 그 순서에 따라 나타나기 전에 기존의 소스 프레임의 복사본을 인코딩하는 단계를 포함하고;
    상기 일련의 소스 영상 프레임을 압축하는 단계는 기존의 소스 프레임의 복사본을 이용하여 직렬로 그 순서에 따라 기존 소스 프레임을 인코딩하는 단계를 포함한 것인, 디지털 영상 프레임 시청 방법.
  3. 제1항 또는 제2항에 있어서, 상기 기존 소스 프레임의 복사본을 인코딩하는 단계는 상기 복사본을 제1 품질 레벨로 인코딩하는 단계를 포함하고;
    상기 직렬로 그 순서에 따라 기존 소스 프레임을 인코딩하는 단계는 상기 제1 품질 레벨과는 다른 제2 품질 레벨로 기존 프레임을 인코딩하는 단계를 포함한 것인, 디지털 영상 프레임 시청 방법.
  4. 제1항에 있어서, 상기 인코더를 이용하여 축조 기준 프레임을 생성하는 단계는,
    임시 필터링을 이용하여 수 개의 소스 프레임으로부터 영상 노이즈를 제거하는 단계와;
    수 개의 소스 프레임의 각 매크로블록에 대한 에러 스코어를 계산하는 단계와;
    최저 에러 스코어를 가진 각 소스 프레임의 매크로블록을 축조 기준 프레임에 복사하는 단계
    를 포함한 것인, 디지털 영상 프레임 시청 방법.
  5. 제1항 또는 제2항에 있어서, 상기 인코더를 이용하여 축조 기준 프레임을 생성하는 단계는 축조 기준 프레임으로서 배경을 인코딩하는 단계를 포함한 것인, 디지털 영상 프레임 시청 방법.
  6. 제5항에 있어서, 상기 배경을 인코딩하는 단계는,
    복수의 픽셀을 각각 포함하고 있는 복수의 매크로블록 각각의 움직임 벡터를 수 개의 소스 프레임에 걸쳐서 계산하는 단계와;
    미리 정해진 제한치 이하의 움직임 벡터를 가진 매크로블록을 축조 기준 프레임에 복사하는 단계
    를 포함한 것인, 디지털 영상 프레임 시청 방법.
  7. 제1항 또는 제2항에 있어서, 상기 일련의 디지털 영상 프레임은 미리 정해진 사이즈를 가지며; 상기 축조 기준 프레임은 이미지 슈퍼 해상도를 이용하여 개발된 미리 정해진 사이즈보다 더 큰 사이즈를 갖는 것인, 디지털 영상 프레임 시청 방법.
  8. 제7항에 있어서, 상기 축조 기준 프레임을 이용하여 일련의 소스 영상 프레임을 압축하는 단계는 축조 기준 프레임을 이용하여 고품질 경계 영역을 제공하는 단계를 더 포함한 것인, 디지털 영상 프레임 시청 방법.
  9. 제7항에 있어서, 상기 인코더를 이용하여 축조 기준 프레임을 생성하는 단계는,
    시작 프레임 N을 획득하는 단계와;
    시작 프레임 N으로부터 프레임 N+X(여기에서 X는 양의 정수임)까지의 각 프레임 A를 정합시키는 글로벌 움직임 벡터를 찾는 단계와;
    글로벌 움직임 벡터를 이용하여 서로의 최상부에 정렬될 때 일련의 소스 영상 프레임을 커버하는 바운딩 영역을 생성하는 단계와;
    이미지가 돌아다닐 때 전체 바운딩 영역을 커버하도록 충분히 큰 새로운 이미지를 생성하는 단계와;
    새로운 이미지 내의 복수의 픽셀 각각에 대해 프레임의 시퀀스로부터 복수의 후보 픽셀 -이 복수의 후보 픽셀은 각각의 후보 집합에 각각 관련된 것임- 을 선택하는 단계와;
    각각의 후보 집합에 대해 평균 강도 값을 계산하는 단계와;
    축조 기준 프레임의 픽셀로서 새로운 이미지의 복수의 픽셀 중 관련 픽셀과 함께 평균 강도 값을 저장하는 단계
    를 포함한 것인, 디지털 영상 프레임 시청 방법.
  10. 제9항에 있어서, 상기 글로벌 움직임 벡터를 찾는 단계는 전체 조사형 글로벌 움직임 벡터 조사 방법과 다이아몬드형 글로벌 움직임 벡터 조사 방법 중 적어도 하나를 이용하는 단계를 포함한 것인, 디지털 영상 프레임 시청 방법.
  11. 제1항 또는 제2항에 있어서, 수 개의 소스 프레임 내의 각 매크로블록 -각 매크로블록은 복수의 픽셀을 포함하는 것임- 을 스코어정하기 기준에 따라서 스코어정하는 단계와;
    각 소스 프레임의 전체 스코어를 연산하는 단계와;
    전체 스코어에 따라서 축조 기준 프레임을 생성하기 위해 소스 프레임 중 하나를 선택하는 단계
    를 더 포함하는, 디지털 영상 프레임 시청 방법.
  12. 제11항에 있어서, 상기 스코어정하기 기준은 인트라 예측을 인터 예측에 비교하는 비율을 포함한 것인, 디지털 영상 프레임 시청 방법.
  13. 제11항에 있어서, 상기 스코어정하기 기준은 움직임 벡터를 포함한 것인, 디지털 영상 프레임 시청 방법.
  14. 제11항에 있어서, 상기 스코어정하기 기준은 예측 품질의 쇠퇴를 포함한 것인, 디지털 영상 프레임 시청 방법.
  15. 제11항에 있어서, 상기 스코어정하기 기준은 줌인 또는 줌아웃의 종결을 포함한 것인, 디지털 영상 프레임 시청 방법.
KR1020117006212A 2008-09-11 2009-09-10 축조 기준 프레임을 이용하여 영상을 인코딩하는 시스템 및 방법 KR20110059853A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US9618908P 2008-09-11 2008-09-11
US61/096,189 2008-09-11
US12/329,041 2008-12-05
US12/329,041 US8385404B2 (en) 2008-09-11 2008-12-05 System and method for video encoding using constructed reference frame

Publications (1)

Publication Number Publication Date
KR20110059853A true KR20110059853A (ko) 2011-06-07

Family

ID=41799270

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117006212A KR20110059853A (ko) 2008-09-11 2009-09-10 축조 기준 프레임을 이용하여 영상을 인코딩하는 시스템 및 방법

Country Status (7)

Country Link
US (5) US8385404B2 (ko)
EP (1) EP2327212A4 (ko)
JP (1) JP5362831B2 (ko)
KR (1) KR20110059853A (ko)
CN (1) CN102150429B (ko)
CA (1) CA2736886A1 (ko)
WO (1) WO2010030732A2 (ko)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
KR101060495B1 (ko) * 2009-03-19 2011-08-30 주식회사 코아로직 인코딩 장치와 방법 및 그 인코딩 장치를 포함한 멀티미디어 장치
US7917618B1 (en) * 2009-03-24 2011-03-29 Amazon Technologies, Inc. Monitoring web site content
KR101379185B1 (ko) * 2009-04-14 2014-03-31 에스케이 텔레콤주식회사 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101611437B1 (ko) * 2009-10-28 2016-04-26 삼성전자주식회사 복수의 프레임을 참조하여 영상을 부호화, 복호화하는 방법 및 장치
JP2011223293A (ja) * 2010-04-09 2011-11-04 Hitachi Ltd 画像符号化方法、画像符号化装置、画像復号化方法及び画像復号化装置
US9020043B2 (en) 2010-05-10 2015-04-28 Google Inc. Pathway indexing in flexible partitioning
US8503528B2 (en) 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
US8611415B1 (en) 2010-11-15 2013-12-17 Google Inc. System and method for coding using improved motion estimation
US8842723B2 (en) * 2011-01-03 2014-09-23 Apple Inc. Video coding system using implied reference frames
EP4120686B1 (en) * 2011-01-07 2023-08-23 Ntt Docomo, Inc. Predictive encoding method, predictive encoding device, and predictive encoding program of motion vector, and, predictive decoding method, predictive decoding device, and predictive decoding program of motion vector
US8990435B2 (en) 2011-01-17 2015-03-24 Mediatek Inc. Method and apparatus for accessing data of multi-tile encoded picture stored in buffering apparatus
US9497466B2 (en) * 2011-01-17 2016-11-15 Mediatek Inc. Buffering apparatus for buffering multi-partition video/image bitstream and related method thereof
US8638854B1 (en) * 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8787454B1 (en) * 2011-07-13 2014-07-22 Google Inc. Method and apparatus for data compression using content-based features
EP2751990A4 (en) 2011-08-29 2015-04-22 Icvt Ltd CONTROL OF A VIDEO CONTENT SYSTEM
FR2980068A1 (fr) * 2011-09-13 2013-03-15 Thomson Licensing Procede de codage et de reconstruction d'un bloc de pixels et dispositifs correspondants
CN103828370B (zh) 2011-10-31 2017-11-03 联发科技股份有限公司 缓冲装置、缓冲方法以及熵解码器
EP2777276B1 (en) * 2011-11-08 2019-05-01 Nokia Technologies Oy Reference picture handling
US20130201328A1 (en) * 2012-02-08 2013-08-08 Hing Ping Michael CHUNG Multimedia processing as a service
US9262670B2 (en) 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
US11039138B1 (en) 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
WO2013162980A2 (en) 2012-04-23 2013-10-31 Google Inc. Managing multi-reference picture buffers for video data coding
EP2670151A1 (en) * 2012-05-28 2013-12-04 Tektronix Inc. Heuristic method for drop frame detection in digital baseband video
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding
CN102833535B (zh) * 2012-07-03 2017-08-25 深圳市云宙多媒体技术有限公司 一种基于宏块统计信息的参考帧筛选方法、装置
US10003793B2 (en) 2012-10-01 2018-06-19 Google Technology Holdings LLC Processing of pulse code modulation (PCM) parameters
US9819965B2 (en) * 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
US9883198B2 (en) * 2012-11-13 2018-01-30 Intel Corporation Video codec architecture for next generation video
WO2014120368A1 (en) * 2013-01-30 2014-08-07 Intel Corporation Content adaptive entropy coding for next generation video
US20140254659A1 (en) 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
US9756331B1 (en) * 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
RU2666635C2 (ru) 2013-10-14 2018-09-11 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Характеристики режима индексной карты основных цветов для кодирования и декодирования видео и изображения
CN105723712B (zh) * 2013-10-14 2019-06-28 韩国电子通信研究院 基于多层的图像编码/解码方法和设备
MX2016004705A (es) 2013-10-14 2016-07-18 Microsoft Technology Licensing Llc Caracteristicas del modo de prediccion copia de bloque interno para codificacion y decodificacion de imagen y video.
US11109036B2 (en) 2013-10-14 2021-08-31 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
WO2015085575A1 (en) * 2013-12-13 2015-06-18 Mediatek Singapore Pte. Ltd. Methods for background residual prediction
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
WO2015100726A1 (en) 2014-01-03 2015-07-09 Microsoft Corporation Block vector prediction in video and image coding/decoding
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
JP2017512026A (ja) * 2014-03-04 2017-04-27 マイクロソフト テクノロジー ライセンシング，エルエルシー イントラブロックコピー予測におけるブロック反転及びスキップモード
CN105493505B (zh) 2014-06-19 2019-08-06 微软技术许可有限责任公司 统一的帧内块复制和帧间预测模式
EP2980793A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder, system and methods for encoding and decoding
EP3202150B1 (en) 2014-09-30 2021-07-21 Microsoft Technology Licensing, LLC Rules for intra-picture prediction modes when wavefront parallel processing is enabled
DE102014220809A1 (de) * 2014-10-14 2016-04-14 Siemens Aktiengesellschaft Vorrichtung und Verfahren zum Detektieren eines sich bewegenden Objekts
WO2016085231A1 (ko) 2014-11-27 2016-06-02 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR102551609B1 (ko) * 2014-11-27 2023-07-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
JP6558071B2 (ja) * 2015-05-20 2019-08-14 富士通コネクテッドテクノロジーズ株式会社 無線通信装置、無線通信プログラム、及び無線通信方法
CN106664405B (zh) 2015-06-09 2020-06-09 微软技术许可有限责任公司 用调色板模式对经逸出编码的像素的稳健编码/解码
CN106331700B (zh) 2015-07-03 2019-07-19 华为技术有限公司 参考图像编码和解码的方法、编码设备和解码设备
CN106954082A (zh) * 2016-01-07 2017-07-14 中兴通讯股份有限公司 视频编解码方法、编解码装置及系统
CN107396138A (zh) * 2016-05-17 2017-11-24 华为技术有限公司 一种视频编解码方法及设备
CN106534871B (zh) * 2016-12-06 2019-06-07 北京大学 视频编解码器的编码方法和解码方法
US10448013B2 (en) 2016-12-22 2019-10-15 Google Llc Multi-layer-multi-reference prediction using adaptive temporal filtering
US20180302455A1 (en) * 2017-04-18 2018-10-18 Facebook, Inc. Systems and methods for adjusting video transmission bitrates
EP3396952B1 (en) * 2017-04-25 2019-04-17 Axis AB Method and image processing unit for forming a video stream
NL2018969B1 (en) 2017-05-23 2018-12-04 Boskalis Bv Baggermaatschappij Method and system for forming structures in fluid, especially under water
CN109151469B (zh) * 2017-06-15 2020-06-30 腾讯科技（深圳）有限公司 视频编码方法、装置及设备
CN109698850B (zh) * 2017-10-23 2022-06-07 北京京东尚科信息技术有限公司 处理方法和系统
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
CN108363387B (zh) * 2018-01-11 2021-04-16 驭势科技（北京）有限公司 传感器控制方法及装置
US10623736B2 (en) * 2018-06-14 2020-04-14 Telefonaktiebolaget Lm Ericsson (Publ) Tile selection and bandwidth optimization for providing 360° immersive video
US10419738B1 (en) 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10567780B2 (en) 2018-06-14 2020-02-18 Telefonaktiebolaget Lm Ericsson (Publ) System and method for encoding 360° immersive video
WO2020006690A1 (zh) * 2018-07-03 2020-01-09 深圳市大疆创新科技有限公司 视频处理方法和设备
US10841662B2 (en) 2018-07-27 2020-11-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for inserting advertisement content in 360° immersive video
US10951885B2 (en) 2018-08-30 2021-03-16 Google Llc Adaptive temporal filtering for alternate frame reference rendering
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
US20230059035A1 (en) * 2021-08-23 2023-02-23 Netflix, Inc. Efficient encoding of film grain noise
GB2610397A (en) * 2021-09-02 2023-03-08 Samsung Electronics Co Ltd Encoding and decoding video data
CN114466199A (zh) * 2022-04-12 2022-05-10 宁波康达凯能医疗科技有限公司 一种可适用于vvc编码标准的参考帧生成方法与系统

Family Cites Families (218)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3629472A1 (de) 1986-08-29 1988-03-03 Licentia Gmbh Verfahren zur bewegungskompensierten bild-zu-bild-praediktionscodierung
ATE74219T1 (de) 1987-06-02 1992-04-15 Siemens Ag Verfahren zur ermittlung von bewegungsvektorfeldern aus digitalen bildsequenzen.
EP0466981B1 (en) 1990-07-20 1997-02-26 Koninklijke Philips Electronics N.V. Motion vector processing device
EP0533195A2 (en) 1991-09-20 1993-03-24 Sony Corporation Picture signal encoding and/or decoding apparatus
JP3263960B2 (ja) 1991-10-22 2002-03-11 ソニー株式会社 動きベクトル符号器および復号器
JPH05137131A (ja) * 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
US5442458A (en) 1991-12-18 1995-08-15 Eastman Kodak Company Method and associated apparatus for encoding bitplanes for improved coding efficiency
US5461423A (en) 1992-05-29 1995-10-24 Sony Corporation Apparatus for generating a motion vector with half-pixel precision for use in compressing a digital motion picture signal
US5289276A (en) 1992-06-19 1994-02-22 General Electric Company Method and apparatus for conveying compressed video data over a noisy communication channel
JPH06197334A (ja) * 1992-07-03 1994-07-15 Sony Corp 画像信号符号化方法、画像信号復号化方法、画像信号符号化装置、画像信号復号化装置及び画像信号記録媒体
US5371841A (en) 1992-07-31 1994-12-06 Eastman Kodak Company Progressive bit plane reconstruction method
US5389068A (en) 1992-09-01 1995-02-14 Kimberly-Clark Corporation Tampon applicator
WO1994018799A1 (en) 1993-02-03 1994-08-18 Qualcomm Incorporated Interframe video encoding and decoding system
US5717394A (en) 1993-02-10 1998-02-10 Ricoh Company Ltd. Method and apparatus for encoding and decoding data
US5586285A (en) 1993-02-19 1996-12-17 Intel Corporation Method and circuitry for increasing reserve memory in a solid state memory disk
US6236682B1 (en) 1993-03-08 2001-05-22 Sony Corporation Video motion vector detection including rotation and/or zoom vector generation
US6327304B1 (en) 1993-05-12 2001-12-04 The Duck Corporation Apparatus and method to digitally compress video signals
US6181822B1 (en) 1993-05-12 2001-01-30 The Duck Corporation Data compression apparatus and method
FI94306C (fi) 1993-07-15 1995-08-10 Nokia Technology Gmbh Menetelmä televisiokuvan pienten kuvasegmenttien liikevektoreiden määrittämiseksi
US5398068A (en) 1993-09-02 1995-03-14 Trustees Of Princeton University Method and apparatus for determining motion vectors for image sequences
US5999641A (en) 1993-11-18 1999-12-07 The Duck Corporation System for manipulating digitized image objects in three dimensions
JP3046224B2 (ja) * 1994-07-26 2000-05-29 三星電子株式会社 固定ビット率の符号化方法および装置とこれを利用した高速探索のためのトラッキング方法
KR100213018B1 (ko) 1994-07-30 1999-08-02 윤종용 동화상 부호화장치
DE69619002T2 (de) 1995-03-10 2002-11-21 Toshiba Kawasaki Kk Bildkodierungs-/-dekodierungsvorrichtung
KR0181034B1 (ko) * 1995-03-18 1999-05-01 배순훈 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치
KR0178198B1 (ko) 1995-03-28 1999-05-01 배순훈 영상 신호 부호화 장치
US5936673A (en) 1995-05-26 1999-08-10 Intel Corporation Temporal tile staggering for block based video compression
US5568200A (en) 1995-06-07 1996-10-22 Hitachi America, Ltd. Method and apparatus for improved video display of progressively refreshed coded video
AU6376296A (en) 1995-07-11 1997-02-10 Telefonaktiebolaget Lm Ericsson (Publ) Video coding
EP1274253A3 (en) 1995-08-29 2005-10-12 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
GB9519923D0 (en) 1995-09-29 1995-11-29 Philips Electronics Nv Motion estimation for predictive image coding
GB2308262B (en) 1995-12-16 1999-08-04 Paul Gordon Wilkins Method for analysing the content of a video signal
US5912676A (en) 1996-06-14 1999-06-15 Lsi Logic Corporation MPEG decoder frame memory interface which is reconfigurable for different frame store architectures
US6084912A (en) 1996-06-28 2000-07-04 Sarnoff Corporation Very low bit rate video coding/decoding method and apparatus
US5926226A (en) 1996-08-09 1999-07-20 U.S. Robotics Access Corp. Method for adjusting the quality of a video coder
US6075875A (en) 1996-09-30 2000-06-13 Microsoft Corporation Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results
US5748789A (en) * 1996-10-31 1998-05-05 Microsoft Corporation Transparent block skipping in object-based video coding systems
US5828848A (en) * 1996-10-31 1998-10-27 Sensormatic Electronics Corporation Method and apparatus for compression and decompression of video data streams
US6956573B1 (en) * 1996-11-15 2005-10-18 Sarnoff Corporation Method and apparatus for efficiently representing storing and accessing video information
US6072537A (en) * 1997-01-06 2000-06-06 U-R Star Ltd. Systems for producing personalized video clips
US5991447A (en) 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
US6005980A (en) 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
US6115420A (en) 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
US6359929B1 (en) 1997-07-04 2002-03-19 Matsushita Electric Industrial Co., Ltd. Image predictive decoding method, image predictive decoding apparatus, image predictive coding apparatus, and data storage medium
US6108383A (en) 1997-07-15 2000-08-22 On2.Com, Inc. Method and apparatus for compression and decompression of video images
KR100244291B1 (ko) 1997-07-30 2000-02-01 구본준 동영상 움직임 벡터 코딩 방법
US6292837B1 (en) 1997-10-30 2001-09-18 Daniel Miller Apparatus and method for non-sequential image data transmission and display
DE69834902T2 (de) 1997-11-17 2007-02-01 Koninklijke Philips Electronics N.V. Bewegungskompensierte prädiktive bildkodierung und -dekodierung
KR100523908B1 (ko) 1997-12-12 2006-01-27 주식회사 팬택앤큐리텔 격행주사 영상에 대한 영상신호 부호화 장치 및 그 방법
US6178205B1 (en) * 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
US6335985B1 (en) * 1998-01-07 2002-01-01 Kabushiki Kaisha Toshiba Object extraction apparatus
EP0940774A3 (en) 1998-03-05 2000-07-05 Matsushita Electric Industrial Co., Ltd. Motion vector coding and decoding apparatus and method
JP3856262B2 (ja) 1998-03-09 2006-12-13 日本ビクター株式会社 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体
JPH11289544A (ja) 1998-04-02 1999-10-19 Sony Corp 動き検出装置およびその方法
US6895051B2 (en) * 1998-10-15 2005-05-17 Nokia Mobile Phones Limited Video data encoder and decoder
US6222174B1 (en) 1999-03-05 2001-04-24 Hewlett-Packard Company Method of correlating immediately acquired and previously stored feature information for motion sensing
US6499060B1 (en) * 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
JP3302939B2 (ja) 1999-03-12 2002-07-15 アールシーエー トムソン ライセンシング コーポレイシヨン 独立に圧縮された偶数および奇数フィールド・データ用のビデオ信号圧縮解除装置
US7085319B2 (en) 1999-04-17 2006-08-01 Pts Corporation Segment-based encoding system using segment hierarchies
US7050503B2 (en) * 1999-04-17 2006-05-23 Pts Corporation Segment-based encoding system using residue coding by basis function coefficients
US6115076A (en) * 1999-04-20 2000-09-05 C-Cube Semiconductor Ii, Inc. Compressed video recording device with non-destructive effects addition
US6330281B1 (en) * 1999-08-06 2001-12-11 Richfx Ltd. Model-based view extrapolation for interactive virtual reality systems
US6735249B1 (en) 1999-08-11 2004-05-11 Nokia Corporation Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding
US6658618B1 (en) 1999-09-02 2003-12-02 Polycom, Inc. Error recovery method for video compression coding using multiple reference buffers and a message channel
US6671319B1 (en) 1999-12-28 2003-12-30 Sony Corporation Methods and apparatus for motion estimation using neighboring macroblocks
US6718308B1 (en) * 2000-02-22 2004-04-06 Daniel L. Nolting Media presentation system controlled by voice to text commands
CN1366778A (zh) * 2000-04-27 2002-08-28 皇家菲利浦电子有限公司 视频压缩
US6711211B1 (en) 2000-05-08 2004-03-23 Nokia Mobile Phones Ltd. Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder
GB2403618A (en) 2000-05-10 2005-01-05 Picturetel Corp Video coding using multiple buffers
GB2381403B (en) 2000-05-10 2004-12-01 Picturetel Corp Video coding using multiple buffers
KR100708091B1 (ko) 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
FI120125B (fi) * 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
US6661842B1 (en) 2000-09-22 2003-12-09 General Dynamics Decision Systems, Inc. Methods and apparatus for error-resilient video coding
US6763067B2 (en) * 2000-10-10 2004-07-13 Sarnoff Corporation Rate control for bitstream re-encoding
US6774929B1 (en) * 2000-11-03 2004-08-10 Avotec Inc. Shielded video projection system for MRI
US6765963B2 (en) 2001-01-03 2004-07-20 Nokia Corporation Video decoder architecture and method for using same
AU2002250278A1 (en) 2001-03-07 2002-09-19 Pts Corporation Local constraints for motion estimation
JP2002271788A (ja) 2001-03-08 2002-09-20 Monolith Co Ltd 画像符号化方法と装置および画像復号方法および装置
US6625310B2 (en) * 2001-03-23 2003-09-23 Diamondback Vision, Inc. Video segmentation using statistical pixel modeling
JP2002330440A (ja) 2001-05-01 2002-11-15 Sony Corp 画像伝送方法、画像伝送方法のプログラム、画像伝送方法のプログラムを記録した記録媒体及び画像伝送装置
JP2007325304A (ja) * 2001-05-30 2007-12-13 Victor Co Of Japan Ltd Ｍｐｅｇデータ記録再生方法
JP4596227B2 (ja) * 2001-06-27 2010-12-08 ソニー株式会社 通信装置および方法、通信システム、記録媒体、並びにプログラム
US7027654B1 (en) 2001-08-16 2006-04-11 On2 Technologies Video compression system
JP4717285B2 (ja) 2001-08-24 2011-07-06 キヤノン株式会社 走査光学装置及びそれを用いた画像形成装置
US7643559B2 (en) 2001-09-14 2010-01-05 Ntt Docomo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
US6856701B2 (en) 2001-09-14 2005-02-15 Nokia Corporation Method and system for context-based adaptive binary arithmetic coding
US6847467B2 (en) * 2001-11-01 2005-01-25 Hewlett-Packard Development Company, L.P. Method and apparatus for low memory rendering
JP2004007379A (ja) 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
JP3923898B2 (ja) 2002-01-18 2007-06-06 株式会社東芝 画像符号化方法及び装置
US6944222B2 (en) 2002-03-04 2005-09-13 Koninklijke Philips Electronics N.V. Efficiency FGST framework employing higher quality reference frames
KR101108661B1 (ko) * 2002-03-15 2012-01-25 노키아 코포레이션 비디오 시퀀스에서의 움직임 부호화 방법
WO2003084235A1 (en) 2002-03-28 2003-10-09 British Telecommunications Public Limited Company Video pre-processing
JP4355156B2 (ja) 2002-04-16 2009-10-28 パナソニック株式会社 画像復号化方法及び画像復号化装置
DE60314935T2 (de) 2002-04-16 2007-12-20 Robert Bosch Gmbh Verfahren und Einheit zur Bitstromdekodierung
US20030206193A1 (en) * 2002-04-17 2003-11-06 Keizo Sato Communication control system and storage medium for storing image transfer program
TW577227B (en) * 2002-04-23 2004-02-21 Ind Tech Res Inst Method and apparatus for removing background of visual content
US7023923B2 (en) * 2002-04-29 2006-04-04 Koninklijke Philips Electronics N.V. Motion compensated temporal filtering based on multiple reference frames for wavelet based coding
EP1372113B1 (en) 2002-06-11 2005-10-19 STMicroelectronics S.r.l. Variable bit rate video encoding method and device
AU2003236900A1 (en) * 2002-06-12 2003-12-31 British Telecommunications Public Limited Company Video pre-processing
US6909749B2 (en) 2002-07-15 2005-06-21 Pts Corporation Hierarchical segment-based motion vector encoding and decoding
KR100865034B1 (ko) 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
US8384790B2 (en) * 2002-08-20 2013-02-26 Hewlett-Packard Development Company, L.P. Video image enhancement method and apparatus using reference and auxiliary frames
US7072394B2 (en) 2002-08-27 2006-07-04 National Chiao Tung University Architecture and method for fine granularity scalable video coding
JP3977716B2 (ja) * 2002-09-20 2007-09-19 株式会社東芝 動画像符号化／復号化方法及び装置
TWI224928B (en) * 2002-12-27 2004-12-01 Newsoft Technology Corp Real-time MPEG video encoding method to keep output synchronization of video and audio
US8040949B2 (en) 2003-01-09 2011-10-18 The Regents Of The University Of California Video encoding methods and devices
KR100504824B1 (ko) * 2003-04-08 2005-07-29 엘지전자 주식회사 이미지 신호 블록오류 보정 장치 및 방법
FR2854019B1 (fr) * 2003-04-16 2005-09-16 Medialive Embrouillage, desembrouillage et distribution securisee de sequences audiovisuelles issues de codeurs videos bases sur un traitement par ondelettes
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
US8824553B2 (en) 2003-05-12 2014-09-02 Google Inc. Video compression method
US7728840B2 (en) 2003-09-04 2010-06-01 Texas Instruments Incorporated Sliding data buffering for image processing
FI115589B (fi) 2003-10-14 2005-05-31 Nokia Corp Redundanttien kuvien koodaaminen ja dekoodaaminen
JP4702059B2 (ja) 2003-12-22 2011-06-15 日本電気株式会社 動画像を符号化する方法及び装置
US7889792B2 (en) 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
US7346106B1 (en) * 2003-12-30 2008-03-18 Apple Inc. Robust multi-pass variable bit rate encoding
US7492820B2 (en) 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
KR100531895B1 (ko) * 2004-02-26 2005-11-29 엘지전자 주식회사 이동통신 시스템에서의 영상 블럭 오류 은닉 장치 및 방법
US20050207490A1 (en) 2004-03-18 2005-09-22 Wang Jason N Stored picture index for AVC coding
JP2005294977A (ja) 2004-03-31 2005-10-20 Ulead Systems Inc スライドウィンドウ（ｓｌｉｄｉｎｇｗｉｎｄｏｗ）を用いた２パスビデオエンコーディング方法とシステム
CN1939066B (zh) * 2004-04-02 2012-05-23 汤姆森许可贸易公司 用于复杂度可伸缩视频解码器的方法和设备
KR101099884B1 (ko) * 2004-04-23 2011-12-28 히또시 기야 동화상데이터의 부호화방법, 복호화방법, 이들을 실행하는단말장치, 및 쌍방향 대화형 시스템
US7515637B2 (en) 2004-05-21 2009-04-07 Broadcom Advanced Compression Group, Llc Video decoding for motion compensation with weighted prediction
WO2005125198A2 (en) * 2004-06-09 2005-12-29 Nielsen Media Research, Inc. Methods and apparatus to identify viewing information
US20050286629A1 (en) 2004-06-25 2005-12-29 Adriana Dumitras Coding of scene cuts in video sequences using non-reference frames
US8111752B2 (en) * 2004-06-27 2012-02-07 Apple Inc. Encoding mode pruning during video encoding
US7953152B1 (en) 2004-06-28 2011-05-31 Google Inc. Video compression and encoding method
US7681104B1 (en) * 2004-08-09 2010-03-16 Bakbone Software, Inc. Method for erasure coding data across a plurality of data stores in a network
FR2874292B1 (fr) 2004-08-10 2007-01-26 Thales Sa Procede de mise en forme de trames d'une sequence video
US20060050695A1 (en) 2004-09-07 2006-03-09 Nokia Corporation System and method for using redundant representations in streaming applications
DE202004013984U1 (de) 2004-09-08 2006-01-19 Mekra Lang Gmbh & Co. Kg Kamerasystem
US20060062481A1 (en) 2004-09-21 2006-03-23 Markus Suvanto Apparatuses, computer program product and method for bit rate control of digital image encoder
KR100679022B1 (ko) * 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
US7792192B2 (en) * 2004-11-19 2010-09-07 Analog Devices, Inc. System and method for sub-pixel interpolation in motion vector estimation
US7466867B2 (en) * 2004-11-26 2008-12-16 Taiwan Imagingtek Corporation Method and apparatus for image compression and decompression
US7406053B2 (en) 2004-12-13 2008-07-29 Hewlett-Packard Development Company, L.P. Methods and systems for controlling the number of computations involved in computing the allocation of resources given resource constraints
US7817723B2 (en) 2004-12-14 2010-10-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. Apparatus and method of optimizing motion estimation parameters for encoding a video signal
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US8634413B2 (en) * 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
WO2006078115A1 (en) 2005-01-21 2006-07-27 Samsung Electronics Co., Ltd. Video coding method and apparatus for efficiently predicting unsynchronized frame
US8514933B2 (en) 2005-03-01 2013-08-20 Qualcomm Incorporated Adaptive frame skipping techniques for rate controlled video encoding
KR100703770B1 (ko) 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
US8718140B1 (en) * 2005-05-12 2014-05-06 Visualon, Inc. Encoding video data
US7529199B1 (en) 2005-05-31 2009-05-05 Cisco Technology, Inc. System and method for resolving conflicts in proxy routing information associated with multicast distribution trees
US20060285598A1 (en) 2005-06-17 2006-12-21 Jarno Tulkki Apparatuses, computer program product and method for digital image quality improvement
US20070009034A1 (en) 2005-07-05 2007-01-11 Jarno Tulkki Apparatuses, computer program product, and method for digital image processing
JP5020953B2 (ja) 2005-07-18 2012-09-05 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 時間及び視点間参照映像バッファを活用した予測符号化／復号化装置及びその方法
KR100746006B1 (ko) 2005-07-19 2007-08-06 삼성전자주식회사 계층적 구조에 적합하게 시간적 다이렉트 모드로인코딩하며, 디코딩하는 방법 및 장치
US20080130988A1 (en) * 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US8229983B2 (en) * 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
US20070076982A1 (en) * 2005-09-30 2007-04-05 Petrescu Doina I System and method for video stabilization
TWI271106B (en) 2005-10-25 2007-01-11 Novatek Microelectronics Corp Apparatus and method for motion estimation supporting multiple video compression standards
WO2007053557A1 (en) 2005-10-31 2007-05-10 Cyberoptics Corporation Electronics assembly machine with embedded solder paste inspection
CA2633819C (en) 2005-12-08 2016-12-06 Vidyo, Inc. Systems and methods for error resilience and random access in video communication systems
CN1980334A (zh) * 2005-12-09 2007-06-13 英业达股份有限公司 视频画面叠加编码传输的方法
US8107537B2 (en) 2006-02-02 2012-01-31 Sharp Laboratories Of America, Inc. Picture layer rate control for video encoding
US20070199011A1 (en) 2006-02-17 2007-08-23 Sony Corporation System and method for high quality AVC encoding
US7924925B2 (en) 2006-02-24 2011-04-12 Freescale Semiconductor, Inc. Flexible macroblock ordering with reduced data traffic and power consumption
JP4466589B2 (ja) * 2006-03-06 2010-05-26 住友電気工業株式会社 Ｐｏｎシステム及び端末装置の登録方法
US8750387B2 (en) * 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8184712B2 (en) * 2006-04-30 2012-05-22 Hewlett-Packard Development Company, L.P. Robust and efficient compression/decompression providing for adjustable division of computational complexity between encoding/compression and decoding/decompression
BRPI0714022A2 (pt) 2006-07-06 2012-12-04 Thomson Licensing método e aparelho para separar o número do quadro e /ou a contagem de ordem de imagem (poc) para codificação e decodificação de vìdeo multi-visão
CN101491099B (zh) 2006-07-11 2011-09-21 汤姆森特许公司 使用虚拟参考画面的方法及装置
EP2041984A4 (en) 2006-07-17 2009-08-05 Thomson Licensing METHOD AND DEVICE FOR ADAPTING A DEFAULT CODING OF A DIGITAL VIDEO SIGNAL DURING A SCENE CHANGE PERIOD
EP2084669A4 (en) * 2006-08-08 2009-11-11 Digital Media Cartridge Ltd SYSTEM AND METHOD FOR COMPRESSING ANIMATED DRAWINGS
CN102752597A (zh) * 2006-08-28 2012-10-24 汤姆森许可贸易公司 用于确定解码视频块中的期望失真的方法及设备
KR101356207B1 (ko) * 2006-10-13 2014-02-03 삼성전자주식회사 데이터 인코딩/디코딩 방법 및 장치
US20080115185A1 (en) 2006-10-31 2008-05-15 Microsoft Corporation Dynamic modification of video properties
US8923393B2 (en) 2006-11-02 2014-12-30 Qualcomm Incorporated Apparatus and method of reduced reference frame search in video encoding
KR101365567B1 (ko) 2007-01-04 2014-02-20 삼성전자주식회사 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP2008124772A (ja) 2006-11-13 2008-05-29 Hitachi Ltd 符号化装置及び符号化方法
KR100803611B1 (ko) * 2006-11-28 2008-02-15 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
CA2676219C (en) * 2007-01-23 2017-10-24 Euclid Discoveries, Llc Computer method and apparatus for processing image data
US8837591B2 (en) * 2007-01-26 2014-09-16 Telefonaktiebolaget L M Ericsson (Publ) Image block classification
JP2008187694A (ja) * 2007-01-31 2008-08-14 Matsushita Electric Ind Co Ltd 画像符号化装置およびその方法
US10194175B2 (en) * 2007-02-23 2019-01-29 Xylon Llc Video coding with embedded motion
JPWO2008108372A1 (ja) 2007-03-05 2010-06-17 日本電気株式会社 重み付き予測情報算出方法、装置、プログラム、動画像符号化方法、装置、およびプログラム
US8494049B2 (en) * 2007-04-09 2013-07-23 Cisco Technology, Inc. Long term reference frame management with error video feedback for compressed video communication
US8310521B2 (en) * 2007-04-30 2012-11-13 Microsoft Corp. Insertion of virtual video into live video
WO2008137432A2 (en) * 2007-05-01 2008-11-13 Dyyno Sharing of information and formatting information for transmission over a communication network
US8917775B2 (en) 2007-05-02 2014-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view video data
KR100962696B1 (ko) * 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
US8477852B2 (en) 2007-06-20 2013-07-02 Nvidia Corporation Uniform video decoding and display
KR20090004658A (ko) 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
JP5098081B2 (ja) * 2007-07-19 2012-12-12 オリンパス株式会社 画像処理方法および画像処理装置
US8121197B2 (en) * 2007-11-13 2012-02-21 Elemental Technologies, Inc. Video encoding and decoding using parallel processors
KR101213704B1 (ko) 2007-12-05 2012-12-18 삼성전자주식회사 가변 컬러 포맷 기반 동영상 부호화 방법 및 장치, 그복호화 방법 및 장치
US8953685B2 (en) 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
US8189668B2 (en) 2007-12-18 2012-05-29 Vixs Systems, Inc. Video codec with shared intra-prediction module and method for use therewith
US8179976B2 (en) * 2008-01-11 2012-05-15 Apple Inc. Control of video decoder for reverse playback operation
US8275033B2 (en) * 2008-01-15 2012-09-25 Sony Corporation Picture mode selection for video transcoding
US9055301B2 (en) 2008-03-18 2015-06-09 Texas Instruments Incorporated Changing motion estimation precision to maintain encoding within desired time
EP2104105A1 (en) * 2008-03-20 2009-09-23 British Telecommunications Public Limited Company Digital audio and video clip encoding
WO2010005691A1 (en) 2008-06-16 2010-01-14 Dolby Laboratories Licensing Corporation Rate control model adaptation based on slice dependencies for video coding
US8908763B2 (en) * 2008-06-25 2014-12-09 Qualcomm Incorporated Fragmented reference in temporal compression for video coding
JP4978575B2 (ja) * 2008-06-25 2012-07-18 富士通株式会社 シンクライアントシステムにおける画像符号化方法及び画像符号化プログラム
EP2150060A1 (en) * 2008-07-28 2010-02-03 Alcatel, Lucent Method and arrangement for video encoding
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
JPWO2010035733A1 (ja) 2008-09-24 2012-02-23 ソニー株式会社 画像処理装置および方法
US8831087B2 (en) 2008-10-06 2014-09-09 Qualcomm Incorporated Efficient prediction mode selection
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
US7974233B2 (en) 2009-07-29 2011-07-05 Wiviu Technology Inc. Systems and methods for transmitting and receiving data streams with feedback information over a lossy network
US8976860B2 (en) 2009-09-23 2015-03-10 Texas Instruments Incorporated Method and apparatus for determination of motion estimation search window area utilizing adaptive sliding window algorithm
US8503528B2 (en) 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
US9008181B2 (en) 2011-01-24 2015-04-14 Qualcomm Incorporated Single reference picture list utilization for interprediction video coding
US8965140B1 (en) * 2011-01-31 2015-02-24 Teradici Corporation Method and apparatus for encoding mixed content image sequences
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
WO2012178008A1 (en) 2011-06-22 2012-12-27 General Instrument Corporation Construction of combined list using temporal distance
US20140169449A1 (en) 2011-07-05 2014-06-19 Telefonaktiebolaget L M Ericsson (Publ) Reference picture management for layered video
US9451271B2 (en) 2011-07-21 2016-09-20 Blackberry Limited Adaptive filtering based on pattern information
US10277915B2 (en) 2011-11-07 2019-04-30 Qualcomm Incorporated Signaling quantization matrices for video coding
US9525861B2 (en) 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding
WO2013162980A2 (en) 2012-04-23 2013-10-31 Google Inc. Managing multi-reference picture buffers for video data coding
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding

Also Published As

Publication number Publication date
US10165306B2 (en) 2018-12-25
US20100061461A1 (en) 2010-03-11
US9374596B2 (en) 2016-06-21
WO2010030732A3 (en) 2010-06-10
JP5362831B2 (ja) 2013-12-11
US20160309192A1 (en) 2016-10-20
CN102150429B (zh) 2013-11-20
WO2010030732A2 (en) 2010-03-18
US11375240B2 (en) 2022-06-28
JP2012502590A (ja) 2012-01-26
WO2010030732A9 (en) 2010-11-04
US20220303583A1 (en) 2022-09-22
EP2327212A2 (en) 2011-06-01
CA2736886A1 (en) 2010-03-18
US20130044817A1 (en) 2013-02-21
US20190124363A1 (en) 2019-04-25
CN102150429A (zh) 2011-08-10
US8385404B2 (en) 2013-02-26
EP2327212A4 (en) 2012-11-28

Similar Documents

Publication Publication Date Title
US11375240B2 (en) Video coding using constructed reference frames
US11831899B2 (en) Flexible reference picture management for video encoding and decoding
US8649431B2 (en) Method and apparatus for encoding and decoding image by using filtered prediction block
US8665952B1 (en) Apparatus and method for decoding video encoded using a temporal filter
KR101351709B1 (ko) 화상 복호 장치 및 화상 복호 방법
US20080304569A1 (en) Method and apparatus for encoding and decoding image using object boundary based partition
US9392280B1 (en) Apparatus and method for using an alternate reference frame to decode a video frame
KR20170021337A (ko) 해시 기반의 블록 매칭의 결과에 기초한 인코더 결정
JP4632049B2 (ja) 動画像符号化方法及び装置
KR101375667B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR20090098214A (ko) 영상의 부호화, 복호화 방법 및 장치
JP2007522742A (ja) 非線形量子化に基づくビデオ画像の符号化及び復号化
CN111801940A (zh) 使用ycbcr的相关性的图像编码/解码方法和设备
US20230239462A1 (en) Inter prediction method based on variable coefficient deep learning
US20230269399A1 (en) Video encoding and decoding using deep learning based in-loop filter
US20230412811A1 (en) Method and apparatus for video coding using spiral scan order
US20230421758A1 (en) Method and apparatus for video coding using de-blocking filtering based on segmentation information
JP2007110672A (ja) 符号化方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid