KR20070072578A - 디지털 비디오 인코딩용 적응성 인트라-리프레쉬 - Google Patents

디지털 비디오 인코딩용 적응성 인트라-리프레쉬 Download PDF

Info

Publication number
KR20070072578A
KR20070072578A KR1020077010820A KR20077010820A KR20070072578A KR 20070072578 A KR20070072578 A KR 20070072578A KR 1020077010820 A KR1020077010820 A KR 1020077010820A KR 20077010820 A KR20077010820 A KR 20077010820A KR 20070072578 A KR20070072578 A KR 20070072578A
Authority
KR
South Korea
Prior art keywords
frame
rate
intra
current frame
coding
Prior art date
Application number
KR1020077010820A
Other languages
English (en)
Inventor
위 리앙
할레드 헬미 엘-말레
샤라스 만주나스
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20070072578A publication Critical patent/KR20070072578A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

디지털 비디오 인코딩용 적응성 인트라-리프레쉬 (IR) 기술은, 비디오 콘텐츠, 또는 비디오 콘텐츠와 채널 조건의 조합에 기초하여 IR 레이트를 조정한다. 그 IR 레이트는 프레임 레벨 또는 매크로블록 (MB) 레벨에서 적용될 수도 있다. 프레임 레벨에서, IR 레이트는 프레임내에서 인트라-코딩될 MB의 퍼센트를 특정한다. MB 레벨에서, IR 레이트는 특정 MB가 인트라-코딩될 통계적인 확률을 정의한다. IR 레이트는, 추정된 채널 손실 확률, 프레임-투-프레임 변화, 및 텍스처 정보를 가중하는 조합된 메트릭에 비례하여 조정된다. IR 레이트는, 비교적 낮은 구현 복잡도를 요구하는 폐쇄-형 솔루션을 사용하여 결정될 수 있다. 예를 들어, 그러한 폐쇄-형은 반복 또는 포괄적 탐색을 요구하지 않는다. 또한, IR 레이트는, 모션 추정 및 보상이 수행되기 전에 이용가능한 파라미터들로부터 결정될 수 있다.
적응성 인트라-리프레쉬, 인터-코딩, 인트라-코딩

Description

디지털 비디오 인코딩용 적응성 인트라-리프레쉬{ADAPTIVE INTRA-REFRESH FOR DIGITAL VIDEO ENCODING}
본 출원은, 2004년 10월 12일자로 출원되고, 여기에 참조로서 포함되는 미국 가출원 제 60/618,383 호를 우선권 주장한다.
기술 분야
본 발명은 디지털 비디오 인코딩에 관한 것으로, 더 상세하게는, 디지털 비디오 프레임을 압축할 때 적응성 인트라-리프레쉬 (IR) 에 대한 기술에 관한 것이다.
배경기술
다수의 상이한 비디오 인코딩 표준들이 디지털 비디오 시퀀스를 인코딩하기 위해 확립되어 왔다. 예를 들어, MPEG (Moving Picture Experts Group) 는 MPEG-1, MPEG-2 및 MPEG-4 를 포함하는 다수의 표준들을 개발해 왔다. 다른 예는 ITU (International Telecommunication Union) H.263 표준, 및 이머징 (emerging) ITU H.264 표준을 포함한다. 일반적으로, 이들 비디오 인코딩 표준들은 압축된 방식으로 데이터를 인코딩함으로써 비디오 시퀀스의 개선된 송신 효율을 지원한다. 압축은 비디오 프레임의 효율적인 송신을 위해 송신될 필요가 있는 데이터의 총량을 감소시킨다.
예를 들어, MPEG-4, ITU H.263 및 ITU H.264 표준은, 인터-프레임 압축을 제 공하기 위해 임시 또는 인터-프레임 상관이라 지칭되는 연속하는 비디오 프레임들 사이의 유사점을 이용하는 비디오 인코딩 기술을 지원한다. 인터-프레임 압축 기술은, 비디오 프레임의 픽셀-기반 프리젠테이션을 모션 프리젠테이션으로 변환함으로써 프레임에 걸친 데이터 리던던시 (redundancy) 를 활용한다. 인터-프레임 기술을 사용하여 인코딩된 프레임은 P ("예측적인 (predictive)") 프레임 또는 B ("양방향 (bi-directional)") 프레임으로 지칭된다. 일부 프레임, 또는, 프레임내의 매크로블록 (MB) 은 공간, 인트라-프레임 압축을 사용하여 인코딩되며, 비-예측적이다. 통상적으로, 인트라-코딩된 프레임은 I ("인트라") 프레임으로 지칭된다.
무선 네트워크를 통한 비디오 데이터의 송신은 채널 손실로 인해 신뢰할 수 없을 수 있다. 채널 손실로 야기되는 에러는 사용자에게 제공되는 비디오의 품질에 악영향을 줄 수 있다. 특히, 채널 에러는 현재 프레임의 품질뿐만 아니라, 모션 추정 및 보상 기술을 사용하여 그 현재의 프레임으로부터 생성되는 후속 인터-코딩된 프레임의 품질을 감소시킨다. 하나의 프레임으로부터 또 다른 프레임으로의 채널-유도 에러의 전파를 제한하기 위해, 비디오 인코더는 통상적으로 인트라-리프레쉬 (IR) 기술을 적용한다. IR 기술에 따르면, P 프레임내의 MB는 선택적으로 인터-코딩보다는 인트라-코딩된다. 인트라-코딩된 MB는 에러 회복을 개선시킬 수 있지만, 송신되어야 하는 비트 수의 증가를 요구한다. 따라서, IR 레이트는 에러 회복 및 대역폭 효율 양자의 관점에서 인코딩 성능에 영향을 준다.
요약
본 발명은 디지털 비디오 프레임내의 MB와 같은 비디오 블록들의 적응성 IR에 대한 기술에 관한 것이다. 그 기술은 비디오 콘텐츠 또는 비디오 콘텐츠와 채널 조건의 조합에 기초하여 IR 레이트를 조정한다. IR 레이트는 프레임 레벨 또는 MB 레벨에서 적용될 수도 있다. 프레임 레벨에서, IR 레이트는 프레임내에서 인트라-코딩될 MB의 퍼센트를 특정한다. MB 레벨에서, IR 레이트는 특정 MB가 인트라-코딩될 통계적인 확률을 정의한다.
비디오 콘텐츠는 프레임-투-프레임 변화 및 인트라-프레임 텍스처 정보 양자에 기초하여 평가될 수도 있다. 프레임-투-프레임 변화는, 예를 들어, 프레임으로부터 프레임으로의 차이의 제곱 합 (SSD) 에 의해 판단될 수도 있다. 프레임 텍스처 정보는 프레임 분산 (variance) 의 관점을 특징으로 할 수 있으며, 일반적으로 텍스처 복잡도를 표시한다. 채널 조건은 추정된 채널 손실 확률로부터 결정될 수도 있다.
IR 레이트는, 추정된 프레임-투-프레임 SSD, 텍스처 정보, 및 채널 손실 확률을 가중하는 조합된 메트릭에 비례하여 조정된다. 조합된 메트릭은 추정된 채널 손실 확률 및 SSD에 비례하지만, 프레임 분산에 반비례한다. IR 레이트는 그 조합된 메트릭이 변하는 경우 변하며, 에러 회복, 대역폭 효율, 및 구현 복잡도를 밸런싱하는 적응성 IR 방식을 제공한다.
특히, IR 레이트는 비교적 낮은 구현 복잡도를 요구하는 폐쇄-형 솔루션 (close-form solution) 을 사용하여 결정될 수 있다. 예를 들어, 그러한 폐쇄- 형은 일반적으로 반복 또는 포괄적 탐색을 요구하지 않는다. 또한, IR 레이트는, 모션 추정 및 모션 보상이 특정 프레임 또는 MB에 대해 수행되기 전에 이용가능한 파라미터로부터 결정될 수 있다.
일 실시형태에서, 본 발명은 비디오 인코딩 방법을 제공하며, 그 방법은, 현재의 프레임과 또 다른 프레임 사이의 프레임-투-프레임 변화의 측정치를 획득하는 단계, 그 현재의 프레임에 대한 텍스처 정보를 획득하는 단계, 및 그 프레임-투-프레임 변화 및 그 텍스처 정보에 기초하여 그 현재의 프레임에 대한 인트라-리프레쉬 (IR) 레이트를 생성하는 단계를 포함한다.
또 다른 실시형태에서, 본 발명은 비디오 인코더를 제공하며, 그 비디오 인코더는, 현재의 프레임과 또 다른 프레임 사이의 프레임-투-프레임 변화의 측정치 및 그 현재의 프레임에 대한 텍스처 정보에 기초하여 그 현재의 프레임에 대한 IR 레이트를 생성하는 인트라-리프레쉬 (IR) 레이트 제어 유닛, 및 그 IR 레이트에 기초하여 그 현재의 프레임내의 매크로블록 (MB) 에 대한 인터-코딩 또는 인트라-코딩을 선택하는 모드 선택 유닛을 포함한다.
또 다른 실시형태에서, 본 발명은 비디오 인코딩 방법을 제공하며, 그 방법은, 현재의 비디오 프레임의 비디오 콘텐츠에 기초하여 그 현재의 비디오 프레임에 대한 인트라-리프레쉬 (IR) 레이트를 생성하는 단계, 및 그 IR 레이트에 기초하여 그 현재의 프레임내의 매크로블록 (MB) 에 대한 인터-코딩 또는 인트라-코딩을 선택하는 단계를 포함한다.
또 다른 실시형태에서, 본 발명은 비디오 인코더를 제공하며, 그 비디오 인 코더는, 현재의 비디오 프레임의 비디오 콘텐츠에 기초하여 그 현재의 비디오 프레임에 대한 IR 레이트를 생성하는 인트라-리프레쉬 (IR) 레이트 제어 유닛, 및 그 IR 레이트에 기초하여 그 현재의 프레임내의 매크로블록 (MB) 에 대해 인터-코딩 또는 인트라-코딩을 선택하는 모드 선택 유닛을 포함한다.
또한 본 발명은, 비디오 인코더를 형성하는 하나 이상의 프로세서가 여기에서 설명된 임의의 기술을 실행할 수 있게 하는 명령을 포함하는 컴퓨터-판독가능 매체를 고려한다.
하나 이상의 실시형태의 세부사항은 아래의 첨부한 도면 및 상세한 설명에 설명된다. 다른 특성, 목적, 및 이점은 설명 및 도면, 및 청구항으로부터 명백할 것이다.
도면의 간단한 설명
도 1은 비디오 인코딩 및 디코딩 시스템을 도시한 블록도이다.
도 2는 본 발명에 따른 적응성 IR 기술을 이용하는 비디오 인코더 시스템을 도시하는 블록도이다.
도 3은 예시적인 적응성 IR 기술의 동작을 도시하는 흐름도이다.
도 4는 텍스처-기반 인트라/인터 코딩 결정 프로세스를 도시하는 흐름도이다.
도 5는 텍스처-기반 인트라-인터 코딩 결정 프로세스를 지원하기 위해 3개의 상이한 탐색 영역으로 세그먼트화된 비디오 프레임을 도시한 다이어그램이다.
도 6은 상이하고 일정한 적응성 IR 탐색 영역을 갖는 9개의 P 프레임의 시퀀 스를 도시한 다이어그램이다.
도 7은 상이하고 일정치 않은 적응성 IR 탐색 영역을 갖는 9개의 P 프레임의 시퀀스를 도시한 다이어그램이다.
도 8은 사이클릭한 IR (cyclical IR; CIR) 및 하이브리드 IR 제어 기술에 대한 비교 실험 결과를 도시한 그래프이다.
도 9 내지 12는 다양한 IR 제어 기술에 대한 비교 실험 결과를 도시한 부가적인 그래프이다.
도 13은 인트라-프레임 주기에 따라 IR 제어를 도시하는 다이어그램이다.
도 14 및 15는 도 13에 도시된 바와 같은 기술을 사용하여 다양한 IR 기술에 대한 실험 결과를 도시한 그래프이다.
상세한 설명
도 1은 비디오 인코딩 및 디코딩 시스템 (10) 을 도시하는 블록도이다. 도 1에 도시된 바와 같이, 시스템 (10) 은 송신 채널 (16) 에 의해 접속된 인코더 시스템 (12) 및 디코더 시스템 (14) 를 포함한다. 인코더 시스템 (12) 는 멀티플렉서 (MUX; 18), 비디오 인코더 (20) 및 오디오 인코더 (22) 를 포함한다. 디코더 시스템 (14) 는 디멀티플렉서 (DEMUX; 26), 비디오 디코더 (28), 및 오디오 디코더 (30) 을 포함한다. 설명될 바와 같이, 비디오 인코더 (20) 는 적응성 IR 기술을 적용하도록 구성될 수도 있다. 적응성 IR 기술에 따르면, 비디오 인코더 (20) 는 특정 P 프레임내의 MB와 같은 비디오 블록이 인트라-리프레쉬되는 IR 레이트를 결정한다. 일반적으로, IR 레이트는 인트라-리프레쉬될 MB의 수를 결 정하고, 프레임 레벨 또는 MB 레벨에서 적용될 수도 있다.
IR 레이트는 비디오 콘텐츠, 또는 비디오 콘텐츠 및 채널 조건의 조합에 기초하여 결정될 수도 있다. 예를 들어, IR 레이트는, 추정된 채널 손실 확률, 현재의 프레임과 또 다른 프레임 사이의 프레임-투-프레임 변화, 및 그 현재의 프레임에 대한 텍스처 정보를 측정하는 조합된 메트릭에 기초하여 결정될 수도 있다. 따라서, 적응성 IR 기술은 비디오 콘텐츠 및 채널 조건 양자를 고려할 수도 있다. IR 레이트가 주어지면, 비디오 인코더 (20) 는, 프레임내에서 인트라-리프레쉬될 특정 MB를 식별하기 위해 적응성 탐색 기술을 또한 적용할 수도 있다. 그 적응성 탐색 기술은 텍스처 정보에 의존할 수도 있고, 모션 추정 이전에 수행될 수 있다.
시스템 (10) 은, 예를 들어, 비디오 전화통신을 위해 양-방향 비디오 송신을 제공할 수도 있다. 따라서, 상반하는 인코딩, 디코딩, MUX 및 DEMUX 컴포넌트들은 채널 (16) 의 대향하는 단부들상에 제공될 수도 있다. 일부 실시형태에서, 인코더 시스템 (12) 및 디코더 시스템 (14) 은, 비디오 스트리밍, 비디오 전화통신, 또는 양자를 위해 장비된 무선 이동 단말기와 같은 비디오 통신 디바이스내에서 구현될 수도 있다. 이동 단말기는, SIP (Session Initiated Protocol), ITU H.323 표준, ITU H.324M 표준, 또는 다른 표준들에 따라 비디오 전화통신을 지원할 수도 있다.
비디오 인코더 (20) 는, MPEG-2, MPEG-4, ITU H.263, 또는 ITU H.264와 같은 비디오 압축 표준에 따라 인코딩된 비디오 데이터를 생성한다. 오디오 인코더 (22) 는 비디오 데이터를 수반하는 오디오 데이터를 인코딩한다. MUX (18) 는 비디오 인코더 (20) 및 오디오 인코더 (22) 로부터 적응 레이어 비디오 및 오디오 데이터 유닛을 획득한다. MUX (18) 는 비디오 데이터 및 오디오 데이터를 멀티플렉싱하여 채널 (16) 을 통한 송신을 위해 일련의 멀티플렉스 데이터 유닛을 형성한다. 일 예로서, MUX (18) 및 DEMUX (26) 는 ITU에 의해 발행된 H.223 멀티플렉서 프로토콜에 따라 동작할 수도 있다. 그러나, 사용자 데이터그램 프로토콜 (UDP) 과 같은 다른 프로토콜들이 사용될 수도 있다.
채널 (16) 은, 로지컬 송신 유닛 (LTU) 으로 지칭될 수도 있는 물리 레이어 데이터 유닛으로서 멀티플렉싱된 정보를 디코더 시스템 (14) 에 운송한다. 채널 (16) 은 인코더 시스템 (12) 과 디코더 시스템 (14) 사이의 임의의 물리 접속일 수도 있다. 예를 들어, 채널 (16) 은, 로컬 또는 와이드-영역 네크워크와 같은 유선 접속일 수도 있다. 다른 방법으로, 여기에 설명된 바와 같이, 채널 (16) 은, 송신된 패킷들의 손실로 인해 상당한 에러가 발생할 수 있는 셀룰러, 위성 또는 광 접속과 같은 무선 접속일 수도 있다. 채널 (16) 은, W-CDMA, CDMA2000 1x, CDMA2000 1x EV-DO, 또는 CDMA2000 EV-DV와 같은 임의의 다양한 무선 주파수 (RF) 프로토콜에 따라 무선 패킷의 송신을 지원할 수도 있다.
DEMUX (26) 는 LTU로부터 멀티플렉스 데이터 유닛을 식별하고, 멀티플렉스 레이어 데이터 유닛의 콘텐츠를 디멀티플렉싱하여 비디오 및 오디오 적응 레이어 데이터 유닛을 생성한다. 적응 레이어 데이터 유닛은 적응 레이어에서 프로세싱되어 비디오 데이터 프레임을 생성한다. 비디오 디코더 (28) 는 애플리케이 션 레이어에서 비디오 데이터 프레임을 디코딩하여, 디스플레이 디바이스를 구동할 시에 사용하기 위한 비디오 데이터의 스트림을 생성한다. 특히, 비디오 디코더 (28) 는 비디오 데이터 프레임내의 개별 비디오 슬라이스를 디코딩한다. 오디오 디코더 (30) 는 오디오 데이터를 디코딩하여 오디오를 생성한다.
비디오 인코더 (20) 에 의해 적용된 적응성 IR 기술은 비교적 낮은 복잡도로 적용될 수도 있다. 이러한 기술에 따르면, 비디오 인코더 (20) 는 조정된 IR 레이트에 따라 P 프레임내의 MB를 인트라-리프레쉬한다. 프레임-투-프레임 변화, 텍스처 정보, 및 추정된 채널 손실 확률을 사용하여, 비디오 인코더 (20) 는 인커밍 비디오 프레임에 대한 IR 레이트를 동적으로 조정한다. IR 레이트는 각각의 프레임에 대해 조정될 수도 있거나, 소정의 프레임내의 MB에 대해 조정될 수도 있다.
채널, 변화, 및 텍스처 파라미터들은, IR 레이트의 조정을 위한 기반으로서 서빙하는 조합된 메트릭을 형성하기 위해 가중될 수도 있다. 이러한 방식으로, 비디오 인코더 (20) 는 채널-적응성 및 콘텐츠-적응성 양자인 IR 기술을 적용하도록 구성될 수 있다. 특히, 채널 조건은 추정된 채널 손실 확률에 의해 표현되지만, 비디오 콘텐츠는 현재의 프레임과 또 다른 프레임 사이의 프레임-투-프레임 변화 및 그 현재의 프레임에 대한 텍스처 정보 양자에 의해 표현된다.
프레임-투-프레임 변화는 현재의 프레임과 이전의 프레임 사이의 차이의 제곱 합 (SSD) 메트릭에 의해 결정될 수 있다. 텍스처 정보는 현재의 프레임 또는 MB내의 분산에 의해 결정될 수도 있다. 분산은 프레임 또는 MB내의 비디오 콘텐츠의 픽셀 변화를 표현한다. 일반적으로, 높은 분산은 소정의 프레임 또는 MB내의 더 복잡한 비디오 콘텐츠를 표시하고, 더 높은 인트라-코딩 비용과 상관하는 경향이 있다. 그러나, 더 높은 채널 손실 및 프레임-투-프레임 변화는 더 높은 에러 레이트 또는 에러 전파로 인한 품질 열화와 상관하는 경향이 있고, 에러 회복을 위해 인트라-코딩을 지원한다.
채널 및 비디오 콘텐츠 파라미터들의 고려는 에러 회복 및 인코딩 효율을 밸런싱하는 적응성 접근법을 허용한다. 또한, 설명될 바와 같이, 모션 추정 이전에 이용가능한 파라미터들을 고려함으로써, 적응성 IR 기술은 낮은 복잡도 구현을 허용한다. 특히, IR 기술은 전체 인코딩 프로세스의 완료를 요구하지 않는 폐쇄-형 솔루션을 사용한다.
여기에서 설명된 IR 기술은, 범용 마이크로프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적회로 (ASIC), 필드 프로그램가능 게이트 어레이 (FPGA), 또는 다른 동등한 로직 디바이스내에서 구현될 수도 있다. 예를 들어, 비디오 인코더 시스템 (12) 및 그의 컴포넌트들은, 디지털 신호 프로세서 (DSP) 또는 다른 프로세싱 디바이스상에서 구동하는 인코딩 프로세스, 또는 코딩/디코딩 (CODEC) 프로세스의 일부로서 구현될 수도 있다. 따라서, 모듈로서 설명된 컴포넌트들은 그러한 프로세스의 프로그램가능한 특성을 형성할 수도 있고, 공통 프로세서 또는 별개의 프로세서 상에서 함께 실현될 수도 있다.
비디오 인코더 시스템 (12) 은 명령 및 데이터를 저장하기 위한 전용 메모리뿐만 아니라 전용 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 결합을 가질 수도 있다. 소프트웨어에서 구현되면, 기술은, 랜덤 액세스 메모리 (RAM), 판독-전용 메모리 (ROM), 비-휘발성 랜덤 액세스 메모리 (NVRAM), 전기적으로 소거가능한 프로그램가능 판독-전용 메모리 (EEPROM), 플레쉬 메모리, 자성 매체, 광학 매체 등과 같은 컴퓨터-판독가능 매체상에 명령으로서 수록될 수도 있다. 명령들은 하나 이상의 프로세서가 본 발명에서 설명된 기능의 일정 양태들을 수행할 수 있게 한다.
도 2는 본 발명에 따른 적응성 IR 기술을 이용하는 비디오 인코더 (20) 을 도시하는 블록도이다. 도 2에 도시된 바와 같이, 비디오 인코더 (20) 는, 인터-코더 (32), 인트라-코더 (34), 차이 (difference) 유닛 (36), 변환 (T) 유닛 (38) 및 양자화 (Q) 유닛 (40) 을 포함한다. 차이 유닛 (36) 은 인커밍 디지털 프레임 Fn으로부터 인터-예측 P 또는 인트라-예측 P를 감산하여 차이 Dn을 생성한다. 인터-예측 P 또는 인트라-예측 P는 인터-코더 (32) 또는 인트라-코더 (34) 중 하나의 코더로부터 획득된다. 변환 유닛 (38) 은, 차이 유닛 (36) 의 출력을 주파수 컴포넌트로 변환하기 위해, 이산 코사인 변형 (DCT) 와 같은 표준 압축 변환을 적용한다. 양자화 유닛 (40) 은 그 변환된 출력을 양자화하여 X를 생성하며, 그 X는 양자화된 변환 계수의 세트이다.
인터-코더 (32) 는, 예를 들어, MPEG-4 또는 H.264 압축 방법에 따라 프레임 Fn의 인터-코딩을 수행한다. 도 2에 도시된 바와 같이, 인터-코더 (32) 는, 하나 이상의 이전에 인코딩된 프레임
Figure 112007035149025-PCT00001
n-1 에 대해 인커밍 프레임 Fn의 표준 인터-코딩을 지원하기 위해, 모션 추정 (ME) 유닛 (42) 및 모션 보상 (MC) 유닛 (44) 를 포함한다. 특히, 인터 예측 P는 하나 이상의 이전 프레임
Figure 112007035149025-PCT00002
n-1로부터의 모션-보상된 예측에 의해 형성된다. 이전의 프레임은
Figure 112007035149025-PCT00003
n-1를 생성하기 위해 이전에 인코딩 및 재구성될 수도 있다.
인트라-코더 (34) 는 인커밍 비디오 프레임 Fn의 인트라-코딩을 수행하여 인트라 예측 P를 생성한다. 인트라 예측은, 이전에 인코딩, 디코딩 및 재구성되어 재구성된 프레임
Figure 112007035149025-PCT00004
n 을 형성하는 현재의 프레임 Fn의 샘플들로부터 형성된다. 그렇게 형성된 인트라 예측 P는, 비디오 인코더 (20) 가 인트라-모드에서 동작하고 있는 경우 차이 유닛 (36) 에 적용되어 차이 Dn을 생성한다. 인트라-코더 (34) 는, I 프레임을 생성하기 위한 인트라-코딩, 또는 인트라-리프레싱을 지원하기 위한 P 프레임내의 선택된 MB에 대한 인트라-코딩을 수행할 수도 있다.
모드 선택 유닛 (46) 은, 예를 들어, 프레임마다 또는 MB마다에 기초하여 인터-코딩과 인트라-코딩 사이에서 선택적으로 스위칭한다. 특히, 모드 선택 유닛 (46) 은, 프레임 레벨 또는 MB 레벨 중 하나의 레벨에서 인터-코더 (32) 의 출력 또는 인트라-코더 (34) 의 출력 중 하나의 출력을 선택한다. 이러한 방식으로, 모드 선택 유닛 (46) 은, 차이 유닛 (36) 에 적용되는 예측 P가 인터-코딩 또는 인트라-코딩될지의 여부를 판정한다. 모드 선택 유닛 (46) 은 IR 레이트 제어 유닛 (48) 에 응답하며, 그 IR 레이트 제어 유닛 (48) 은 비디오 인코더 (20) 내에서 IR 레이트를 동적으로 조정하여 모드 선택 유닛 (46) 을 제어한다.
IR 레이트 제어 유닛 (48) 은 프레임마다 또는 MB마다에 기초하여 IR 레이트 를 업데이트할 수도 있다. IR 레이트가 전체 프레임에 대해 결정되면, 그 IR 레이트는 프레임의 모든 MB에 적용된다. 그러나, IR 레이트가 개별 MB에 대해 결정되면, 그 IR 레이트는 MB로부터 MB까지 변경할 수도 있다. 이러한 경우, IR 레이트는, 인트라-코딩이 적용되어야 하는지의 여부를 판정하기 위해, 확률로서 각각의 개별 MB에 적용될 수도 있다.
상술된 바와 같이, IR 레이트 제어 유닛 (48) 은 채널 및 콘텐츠 입력의 조합에 기초하여 IR 레이트를 적응적으로 조정한다. 상세하게는, 도 2에 도시된 바와 같이, IR 레이트 제어 유닛 (48) 은 추정된 채널 손실 확률 (CHANNEL LOSS), 프레임-투-프레임 또는 MB-투-MB 변화 값을 수신 및 프로세싱하며, 픽셀 레벨 분산 (VARIANCE) 의 관점으로 표현될 수도 있는 그 값들은 차이의 제곱 합 (SSD) 값, 및 텍스처 값일 수도 있다.
추정된 채널 손실 확률은, 채널 (16) 을 통해 송신되는 경우 현재의 프레임이 드롭 (drop) 될 가능도를 양자화하며, 따라서, 그 채널의 특징을 나타낸다. SSD 및 분산은 인코딩될 프레임 또는 MB의 실제 콘텐츠의 특징을 나타낸다. 또한, IR 레이트 제어 유닛은 채널 손실 및 비디오 콘텐츠 양자에서 변하도록 구성된다.
CHANNEL LOSS, SSD 및 VARIANCE는 개별적으로 가중되고 합산되어 IR 레이트 조정을 위한 조합된 메트릭을 형성할 수도 있다. IR 레이트 제어 유닛 (48) 은 IR 레이트를 조정함으로써 조합된 메트릭에서의 변화에 응답하고, 그 후, 그 IR 레이트는 제어 모드 선택 유닛 (46) 에 적용되어 프레임-레벨 또는 MB-레벨에 기초하 여 인터-코딩 또는 인트라-코딩 중 하나의 코딩을 선택한다.
특히, IR 레이트 제어 유닛 (48) 은, 사전-모드, 즉, 프레임 또는 MB가 모션 추정 및 모션 보상을 사용하여 인터-코딩되기 전에, 획득될 수 있는 용이하게 적용가능한 파라미터들에 의존한다. 이러한 방식으로, IR 레이트는 반복 또는 포괄적 탐색보다는 폐쇄-형 솔루션을 사용하여 결정될 수 있으며, 비교적 낮은 구현 복잡도를 제공한다.
IR 레이트 제어 유닛 (48) 은, P 프레임의 MB가 인트라-코딩되어야 하는지의 여부를 판정할 시에 채널 조건 및 비디오 콘텐츠에서 변하도록 구성된다. 일반적으로, 추정된 채널 손실 확률이 증가할 경우, IR 레이트는 증가하며, SSD 및 분산은 일정하게 유지된다. 또한, SSD가 증가할 경우 IR 레이트는 증가하며, 추정된 채널 손실 확률은 일정하게 유지된다. 그러나, 현재의 프레임의 비디오 콘텐츠의 분산이 증가하는 경우, IR 레이트는 감소한다. 이들 입력 양이 변할 때 IR 레이트는 변하며, 기술의 적응성 특성을 반영한다.
IR 레이트 제어 유닛 (48) 에 의해 생성된 IR 레이트는 모드 선택 유닛 (46) 에 의해 사용되어 IR 결정을 렌더링하며, 예측 P에 대해 인터-코더 (32) 또는 인트라-코더 (34) 중 하나의 출력의 선택을 초래한다. 이러한 모드 선택은 IR 레이트가 전체 프레임에 대해 고정되도록 프레임 레벨에서 적용될 수 있다. 이러한 경우, 모드 선택 유닛 (46) 은 전체 프레임에 대해 IR 레이트를 적용하지만, IR 레이트를 만족시키기에 충분한 수로 인트라-리프레쉬될 특정 MB를 선택할 필요가 있다. 그러나, IR 레이트가 MB 레벨에서 결정되면, 프레임내의 MB를 스캐닝하기 때문에, 모드 선택 유닛 (46) 은 IR 레이트에서의 변화에 반응한다.
프레임-레벨 구현에서, IR 레이트 제어 유닛 (48) 에 의해 생성된 IR 레이트는 인트라-코딩되어야 하는 현재의 프레임내의 MB의 고정된 퍼센트로서 표현될 수도 있다. MB-레벨 구현에서, IR 레이트는, 특정 MB가 인트라-코딩될 통계적인 확률로서 표현될 수도 있다. SSD 및 분산은 프레임-레벨 구현에 대해 프레임 레벨에서 측정되고, MB-레벨 구현에 대해 MB 레벨에서 측정된다. 채널 조건 측정치는 주기적으로 획득될 수도 있고, 프레임-레벨 IR 레이트 조정 또는 MB-레벨 IR 레이트 조정 중 하나에 대해 사용될 수도 있다.
프레임에 대한 텍스처 정보는 분산의 관점으로 표현될 수 있다. 일반적으로, 현재의 프레임 또는 MB내의 비디오 콘텐츠의 분산은 현재 콘텐츠를 인트라-코딩하는 비용을 표현한다. 프레임에서 인접한 MB들 중에서 상당한 변화가 존재하면, 인트라-코딩은 인터-코딩보다 현저하게 더 많은 비트를 요구할 것이다. 프레임으로부터 프레임으로의 SSD는 프레임으로부터 프레임으로의 모션의 양을 표현하고, 패킷 손실이 송신 채널에서 발생하면, 잠재적인 디코더 왜곡에 직접 매핑한다. 따라서, 더 높은 SSD는 에러 회복을 위해 인트라-코딩을 선호한다. 본 발명에서 설명된 적응성 IR 레이트 기술은 압축 효율과 에러-견고성 사이의 밸런스에 타격을 줄 수 있지만, 특정 데이터 레이트가 주어지면 전체 왜곡을 감소시킬 수 있다.
SSD는 프레임-레벨 구현에서 전체 프레임에 관해, 또는 MB-레벨 구현에서 같이-위치된 MB에 관해 측정될 수 있다. 임의의 모션 추정 및 보상이 수행하기 전에, SSD는, 이전의 프레임 Fn-1의 재구성 또는 본래의 버전, 및 현재의 프레임 Fn의 본래의 버전에 걸쳐 측정될 수 있다. 이러한 방식으로, 초기의 "사전-모드" 결정이 IR 레이트에 관해 수행될 수 있다. 또 다른 방법으로, 일부 실시형태에서, 모션-보상이 수행된 이후, SSD 또는 절대적 차이의 합 (SAD) 메트릭은 프레임들에 걸쳐 측정될 수 있다.
추정된 채널 손실 확률은 다양하고 상이한 방식으로 획득될 수 있다. 예로서, 추정된 채널 손실 확률은, 예를 들어, H.3xx-기반 비디오 전화통화 표준에서의 H.264 시그널링 또는 서비스의 품질 (QoS) 피드백의 형태의 실시간 전송 제어 프로토콜 (RTCP) 을 통해, 원격 단말기로부터의 수신기 피드백에 기초하여 결정될 수도 있다. 간단한 대안으로서, 채널 (16) 의 송신 및 수신 방향에서 채널 왜곡의 대칭을 가정하면, 추정된 채널 손실 확률은 원격 단말기로부터 수신된 비트스트림으로부터의 손실 통계를 사용하여 인코더 측에서 추정될 수 있다. 어느 경우에서든, SSD 및 분산과는 달리, 채널 손실 확률은 고려시에 프레임 또는 MB와의 정확한 임시적인 상관을 제공하지 않을 수도 있지만, 상대적으로 빈번하게 획득될 수 있다.
프레임-레벨 구현에서, 인트라-코딩될 MB의 퍼센트가 소정의 P 프레임에 대해 결정된 이후, 인트라-코딩될 실제 MB들은 상이한 방식으로 결정될 수 있다. IR 레이트 제어 유닛 (48) 에 의해 규정된 IR 레이트를 만족시키기 위해, 모드 선택 유닛 (46) 은 MB들, 또는 개별 MB들의 영역을 선택하도록 구성될 수도 있다. 예를 들어, MB는, MB가 프레임으로부터 프레임까지의 고정된 소정의 패턴에서 연 속적으로 및 주기적으로 인트라-리프레쉬되는 사이클릭 (cyclic) 접근법에 따라 선택될 수 있다.
또 다른 방법으로, 모드 선택 유닛 (46) 은 소정의 법칙에 따라 MB들을 구별할 수도 있다. 예를 들어, 더 낮은 분산, 예를 들어, 특정 임계값 이하의 분산을 갖는 MB는, 더 높은 분산 (및 더 높은 코딩 비용) 을 갖는 MB와 비교하여, 인트라-리프레쉬를 위해 모드 선택 유닛 (46) 에 의해 우선적으로 선택될 수 있다. 이러한 경우, 인트라-리프레쉬될 MB에 대한 탐색은 비디오 콘텐츠 및, 특히, MB에 의해 표현된 하부 비디오의 텍스처에 따라 수행된다.
또 다른 대안으로서, 다양한 랜덤 접근법이 IR에 대해 MB를 식별하기 위해 이용될 수도 있다. 예를 들어, 일부 랜덤 접근법은, MB의 랜덤 선택, 또는 랜덤에 기초한 프레임내의 MB의 상이한 영역의 선택을 포함할 수도 있다. 또 다른 접근법은 하이브리드 IR 기술을 제공하기 위해 사이클릭하고, 적응성 있고 랜덤한 양태를 결합할 수도 있다.
상술된 각각의 MB 선택 기술에 따르면, 프레임 레벨 구현에 있어서, 소정의 P 프레임내의 인트라-리프레쉬된 MB의 수는 IR 레이트 제어 유닛 (48) 에 의해 특정된 IR 레이트에 대응한다. 그러나, MB-레벨 구현에 있어서, 고려시에 MB는 IR 레이트 제어 유닛 (48) 에 의해 각각의 MB에 대해 계산된 IR 레이트에 따라 인트라-리프레쉬를 위해 선택된다. IR 레이트는 소정의 P 프레임 전반에 걸쳐 MB마다에 기초하여 결정 및 적용된다. 이러한 경우, IR 레이트는 확률로서 적용되고, 모드 선택 결과는 "확률-바이어스된 코인을 플립하는" 효과를 갖는다. 즉, 고려시에, MB가 IR 레이트 제어 유닛 (48) 에 의해 그 MB에 할당되는 높은 IR 레이트를 가지면, 모드 선택 유닛 (46) 에 의해 인트라-리프레쉬를 위해 선택될 높은 확률이 존재할 것이다.
여기에 설명된 적응성 IR 레이트 기술은, 현재의 프레임 또는 MB에 대한 비디오 콘텐츠, 예를 들어, SSD 및 분산에서의 변화들에 응답한다는 점에서 자체 콘텐츠-적응성으로 고려될 수 있다. 또한, 바람직하게도, 임의의 모션 추정 및 보상이 프레임 또는 MB에 관해 수행되기 전에 그러한 변화들이 검출될 수 있다. 일부 경우에서, 그러한 기술은 단일의 간단한 시퀀스를 사용하여 동조될 수 있고, 임의의 파라미터 또는 임계값을 부가적으로 동조 또는 설정하지 않고도 임의의 비디오 시퀀스에 적용될 수 있다. 또한, 이러한 적응성 IR 레이트 기술은, 인트라-코딩된 프레임의 주기 및 추정된 채널 손실 확률에 따라 IR 레이트를 조정함으로써, 인트라-코딩된 프레임이 사용되는 경우에 양호하게 동작할 수도 있다.
일부 실시형태에서, 또한, 프레임 레벨 또는 MB 레벨 중 하나의 레벨의 IR 레이트는, 비디오 콘텐츠 및 채널 조건과 함께, 인트라-프레임 주기, 프레임 레이트, 데이터 레이트, 프레임 사이즈 등과 같은 시스템 구성에 따라 미리-결정될 수 있다. 따라서, 이러한 적응성 IR 레이트 제어 기술은, 추정된 채널 손실 확률, SSD 및 분산에 응답할 수도 있을 뿐만 아니라 비디오 인코더 (20) 에 대해 확립된 하나 이상의 시스템 구성 파라미터에 응답할 수도 있다.
일부 실시형태에서, 더 낮은 복잡도에 있어서, IR 레이트 제어 기술은 상술된 입력들의 서브셋을 고려하기 위해 간략화될 수 있다. 예를 들어, 추정된 채 널 손실 확률, SSD, 및 분산을 고려하는 대신, 기술은 추정된 채널 손실 확률만을 고려하도록 구성될 수도 있다. 이러한 방식으로, IR 레이트 제어는, IR 레이트를 결정하기 위해 비디오 콘텐츠에 접속할 필요도 없다. 대신, IR 레이트는 추정된 채널 손실 확률에 의해서만 결정될 수 있고, 대부분의 비디오 시퀀스에 대해 동작하도록 동조될 수 있다. 이러한 제한된 기술은 효과가 다소 낮을 수도 있지만, 감소된 복잡도에 대해 바람직할 수도 있는 부가적인 옵션을 제공한다.
도 3은 예시적인 적응성 IR 기술의 동작을 도시한 흐름도이다. 도 3의 예에서, IR 레이트 제어 유닛 (48) 은 비디오 인코더 (20) 에 대해 하나 이상의 선택된 시스템 구성 파라미터들을 결정한다 (50). 상술된 바와 같이, 예를 들어, IR 레이트 제어 유닛 (48) 은 비디오 인코더 (20) 에 대해 선택된 인트라-프레임 주기, 프레임 레이트, 데이터 레이트, 및 프레임 사이즈를 결정할 수도 있다. 그 후, IR 레이트 제어 유닛 (48) 은 추정된 채널 손실 확률 (52), 프레임 변화 (54) 를 수신하며, 그들은 픽셀 변화에 의해 표현될 수도 있는 SSD 값, 및 텍스처 (56) 에 의해 표현될 수도 있다. 상술된 바와 같이, 추정된 채널 손실 확률은 다양한 방식으로 결정될 수도 있다.
추정된 채널 손실 확률, 프레임 변화 및 텍스처, 및 옵션적인 하나 이상의 시스템 구성 파라미터에 기초하여, IR 레이트 제어 유닛 (48) 은 신규한 IR 레이트를 계산하고 (58), 현재의 프레임 또는 MB에 관해 사전-모드 IR 결정의 생성 (60) 을 위해 모드 선택 유닛 (46) 으로 그 IR 레이트를 전달한다. 표시된 바와 같이, 프레임-레벨 구현에서, 그 IR 결정은 사이클릭한 IR (CIR), 적응성 IR (AIR), 또는 랜덤한 IR (RIR) 방식에 의해 수행될 수도 있다 (60). CIR 방식에 따르면, MB는 주기적인 패턴으로 리프레쉬된다. AIR 방식은, 예를 들어, 인트라-리프레쉬에 대해 MB를 선택하기 위해 분산과 같은 텍스처 정보에 기초하여, 개별 MB를 평가할 수도 있다. RIR은 인트라-리프레쉬에 대해 개별 MB 또는 MB들의 그룹들을 랜덤하게 선택하는 것을 포함한다.
각각의 경우, 인트라-리프레쉬된 MB들의 수는 IR 레이트 제어 유닛 (48) 에 의해 계산된 IR 레이트 (58) 에 대응한다. CIR, AIR, 및 RIR 양태들을 결합한 AIR, RIR 또는 하이브리드 IR의 사용은 인트라-리프레쉬의 로컬화 (localization) 를 방지할 수 있다. 하이브리드 IR 방식은, 이웃한 MB 및 프레임의 인트라-코딩된 MB와 인터-코딩된 MB 사이에서의 차이를 최소화하면서 채널 왜곡을 감소시키기 위해 사이클릭 및 적응성 리프레시 전략의 이점을 결합한다.
H.264의 예에서, 특정한 프레임에 대한 모드 결정이 인트라-코딩을 초래하면 (62), 비디오 인코더 (20) 는 공간 추정을 수행한다 (64). 모드 결정이 인터-코딩을 초래하면 (62), 비디오 인코더 (20) 는, 예를 들어, 도 2의 인터-코더 (32) 를 사용하여 모션 추정 및 공간 추정을 수행하고 (66) 사후-모드 결정을 생성한다 (68). 그 후, 프로세스는, 추정된 채널 손실 확률, SSD, 및 분산에서의 임의의 변화들에 기초하여 IR 레이트의 조정을 위해 다음의 프레임 또는 MB로 진행한다. 특히, 도 3에 도시된 바와 같이, 임의의 모션 추정이 수행되기 전에 인트라-코딩 결정이 행해진다.
예를 들어, Z.He, J.Cai 및 C.W.Chen의 2002년 6월자 비디오 기술을 위한 회 로 및 시스템에 관한 IEEE 트랜잭션 12권, 6판, 페이지 511-523의 "무선 비디오 코딩에서 적응성 모드 선택 및 레이트 제어를 위한 조인트 소스 채널 레이트-왜곡 분석 (Joint source channel rate-distortion analysis for adaptive mode selection and rate control in wireless video coding)" 에서 설명된 바와 같이, 여기에서 설명된 입력이 주어지면, IR 레이트를 결정하기 위해, IR 레이트 제어 유닛 (48) 은 소정의 타겟 코딩 비트 레이트 RS에 대해 레이트-왜곡 모델을 적용하도록 구성될 수도 있다. 그 레이트-왜곡 모델의 애플리케이션은,
Figure 112007035149025-PCT00005
와 같이 표현될 수도 있다. 총 왜곡 Dtotal을 최소화하기 위해서는,
Figure 112007035149025-PCT00006
와 같은 수학식을 만족해야 한다. IR 레이트 β를 결정하기 위해서는,
Figure 112007035149025-PCT00007
와 같은 수학식이 사용되며, 여기서,
- D (Ds＝소스 왜곡 및 Dc＝채널 왜곡) 는 인접한 프레임들 사이의 SSD에 의 해 표현되며, 잠재적인 에러 전파를 양자화한다.
- Var은 분산이고, 현재의 프레임의 복잡도 및 인트라 코딩의 비용을 양자화한다.
- p는 추정된 채널 손실 확률이다.
- a, b, c 및 d는 상수이다.
-
Figure 112007035149025-PCT00008
은 재구성된 이전의 프레임이다.
-
Figure 112007035149025-PCT00009
은 현재의 프레임이다.
IR 레이트 제어 유닛 (48) 은 인터/인트라 코딩 결정을 수행하기 위해 모드 선택 유닛 (46) 에 결과적인 IR 레이트 β를 적용하며, 그 결정은 프레임 레벨 또는 MB 레벨에서 수행될 수도 있다. 위에 표시된 바와 같이, β는 반복 또는 포괄적 탐색보다는 폐쇄-형 솔루션을 사용하여 획득된다. 이러한 상대적 간단함은 IR 레이트 제어 유닛 (48) 의 구현에서 현저하게 감소된 복잡도를 제공한다.
상기 접근법이 비교적 낮은 복잡도를 제공하지만, 복잡도에서의 추가적인 감소가 또 다른 구현에 의해 달성될 수도 있다. 일 예로서, IR 레이트 제어 모듈 (48) 은 채널 적응성 방식만을 적용하도록 구성될 수도 있으며, 그 방식에서, IR 레이트 β는,
Figure 112007035149025-PCT00010
와 같이 추정된 채널 손실 확률에만 기초하여 결정되고, 여기서, c1은 상수이다. 또 다른 대체물로서, IR 레이트 제어 유닛 (48) 은,
Figure 112007035149025-PCT00011
와 같이 IR 레이트 β를 결정하기 위해 모션 보상의 수행 이후 절대 차이의 합 (SAD) 메트릭을 적용하도록 구성될 수도 있으며, 여기서, SAD는 왜곡 D를 표현하기 위해 SSD 대신에 사용되고, C2는 또 다른 상수이다.
종래의 시스템에서, 절대 차이의-최소 합 (SAD) 의 관점에서, 소정의 MB에 대해 최상의 모션 벡터 또는 벡터들을 찾기 위해 모션-추정 탐색을 수행한 이후에 인트라/인터 모드 결정이 행해진다. 이러한 종래의 접근법은 모션-기반 인트라/인터 모드 결정으로 지칭될 수 있다. 그러나, 본 발명에 따르면, 적응성 MB 인트라-리프레쉬 (AIR) 방식은, 모션-탐색 엔진에서 수행되는 집중적인 계산에 대한 필요없이 인트라/인터 모드 결정을 허용한다.
또한, 모션-기반 인트라/인터 모드 결정 대신, 모드 선택 유닛 (46) 은 텍스처-기반 인트라/인터 모드 결정 알고리즘을 적용하도록 구성될 수도 있으며, 그 알고리즘은 분산에 의존한다. P 프레임에 대해 M개의 MB들에 대한 바람직한 리프레싱 레이트 β가 주어지면, 모드 선택 유닛 (46) 은 인트라-코딩된 MB인 최소의 텍스처 정보, 즉, 최소의 코딩 비트 요건을 갖는 MB를 선택한다. 각각의 MB에 대한 텍스처-기반 인트라/인터 모드 결정의 단계들은 다음과 같이 표현될 수 있다.
1. MB 분산을 계산하고, 예를 들어, 텍스처의 추정치를 제공한다.
2. 이전의 프레임 (또는 프레임들) 으로부터 추정된 평균 분산, 예를 들어, 이전의 프레임(들) 로부터의 평균 텍스처 비트와 그 계산된 분산을 비교한다.
3. MB의 분산이 이전의 프레임의 스케일링 (scale) 된 평균 분산보다 작으면, 그 MB를 인트라-코딩하고, 그렇지 않으면, 그 MB를 인터-코딩한다.
4. 인트라-코딩된 MB의 수가 프레임에 대해 인트라-리프레쉬 레이트 β를 만족하면, 텍스처-기반 인트라-인터 모드 결정 프로세스를 중단한다.
5. 부가적인 인트라-코딩된 MB를 초래할 수도 있는 프레임의 나머지 MB에 모션-기반 모드 결정 프로세스를 적용한다.
또한, 텍스처-기반 모드 결정 프로세스는 다음의 의사 코드에 의해 표현될 수 있다.
If (A＜α.B)
{
mode＝INTRA;
mode_Intra＋＋;
if (mode_Intra＞M) goto motion_estimation;
else
goto DCT_quantization;
}
else
goto motion_estimation; (normal operation)
여기서, A는 현재의 MB의 분산이고, B는 이전 프레임의 평균 분산이고, α는 경험적인 임계값이고, mode_Intra는, 예를 들어, IR 레이트 제어 유닛 (48) 에 의해 결정되는 바와 같이, 텍스처-기반 모드 결정을 사용하여 인트라-코딩된 MB의 카운터이며, M은 P 프레임에서 INTRA-코딩된 MB들의 바람직한 수이다. 프로세스 모션-추정은 표준 모션 추정 및 모션-기반 인트라/인터 결정을 표현한다. DCT_양자화는, 예를 들어, 도 2의 변환 유닛 (38) 및 양자화 유닛 (40) 에 의해 표준 DCT 변환 및 양자화의 애플리케이션을 표현한다.
도 4는 텍스처-기반 인트라/인터 코딩 결정 프로세스를 도시한 흐름도이다. 도 4에 도시된 바와 같이, IR 레이트 제어 유닛 (48) 은, 예를 들어 상술된 바와 같이, 추정된 채널 손실 확률, SSD, 및 분산을 사용하여 텍스처-기반 IR 레이트를 생성한다 (70). 그 후, 모드 선택 유닛 (46) 은 텍스처-기반 인트라/인터 모드 결정 (71) 을 렌더링하도록 IR 레이트를 적용한다. 텍스처-기반 인트라/인터 모드 결정 (71) 이 인트라 코딩을 호출하면 (72), 인트라-코더 (34) 가 선택되고, 인트라-코딩된 MB가 차이 유닛 (36) 및 변환 유닛 (38) 에 의한 DCT 코딩 (74) 에 적용된다.
모드 선택 유닛 (46) 에 의한 텍스처-기반 결정이 인트라-코딩을 표시하지 않으면, 비디오 인코더 (20) 는 정수-픽셀 모션 추정 탐색 (76) 에 MB를 다음에 제출하고, 예를 들어, 도 2의 인터-코더 (32) 내에서 표준 모션-기반 인트라/인터 모드 결정 (78) 을 적용한다. 인트라-코딩이 표시되면 (80), 인트라-코딩된 MB가 DCT 코딩 (74) 에 대해 제출된다. 인트라-코딩이 모션-기반 인트라/인터 모션 결정에 의해 표시되지 않으면 (80), MB는 표준 모션 보상에 제출된다. 특히, 비디오 인코더 (20) 는 모션 보상 (84) 에 선행하여 하프-픽셀 모션 추정 탐색 (82) 을 적용할 수도 있다. 그 후, 결과적인 인터-코딩된 예측은 DCT 코딩 (74) 에 선행하여 차이 유닛 (36) 에 적용된다.
여기에 설명된 바와 같이, MB가 인터-코딩 또는 인트라-코딩될 것인지의 여부를 판정하기 위해 텍스처-기반 알고리즘을 사용하는 것은, 연속적인 프레임들에서 인트라-코딩된 MB들의 반복적인 패턴, 즉, 프레임의 동일한 위치에서 인트라-코딩된 MB를 초래할 수 있다. 반복은 이웃한 프레임들에 걸쳐 통상적으로 높은 임시의 상관으로 인해 발생할 수도 있다. 일반적으로, 반복은 에러 전파의 방지에 대해 바람직하지 않은 특성이다. 특히, 통상적으로 에러는 본질적으로 랜덤하고 프레임내의 상이한 영역 (MB) 에 있다.
반복된 패턴을 방지하기 위해, 모드 선택 유닛 (46) 은 또한 랜덤화 알고리즘을 적용하도록 구성될 수도 있다. 이러한 경우, 모드 선택 유닛 (46) 은 상이한 영역, 즉, 연속적인 프레임의 "그리드 (grid)" 를 탐색함으로써 인트라-코딩된 MB의 선택을 랜덤화한다. 이러한 기술은 그리드-기반 적응성 IR (AIR) 로 지칭될 수도 있다. 이러한 그리드-기반 AIR 기술에 따라, P 프레임은 다수의 동일 영역으로 분할된다. 연속적인 프레임에서, 상이한 영역은 텍스처-기반 인트라-인터 결정의 고려를 위해 먼저 선택된다.
도 5는 텍스처-기반 인트라-인터 코딩 결정 프로세스를 지원하기 위해 3개의 상이한 탐색 그리드들 A, B, C로 세그먼트화된 비디오 프레임 F를 도시한 다이어그 램이다. 프레임 F는 예시를 위해 3개의 그리드들 A, B, C를 포함한다. 따라서, 더 크거나 더 작은 수의 그리드뿐만 아니라 상이한 그리드 사이즈는, 상이한 구현에서 이용될 수도 있다. 상술된 바와 같이, 그리드-기반 AIR 프로세스는 텍스처-기반 인트라/인터 결정 프로세스에서의 사용을 위해 그리드들 A, B, C 중 하나를 선택하기 위해 적용된다.
특정한 그리드 A, B, C의 선택 시에, 텍스처-기반 인트라/인터 결정 프로세스는 선택된 그리드에 제한되거나, 다른 그리드들을 고려하기 전에 그 그리드에서 적어도 시작한다. 선택된 그리드가 프레임에 대해 적용가능한 IR 레이트를 만족하기에 충분한 인트라-코딩된 MB를 산출하면, 텍스처-기반 인트라/인터 코딩 결정을 위해 다른 그리드들을 탐색할 필요가 없다. 그러나, 선택된 그리드 및 다른 그리드내의 MB는 모션-기반 인트라/인터 코딩 결정을 위해 재고려될 수도 있다.
임의의 경우, 연속적인 프레임들에서 텍스처-기반 인트라/인터 코딩 결정의 시작을 위해 상이한 그리드들 A, B, C를 선택함으로써, 연속적인 프레임들의 로컬화된 영역내의 인트라-코딩된 MB의 반복 또는 집중이 방지될 수 있다. 즉, 프레임으로부터 프레임까지 탐색 그리드를 회전시키므로써, 프레임으로부터 프레임까지 인트라-코딩된 MB의 지속적인 로컬화가 방지될 수 있다. 그러나, MB들의 상이한 그리드들 A, B, C의 선택 및 회전은 비교적 낮은 구현 복잡도를 표현한다.
일 예로서, 각각의 프레임에서 99개의 MB들을 갖는 QCIF (quarter common Intermediate format) 에 있어서, 프레임은,
A [0-32]
B [33-65], 및
C [66-68]
와 같이 MB의 3개의 동일한 그리드들 A, B, C로 분할될 수도 있으며, 여기서, [i1, i2] 는 그리드 경계를 표시하고, i1는 시작 MB의 인덱스이고 i2는 종료 MB의 인덱스이다. 또한, 소정의 프레임내의 3개의 그리드들의 지정은 예시를 목적을 위할 뿐이며, 제한하는 것으로 고려되지는 않는다. 또한, 그리드들은 상이한 패턴으로 회전할 수도 있다. 예를 들어, 일 프레임에서 그리드 A의 선택은, A로부터 B, C까지의 연속적인 회전보다는 다음의 프레임에서 그리드 C의 선택에 선행할 수도 있다.
도 6은, 상이하고 균일한 적응성 IR 탐색 그리드들을 갖는 9개의 P 프레임 F1 내지 F9의 시퀀스를 도시한 다이어그램이다. 도 6은, 동일한 탐색 그리드가 연속하는 프레임에서 텍스처-기반 인트라/인터 코딩 결정 프로세스에 대한 시작 포인트로서 사용되지 않도록 프레임으로부터 프레임까지 탐색 그리드의 회전을 도시한다. 예를 들어, 프레임 F1에서, 텍스처-기반 인트라/인터 코딩 결정 프로세스는 선택된 그리드 A에서 시작한다. 다음의 프레임 F2에서, 그 결정 프로세스는 상이한 그리드 B에서 시작한다. 또한, 상이한 그리드 C는 다음의 프레임 F3에서 선택된다. 이러한 방식으로, 선택된 그리드는 제 1 의 3개 프레임들 F1, F2, F3에 걸쳐 프레임-투-프레임으로 회전한다. 그 후, 프로세스는, 각각, 프레임 F4, F5에서 선택된 그리드들 A, B, C에 의해 표시된 바와 같이 다음의 3개 프 레임들에 대해, 및 프레임 F7, F8, F9에서 선택된 그리드들 A, B, C에 의해 표시된 바와 같이 다음의 3개 프레임에 대해 반복한다.
3개의 연속적인 P 프레임, 예를 들어, F1 내지 F3의 사이클에서, 프로세스는, 텍스처-기반 모드 결정을 이용하여 프레임 F1에서 인트라-코딩될 그리드 A에서의 M개의 MB를 선택함으로써 시작한다 (여기서, M＜33). 그 후, 다음의 P 프레임 F2에 있어서, 그리드 B에서의 M개의 MB가 인트라-코딩되도록 선택되고, 제 3 프레임 F3에 있어서, M개의 MB가 그리드 C에서 선택된다. 이러한 절차는, 그리드들 A, B, C, A, B, C, A, B, C 등의 이러한 패턴을 사용하여 다음의 3개의 P 프레임 F4 내지 F6에 대해 반복되고, 그 후, 다음의 3개 프레임 F7 내지 F9에 대해 반복된다. 3개의 연속적인 P 프레임의 각각의 사이클은 도 6에서 X, Y, 또는 Z로 지정된다.
또한, 이러한 프로세스는 3개의 연속적인 P 프레임에서 동일한 위치의 MB의 인트라-리프레싱을 방지한다. 그러나, 3개의 P 프레임 F1 내지 F3의 제 1 사이클 X 이후에, 인트라-리프레쉬된 MB가 제 1 사이클에서와 동일한 위치에서 다시 발생할 수도 있다. 특히, 동일한 그리드들이, 각각, P 프레임 F4 내지 F6 및 F7 내지 F9의 다음의 2개의 사이클 Y, Z에서 선택된다. P 프레임에서 매 MB마다 리프레싱할 기회를 증가시키기 위해, 각각의 MB에 대한 인트라/인터 모드 결정은 IR이 수행되는 그리드에만 저장될 수도 있다. 이러한 방식으로, MB에 대한 너무 신속한 인트라-리프레싱의 반복이 회피된다.
도 5 및 6의 예에서, 그리드-기반 AIR 기술은 3개의 균일한 사이즈의 그리드 들로 각각의 프레임을 분할한다. 도 7은 상이하고 비균일한 적응성 IR 탐색 그리드를 갖는 9개의 P 프레임의 시퀀스를 도시한 다이어그램이다. 3개의 프레임들 F1, F2, F3의 제 1 시리즈 X에서, 동일한 사이즈의 그리드들 A, B, C은, 각각, IR 결정 프로세스에 대해 선택된다. 그러나, 프레임들 F4, F5, F6의 제 2 시리즈 Y에서, 개별 그리드들 A, B, C의 사이즈는 변한다. 특히, 도 7의 예에서, 프레임 F4의 그리드 A는 프레임 F1의 그리드 A보다 실질적으로 더 작지만, 프레임 F5의 그리드 B는 프레임 F2의 그리드 B보다 실질적으로 더 크다. 또한, 프레임 F6의 그리드 C는 프레임 F3의 그리드 C보다 실질적으로 더 작다. 3개의 프레임들 F7, F8, F9의 다음의 시리즈 Z에서, 오름 차순으로 그리드 B가 가장 작고, 그 다음은 그리드 C 그리고 그리드 A이다.
도 7에 도시된 바와 같이 연속적인 프레임 시리즈들 사이의 비균일 그리드 사이즈에 의존하는 접근법은, 프레임으로부터 프레임까지 동일한 위치에서 인트라-코딩된 MB의 반복에 대해 부가된 측정치를 제공할 수 있다. 일부 경우, 시작 그리드의 사이즈는, 텍스처-기반 인트라/인터 결정 프로세스가 또 다른 그리드로 확장되는 것을 보장하기에 충분히 작을 수도 있다. 예를 들어, 프레임 F6에서, 시작 그리드 C가 매우 작으므로 IR 레이트는 그 그리드의 MB의 수를 초과할 수도 있을 것이다. 이러한 경우, 텍스처-기반 인트라/인터 결정 프로세스는 다음의 지정된 그리드로 확장하며, 그 지정된 그리드는 구현에 의존하여 프레임 F6의 A 그리드 또는 B 그리드 중 하나의 그리드일 수도 있다.
또 다른 옵션으로서, 하이브리드 IR (HIR) 방식이 CIR, AIR, 또는 RIR과 같 은 단일 타입의 IR 대신 사용될 수도 있다. 일 예로서, 하이브리드 IR 방식은 CIR 및 AIR 양자의 양태를 결합할 수도 있으며, 그 결과, 개선된 에러 회복 성능 및 더 양호한 비주얼 품질을 초래한다. 예를 들어, 높은 IR 레이트만을 갖는 사이클릭 IR을 사용하는 것은, 연속하는 프레임들에서 방해되는 파동-형 비주얼 아더팩트 (artifact) 를 초래할 수도 있다. 한편, AIR에만 의존하는 것은 가능한 IR에 대해 프레임의 모든 MB의 고려를 허용하지 않을 수도 있다. 사이클릭 및 적응성 리프레싱 패턴의 이점을 결합한 하이브리드 IR은, 단독의 CIR 또는 AIR 보다 개선된 성능을 제공할 수 있다.
하이브리드 IR 방식에 따르면, IR 레이트의 퍼센트는 CIR과 AIR 사이에 분포될 수도 있다. CIR에 적용된 IR 레이트의 퍼센트는 표준 CIR 방식에 의해 달성되며, 그 CIR 방식에서, MB는 소정의 패턴으로 순차적으로 및 주기적으로 인트라-리프레쉬된다. 여기에서 설명된 바와 같이, AIR에 적용된 IR 레이트의 퍼센트는 적응성 IR 방식에 의해 달성되며, 그 방식에서, 텍스처-기반 인트라/인터 결정 프로세스는 프레임내의 개별 MB에 적용된다. AIR에 있어서, 더 낮은 분산을 갖는 MB는 인트라-리프레싱을 위해 선택되는 것이 바람직하다. 반면, 일반적으로, 텍스처 정보는 CIR에 대해 중요하지 않다. IR 하이브리드 방식에서, CIR 및 AIR은 향상된 성능을 제공하기 위해 결합된다.
도 8은 CIR 및 하이브리드 IR 방식에 대한 비교 실험 결과를 도시한 그래프이다. 도 8의 그래프는 5개의 상이한 IR 방식에 있어서 블록 에러 레이트 (BLER) 에 대한 피크 신호 대 노이즈 비 (PSNR) 를 나타낸다. 10퍼센트 IR 레 이트에서 CIR만의 제 1 방식의 성능은 커브 (96) 에 의해 표현된다. 커브 (98) 는, 5%의 총 IR 레이트에 대해 2퍼센트의 CIR 및 3퍼센트의 AIR을 결합한 하이브리드 방식의 성능을 표현한다. 커브 (100, 102 및 104) 는, 각각, 7/3, 3/7 및 5/5의 퍼센트로 CIR/AIR을 결합한 하이브리드 방식에 대한 성능 결과를 표현한다. 도 8의 그래프는 15fps 및 48kbps로 인코딩된 QCIF 프레임 시퀀스 (모-녀 (Mother-Daughter)) 에 대한 결과를 표현한다.
도 9 내지 12는 다양한 IR 기술에 대한 비교 실험 결과를 도시한 부가적인 그래프이다. 도 9 내지 12의 그래프에 대한 조건은, 인코딩 레이트＝48Kbps이고, 인트라-프레임 주기는 400이고, 프레임 길이는 150이며, PSNR은 dB로 측정된다는 것이었다. 각각의 경우, 다수의 비디오 시퀀스가 사용되었다.
도 9에서, 커브 (106, 108, 110, 112 및 114) 는, 포어먼 (Foreman) 시퀀스에 대한 인트라-프레임 주기 400을 이용하여, 각각, (1) 0 퍼센트 IR, (2) 5% 표준 RIR, (3) 10% 표준 RIR, (4) 여기에서 설명된 바와 같은 추정된 채널 손실 확률, SSD 및 분산을 사용하는 적응성 RIR, 및 (5) 추정된 채널 손실 확률만을 사용하는 적응성 RIR에 대한 결과를 표현한다. 도 10은 도 9와 동일한 실험을 표현하지만, 모-녀 시퀀스에 대한 결과를 나타낸다.
도 11 및 12에서, 커브 (116, 118, 120, 122, 124) 는, 각각, (1) 0 퍼센트 IR, (2) 5% 표준 RIR, (3) 10% 표준 RIR, (4) 최적의 적응성 RIR, 및 (5) 모션 보상후에 SAD 메트릭을 사용하는 적응성 RIR에 대한 결과를 표현한다. 최적의 적응성 RIR 방식은 임의의 근사값 또는 대입없이 정확한 측정치를 사용한다. 도 11 및 12 양자는 포어먼 및 모-녀 시퀀스에 대한 인트라-프레임 주기 400에 관한 것이다.
도 13은 또 다른 실시형태에 있어서 인트라-프레임 주기에 따른 IR 조정을 도시한 다이어그램이다. 일반적으로, 이러한 애플리케이션은, 인트라-프레임 주기가 비교적 긴 경우에 대하여 채널 적응성 접근법 또는 비디오 콘텐츠 및 채널 적응성 접근법을 사용하여 IR 레이트의 조정을 설명한다. 인트라 프레임이 더 작은 주기에서 더 빈번하게 사용되는 경우, MB의 IR 레이트는 감소될 수 있다. 따라서, 본 발명은, 비디오 콘텐츠 및 채널 조건뿐만 아니라 인트라-프레임 주기에 기초하여 IR 레이트의 조정을 추가적으로 고려한다. 이러한 경우, 추정된 채널 손실 확률, 프레임-투-프레임 변화 및 인트라-프레임 텍스처를 사용하여 생성된 IR 레이트는 우세한 인트라-프레임 주기에 따라 추가적으로 조정될 수 있다.
긴 인트라-주기 경우에 있어서, 일반적으로, IR 레이트는 β1, 추정된 채널 손실 확률은 P, 인트라-프레임 주기는 I, 및 조정된 IR 레이트는 β로 나타낸다. 인트라-프레임 주기에 따른 조정은 인트라-프레임 주기 I의 3개의 상이한 영역 (130, 132 및 134) 의 관점에서 설명될 수 있다. 영역 (130, 132, 134) 에서, 인트라-프레임 주기는, 각각, 1/(2p) 보다 작고, 1/(2p) 와 2/p 사이이며, 2/p보다 더 크다. 이들 영역들에서, 추정된 채널 손실 확률, 프레임-투-프레임 변화 및 인트라-프레임 텍스처에 기초하여 결정된 IR 레이트 β는, 또한,
Figure 112007035149025-PCT00012
와 같이 인트라-프레임 주기 I의 함수로서 조정될 수 있으며, 여기서, f는 현재의 프레임과 가장 최근의 인트라 프레임 사이의 거리이고, 1≤f≤I―1이다.
인트라-프레임 주기 I가 충분히 큰 경우, IR 레이트 β는 조정될 필요가 없다. I가 충분히 작은 경우, MB의 IR은 필요하지 않다. 다른 경우, IR 레이트는 현재의 프레임에서 가장 최근의 인트라 프레임까지의 거리에 따라 선형적으로 감쇠된다. 이러한 접근법은, 현재의 프레임이 다음의 인트라-프레임 리프레쉬로부터 더 떨어져 있는 경우, 잠재적인 에러 전파로부터 기인하는 열화를 감소시키기 위해 프레임이 인트라 MB로 더 중요하게 보호되어야 한다는 것을 인식한다.
도 14 및 15는 도 13에 도시된 바와 같은 기술을 사용하여 다양한 IR 기술에 대한 실험 결과를 도시한 그래프이다. 도 14 및 15에서, 커브 (136, 138, 140, 142 및 144) 는, 각각, (1) 0 퍼센트 IR, (2) 5% 표준 RIR, (3) 10% 표준 RIR, (4) 여기에서 설명된 바와 같은 추정된 채널 손실 확률, SSD 및 분산을 사용하는 적응성 RIR, 및 (5) 추정된 채널 손실 확률만을 사용하는 적응성 RIR에 대한 결과를 표현한다.
도 14 및 15 양자에서, 비교적 짧은 인트라-프레임 주기 15가 적용된다. 그러나, 도 14는 포어먼 시퀀스를 표현하지만, 도 15는 모-녀 시퀀스를 표현한다. 도 14 및 15는, 인트라-프레임 주기가 작은 경우 (15 프레임), IR 성능을 도시한다. 2%의 손실 레이트에서, MB의 IR은 사용되지 않는다. 4% 및 6%의 손실 레이트에서, 도 13을 참조하여 상술된 바와 같이, IR 레이트는 β에 대한 인트라-리프레쉬 주기 조정식에 따라 결정된다. 도 14 및 15의 결과는, MB-레벨의 IR이 작은 인트라-프레임 주기 및 낮은 손실 레이트의 경우에서 얼마나 완만하게 백 오프 (back off) 될 수 있는 지를 명시한다.
다양한 실시형태들이 설명되어 왔다. 이들 및 다른 실시형태들은 다음의 청구항의 범위내에 존재한다.

Claims (36)

  1. 현재의 프레임과 또 다른 프레임 사이의 프레임-투-프레임 변화의 측정치를 획득하는 단계;
    상기 현재의 프레임에 대한 텍스처 정보를 획득하는 단계; 및
    상기 프레임-투-프레임 변화 및 상기 텍스처 정보에 기초하여 상기 현재의 프레임에 대한 인트라-리프레쉬 (IR) 레이트를 생성하는 단계를 포함하는, 비디오 인코딩 방법.
  2. 제 1 항에 있어서,
    상기 프레임-투-프레임 변화의 측정치를 획득하는 단계는, 상기 현재의 프레임과 다른 프레임 사이의 차이의 제곱 합 (SSD) 값을 획득하는 단계를 포함하며,
    상기 텍스처 정보는 상기 현재의 프레임내의 텍스처 복잡도의 특징을 나타내는, 비디오 인코딩 방법.
  3. 제 1 항에 있어서,
    상기 텍스처 정보는 픽셀 변화에 기초하는, 비디오 인코딩 방법.
  4. 제 1 항에 있어서,
    채널 손실 확률의 추정치를 획득하는 단계를 더 포함하며,
    IR 레이트 생성 단계는, 상기 채널 손실 확률 추정치, 상기 프레임-투-프레임 변화의 측정치 및 상기 텍스처 복잡도에 기초하여 상기 현재의 프레임에 대한 IR 레이트를 생성하는 단계를 포함하는, 비디오 인코딩 방법.
  5. 제 4 항에 있어서,
    상기 채널 손실 확률의 추정치를 획득하는 단계는, 원격 단말기로부터 수신된 제어 메세지를 사용하거나 원격 단말기로부터 송신된 정보의 손실에 기초하여 상기 추정치를 획득하는 단계를 포함하는, 비디오 인코딩 방법.
  6. 제 1 항에 있어서,
    상기 IR 레이트에 기초하여 상기 현재의 프레임내의 모든 매크로블록 (MB) 에 대해 인터-코딩 또는 인트라-코딩을 선택하는 단계를 더 포함하는, 비디오 인코딩 방법.
  7. 제 1 항에 있어서,
    상기 IR 레이트에 기초하여 상기 현재의 프레임내의 개별 매크로블록 (MB) 에 대해 인터-코딩 또는 인트라-코딩을 선택하는 단계를 더 포함하는, 비디오 인코딩 방법.
  8. 제 1 항에 있어서,
    프레임 마다에 기초하여 상기 IR 레이트를 업데이트하는 단계를 더 포함하는, 비디오 인코딩 방법.
  9. 제 1 항에 있어서,
    상기 현재의 프레임내의 매크로블록 마다에 기초하여 상기 IR 레이트를 업데이트하는 단계를 더 포함하는, 비디오 인코딩 방법.
  10. 제 1 항에 있어서,
    각각이 상기 현재의 프레임내의 매크로블록 (MB) 의 서브세트를 포함하는, 상기 현재의 프레임내의 복수의 그리드들 중 하나의 그리드를 선택하는 단계; 및
    상기 선택된 그리드내의 매크로블록 (MB) 에 대해 인트라-코딩을 선택하도록 상기 IR 레이트를 적용하는 단계를 더 포함하는, 비디오 인코딩 방법.
  11. 제 10 항에 있어서,
    복수의 연속하는 프레임들의 각각에서 상이한 그리드들을 선택하는 단계를 더 포함하며, 상기 그리드들의 각각은 실질적으로 동일한 수의 MB를 포함하는, 비디오 인코딩 방법.
  12. 제 10 항에 있어서,
    복수의 연속하는 프레임들의 각각에서 상이한 그리드들을 선택하는 단계를 더 포함하며, 상기 그리드들은 상이한 수의 MB를 포함하는, 비디오 인코딩 방법.
  13. 제 1 항에 있어서,
    상기 MB와 관련된 텍스처 정보 및 IR 레이트에 기초하여 상기 현재의 프레임내의 매크로블록 (MB) 에 대해 인터-코딩 또는 인트라-코딩을 선택하는 단계를 더 포함하는, 비디오 인코딩 방법.
  14. 제 13 항에 있어서,
    매크로블록 (MB) 의 사이클릭 (cyclical) 패턴의 선택과 상기 MB와 관련된 텍스처 정보에 기초한 MB의 선택의 조합에 기초하여 상기 현재의 프레임내의 MB에 대해 인터-코딩 또는 인트라-코딩을 선택하는 단계를 더 포함하는, 비디오 인코딩 방법.
  15. 제 1 항에 있어서,
    인트라-프레임 주기에 기초하여 상기 IR 레이트를 조정하는 단계를 더 포함하는, 비디오 인코딩 방법.
  16. 현재의 프레임과 또 다른 프레임 사이의 프레임-투-프레임 변화의 측정치 및 상기 현재의 프레임에 대한 텍스처 정보에 기초하여 상기 현재의 프레임에 대해 인트라-리프레쉬 (IR) 레이트를 생성하는 IR 레이트 제어 유닛; 및
    상기 IR 레이트에 기초하여 상기 현재의 프레임내의 매크로블록 (MB) 에 대해 인터-코딩 또는 인트라-코딩을 선택하는 모드 선택 유닛을 포함하는, 비디오 인코더.
  17. 제 16 항에 있어서,
    상기 프레임-투-프레임 변화는 상기 현재의 프레임과 다른 프레임 사이의 차이의 제곱 합 (SSD) 값이고, 상기 텍스처 정보는 상기 현재의 프레임내의 텍스처 복잡도의 특징을 나타내는, 비디오 인코더.
  18. 제 16 항에 있어서,
    상기 텍스처 정보는 픽셀 변화에 기초하는, 비디오 인코더.
  19. 제 16 항에 있어서,
    상기 IR 레이트 제어 유닛은 상기 현재의 프레임과 또 다른 프레임 사이의 프레임-투-프레임 변화의 상기 측정치, 상기 현재의 프레임에 대한 상기 텍스처 정보 및 추정된 채널 손실 확률에 기초하여 상기 IR 레이트를 생성하는, 비디오 인코더.
  20. 제 19 항에 있어서,
    채널 손실 확률의 추정치는 원격 단말기로부터 수신된 제어 메세지, 또는 원 격 단말기에 의해 송신된 정보의 손실에 기초하는, 비디오 인코더.
  21. 제 16 항에 있어서,
    상기 모드 선택 유닛은 상기 IR 레이트에 기초하여 상기 현재의 프레임내의 모든 매크로블록 (MB) 에 대해 인터-코딩 또는 인트라-코딩을 선택하는, 비디오 인코더.
  22. 제 16 항에 있어서,
    상기 모드 선택 유닛은 상기 IR 레이트에 기초하여 상기 현재의 프레임내의 개별 매크로블록 (MB) 에 대해 인터-코딩 또는 인트라-코딩을 선택하는, 비디오 인코더.
  23. 제 16 항에 있어서,
    상기 IR 레이트 제어 유닛은 프레임 마다에 기초하여 상기 IR 레이트를 업데이트하는, 비디오 인코더.
  24. 제 16 항에 있어서,
    상기 IR 레이트 제어 유닛은 상기 현재의 프레임내의 매크로블록 마다에 기초하여 상기 IR 레이트를 업데이트하는, 비디오 인코더.
  25. 제 16 항에 있어서,
    상기 모드 선택 유닛은, 각각이 상기 현재의 프레임내의 매크로블록 (MB) 의 서브세트를 포함하는, 상기 현재의 프레임내의 복수의 그리드들 중 하나의 그리드를 선택하고, 상기 선택된 그리드내의 매크로블록 (MB) 에 대해 인트라-코딩을 선택하도록 상기 IR 레이트를 적용하는, 비디오 인코더.
  26. 제 25 항에 있어서,
    상기 모드 선택 유닛은 복수의 연속하는 프레임들의 각각에서 상이한 그리드들을 선택하고, 상기 그리드들의 각각은 실질적으로 동일한 수의 MB를 포함하는, 비디오 인코더.
  27. 제 25 항에 있어서,
    상기 모드 선택 유닛은 복수의 연속하는 프레임들의 각각에서 상이한 그리드들을 선택하고, 상기 그리드들은 상이한 수의 MB를 포함하는, 비디오 인코더.
  28. 제 16 항에 있어서,
    상기 모드 선택 유닛은, 상기 MB와 관련된 텍스처 정보 및 IR 레이트에 기초하여 상기 현재의 프레임내의 매크로블록 (MB) 에 대해 인터-코딩 또는 인트라-코딩을 선택하는, 비디오 인코더.
  29. 제 16 항에 있어서,
    상기 모드 선택 유닛은, 매크로블록 (MB) 의 사이클릭 패턴의 선택과 상기 MB와 관련된 텍스처 정보에 기초한 MB의 선택의 조합에 기초하여 상기 현재의 프레임내의 MB에 대해 인터-코딩 또는 인트라-코딩을 선택하는, 비디오 인코더.
  30. 제 16 항에 있어서,
    상기 IR 레이트 제어 유닛은 인트라-프레임 주기에 기초하여 상기 IR 레이트를 조정하는, 비디오 인코더.
  31. 비디오 인코더내의 프로세서로 하여금,
    현재의 프레임과 또 다른 프레임 사이의 프레임-투-프레임 변화의 측정치를 획득하고;
    상기 현재의 프레임에 대한 텍스처 정보를 획득하며;
    상기 프레임-투-프레임 변화 및 상기 텍스처 정보에 기초하여 상기 현재의 프레임에 대해 인트라-리프레쉬 (IR) 레이트를 생성하게 하는 명령을 포함하는, 컴퓨터-판독가능 매체.
  32. 제 31 항에 있어서,
    상기 프로세서로 하여금,
    상기 현재의 프레임과 다른 프레임 사이의 차이의 제곱 합 (SSD) 값으로서 상기 프레임-투-프레임 변화를 획득하게 하는 명령을 더 포함하며,
    상기 텍스처 정보는 상기 현재의 프레임의 텍스처 복잡도의 특징을 나타내는, 컴퓨터-판독가능 매체.
  33. 제 31 항에 있어서,
    상기 텍스처 정보는 픽셀 변화에 기초하는, 컴퓨터-판독가능 매체.
  34. 제 31 항에 있어서,
    상기 프로세서로 하여금,
    채널 손실 확률의 추정치를 획득하고, 상기 채널 손실 확률 추정치, 상기 프레임-투-프레임 변화 및 상기 텍스처 정보에 기초하여 상기 IR 레이트를 생성하게 하는 명령을 더 포함하는, 컴퓨터-판독가능 매체.
  35. 현재의 비디오 프레임의 비디오 콘텐츠에 기초하여 상기 현재의 비디오 프레임에 대해 인트라-리프레쉬 (IR) 레이트를 생성하는 단계; 및
    상기 IR 레이트에 기초하여 상기 현재의 프레임내의 매크로블록 (MB) 에 대해 인터-코딩 또는 인트라-코딩을 선택하는 단계를 포함하는, 비디오 인코딩 방법.
  36. 현재의 비디오 프레임의 비디오 콘텐츠에 기초하여 상기 현재의 비디오 프레임에 대해 인트라 리프레쉬 (IR) 레이트를 생성하는 IR 레이트 제어 유닛; 및
    상기 IR 레이트에 기초하여 상기 현재의 프레임내의 매크로블록 (MB) 에 대해 인터-코딩 또는 인트라-코딩을 선택하는 모드 선택 유닛을 포함하는, 비디오 인코더.
KR1020077010820A 2004-10-12 2005-10-12 디지털 비디오 인코딩용 적응성 인트라-리프레쉬 KR20070072578A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US61838304P 2004-10-12 2004-10-12
US60/618,383 2004-10-12
US11/025,297 US8948266B2 (en) 2004-10-12 2004-12-28 Adaptive intra-refresh for digital video encoding
US11/025,297 2004-12-28

Publications (1)

Publication Number Publication Date
KR20070072578A true KR20070072578A (ko) 2007-07-04

Family

ID=35636952

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077010820A KR20070072578A (ko) 2004-10-12 2005-10-12 디지털 비디오 인코딩용 적응성 인트라-리프레쉬

Country Status (6)

Country Link
US (1) US8948266B2 (ko)
EP (1) EP1805997B1 (ko)
JP (1) JP4728339B2 (ko)
KR (1) KR20070072578A (ko)
CN (1) CN101138250B (ko)
WO (1) WO2006042323A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120002996A (ko) * 2009-03-23 2012-01-09 온라이브, 인크. 선택된 타일 및 타일 회전 패턴을 이용하여 비디오를 인코딩하기 위한 시스템 및 방법
KR20140028059A (ko) * 2011-05-04 2014-03-07 캐비엄, 인코포레이티드 엔드-투-엔드 코딩된 영상 전송 시스템을 위한 온 디맨드 방식의 인트라-리프레쉬
KR20150038011A (ko) * 2012-09-07 2015-04-08 인텔 코포레이션 모션 및 품질 적응 롤링 인트라 리프레쉬

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8366552B2 (en) * 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
US9138644B2 (en) * 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US8526490B2 (en) 2002-12-10 2013-09-03 Ol2, Inc. System and method for video compression using feedback including data related to the successful receipt of video content
US8711923B2 (en) 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
US9446305B2 (en) 2002-12-10 2016-09-20 Sony Interactive Entertainment America Llc System and method for improving the graphics performance of hosted applications
US10201760B2 (en) 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion
US8979655B2 (en) 2002-12-10 2015-03-17 Ol2, Inc. System and method for securely hosting applications
US9227139B2 (en) 2002-12-10 2016-01-05 Sony Computer Entertainment America Llc Virtualization system and method for hosting applications
US8549574B2 (en) 2002-12-10 2013-10-01 Ol2, Inc. Method of combining linear content and interactive content compressed together as streaming interactive video
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US9061207B2 (en) * 2002-12-10 2015-06-23 Sony Computer Entertainment America Llc Temporary decoder apparatus and method
US9192859B2 (en) 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
US20090118019A1 (en) * 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US9077991B2 (en) * 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US9237347B2 (en) * 2005-03-21 2016-01-12 The Regents Of The University Of California Systems and methods for video compression for low bit rate and low latency video communications
EP3032754B1 (en) 2006-03-20 2020-05-20 Optis Wireless Technology, LLC Radio communication mobile station apparatus and radio communication method
JP2009540636A (ja) * 2006-06-09 2009-11-19 トムソン ライセンシング ビデオ・ピクチャを符号化するためにビット・バジェットを適応的に求める方法及び装置
US9247260B1 (en) 2006-11-01 2016-01-26 Opera Software Ireland Limited Hybrid bitmap-mode encoding
US8711929B2 (en) * 2006-11-01 2014-04-29 Skyfire Labs, Inc. Network-based dynamic encoding
US8443398B2 (en) * 2006-11-01 2013-05-14 Skyfire Labs, Inc. Architecture for delivery of video content responsive to remote interaction
US8375304B2 (en) * 2006-11-01 2013-02-12 Skyfire Labs, Inc. Maintaining state of a web page
US8233023B2 (en) * 2007-01-06 2012-07-31 Samsung Electronics Co., Ltd Method and apparatus for controlling intra-refreshing in a video telephony communication system
US8630512B2 (en) * 2007-01-25 2014-01-14 Skyfire Labs, Inc. Dynamic client-server video tiling streaming
US8737485B2 (en) * 2007-01-31 2014-05-27 Sony Corporation Video coding mode selection system
US20080247468A1 (en) * 2007-04-05 2008-10-09 Interuniversitair Microelektronica Centrum Vzw (Imec) Method and system for performing rate control adapted to channel conditions
AU2008333829B2 (en) * 2007-12-05 2013-10-03 Sony Computer Entertainment America Llc System and method for compressing video based on detected intraframe motion
US9168457B2 (en) 2010-09-14 2015-10-27 Sony Computer Entertainment America Llc System and method for retaining system state
US8406296B2 (en) * 2008-04-07 2013-03-26 Qualcomm Incorporated Video refresh adaptation algorithms responsive to error feedback
US8780986B2 (en) * 2008-06-06 2014-07-15 Apple Inc. Refresh pixel group selection and coding adjustment
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
CN102067610B (zh) * 2008-06-16 2013-07-10 杜比实验室特许公司 基于视频编码的切片依赖性的码率控制模型适配
US20100014715A1 (en) * 2008-07-17 2010-01-21 Siou-Shen Lin Image processing apparatus having texture information consideration and method thereof
US8724707B2 (en) * 2009-05-07 2014-05-13 Qualcomm Incorporated Video decoding using temporally constrained spatial dependency
US9113169B2 (en) * 2009-05-07 2015-08-18 Qualcomm Incorporated Video encoding with temporally constrained spatial dependency for localized decoding
CN101998101A (zh) * 2009-08-31 2011-03-30 中兴通讯股份有限公司 可视电话的视频数据接收和发送系统、视频数据处理方法
US8477846B2 (en) * 2009-10-07 2013-07-02 Ittiam Systems (P) Ltd. System and method for adaptive intra refresh rate setting in a video encoder
JP5667364B2 (ja) 2010-02-10 2015-02-12 株式会社メガチップス 画像符号化装置
US9426477B2 (en) * 2010-02-25 2016-08-23 International Business Machines Corporation Method and apparatus for encoding surveillance video
JP2011233991A (ja) * 2010-04-26 2011-11-17 Hitachi Consumer Electronics Co Ltd 符号化装置および符号化方法
CN102271250B (zh) * 2010-06-01 2013-04-17 杭州华三通信技术有限公司 一种帧内宏块刷新方法和装置
US20120057629A1 (en) * 2010-09-02 2012-03-08 Fang Shi Rho-domain Metrics
US20120106632A1 (en) * 2010-10-28 2012-05-03 Apple Inc. Method and apparatus for error resilient long term referencing block refresh
CN107071487B (zh) 2010-11-04 2020-09-15 Ge视频压缩有限责任公司 支持区块合并和跳过模式的图像编码
WO2012108919A2 (en) * 2011-02-11 2012-08-16 Intel Corporation Media stream over pass through mechanism
GB2492330B (en) 2011-06-24 2017-10-18 Skype Rate-Distortion Optimization with Encoding Mode Selection
GB2492329B (en) 2011-06-24 2018-02-28 Skype Video coding
GB2492163B (en) 2011-06-24 2018-05-02 Skype Video coding
US8902248B1 (en) 2011-07-14 2014-12-02 Vmware, Inc. Method and system for measuring display performance of a remote application
GB2493777A (en) 2011-08-19 2013-02-20 Skype Image encoding mode selection based on error propagation distortion map
GB2495469B (en) 2011-09-02 2017-12-13 Skype Video coding
GB2495467B (en) 2011-09-02 2017-12-13 Skype Video coding
GB2495468B (en) 2011-09-02 2017-12-13 Skype Video coding
KR102588425B1 (ko) * 2011-11-11 2023-10-12 지이 비디오 컴프레션, 엘엘씨 적응적 분할 코딩
EP2777284B1 (en) 2011-11-11 2018-09-05 GE Video Compression, LLC Effective wedgelet partition coding using spatial prediction
WO2013068562A1 (en) 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Effective wedgelet partition coding
HUE036756T2 (hu) 2011-11-11 2018-07-30 Ge Video Compression Llc Effektív elõrebecslés partíció kódolás használatával
US9674265B2 (en) 2013-11-04 2017-06-06 Vmware, Inc. Filtering unnecessary display updates for a networked client
US9674518B2 (en) * 2013-12-20 2017-06-06 Vmware, Inc. Measuring remote video display with embedded pixels
US9699247B2 (en) 2014-06-17 2017-07-04 Vmware, Inc. User experience monitoring for application remoting
WO2016154888A1 (zh) * 2015-03-31 2016-10-06 深圳市大疆创新科技有限公司 一种图像编码的方法及编码装置
CN106488229B (zh) * 2015-09-01 2022-01-21 恩智浦美国有限公司 具有可调整帧内刷新率的视频编码器
EP3809700B1 (en) * 2019-10-16 2022-02-16 Axis AB Periodic intra refresh pattern for video encoding
EP3829169B1 (en) * 2019-11-29 2021-10-13 Axis AB Method for intra refresh encoding of a plurality of image frames using convex and concave distribution functions
US20240291882A1 (en) * 2023-02-27 2024-08-29 Microsoft Technology Licensing, Llc Video Encoding Dynamic Reference Frame Selection

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5057916A (en) 1990-11-16 1991-10-15 General Instrument Corporation Method and apparatus for refreshing motion compensated sequential video images
JPH07298272A (ja) * 1994-04-28 1995-11-10 Canon Inc 映像符号化装置
US5754754A (en) * 1995-07-26 1998-05-19 International Business Machines Corporation Transmission order based selective repeat data transmission error recovery system and method
US5991403A (en) * 1996-12-23 1999-11-23 Intel Corporation Recoverable cryptographic transformation on YUV data suitable for compressions
EP0898427A4 (en) * 1997-02-13 2004-04-28 Mitsubishi Electric Corp ANIMATED IMAGE ESTIMATION SYSTEM
JP3063715B2 (ja) * 1997-12-19 2000-07-12 日本電気株式会社 画像圧縮装置
GB9817292D0 (en) * 1998-08-07 1998-10-07 Nokia Mobile Phones Ltd Digital video coding
JP2000308065A (ja) * 1999-04-22 2000-11-02 Matsushita Electric Ind Co Ltd 動画伝送装置
US7072398B2 (en) * 2000-12-06 2006-07-04 Kai-Kuang Ma System and method for motion vector generation and analysis of digital video clips
JP2001359102A (ja) 2000-06-12 2001-12-26 Matsushita Electric Ind Co Ltd 画像符号化方法及び画像符号化装置
JP4644939B2 (ja) 2001-01-17 2011-03-09 日本電気株式会社 動画像符号化装置および動画像符号化方法
JP2004532540A (ja) 2001-03-05 2004-10-21 インタービデオインコーポレイテッド 誤り耐性のある符号化のためのシステム及び方法
US6671322B2 (en) * 2001-05-11 2003-12-30 Mitsubishi Electric Research Laboratories, Inc. Video transcoder with spatial resolution reduction
US6842484B2 (en) 2001-07-10 2005-01-11 Motorola, Inc. Method and apparatus for random forced intra-refresh in digital image and video coding
US7020203B1 (en) 2001-12-21 2006-03-28 Polycom, Inc. Dynamic intra-coded macroblock refresh interval for video error concealment

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120002996A (ko) * 2009-03-23 2012-01-09 온라이브, 인크. 선택된 타일 및 타일 회전 패턴을 이용하여 비디오를 인코딩하기 위한 시스템 및 방법
KR20140028059A (ko) * 2011-05-04 2014-03-07 캐비엄, 인코포레이티드 엔드-투-엔드 코딩된 영상 전송 시스템을 위한 온 디맨드 방식의 인트라-리프레쉬
KR20150038011A (ko) * 2012-09-07 2015-04-08 인텔 코포레이션 모션 및 품질 적응 롤링 인트라 리프레쉬

Also Published As

Publication number Publication date
US20060078051A1 (en) 2006-04-13
CN101138250A (zh) 2008-03-05
CN101138250B (zh) 2011-09-28
WO2006042323A3 (en) 2006-09-08
WO2006042323A2 (en) 2006-04-20
US8948266B2 (en) 2015-02-03
JP2008516561A (ja) 2008-05-15
EP1805997A2 (en) 2007-07-11
EP1805997B1 (en) 2013-07-10
JP4728339B2 (ja) 2011-07-20

Similar Documents

Publication Publication Date Title
US8948266B2 (en) Adaptive intra-refresh for digital video encoding
US8873626B2 (en) Template matching for video coding
US8311120B2 (en) Coding mode selection using information of other coding modes
KR100942395B1 (ko) 다층 비디오 설계를 위한 레이트 제어
US8995527B2 (en) Block type signalling in video coding
JP5350404B2 (ja) 早いマクロブロック・デルタｑｐの決定
JP5372754B2 (ja) 適応性のあるビデオフレーム補間
US8406297B2 (en) System and method for bit-allocation in video coding
WO2011006004A1 (en) Non-zero rounding and prediction mode selection techniques in video encoding
JP2004201298A (ja) 画像のシーケンスを適応的に符号化するシステムおよび方法
EP2452503A1 (en) Non-zero rounding and prediction mode selection techniques in video encoding
WO2012175722A1 (en) Mode decision with perceptual - based intra switching
KR101136771B1 (ko) 다른 코딩 모드의 정보를 이용한 코딩 모드 선택
KR100584366B1 (ko) 동영상 압축을 위한 부호화 시스템
Wei et al. Fast mode decision for error resilient video coding
KR20090005943A (ko) 저지연 영상 통신 시스템 및 방법
Pereira Analysis for Video Coding: Moving It from the Encoder to the Decoder

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20080818

Effective date: 20091126

J2X1 Appeal (before the patent court)

Free format text: APPEAL AGAINST DECISION TO DECLINE REFUSAL

J122 Written withdrawal of action (patent court)