KR100799784B1 - 시간적 스케일러빌러티를 가능하게 하는 하이브리드 비디오압축에서의 프레임 예측 방법 및 장치 - Google Patents

시간적 스케일러빌러티를 가능하게 하는 하이브리드 비디오압축에서의 프레임 예측 방법 및 장치 Download PDF

Info

Publication number
KR100799784B1
KR100799784B1 KR1020067023243A KR20067023243A KR100799784B1 KR 100799784 B1 KR100799784 B1 KR 100799784B1 KR 1020067023243 A KR1020067023243 A KR 1020067023243A KR 20067023243 A KR20067023243 A KR 20067023243A KR 100799784 B1 KR100799784 B1 KR 100799784B1
Authority
KR
South Korea
Prior art keywords
frame
erasable
temporal scaling
prediction
encoding
Prior art date
Application number
KR1020067023243A
Other languages
English (en)
Other versions
KR20060133090A (ko
Inventor
페이송 첸
비자야라크쉬미 알. 라빈드란
Original Assignee
콸콤 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콸콤 인코포레이티드 filed Critical 콸콤 인코포레이티드
Publication of KR20060133090A publication Critical patent/KR20060133090A/ko
Application granted granted Critical
Publication of KR100799784B1 publication Critical patent/KR100799784B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 디지털 멀티미디어에 사용하기 위한 시간적 스케일링 프레임을 제공하는 방법 및 장치에 관한 것이다. 상기 방법은 인트라 코딩 프레임 및/또는 인터 코딩 프레임과 함께 삭제 가능한 단방향 예측 시간적 스케일링 프레임 통신의 이용을 포함한다. 상기 방법은 예를 들어 전력 한계, 데이터 레이트 한계, 계산적 한계 또는 채널 조건을 만족하도록 전송되거나 디코딩되는 것으로부터 시간적 스케일링 프레임(들)을 선택적으로 삭제하는 능력을 포함한다. 제시된 예들은 삭제 가능한 시간적 스케일링 프레임들의 누락에 대한 결정이 이루어질 수 있는 인코더, 트랜스코더 및 디코더를 포함한다.

Description

시간적 스케일러빌러티를 가능하게 하는 하이브리드 비디오 압축에서의 프레임 예측 방법 및 장치{METHOD AND APPARATUS FOR FRAME PREDICTION IN HYBRID VIDEO COMPRESSION TO ENABLE TEMPORAL SCALABILITY}
본 특허출원은 "시간적 스케일러빌러티를 가능하게 하는 하이브리드 비디오 압축에서의 프레임 예측 방법 및 장치"라는 명칭으로 2004년 4월 7일자 제출된 예비 출원 60/560,433호 및 "시간적 스케일러빌러티를 가능하게 하는 하이브리드 비디오 압축에서의 프레임 예측 방법 및 장치"라는 명칭으로 2004년 11월 4일자 제출된 예비 출원 60/625,700호에 대한 우선권을 주장하며, 이들은 본 출원인에게 양도되었으며, 이로써 본원에 특별히 참조로 통합된다.
본 발명은 시간적 스케일러빌러티(scalability)를 제공하는 방식으로 인코딩된 디지털 데이터를 분산시키는 방법, 장치 및 시스템에 관한 것이다.
인터넷 및 무선 통신의 폭발적인 성장 및 굉장한 성공으로 인해, 인터넷 및 이동/무선 채널을 통한 멀티미디어 서비스, 스트리밍 미디어에 대한 수요의 증가 또한 엄청난 주의를 끌었다. 이종(異種) 인터넷 프로토콜(IP) 네트워크에서, 비디오가 서버에 의해 제공되고 하나 이상의 클라이언트에 의해 스트리밍될 수 있다. 유선 접속은 다이얼-업, 종합 정보 통신망(ISDN), 케이블, 디지털 가입자 회선 프 로토콜들(xDSL로 총칭함), 광섬유, 근거리 통신망(LAN), 광역 통신망(WAN) 등을 포함한다. 전송 모드는 유니캐스트일 수도 있고 멀티캐스트일 수도 있다. 개인 휴대 단말(PDA), 랩탑, 데스크탑, 셋탑박스, TV, HDTV, 휴대 전화 등을 포함하여 다양한 개별 클라이언트 장치는 동일 컨텐츠에 대해 동시에 서로 다른 대역폭의 비트스트림을 요구한다. 접속 대역폭은 시간에 따라 (9.6kbps에서 100Mbps 이상으로) 빠르게 달라질 수 있으며, 서버의 반응보다 빠를 수 있다.
이동/무선 접속은 이형 IP 네트워크와 비슷하다. 이동/무선 채널은 다중 경로 페이딩, 쉐도잉, 심벌간 간섭 및 잡음 교란으로 인해 종종 심각하게 손상되기 때문에 이러한 채널을 통한 멀티미디어 컨텐츠의 전송은 매우 도전적이다. 이동성 및 경합하는 트래픽과 같은 다른 이유 또한 대역폭 변화 및 손실을 일으킨다. 채널 잡음 및 취급되는 사용자 수가 채널 환경의 시변적 특성을 결정한다. 환경 조건 외에도, 목적지 네트워크는 모바일 로밍뿐 아니라 지리적 위치로 인해 2 ~ 3세대 셀룰러 네트워크에서부터 광대역 데이터 전용 네트워크까지 다양하게 할 수 있다. 멀티미디어 컨텐츠 전송의 적응 레이트 조정을 위해 가용 대역폭에 영향을 주는 모든 변수가 비행중에도 호출된다. 따라서 이형 유선/무선 네트워크를 통한 성공적인 비디오 전송은 손실에 대해 탄력성이 있는 동시에 네트워크 조건, 장치 특성 및 사용자 기호를 다양하게 하는 적응성뿐 아니라, 효율적인 코딩을 필요로 한다.
여러 사용자 요건을 충족시키고 채널 변화에 적응하기 위해, 각각 전송 대역폭, 사용자 디스플레이 및 연산 능력을 기초로 어떤 부류의 제약을 충족시키는 비 트스트림의 다수의 독립적 형태를 생성할 수 있지만, 이것은 서버 저장 및 멀티미디어 애플리케이션에 효율적이지 않다. 고급 사용자들을 지원하는 단일 매크로-비트스트림이 서버에 구성되는 스케일러블(scalable) 코딩에서, 저급 애플리케이션을 위한 비트스트림은 단지 매크로-비트스트림의 부분 집합으로서 삽입된다. 이와 같이, 단일 비트스트림은 서브-비트스트림을 선택적으로 전송함으로써 다양한 애플리케이션 환경에 적응될 수 있다. 스케일러블 코딩에 의해 제공되는 다른 이점은 에러 유발성 채널 상에서의 확고한 비디오 전송에 대한 것이다. 에러 보호 및 에러 은폐는 쉽게 처리될 수 있다. 최상위 정보를 포함하는 기본 계층 비트에 보다 신뢰성 있는 전송 채널 또는 보다 우수한 에러 보호가 적용될 수 있다.
MPEG-1, MPEG-2, MPEG-4(MPEG-x로 총칭함), H.261, H.262, H.264(H.26x로 총칭함)와 같은 하이브리드 코더에는 공간적, 시간적 신호대 잡음비(SNR) 스케일러빌러티가 있다. 하이브리드 코딩에서, 시간적 리던던시는 움직임 보상 예측(MCP)에 의해 제거된다. 비디오는 통상적으로 일련의 픽처 그룹(GOP)으로 분할되며, 각 GOP는 인트라 코딩 프레임(I)에서 시작하여 전방 예측 프레임(P) 및 양방향 예측 프레임(B)의 배열이 이어진다. P 프레임 및 B 프레임 모두 인터 프레임이다. B 프레임은 대부분의 MPEG형 코더에서 시간적 스케일러빌러티의 열쇠이다. 그러나 MPEG-4 심플 프로파일 및 H.264 베이스라인 프로파일과 같은 일부 프로파일은 B 프레임을 지원하지 않는다.
MPEG-4에서, 프로파일 및 레벨은 특정 비트스트림을 디코딩하는데 필요한 디코더 용량을 기초로 구문(syntax) 및 의미론(semantics)의 부분 집합을 정의하는 수단을 제공한다. 프로파일은 전체 비트스트림 구문의 정의된 부분 집합이다. 레벨은 비트스트림에서 파라미터들에 부과된 제약들의 정의된 집합이다. 임의의 소정 프로파일에 대해, 레벨은 일반적으로 디코더 처리 부하 및 메모리 용량에 해당한다. 이와 같이 프로파일 및 레벨은 비트스트림에 대한 제한을 지정하므로 비트스트림의 디코딩 능력에 한계를 둔다. 일반적으로, 디코더는 모든 구문론적 요소의 모든 허용된 값을 소정 프로파일에 의해 소정 레벨로 지정된 것으로 적절히 디코딩할 수 있는 경우에 그 레벨에서 그 프로파일에 적합한 것으로 판단된다.
본 발명의 목적은 MPEG-4 심플 프로파일 및 H.264 베이스라인 프로파일에 적합하며 간단하면서도 효과적인 시간적 스케일러빌러티를 제공하는 방법 및 장치를 제공하는 것이다. MPEG-4 표준은 ISO/IEC 14496-2에 기재되어 있다. H.264는 [ISO/IEC 14496-10]에 기재되어 있다.
MPEG-x 또는 H.26x와 같은 비디오 압축 및 전달 방식에서 시간적 스케일러빌러티를 제공하고, 장치에 적합한 MPEG-4 심플 프로파일 및 H.264 베이스라인 프로파일에 시간적 스케일러빌러티를 제공하는 코딩 방식이 개시된다.
일례에서, 인코더 또는 트랜스코더가 다수의 사용자를 위한 가변 데이터 레이트 및 비디오 품질을 제공하도록 적응될 수 있는 단일 비트스트림을 생성할 수 있다. 단일 비트스트림이 비행중에 생성되거나 메모리에 저장될 수 있다. 예를 들어, 대역폭 요건을 충족시키고, 주변 잡음과 같은 채널 조건을 만족시키거나 가변 품질 비디오를 전달하기 위해 비디오 스트림에서 시간적 스케일링 프레임이 생략될 수 있다.
다른 예에서, 디코더는 예를 들어 배터리 전력 또는 디코딩 시간을 보존하기 위해 시간적 스케일링 프레임의 디코딩 생략을 선택할 수 있다.
도 1a는 종래의 MPEG-4 심플 프로파일 데이터 스트림을 설명하는 도면이다.
도 1b는 시간적 스케일러빌러티를 가능하게 하는 종래의 인코딩 데이터 스트림을 설명하는 도면이다.
도 2는 본 발명에 따른 전방 예측 시간적 스케일러빌러티 방식의 예를 설명하는 도면이다.
도 3은 본 발명에 따른 후방 예측 시간적 스케일러빌러티 방식의 예를 설명하는 도면이다.
도 4는 본 발명의 전방 예측 단방향 시간적 스케일링 프레임을 사용한 디스플레이 및 인코딩 프로세스의 프레임 배열의 예를 설명하는 도면이다.
도 5는 스트리밍 픽처를 인코딩 및 디코딩하는 일반 통신 시스템의 블록도이다.
도 6은 트랜스코딩 장치의 블록도이다.
도 7은 본 발명에 따른 시간적 스케일링을 포함하는 인코딩 프로세스의 일례를 설명하는 흐름도이다.
도 8은 본 발명에 따른 시간적 스케일링을 포함하는 비디오 전달 프로세스의 일례의 흐름도이다.
여러 통신 시스템에서, 전송될 데이터는 가용 대역폭이 보다 효율적으로 사용되도록 압축된다. 예를 들어, MPEG(Moving Picture Experts Group)은 디지털 데이터 전달 시스템에 관련된 여러 가지 표준을 개발하였다. 통상적으로 큰 데이터 손실을 입는 저속-고속 데이터 레이트 채널을 위해 MPEG-4 표준이 개발되었다. 비슷한 표준으로는 ISO/IEC MPEG과 함께 ITU-T VCEG(Video Coding Experts Group)에 의해 개발된 H.264가 있다.
고정 또는 가변 길이 소스 코딩 기술을 이용한 비디오, 오디오 및 다른 정보의 압축 및 전달에 매우 적합한 MPEG-x 및 H.26x 표준은 데이터 처리 및 조작 기술을 기술한다. 특히, 상기에 언급한 표준들과 다른 하이브리드 코딩 표준 및 기술은 (예를 들어, 런-랭스 코딩, 허프만 코딩 등의) 인트라 프레임 코딩 기술 및 (예를 들어, 전방 및 후방 예측 코딩, 움직임 보상 등의) 인터 프레임 코딩 기술을 이용하여 비디오 정보를 압축하게 된다. 구체적으로, 비디오 처리 시스템의 경우, 하이브리드 비디오 처리 시스템은 인트라 프레임 및/또는 인터 프레임 움직임 보상 코딩에 의한 비디오 프레임의 예측 기반 압축 코딩을 특징으로 한다.
인트라 코딩 프레임, 전방 및 후방 예측 프레임 및 단방향 예측 시간적 스케일링 프레임을 포함하는 비디오 스트림을 인코딩하기 위한 방법, 장치 및 시스템이 개시된다. 시간적 스케일링은 비디오 전달 도중 발신 장치, 중간 장치 또는 수신 장치에서 일어날 수 있다.
인트라 프레임 코딩은 다른 어떤 픽처에 대한 참조도 없는 픽처(필드 또는 프레임)의 인코딩을 말하지만, 인트라 코딩 프레임은 다른 프레임에 대한 참조로서 사용될 수 있다. "인트라 프레임", "인트라 코딩 프레임" 및 "I 프레임"이란 용어는 본 출원에 전반적으로 사용되는 인트라 코딩에 의해 형성된 모든 비디오 객체의 예이다.
인터 또는 예측 코딩은 다른 픽처에 대한 참조가 있는 픽처(필드 또는 프레임)의 인코딩을 말한다. 인트라 코딩 프레임과 비교하여, 인터 코딩 또는 예측 프레임은 보다 효율적으로 코딩될 수 있다. 본 출원에 전반적으로 사용될 인터 프레임의 예는 (전방 또는 후방 예측, "P 프레임"이라고도 하는) 예측 프레임, ("B 프레임"이라고도 하는) 양방향 예측 프레임 및 ("P* 프레임"이라고도 하는) 단방향 예측 시간적 스케일링 프레임이다. 인터 코딩에 대한 다른 용어는 당업자들에게 잘 알려진 하이패스 코딩, 잔류 코딩, 움직임 보상 보간 등을 포함한다.
통상적인 MPEG 디코더에서, 예측 코딩 픽셀 블록(즉, 하나 이상의 움직임 벡터 및 잔류 에러 성분을 포함하는 블록)이 참조 프레임(인트라 프레임 또는 다른 예측 프레임이 참조 프레임이 될 수 있다)에 대해 디코딩된다. 도 1a는 종래의 MPEG-4 심플 프로파일 데이터 스트림을 설명하는 도면으로, GOP에 대한 프레임 의존성을 나타낸다. GOP(10)는 최초 I 프레임(12)과 이어지는 여러 개의 전방 예측 P 프레임(14)으로 구성된다. 이전 I 또는 P 프레임에 대한 P 프레임들의 의존성은 전방 예측 프레임만을 지원할 수 있는 시스템(MPEG-4 심플 및 H.264 베이스라인 프로파일에 따르는 것과 같은 시스템)에 제공되는 시간적 스케일러빌러티를 제한할 수 있다. P 프레임들(14) 중 몇 개를 삭제하면, 다른 P 프레임들의 디코딩에 중대 할 수 있는 정보가 손실될 수 있다. P 프레임 삭제는 예를 들어 비디오 지터를 발생시킬 수도 있고 또는 디코더가 다음 GOP의 시작을 표시하는 다음 I 프레임(16)까지 무능하게 디코딩을 계속하게 할 수 있다.
시간적 스케일러빌러티 문제에 대한 한 가지 해결책은 종래에 사용된 양방향 예측 프레임이다. 도 1b는 시간적 스케일러빌러티를 가능하게 하는 종래의 인코딩 데이터 스트림을 설명하는 도면으로, GOP의 프레임 의존성을 나타낸다. GOP(20)는 I 프레임(22A), 전방 예측 P 프레임(24) 및 양방향 예측 B 프레임(26)으로 구성된다. 각 B 프레임은 I 프레임(22A) 또는 전방 예측 P 프레임(24)을 참조로 전방 및 후방 움직임 벡터 및 잔류 에러를 조합할 수 있다(후방 예측 P 프레임들이 사용될 수도 있지만 본 예시에는 도시하지 않는다). I 프레임(22B)은 다음 GOP의 시작을 표시한다. 도 1b에 나타낸 바와 같이, I 프레임(22A)과 P 프레임(24) 사이 또는 2개의 P 프레임(24) 사이에 하나의 B 프레임(26)만이 포함된다. 참조 프레임들 사이에 여러 개의 B 프레임이 삽입되어 시간적 스케일러빌러티에 보다 큰 유연성을 허용할 수 있다. 다른 어떤 프레임도 참조 프레임으로서 B 프레임에 의존하지 않기 때문에, 다른 프레임들의 디코딩과 관련하여 정보의 손실 없이 B 프레임(26)을 삭제할 수 있다. 이러한 B 프레임(26)의 특징은 B 프레임(26)이 비트스트림에 삽입될 수 있게 하며, 채널 조건, 대역폭 제한, 배터리 전력 및 다른 고려사항을 조정하도록 인코더, 트랜스코더 또는 디코더의 선택시 B 프레임(26)이 삭제될 수 있다. 예를 들어, 참조 프레임들 사이에 3개의 B 프레임이 있다면, 3개의 B 프레임을 모두 삭제하고 프레임 레이트를 3/4만큼 감소시킬 수도 있고 중간의 B 프레임을 유지하고 다른 두 프레임을 삭제하여 프레임 레이트를 1/2만큼 감소시킬 수도 있다. 이에 따라 데이터 레이트가 감소할 수 있다.
전방(단방향) 예측만으로 개선된 압축을 제공하지만, 양방향 예측은 하강 부분을 갖는다. 양방향 예측은 증가한 연산 조건을 요구한다. 양방향 예측 프레임은 매크로 블록 매칭(계산적으로 가장 강한 인코딩 프로세스)이 뒤의 참조 프레임으로 한 번, 앞의 참조 프레임으로 한 번씩, 타깃 매크로 블록당 2번씩 수행되어야 하기 때문에 특별한 인코딩 복잡성을 수반할 수 있다. B 프레임들의 삽입은 디코더 측에 연산 복잡성을 증가시킬 수 있고 스케줄링을 복잡하게 할 수도 있다. 이러한 복잡성 증가는 MPEG-4 심플 프로파일 및 H.264 베이스라인 프로파일이 양방향 예측을 지원하지 않는 주요한 이유이다. 이러한 프로파일들은 배터리의 효율적인 사용을 필요로 하고 휴대 전화, PDA 등의 전력을 처리하는 장치를 위해 개발되었다. 본 발명은 이러한 전력 제한된 장치에 시간적 스케일러빌러티를 제공하는 효율적인 방법을 제공한다.
본 발명은 단방향 예측 시간적 스케일링 프레임을 포함하여, MPEG-4의 심플 프로파일 및 H.264의 베이스라인 프로파일에서 어떤 구문 변경도 없이 시간적 스케일러빌러티를 제공한다. 단방향 예측 시간적 스케일링 프레임은 종래의 B 프레임에 의해 사용되는 것과 같이 두 종류의 예측 대신 전방 또는 후방 예측만을 사용한다. 또한, 다른 어떤 예측 프레임도 단방향 예측 시간적 스케일링 프레임을 참조하지 않는다. 다른 어떤 프레임도 시간적 스케일링 프레임에 의존하지 않기 때문에, 시간적 스케일링 프레임은 나머지 프레임에 영향을 주지 않고 비트스트림으로 부터 삭제될 수 있다. 그 결과, MPEG-4의 심플 프로파일 또는 H.264의 베이스라인 프로파일에 여분의 문구를 삽입할 필요가 없다. 정상 예측 프레임과 반대로 단방향 예측 시간적 스케일링 프레임으로서 프레임을 식별하기 위해 단일 오버헤드 비트의 추가가 이용될 수 있다.
도 2는 본 발명에 따른 전방 예측 시간적 스케일러빌러티 방식의 예를 설명하는 도면이다. GOP(200)는 I 프레임(210A), P 프레임(212) 및 시간적 스케일러빌러티 프레임(214)을 포함한다. 도 2에 나타낸 바와 같이, 연속한 P 프레임(212) 사이의 단방향 예측 시간적 스케일링 P* 프레임(214)으로서 단일 전방 예측 프레임이 사용될 수 있다. 다수의 단방향 시간적 스케일링 프레임이 단일 참조 프레임에 의존할 수 있다는 점이 실현된다. 연속한 P 프레임(212) 사이에 다수의 시간적 스케일링 프레임을 갖는 것은 데이터 레이트 요건을 충족시키기에 보다 큰 적응성을 허용할 수 있다. I 프레임(210B)은 다음 GOP의 시작을 표시한다.
도 3은 본 발명에 따른 후방 예측 시간적 스케일러빌러티 방식의 예를 설명하는 도면이다. GOP(300)는 I 프레임(310A), P 프레임(312) 및 시간적 스케일러빌러티 프레임(314)을 포함한다. 도 3에 나타낸 바와 같이, 연속한 P 프레임(312) 사이의 단방향 예측 시간적 스케일링 P* 프레임(314)으로서 단일 후방 예측 프레임이 사용될 수 있다. I 프레임(310B)은 다음 GOP의 시작을 표시한다. 전방 및 후방의 경우에서 알 수 있듯이, 다른 어떤 프레임도 시간적 스케일링 프레임(214, 314)을 각각 참조하지 않는다. 어떤 프레임도 이들을 참조하지 않기 때문에, 어떤 다른 프레임에 영향을 주지 않고도 인코딩, 송신 또는 디코딩으로부터 시간적 스케 일링 프레임이 생략될 수 있다. 이는 송신/디코딩에서 배제되는 단방향 예측 시간적 스케일링 프레임 수에 따라, 품질 및/또는 데이터 레이트의 점진적 감소를 제공할 수 있다.
단방향 예측 시간적 스케일링 프레임은 B 프레임보다 적은 계산을 필요로 하기 때문에, 단방향 예측 시간적 스케일링 프레임들은 전력 제한된 또는 계산적으로 제한된 장치에 사용하는 것이 유리할 수 있다. 단방향 예측 시간적 스케일링 프레임은 다음 P 프레임 예측에 사용되지 않을 것이므로, P 프레임의 코딩 효율은 P 프레임만을 사용하는 경우에 비해 떨어진다. 이러한 코딩 효율의 하락은 용인되어 시간적 스케일러빌러티를 갖는 추가 이익을 제공할 수 있다. 도 2 및 도 3에 제시된 단방향 예측 시간적 스케일링 프레임의 예는 하나의 프레임만을 참조한다. 그러나 하나 이상의 프레임이 단방향으로 예측되는 시간적 스케일링 프레임에 의해 참조될 수 있는 것으로 인식될 수 있다. 하나 이상의 이전 또는 다음 프레임을 참조하는 것은 계산의 복잡성을 증가시키게 되지만, 잔여 에러의 크기를 줄일 수도 있다.
계산상의 이익 외에도, 양방향 프레임 대신 전방 예측 단방향 시간적 스케일링 프레임을 사용할 때 더 짧은 지연이 실현될 수 있다. 양방향 프레임은 이들이 후방 예측되는 프레임 뒤에 인코딩된다. 이것은 B 프레임이 디스플레이될 수 있기 전에 추가 지연이 있음을 의미할 수 있다. 도 4는 본 발명의 전방 예측 단방향 시간적 스케일링 프레임을 사용한 디스플레이 및 인코딩 프로세스의 프레임 배열 예의 설명이다. 도 4에 나타낸 바와 같이, 양방향 예측 프레임과 달리, 본 발명의 양방향으로 예측되는 시간적 스케일링 프레임들은 이들이 원격 장치에서 디스플레이될 순서와 동일하게 인코딩 및 전송될 수 있다. 전방 예측 단방향 시간적 스케일링 프레임들을 순서대로 인코딩하여 전송하는 능력은 B 프레임이 사용될 때 발생하는 추가 지연을 피하고, 이는 비디오 회의와 같은 애플리케이션에 추가되는 이익일 수 있다.
도 5는 스트리밍 픽처를 인코딩 및 디코딩하는 일반 통신 시스템의 블록도이다. 시스템(500)은 인코더 장치(505) 및 디코더 장치(510)를 포함한다. 인코더 장치(505)는 인트라 인코딩 성분(515), 예측 인코딩 성분(520), 시간적 스케일링 성분(525) 및 메모리 성분(530)을 포함한다. 인코더 장치(505)는 외부 소스(535)로부터의 데이터에 액세스할 수 있다. 외부 소스(535)는 예를 들어 외부 메모리, 인터넷 또는 라이브 비디오 및/또는 오디오 피드일 수 있다. 외부 소스(535)에 포함되는 데이터는 (인코딩되지 않은) 원 상태일 수도 있고 인코딩된 상태일 수도 있다. 인트라 인코딩 성분(515)은 인트라 코딩 프레임을 인코딩하는데 사용된다. 예측 인코딩 성분(520)은 단방향 예측 시간적 스케일링 프레임을 포함하여 모든 종류의 예측 프레임을 인코딩하는데 사용된다. 예측 프레임들을 인코딩하는데 사용되는 로직을 포함하는 것 외에도, 예측 인코딩 성분(520)은 참조 프레임을 선택하는데 사용되는 로직 및 시간적 스케일링 프레임이 다른 프레임에 의해 참조되는 것을 막는데 사용되는 로직을 포함한다. 예측 인코딩 성분(520)은 인코딩을 위해 원 데이터 또는 인코딩 데이터에 액세스할 수 있다. 인코딩 데이터가 액세스되어 정상 P 프레임 또는 I 프레임을 단방향 예측 시간적 스케일링 프레임으로 교체할 수 있다. 인코딩 데이터(인트라 코딩 또는 인터 코딩 데이터)에 액세스할 때, 인트라 인코딩 성분(515) 및 예측 인코딩 성분(520)에 포함되는 로직은 인코딩 데이터를 디코딩하여 원 데이터를 재구성하게 된다. 이와 같이 재구성된 원 데이터는 단방향 예측 시간적 스케일링 프레임(또는 다른 어떤 형태의 프레임)으로서 인코딩될 수 있다.
인코딩 후, 인코딩된 프레임들은 메모리 성분(530) 또는 외부 메모리에 저장된다. 외부 메모리는 외부 소스(535)와 동일할 수도 있고 (도시하지 않은) 개별 메모리 성분일 수도 있다. 인코딩된 프레임은 네트워크(540)를 통해 전송(Tx)된다. 네트워크(540)는 유선일 수도 있고 무선일 수도 있다. 시간적 스케일링 성분(525)은 송신 전에 시간적 스케일링이 바람직한지 여부를 판단하는 로직을 포함한다. 시간적 스케일링 성분(525)은 시간적 스케일링 프레임들을 식별하고, 시간적 스케일링이 바람직한 것으로 판단되면 이들의 송신을 생략하는 로직도 포함할 수 있다. 인코더 장치에 의해 수행되는 인코딩 프로세스는 뒤에 보다 상세히 설명된다.
디코더 장치(510)는 인코더 장치(505)와 비슷한 성분들을 포함하며, 인트라 디코딩 성분(545), 예측 디코딩 성분(550), 시간적 스케일링 성분(555) 및 메모리 성분(560)을 포함한다. 디코더 장치(510)는 네트워크(540)를 통해 또는 외부 기억장치(565)로부터 전송된 인코딩 데이터를 수신할 수 있다. 인트라 디코딩 성분(545)은 인트라 코딩 데이터의 디코딩에 사용된다. 예측 디코딩 성분(550)은 단방향 예측 시간적 스케일링 프레임을 포함하여 예측 데이터의 디코딩에 사용된다. 시간적 스케일링 성분(555)은 디코딩 전에 시간적 스케일링이 바람직한지 여부를 판단하는 로직을 포함한다. 이 예에서, 시간적 스케일링 성분(555)은 시간적 스케일링 프레임들을 식별하고, 시간적 스케일링이 바람직한 것으로 판단되면 이들의 디코딩을 생략하는 로직도 포함할 수 있다. 디코딩 후에, 디코딩된 프레임들은 디스플레이 성분(570) 상에 디스플레이될 수도 있고 외부 메모리(560) 또는 외부 기억장치(565)에 저장될 수도 있다. 디스플레이 성분(570)은 전화나 PDA 상의 디스플레이 스크린과 같이 디코딩 장치의 통합부일 수 있다. 디스플레이 성분(570)은 외부 주변 장치일 수도 있다. 디코더 장치에 의해 수행되는 디코딩 프로세스는 뒤에 보다 상세히 설명된다.
단방향 예측 시간적 스케일링 프레임들을 지원하도록 디코더 장치에 제공하는 변형은 작을 수 있다. H.264는 멀티 참조 코딩을 지원하기 때문에, 베이스라인 디코더가 적어도 2개의 참조 프레임을 지원할 수 있다면, 단방향 예측 시간적 스케일링 프레임을 지원하도록 디코더를 변형할 필요가 없을 수도 있다. MPEG-4의 심플 프로파일을 따르는 디코더는 버퍼에 하나의 참조 프레임만을 허용할 수 있어, 단방향 전방 예측 시간적 스케일링 프레임 디코딩 후, 버퍼의 참조 프레임을 방금 디코딩된 시간적 스케일링 프레임으로 교체하는 대신 참조 프레임 버퍼의 참조 프레임이 다음 P 프레임에 유지된다.
인코딩 및 디코딩 장치 외에도, 트랜스코더로 알려진 중간 장치에서 시간적 스케일링이 일어날 수 있다. 도 6을 참조하면, 트랜스코더 장치의 블록도가 설명된다. 트랜스코더 장치(600)는 제 1 네트워크(605)와 제 2 네트워크(620) 사이에 설치된다. 트랜스코더 장치(600)는 제 1 네트워크(605)를 통해, 도 5에 나타낸 인코더 장치(505)와 같은 장치로부터 인코딩 데이터를 수신한다. 트랜스코더 장치(600)는 수신된 데이터를 메모리 성분(615)에 저장한다. 트랜스코더 장치(600)는 시간적 스케일링 성분(610)도 포함한다. 시간적 스케일링 성분(610)은 제 2 네트워크(620) 상에서의 송신 전에 시간적 스케일링이 바람직한지 여부를 결정하는 로직을 포함한다. 시간적 스케일링 성분(610)은 시간적 스케일링 프레임을 식별하고, 시간적 스케일링이 바람직한 것으로 판단되면 이들의 송신을 생략하는 로직도 포함할 수 있다. 트랜스코더 장치(600)에 의해 수행되는 트랜스코딩 프로세스는 뒤에 보다 상세히 설명된다.
도 7은 본 발명에 따른 시간적 스케일링을 포함하는 인코딩 프로세스의 일례를 설명하는 흐름도이다. 인코딩 프로세스는 도 5에 나타낸 장치(505)와 같은 인코더에서 일어난다. 디지털 비디오 데이터(710)는 다수의 프레임으로 구성된 GOP들로 인코딩된다. GOP는 720에서 인코딩되는 인트라 코딩 프레임으로 시작할 수 있다. 인트라 코딩 프레임은 이어지는(또는 오픈 GOP가 다른 GOP로부터의 프레임들을 참조할 수 있는 오픈 GOP에 의한 후방 예측의 경우에는 선행하는) 인트라 프레임들의 적어도 일부에 대한 참조 포인트가 된다. 인코딩 프로세스(700)는 전방 또는 후방 예측 프레임들을 포함할 수 있는 예측 프레임(730)의 인코딩을 포함한다. 예측 프레임들은 이전 인트라 코딩 또는 예측 프레임에 대해 참조될 수 있는 움직임 벡터 및 잔여 에러와 같은 움직임 보상 데이터를 포함할 수 있다. 예측 프레임들은 다른 예측 프레임들(정상 및 시간적 스케일링 프레임들 모두)에 대한 참 조 프레임이 될 수도 있다. 단방향 예측 시간적 스케일링 프레임(740)의 인코딩은 시간적 스케일러빌러티를 가능하게 한다. 이들 프레임은 프레임들이 인트라 코딩 또는 예측 프레임에 참조되는 움직임 보상을 포함할 수 있다는 점에서 예측 프레임(730)과 비슷한 방식으로 계산될 수 있다. 그러나 시간적 스케일링 프레임들 자체는 다른 프레임에 의해 참조되는 것이 배제된다(즉, 시간적 스케일링 프레임이 다른 어떤 프레임을 예측하는데 사용되는 것을 배제한다). 시간적 스케일링 프레임 데이터는 프레임을 시간적 스케일링 프레임으로서 식별하는 오버헤드 정보를 포함할 수도 있다. 다른 프레임들은 시간적 스케일링 프레임의 존재에 의존하지 않기 때문에, 시간적 스케일링 프레임은 다른 프레임들에 악영향을 주지 않고 삭제될 수 있다. 인코딩 프레임들은 나중에 전달하기 위해 메모리(750)에 저장될 수 있다. 인코딩 프레임들은 저장 단계(750) 없이 인코딩 후 전달될 수 있다.
인코딩 프로세스(700)는 비디오 데이터(710)가 고갈될 때까지 GOP들의 인코딩을 계속할 수 있다. GOP들은 서로 다른 목적을 충족하기 위해 서로 다른 프레임 타입의 서로 다른 개수의 프레임으로 구성될 수 있다. GOP의 상당수의 시간적 스케일링 프레임(740)의 인코딩은 해당 GOP의 전달 또는 디코딩의 품질 또는 복잡성을 조절하는데 있어서 더 큰 유연성을 제공한다.
도 8은 본 발명에 따른 시간적 스케일링을 포함하는 비디오 전달 프로세스의 일례의 흐름도이다. 도 8의 왼쪽은 도 5에 나타낸 인코딩 장치(505)와 같은 비디오 소스에서의 처리에 해당하고, 오른쪽은 도 5에 나타낸 디코더 장치(510)와 같은 목적지 장치에서의 프로세스에 해당한다. 유선/무선 네트워크는 양쪽을 연결할 수 있고 유선 또는 무선 네트워크의 조합일 수 있다. 새로운 네트워크로의 전이는 도 6에 나타낸 트랜스코더 장치(600)와 같은 트랜스코더 장치를 포함할 수 있다. 메모리로부터 비디오 프레임 데이터를 검색함으로써(810) 도 8의 프로세스(800)가 시작한다. 이 메모리는 이전에 생성된 영구 메모리일 수도 있고, 송신시 계산되고 있는 프레임 데이터를 보유하는 동적 메모리일 수도 있다.
비디오 데이터를 시간적으로 스케일링하는지 여부에 대한 판단이 이루어진다(820). 판단에서 고려하는 요소는 예를 들어 최대보다 낮은 레벨의 품질 제공, 네트워크들 중 하나의 최대 성능 이하로 데이터 레이트 하향, 트래픽 제어, 소스 또는 목적지 장치의 배터리 전력 보존 또는 인코딩 및/또는 디코딩 시간 제한일 수 있다. 시간적 스케일링이 수행된다면, 데이터 스트림으로부터 시간적 스케일링 프레임이 식별되고 선택적으로 삭제된다(830). 단방향 예측 시간적 스케일링 프레임 중 임의의 프레임의 삭제는 어떤 프레임도 시간적 스케일링 프레임에 참조되지 않기 때문에 다른 어떤 프레임에도 영향을 주지 않을 것이다. 식별은 예를 들어 1과 같이 설정될 때 시간적 스케일링 프레임으로서 프레임을 식별하는 단일 오버헤드 비트 또는 플래그를 포함하여 많은 형태를 가질 수 있다. 이 오버헤드 비트 또는 플래그는 표준 컴플라이언트 구문을 이용하여 또는 독점적인 방식으로 코딩될 수 있다. 비트스트림이 표준(및 프로파일)을 컴플라이언트하게 한다면, 시간적 스케일링 프레임들은 (네트워크 적응화의 경우) 상호 연역적 인코더-서버 통신 또는 (장치 복잡성/전력 적응화의 경우) 상호 연역적 인코더-디코더 식별자를 통해 식별될 수 있다. 상호 연역적 식별자는 예를 들어 프레임 위치(예를 들어, 홀수 또는 짝수 프레임 번호), 디코딩 또는 프리젠테이션 타임스탬프 또는 프레임 순서일 수 있다. 다른 형태의 식별은 프레임이 다른 프레임에 의해 참조되는지 여부에 관해 비트스트림의 정보를 이용하는 디코더를 포함할 수 있다. 삭제되지 않는 비디오 프레임들은 유선/무선 네트워크(들)를 통해 목적지 장치로 전송된다(840). 멀티캐스트 전달의 경우에는 목적지 장치가 있을 수 있고 유니캐스트 전달의 경우에는 단일 목적지 장치가 있을 수 있다.
목적지 장치인 도 5의 디코더 장치(510)와 같은 디코더에서, 또는 중간 네트워크 장치인 도 6의 장치와 같은 라우터 또는 트랜스코더에서, 인코딩되는 비디오 데이터는 네트워크로부터 취득된다(850). 데이터를 취득한 후, 목적지 장치 또는 중간 네트워크 장치는 각각 시간적 스케일링을 제공할지 여부를 판단할 수 있다(860). 시간적 스케일링의 이유는 네트워크 용량 또는 네트워크 로딩과 관련하여, 특히 중간 네트워크 라우터에 대한 비디오 소스에서와 비슷할 수 있다. 시간적 스케일링 이유는 또한 예를 들어, 특히 PDA, 휴대 전화 등과 같이 리소스 한정 장치에 대한 배터리 전력의 보존을 포함할 수 있다. 시간적 스케일링이 선택되면, 시간적 스케일링 프레임이 식별되고 생략되어, 예컨대 데이터 레이트나 디코딩 시간과 같은 대상 파라미터를 충족시킨다. 시간적 스케일링 프레임의 생략 후, 나머지 프레임들은 이들의 타입에 의해 결정된 방식(예를 들어, 인트라 코딩 디코딩, 전방 예측 디코딩 등)으로 디코딩된다(880).
상술한 시간적 스케일링 결정 및 삭제 프로세스는 인코더 장치(505)(도 5)와 같은 인코더, 트랜스코더 장치(600)(도 6)와 같은 트랜스코더 또는 디코더 장치 (510)(도 5)와 같은 디코더에서 수행될 수 있다. 이들 3개의 장치 중 하나 이상은 동일한 비트스트림에서 시간적 스케일링 프레임들의 삭제를 결정하는데 관련될 수 있다.
도 7-8에 나타낸 방법은 간단한 설명을 위해 일련의 동작으로서 도시되고 설명되지만, 본 발명에 따라 일부 동작들은 다른 순서로 그리고/또는 여기서 도시 및 설명한 것 외의 동작들과 함께 일어날 수도 있기 때문에 본 발명은 동작들의 순서로 제한되지 않는 것으로 이해 및 인식되어야 한다.
본 발명은 단방향 예측 시간적 스케일링 프레임에 대한 참조 프레임으로서 인트라 프레임 및 전방 예측 프레임을 이용하는 것과 관련하여 충분히 설명되었지만, 후방 예측 프레임과 같은 다른 프레임들이 참조 프레임으로 사용될 수도 있음이 명백하다.
본 발명은 MPEG-x 및 H.26x형 압축 방식과 관련하여 충분히 설명되었지만, 다른 비디오 압축 방식이 본 발명의 방법을 구현할 수 있음이 명백하다.
본 발명의 형태들은 이에 한정되는 것은 아니지만 다음의 설명을 포함한다.
멀티미디어 프레임들을 인코딩하는 방법은 삭제 가능한 시간적 스케일링 프레임을 단방향으로 예측함으로써 상기 삭제 가능한 시간적 스케일링 프레임을 인코딩하는 단계를 포함하며, 상기 삭제 가능한 시간적 스케일링 프레임은 다른 어떤 프레임의 예측에도 사용되지 않는다.
멀티미디어 프레임들을 인코딩하는 장치는 삭제 가능한 시간적 스케일링 프레임을 단방향으로 예측함으로써 상기 삭제 가능한 시간적 스케일링 프레임을 인코 딩하는 수단을 포함하며, 상기 삭제 가능한 시간적 스케일링 프레임은 다른 어떤 프레임의 예측에도 사용되지 않는다.
멀티미디어 프레임들을 인코딩하는 전자 장치는 삭제 가능한 시간적 스케일링 프레임을 단방향으로 예측함으로써 상기 삭제 가능한 시간적 스케일링 프레임을 인코딩하도록 구성되며, 상기 삭제 가능한 시간적 스케일링 프레임은 다른 어떤 프레임의 예측에도 사용되지 않는다.
컴퓨터가 멀티미디어 프레임들을 인코딩하는 방법을 실행하게 하는 명령들을 가진 컴퓨터 판독 가능 매체에서, 상기 멀티미디어 프레임 인코딩 방법은 다른 프레임으로부터 예측되지 않는 인트라 코딩 프레임을 인코딩하는 단계, 적어도 하나의 인트라 코딩 또는 예측 프레임으로부터 예측되는 예측 프레임을 인코딩하는 단계, 및 다른 어떤 프레임의 예측에도 사용되지 않는 삭제 가능한 시간적 스케일링 프레임을 단방향으로 예측함으로써 상기 삭제 가능한 시간적 스케일링 프레임을 인코딩하는 단계를 포함한다.
멀티미디어 프레임들을 디코딩하는 방법은 인코딩된 프레임 데이터를 수신하는 단계, 단방향으로 예측되며, 다른 어떤 프레임의 예측에도 사용되지 않는 임의의 삭제 가능한 시간적 스케일링 프레임을 식별하는 단계, 및 적어도 하나의 삭제 가능한 시간적 스케일링 프레임의 디코딩을 생략하여, 상기 수신된 인코딩 프레임 데이터를 디코딩하는 단계를 포함한다.
멀티미디어 프레임들을 디코딩하는 장치는 인코딩된 프레임 데이터를 수신하는 수단, 단방향으로 예측되며, 다른 어떤 프레임의 예측에도 사용되지 않는 임의 의 삭제 가능한 시간적 스케일링 프레임을 식별하는 수단, 및 적어도 하나의 삭제 가능한 시간적 스케일링 프레임의 디코딩을 생략하여, 상기 수신된 인코딩 프레임 데이터를 디코딩하는 수단을 포함한다.
멀티미디어 프레임들을 디코딩하는 전자 장치는 상기 전자 장치는 인코딩된 프레임 데이터를 수신하고, 단방향으로 예측되며 다른 어떤 프레임의 예측에도 사용되지 않는 임의의 삭제 가능한 시간적 스케일링 프레임을 식별하고, 적어도 하나의 삭제 가능한 시간적 스케일링 프레임의 디코딩을 생략하여 상기 수신된 인코딩 프레임 데이터를 디코딩하도록 구성된다.
컴퓨터가 멀티미디어 프레임들을 디코딩하는 방법을 실행하게 하는 명령들을 가진 컴퓨터 판독 가능 매체에서, 상기 멀티미디어 프레임 디코딩 방법은 인코딩된 프레임 데이터를 수신하는 단계, 단방향으로 예측되며, 다른 어떤 프레임의 예측에도 사용되지 않는 임의의 삭제 가능한 시간적 스케일링 프레임을 식별하는 단계, 및 적어도 하나의 삭제 가능한 시간적 스케일링 프레임의 디코딩을 생략하여, 상기 수신된 인코딩 프레임 데이터를 디코딩하는 단계를 포함한다.
멀티미디어 프레임들을 시간적으로 스케일링하는 방법은 인코딩 프레임을 제 1 네트워크를 통해 수신하는 단계, 적어도 하나의 인코딩 프레임으로부터 단방향으로 예측되며, 다른 어떤 프레임의 예측에도 사용되지 않는 삭제 가능한 시간적 스케일링 프레임을 상기 제 1 네트워크를 통해 수신하는 단계, 상기 수신된 인코딩 프레임을 제 2 네트워크를 통해 전송하는 단계, 및 상기 삭제 가능한 스케일링 프레임을 전송에서 생략하는 단계를 포함한다.
멀티미디어 프레임들을 시간적으로 스케일링하는 장치는 인코딩 프레임을 제 1 네트워크를 통해 수신하는 수단, 적어도 하나의 인코딩 프레임으로부터 단방향으로 예측되며, 다른 어떤 프레임의 예측에도 사용되지 않는 삭제 가능한 시간적 스케일링 프레임을 상기 제 1 네트워크를 통해 수신하는 수단, 상기 수신된 인코딩 프레임을 제 2 네트워크를 통해 전송하는 수단, 및 상기 삭제 가능한 스케일링 프레임을 전송에서 생략하는 수단을 포함한다.
당업자들은 다양한 여러 기술 및 방법을 이용하여 정보 및 신호들이 표현될 수 있는 것으로 이해할 것이다. 예를 들어, 상기 설명 전반에 걸쳐 언급된 데이터, 명령, 지시, 정보, 신호, 비트, 심벌 및 칩은 전압, 전류, 전자파, 자계 또는 입자, 광전계 또는 입자, 또는 이들의 조합으로 표현될 수 있다.
당업자들은 본원에 개시된 예시들과 관련하여 설명된 각종 예시적 논리 블록, 모듈, 회로 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어 또는 이 둘의 결합으로서 구현될 수 있는 것으로 인식한다. 하드웨어 및 소프트웨어의 호환성을 명확하게 설명하기 위해, 각종 예시적인 컴포넌트, 블록, 모듈, 회로 및 단계들은 일반적으로 그 기능 면에서 상술하였다. 이러한 기능이 하드웨어로 구현되는지 소프트웨어로 구현되는지는 전체 시스템에 부과된 특별한 응용 및 설계 압박에 좌우된다. 당업자들은 상술한 기능을 특정 응용마다 다양한 방법으로 구현할 수 있지만, 이러한 구현에 관한 결정이 본 발명의 범위를 벗어나게 하는 것으로 해석되지 않아야 한다.
본원에 개시된 예시들과 관련하여 설명된 각종 예시적인 논리 블록, 모듈 및 회로는 본원에 기재된 기능들을 행하도록 설계된 범용 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 현장 프로그램 가능 게이트 어레이(FPGA) 또는 다른 프로그램 가능 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트, 또는 이들의 조합에 의해 구현 또는 수행될 수 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안으로 프로세서는 임의의 종래 프로세서, 제어기, 마이크로컨트롤러 또는 상태 머신일 수도 있다. 프로세서는 또한 연산 장치들의 조합, 예를 들어 DSP와 마이크로프로세서의 조합, 다수의 마이크로프로세서, DSP 코어와 관련된 하나 이상의 마이크로프로세서, 또는 이러한 구성의 임의의 다른 조합으로 구현될 수도 있다.
본원에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어에 직접, 또는 프로세서에 의해 실행된 소프트웨어 모듈에, 또는 이 둘의 조합에 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드디스크, 착탈식 디스크, CD-ROM, 또는 공지된 임의의 다른 형태의 저장 매체에 상주할 수 있다. 예시적인 저장 매체는 프로세서와 결합하여 프로세서가 저장 매체로부터 정보를 판독하고 저장 매체에 정보를 기록할 수 있다. 대안으로, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서 및 저장 매체는 주문형 집적 회로(ASIC)에 상주할 수 있다. ASIC는 무선 모뎀에 상주할 수도 있다. 대안으로, 프로세서 및 저장 매체는 무선 모뎀에 개별 구성요소로서 상주할 수도 있다.
개시된 실시예들의 상기 설명은 당업자들이 본 발명을 제작하거나 사용할 수 있도록 제공된다. 이들 실시예에 대한 다양한 변형이 당업자들에게 명백하며, 본원에 정의된 일반 원리들은 본 발명의 진의 또는 범위를 벗어나지 않으면서 다른 실시예들에 적용될 수 있다.
인트라 코딩 프레임, 전방 및 후방 예측 프레임 및 단방향 예측 시간적 스케일링 프레임을 포함하는 비디오 스트림을 인코딩, 트랜스코딩 및 디코딩하는 방법, 장치 및 시스템이 설명되었다.

Claims (68)

  1. 멀티미디어 프레임들을 인코딩하는 방법으로서,
    삭제 가능한 시간적 스케일링 프레임을 단방향으로 예측함으로써 상기 삭제 가능한 시간적 스케일링 프레임을 인코딩하는 단계를 포함하며,
    상기 삭제 가능한 시간적 스케일링 프레임은 다른 어떤 프레임의 예측에도 사용되지 않는, 멀티미디어 프레임 인코딩 방법.
  2. 제 1 항에 있어서,
    인트라 코딩 프레임을 인코딩하는 단계를 더 포함하며, 상기 인트라 코딩 프레임은 다른 프레임으로부터 예측되지 않는 것을 특징으로 하는 멀티미디어 프레임 인코딩 방법.
  3. 제 2 항에 있어서,
    예측 프레임을 인코딩하는 단계를 더 포함하며, 상기 예측 프레임은 적어도 하나의 인트라 코딩 또는 예측 프레임으로부터 예측되는 것을 특징으로 하는 멀티미디어 프레임 인코딩 방법.
  4. 제 3 항에 있어서,
    상기 예측 프레임의 인코딩은 상기 예측 프레임의 전방 예측을 포함하는 것 을 특징으로 하는 멀티미디어 프레임 인코딩 방법.
  5. 제 1 항에 있어서,
    상기 인코딩된 프레임을 메모리에 저장하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 인코딩 방법.
  6. 제 1 항에 있어서,
    상기 삭제 가능한 시간적 스케일링 프레임으로서 식별을 위해 오버헤드 데이터를 갖는 삭제 가능한 시간적 스케일링 프레임을 인코딩하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 인코딩 방법.
  7. 제 3 항에 있어서,
    상기 인코딩된 프레임을 네트워크를 통해 전송하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 인코딩 방법.
  8. 제 3 항에 있어서,
    상기 인코딩된 인트라 코딩 프레임 및 상기 인코딩된 예측 프레임을 네트워크를 통해 전송하는 한편, 상기 인코딩된 삭제 가능한 시간적 스케일링 프레임을 상기 전송에서 생략하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 인코딩 방법.
  9. 제 3 항에 있어서,
    상기 예측 프레임을 움직임 벡터 및 잔여 에러 데이터로 인코딩하는 단계; 및
    상기 삭제 가능한 시간적 스케일링 프레임을 움직임 벡터 및 잔여 에러 데이터로 인코딩하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 인코딩 방법.
  10. 제 7 항에 있어서,
    상기 전송된 프레임들을 수신하는 단계; 및
    상기 수신된 프레임들을 디코딩하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 인코딩 방법.
  11. 제 7 항에 있어서,
    상기 전송된 프레임들을 수신하는 단계; 및
    상기 수신된 인트라 코딩 프레임 및 상기 수신된 예측 프레임을 디코딩하는 한편, 상기 수신된 삭제 가능한 시간적 스케일링 프레임을 생략하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 인코딩 방법.
  12. 제 7 항에 있어서,
    상기 전송된 프레임들을 수신하는 단계; 및
    상기 수신된 삭제 가능한 시간적 스케일링 프레임을 연역적 식별자로 식별하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 인코딩 방법.
  13. 제 1 항에 있어서,
    상기 삭제 가능한 시간적 스케일링 프레임의 인코딩 단계는 상기 삭제 가능한 시간적 스케일링 프레임의 전방 예측을 포함하는 것을 특징으로 하는 멀티미디어 프레임 인코딩 방법.
  14. 제 1 항에 있어서,
    상기 삭제 가능한 시간적 스케일링 프레임의 인코딩 단계는 상기 삭제 가능한 시간적 스케일링 프레임의 후방 예측을 포함하는 것을 특징으로 하는 멀티미디어 프레임 인코딩 방법.
  15. 멀티미디어 프레임들을 인코딩하는 장치로서,
    삭제 가능한 시간적 스케일링 프레임을 단방향으로 예측함으로써 상기 삭제 가능한 시간적 스케일링 프레임을 인코딩하는 수단을 포함하며,
    상기 삭제 가능한 시간적 스케일링 프레임은 다른 어떤 프레임의 예측에도 사용되지 않는, 멀티미디어 프레임 인코딩 장치.
  16. 제 15 항에 있어서,
    인트라 코딩 프레임을 인코딩하는 수단을 더 포함하며, 상기 인트라 코딩 프레임은 다른 프레임으로부터 예측되지 않는 것을 특징으로 하는 멀티미디어 프레임 인코딩 장치.
  17. 제 16 항에 있어서,
    예측 프레임을 인코딩하는 수단을 더 포함하며, 상기 예측 프레임은 적어도 하나의 인트라 코딩 또는 예측 프레임으로부터 예측되는 것을 특징으로 하는 멀티미디어 프레임 인코딩 장치.
  18. 제 17 항에 있어서,
    상기 예측 프레임의 인코딩 수단은 전방 예측 수단을 포함하는 것을 특징으로 하는 멀티미디어 프레임 인코딩 장치.
  19. 제 15 항에 있어서,
    상기 인코딩된 프레임을 메모리에 저장하는 수단을 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 인코딩 장치.
  20. 제 15 항에 있어서,
    상기 삭제 가능한 시간적 스케일링 프레임으로서 식별을 위해 오버헤드 데이 터를 갖는 삭제 가능한 시간적 스케일링 프레임을 인코딩하는 수단을 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 인코딩 장치.
  21. 제 17 항에 있어서,
    상기 인코딩된 프레임을 네트워크를 통해 전송하는 수단을 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 인코딩 장치.
  22. 제 17 항에 있어서,
    상기 인코딩된 인트라 코딩 프레임 및 상기 인코딩된 예측 프레임을 네트워크를 통해 전송하는 수단; 및
    상기 인코딩된 삭제 가능한 시간적 스케일링 프레임을 상기 전송에서 생략하는 수단을 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 인코딩 장치.
  23. 제 17 항에 있어서,
    상기 예측 프레임을 움직임 벡터 및 잔여 에러 데이터로 인코딩하는 수단; 및
    상기 삭제 가능한 시간적 스케일링 프레임을 움직임 벡터 및 잔여 에러 데이터로 인코딩하는 수단을 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 인코딩 장치.
  24. 제 15 항에 있어서,
    상기 삭제 가능한 시간적 스케일링 프레임의 인코딩 수단은 상기 삭제 가능한 시간적 스케일링 프레임의 전방 예측 수단을 포함하는 것을 특징으로 하는 멀티미디어 프레임 인코딩 장치.
  25. 제 15 항에 있어서,
    상기 삭제 가능한 시간적 스케일링 프레임의 인코딩 수단은 상기 삭제 가능한 시간적 스케일링 프레임의 후방 예측 수단을 포함하는 것을 특징으로 하는 멀티미디어 프레임 인코딩 장치.
  26. 멀티미디어 프레임들을 인코딩하는 전자 장치로서,
    상기 전자 장치는 삭제 가능한 시간적 스케일링 프레임을 단방향으로 예측함으로써 상기 삭제 가능한 시간적 스케일링 프레임을 인코딩하도록 구성되며,
    상기 삭제 가능한 시간적 스케일링 프레임은 다른 어떤 프레임의 예측에도 사용되지 않는, 멀티미디어 프레임 인코딩 전자 장치.
  27. 제 26 항에 있어서,
    상기 전자 장치는 인트라 코딩 프레임을 인코딩하도록 구성되며, 상기 인트라 코딩 프레임은 다른 프레임으로부터 예측되지 않는 것을 특징으로 하는 멀티미디어 프레임 인코딩 전자 장치.
  28. 제 27 항에 있어서,
    상기 전자 장치는 예측 프레임을 인코딩하도록 구성되며, 상기 예측 프레임은 적어도 하나의 인트라 코딩 또는 예측 프레임으로부터 예측되는 것을 특징으로 하는 멀티미디어 프레임 인코딩 전자 장치.
  29. 제 28 항에 있어서,
    상기 전자 장치는 전방 예측을 이용하여 상기 예측 프레임을 인코딩하도록 구성되는 것을 특징으로 하는 멀티미디어 프레임 인코딩 전자 장치.
  30. 제 26 항에 있어서,
    상기 전자 장치는 상기 인코딩된 프레임을 메모리에 저장하도록 구성되는 것을 특징으로 하는 멀티미디어 프레임 인코딩 전자 장치.
  31. 제 26 항에 있어서,
    상기 전자 장치는 상기 삭제 가능한 시간적 스케일링 프레임으로서 식별을 위해 오버헤드 데이터를 갖는 삭제 가능한 시간적 스케일링 프레임을 인코딩하도록 구성되는 것을 특징으로 하는 멀티미디어 프레임 인코딩 전자 장치.
  32. 제 28 항에 있어서,
    상기 인코딩된 프레임을 네트워크를 통해 전송하도록 구성되는 것을 특징으로 하는 멀티미디어 프레임 인코딩 전자 장치.
  33. 제 28 항에 있어서,
    상기 전자 장치는 상기 인코딩된 인트라 코딩 프레임 및 상기 인코딩된 예측 프레임을 네트워크를 통해 전송하고, 상기 인코딩된 삭제 가능한 시간적 스케일링 프레임을 상기 전송에서 생략하도록 구성되는 것을 특징으로 하는 멀티미디어 프레임 인코딩 전자 장치.
  34. 제 28 항에 있어서,
    상기 전자 장치는 상기 예측 프레임을 움직임 벡터 및 잔여 에러 데이터로 인코딩하고, 상기 삭제 가능한 시간적 스케일링 프레임을 움직임 벡터 및 잔여 에러 데이터로 인코딩하도록 구성되는 것을 특징으로 하는 멀티미디어 프레임 인코딩 전자 장치.
  35. 제 26 항에 있어서,
    상기 전자 장치는 전방 예측을 이용하여 상기 삭제 가능한 시간적 스케일링 프레임을 인코딩하도록 구성되는 것을 특징으로 하는 멀티미디어 프레임 인코딩 전자 장치.
  36. 제 26 항에 있어서,
    상기 전자 장치는 전방 예측을 이용하여 상기 삭제 가능한 시간적 스케일링 프레임을 인코딩하도록 구성되는 것을 특징으로 하는 멀티미디어 프레임 인코딩 전자 장치.
  37. 컴퓨터가 멀티미디어 프레임들을 인코딩하는 방법을 실행하게 하는 명령들을 가진 컴퓨터 판독 가능 매체로서, 상기 멀티미디어 프레임 인코딩 방법은,
    다른 프레임으로부터 예측되지 않는 인트라 코딩 프레임을 인코딩하는 단계;
    적어도 하나의 인트라 코딩 또는 예측 프레임으로부터 예측되는 예측 프레임을 인코딩하는 단계; 및
    다른 어떤 프레임의 예측에도 사용되지 않는 삭제 가능한 시간적 스케일링 프레임을 단방향으로 예측함으로써 상기 삭제 가능한 시간적 스케일링 프레임을 인코딩하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
  38. 멀티미디어 프레임들을 디코딩하는 방법으로서,
    인코딩된 프레임 데이터를 수신하는 단계;
    단방향으로 예측되며, 다른 어떤 프레임의 예측에도 사용되지 않는 임의의 삭제 가능한 시간적 스케일링 프레임을 식별하는 단계; 및
    적어도 하나의 삭제 가능한 시간적 스케일링 프레임의 디코딩을 생략하여, 상기 수신된 인코딩 프레임 데이터를 디코딩하는 단계를 포함하는, 멀티미디어 프 레임 디코딩 방법.
  39. 제 38 항에 있어서,
    다른 프레임으로부터 예측되지 않는 인트라 코딩 프레임을 수신하는 단계; 및
    상기 인트라 코딩 프레임을 디코딩하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 디코딩 방법.
  40. 제 39 항에 있어서,
    적어도 하나의 인코딩 프레임으로부터 예측되는 예측 프레임을 수신하는 단계; 및
    상기 예측 프레임을 디코딩하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 디코딩 방법.
  41. 제 38 항에 있어서,
    전방 예측되는 상기 삭제 가능한 시간적 스케일링 프레임을 수신하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 디코딩 방법.
  42. 제 38 항에 있어서,
    후방 예측되는 상기 삭제 가능한 시간적 스케일링 프레임을 수신하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 디코딩 방법.
  43. 제 38 항에 있어서,
    상기 수신 단계는 무선 네트워크를 통해 수신하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 프레임 디코딩 방법.
  44. 제 40 항에 있어서,
    전방 예측되는 상기 예측 프레임을 수신하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 디코딩 방법.
  45. 제 38 항에 있어서,
    상기 수신된 삭제 가능한 시간적 스케일링 프레임을 연역적 식별자로 식별하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 디코딩 방법.
  46. 멀티미디어 프레임들을 디코딩하는 장치로서,
    인코딩된 프레임 데이터를 수신하는 수단;
    단방향으로 예측되며, 다른 어떤 프레임의 예측에도 사용되지 않는 임의의 삭제 가능한 시간적 스케일링 프레임을 식별하는 수단; 및
    적어도 하나의 삭제 가능한 시간적 스케일링 프레임의 디코딩을 생략하여, 상기 수신된 인코딩 프레임 데이터를 디코딩하는 수단을 포함하는, 멀티미디어 프 레임 디코딩 장치.
  47. 제 46 항에 있어서,
    다른 프레임으로부터 예측되지 않는 인트라 코딩 프레임을 수신하는 수단; 및
    상기 인트라 코딩 프레임을 디코딩하는 수단을 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 디코딩 장치.
  48. 제 47 항에 있어서,
    적어도 하나의 인코딩 프레임으로부터 예측되는 예측 프레임을 수신하는 수단; 및
    상기 예측 프레임을 디코딩하는 수단을 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 디코딩 장치.
  49. 제 46 항에 있어서,
    전방 예측되는 상기 삭제 가능한 시간적 스케일링 프레임을 수신하는 수단을 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 디코딩 장치.
  50. 제 46 항에 있어서,
    후방 예측되는 상기 삭제 가능한 시간적 스케일링 프레임을 수신하는 수단을 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 디코딩 장치.
  51. 제 46 항에 있어서,
    상기 수신 수단은 무선 네트워크를 통해 수신하는 수단을 포함하는 것을 특징으로 하는 멀티미디어 프레임 디코딩 장치.
  52. 제 48 항에 있어서,
    전방 예측되는 상기 예측 프레임을 수신하는 수단을 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 디코딩 장치.
  53. 제 46 항에 있어서,
    상기 수신된 삭제 가능한 시간적 스케일링 프레임을 연역적 식별자로 식별하는 수단을 더 포함하는 것을 특징으로 하는 멀티미디어 프레임 디코딩 장치.
  54. 멀티미디어 프레임들을 디코딩하는 전자 장치로서,
    상기 전자 장치는 인코딩된 프레임 데이터를 수신하고, 단방향으로 예측되며 다른 어떤 프레임의 예측에도 사용되지 않는 임의의 삭제 가능한 시간적 스케일링 프레임을 식별하고, 적어도 하나의 삭제 가능한 시간적 스케일링 프레임의 디코딩을 생략하여 상기 수신된 인코딩 프레임 데이터를 디코딩하도록 구성되는, 멀티미디어 프레임 디코딩 전자 장치.
  55. 제 54 항에 있어서,
    상기 전자 장치는 다른 프레임으로부터 예측되지 않는 인트라 코딩 프레임을 수신하고, 상기 인트라 코딩 프레임을 디코딩하도록 구성되는 것을 특징으로 하는 멀티미디어 프레임 디코딩 전자 장치.
  56. 제 55 항에 있어서,
    상기 전자 장치는 적어도 하나의 인코딩 프레임으로부터 예측되는 예측 프레임을 수신하고, 상기 예측 프레임을 디코딩하도록 구성되는 것을 특징으로 하는 멀티미디어 프레임 디코딩 전자 장치.
  57. 제 54 항에 있어서,
    상기 전자 장치는 전방 예측되는 상기 삭제 가능한 시간적 스케일링 프레임을 수신하도록 구성되는 것을 특징으로 하는 멀티미디어 프레임 디코딩 전자 장치.
  58. 제 54 항에 있어서,
    상기 전자 장치는 후방 예측되는 상기 삭제 가능한 시간적 스케일링 프레임을 수신하도록 구성되는 것을 특징으로 하는 멀티미디어 프레임 디코딩 전자 장치.
  59. 제 54 항에 있어서,
    상기 전자 장치는 상기 인코딩된 프레임 데이터를 무선 네트워크를 통해 수신하도록 구성되는 것을 특징으로 하는 멀티미디어 프레임 디코딩 전자 장치.
  60. 제 56 항에 있어서,
    상기 전자 장치는 전방 예측되는 상기 예측 프레임을 수신하도록 구성되는 것을 특징으로 하는 멀티미디어 프레임 디코딩 전자 장치.
  61. 제 56 항에 있어서,
    상기 전자 장치는 상기 수신된 삭제 가능한 시간적 스케일링 프레임을 연역적 식별자로 식별하도록 구성되는 것을 특징으로 하는 멀티미디어 프레임 디코딩 전자 장치.
  62. 컴퓨터가 멀티미디어 프레임들을 디코딩하는 방법을 실행하게 하는 명령들을 가진 컴퓨터 판독 가능 매체로서, 상기 멀티미디어 프레임 디코딩 방법은,
    인코딩된 프레임 데이터를 수신하는 단계;
    단방향으로 예측되며, 다른 어떤 프레임의 예측에도 사용되지 않는 임의의 삭제 가능한 시간적 스케일링 프레임을 식별하는 단계; 및
    적어도 하나의 삭제 가능한 시간적 스케일링 프레임의 디코딩을 생략하여, 상기 수신된 인코딩 프레임 데이터를 디코딩하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
  63. 멀티미디어 프레임들을 시간적으로 스케일링하는 방법으로서,
    인코딩 프레임을 제 1 네트워크를 통해 수신하는 단계;
    적어도 하나의 인코딩 프레임으로부터 단방향으로 예측되며, 다른 어떤 프레임의 예측에도 사용되지 않는 삭제 가능한 시간적 스케일링 프레임을 상기 제 1 네트워크를 통해 수신하는 단계;
    상기 수신된 인코딩 프레임을 제 2 네트워크를 통해 전송하는 단계; 및
    상기 삭제 가능한 스케일링 프레임을 전송에서 생략하는 단계를 포함하는, 멀티미디어 프레임들의 시간적 스케일링 방법.
  64. 제 63 항에 있어서,
    상기 수신 단계들은 무선 네트워크를 통한 수신을 포함하는 것을 특징으로 하는 멀티미디어 프레임들의 시간적 스케일링 방법.
  65. 제 63 항에 있어서,
    상기 전송 단계는 무선 네트워크를 통한 전송을 포함하는 것을 특징으로 하는 멀티미디어 프레임들의 시간적 스케일링 방법.
  66. 멀티미디어 프레임들을 시간적으로 스케일링하는 장치로서,
    인코딩 프레임을 제 1 네트워크를 통해 수신하는 수단;
    적어도 하나의 인코딩 프레임으로부터 단방향으로 예측되며, 다른 어떤 프레임의 예측에도 사용되지 않는 삭제 가능한 시간적 스케일링 프레임을 상기 제 1 네트워크를 통해 수신하는 수단;
    상기 수신된 인코딩 프레임을 제 2 네트워크를 통해 전송하는 수단; 및
    상기 삭제 가능한 스케일링 프레임을 전송에서 생략하는 수단을 포함하는, 멀티미디어 프레임들의 시간적 스케일링 장치.
  67. 제 66 항에 있어서,
    상기 수신 수단들은 무선 네트워크를 통해 수신하는 수단을 포함하는 것을 특징으로 하는 멀티미디어 프레임들의 시간적 스케일링 장치.
  68. 제 66 항에 있어서,
    상기 전송 수단은 무선 네트워크를 통해 전송하는 수단을 포함하는 것을 특징으로 하는 멀티미디어 프레임들의 시간적 스케일링 장치.
KR1020067023243A 2004-04-07 2005-04-07 시간적 스케일러빌러티를 가능하게 하는 하이브리드 비디오압축에서의 프레임 예측 방법 및 장치 KR100799784B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US56043304P 2004-04-07 2004-04-07
US60/560,433 2004-04-07
US62570004P 2004-11-04 2004-11-04
US60/625,700 2004-11-04
US11/093,874 2005-03-29
US11/093,874 US8315307B2 (en) 2004-04-07 2005-03-29 Method and apparatus for frame prediction in hybrid video compression to enable temporal scalability

Publications (2)

Publication Number Publication Date
KR20060133090A KR20060133090A (ko) 2006-12-22
KR100799784B1 true KR100799784B1 (ko) 2008-01-31

Family

ID=34965145

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067023243A KR100799784B1 (ko) 2004-04-07 2005-04-07 시간적 스케일러빌러티를 가능하게 하는 하이브리드 비디오압축에서의 프레임 예측 방법 및 장치

Country Status (7)

Country Link
US (1) US8315307B2 (ko)
EP (1) EP1733565A1 (ko)
JP (2) JP5069099B2 (ko)
KR (1) KR100799784B1 (ko)
CN (1) CN1965587B (ko)
CA (1) CA2562172C (ko)
WO (1) WO2005101851A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100924309B1 (ko) 2009-06-04 2009-11-02 전자부품연구원 시간확장성과 버퍼상태판단을 통한 품질 적응적 멀티미디어 데이터 스트리밍 방법 및 시스템

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7995656B2 (en) * 2005-03-10 2011-08-09 Qualcomm Incorporated Scalable video coding with two layer encoding and single layer decoding
EP1904933A4 (en) * 2005-04-18 2009-12-09 Clearplay Inc DEVICE, SYSTEM AND METHOD FOR ASSOCIATING ONE OR MORE FILTER FILES WITH A PARTICULAR MULTIMEDIA PRESENTATION
JP2007336263A (ja) * 2006-06-15 2007-12-27 Fujifilm Corp 画像処理方法及び装置並びにプログラム
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
CN100463526C (zh) * 2006-12-11 2009-02-18 陈耀武 视频延时自适应矫正的解码装置
US8913670B2 (en) 2007-08-21 2014-12-16 Blackberry Limited System and method for providing dynamic deblocking filtering on a mobile device
EP2028863B1 (en) * 2007-08-21 2015-07-15 BlackBerry Limited System and method for dynamic video deblocking on a mobile device
US20090060035A1 (en) * 2007-08-28 2009-03-05 Freescale Semiconductor, Inc. Temporal scalability for low delay scalable video coding
WO2009028101A1 (ja) * 2007-08-31 2009-03-05 Fujitsu Limited 信号出力装置、信号出力方法及び信号出力プログラム
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
JP5197238B2 (ja) * 2008-08-29 2013-05-15 キヤノン株式会社 映像送信装置、その制御方法、および制御方法を実行するプログラム
US20110211633A1 (en) * 2008-11-12 2011-09-01 Ferran Valldosera Light change coding
WO2010056327A1 (en) * 2008-11-13 2010-05-20 Thomson Licensing Multiple thread video encoding using hrd information sharing and bit allocation waiting
US8687685B2 (en) 2009-04-14 2014-04-01 Qualcomm Incorporated Efficient transcoding of B-frames to P-frames
US8213506B2 (en) * 2009-09-08 2012-07-03 Skype Video coding
WO2011075096A1 (en) * 2009-12-15 2011-06-23 Thomson Licensing Method and apparatus for bi-directional prediction within p-slices
GB2476271B (en) * 2009-12-17 2015-09-02 Skype Coding data streams
US8976856B2 (en) 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
US20130021488A1 (en) * 2011-07-20 2013-01-24 Broadcom Corporation Adjusting Image Capture Device Settings
US9584832B2 (en) * 2011-12-16 2017-02-28 Apple Inc. High quality seamless playback for video decoder clients
KR20130101900A (ko) * 2012-03-06 2013-09-16 삼성전자주식회사 전자 장치 및 인코딩 방법
KR101858695B1 (ko) * 2012-04-09 2018-05-16 엘지전자 주식회사 데이터 관리 방법
JP2014103613A (ja) * 2012-11-22 2014-06-05 Jvc Kenwood Corp 画像処理装置、画像処理方法、画像処理プログラム
US9674522B2 (en) * 2013-04-08 2017-06-06 Qualcomm Incorporated Device and method for scalable coding of video information
CN103957471B (zh) * 2014-05-05 2017-07-14 华为技术有限公司 网络视频播放的方法和装置
CN104796702B (zh) * 2015-04-22 2018-05-08 无锡天脉聚源传媒科技有限公司 一种h264视频帧率的转换方法及装置
WO2016203539A1 (ja) * 2015-06-16 2016-12-22 三菱電機株式会社 画像符号化方式変換装置及び画像符号化方式変換方法
DE102015110316B4 (de) * 2015-06-26 2021-09-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtungen, Zytometer, Verfahren und Computerprogramm zum Bereitstellen von Information über zumindest eine Sequenz
US10505994B2 (en) 2015-10-20 2019-12-10 Intel Corporation Technologies for scalable capability detection for multimedia casting
CN108933762B (zh) * 2017-05-25 2020-12-04 腾讯科技（深圳）有限公司 一种媒体流的播放处理方法及装置
JPWO2019031306A1 (ja) * 2017-08-07 2020-08-06 シャープ株式会社 生成装置、再生装置、生成方法、再生方法、制御プログラム、記録媒体
JP7136458B2 (ja) * 2019-07-26 2022-09-13 サイレックス・テクノロジー株式会社 符号化装置、再生装置、作成装置、再生システム、符号化方法、再生方法、作成方法、および、プログラム
CN112040233B (zh) * 2020-11-04 2021-01-29 北京金山云网络技术有限公司 视频编码、视频解码方法和装置、电子设备及存储介质
EP4203472A1 (en) * 2021-12-21 2023-06-28 Axis AB Method and image processing device for encoding a video

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030138043A1 (en) * 2002-01-23 2003-07-24 Miska Hannuksela Grouping of image frames in video coding
US20040062304A1 (en) * 2000-07-11 2004-04-01 Dolbear Catherine Mary Spatial quality of coded pictures using layered scalable video bit streams

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3318707B2 (ja) 1996-11-08 2002-08-26 ソニー株式会社 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法、画像信号伝送方法、並びに画像信号記録媒体
US6173013B1 (en) 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
US7263127B1 (en) * 1998-04-02 2007-08-28 Intel Corporation Method and apparatus for simplifying frame-based motion estimation
JP2000350197A (ja) 1999-06-02 2000-12-15 Hitachi Ltd 映像伝送方法とそれを用いた監視システム
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
JP4337248B2 (ja) * 2000-08-31 2009-09-30 ソニー株式会社 画像情報の伝送装置、伝送システムおよび伝送方法
US20030159152A1 (en) * 2001-10-23 2003-08-21 Shu Lin Fast motion trick mode using dummy bidirectional predictive pictures
US7643724B2 (en) * 2001-10-23 2010-01-05 Thomson Licensing Fast motion trick mode using non-progressive dummy predictive pictures
FI114433B (fi) * 2002-01-23 2004-10-15 Nokia Corp Otossiirtymän koodaaminen videokoodauksessa
EP1500002A1 (en) 2002-04-29 2005-01-26 Sony Electronics Inc. Supporting advanced coding formats in media files
GB2391413B (en) 2002-07-31 2004-08-25 Motorola Inc Object-based scalable video transmissions
US7826718B2 (en) * 2002-08-09 2010-11-02 Broadcom Corporation Method and apparatus to facilitate the efficient implementation of trick modes in a personal video recording system
US7606308B2 (en) 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
US7599438B2 (en) 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7889792B2 (en) * 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040062304A1 (en) * 2000-07-11 2004-04-01 Dolbear Catherine Mary Spatial quality of coded pictures using layered scalable video bit streams
US20030138043A1 (en) * 2002-01-23 2003-07-24 Miska Hannuksela Grouping of image frames in video coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100924309B1 (ko) 2009-06-04 2009-11-02 전자부품연구원 시간확장성과 버퍼상태판단을 통한 품질 적응적 멀티미디어 데이터 스트리밍 방법 및 시스템

Also Published As

Publication number Publication date
KR20060133090A (ko) 2006-12-22
US8315307B2 (en) 2012-11-20
JP2007533212A (ja) 2007-11-15
JP5108078B2 (ja) 2012-12-26
JP2011041317A (ja) 2011-02-24
US20050249285A1 (en) 2005-11-10
WO2005101851A1 (en) 2005-10-27
CN1965587A (zh) 2007-05-16
EP1733565A1 (en) 2006-12-20
JP5069099B2 (ja) 2012-11-07
CA2562172C (en) 2013-12-31
CA2562172A1 (en) 2005-10-27
CN1965587B (zh) 2013-04-24

Similar Documents

Publication Publication Date Title
KR100799784B1 (ko) 시간적 스케일러빌러티를 가능하게 하는 하이브리드 비디오압축에서의 프레임 예측 방법 및 장치
US8320464B2 (en) Method and apparatus to construct bi-directional predicted frames for temporal scalability
Xin et al. Digital video transcoding
US7974341B2 (en) Rate control for multi-layer video design
US8948262B2 (en) Method and apparatus for using frame rate up conversion techniques in scalable video coding
US20060088094A1 (en) Rate adaptive video coding
KR20070117623A (ko) 2계층 인코딩 및 단일 계층 디코딩을 이용한 스케일러블비디오 코딩
JP2003533950A (ja) ビデオ符号化方法
KR100964778B1 (ko) 다중 계층 비디오 인코딩
US10484688B2 (en) Method and apparatus for encoding processing blocks of a frame of a sequence of video frames using skip scheme
Kurceren et al. Synchronization-predictive coding for video compression: The SP frames design for JVT/H. 26L
TWI416962B (zh) 在併合視訊壓縮中用於框架預測以致動暫時可擴充性之方法、裝置、及電腦可讀取媒體
Sanigepalli et al. A improved video codec supporting error resilience and resource adaptation
Wang AVS-M: from standards to applications
Goh et al. Real-time software MPEG-2 TO H. 264 video transcoding
Zhang et al. Error resilient transcoding for wireless video transmission
Mahmood et al. A hybrid adaptive compression scheme for Multimedia Streaming over wireless networks
Lai et al. Adaptive vector length interpolation for whole-frame error concealment of temporal MDC
Slowack et al. Refining WZ rate estimation in DVC with feedback channel constraints
Khamiss et al. Adaptive Rate Control for Low Rate Video Transmission over Wireless Network
Psannis Multicast video services over wireless channel with VCR functionality

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121227

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131227

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141230

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20151230

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20171228

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20181227

Year of fee payment: 12