KR20050109596A

KR20050109596A - 무선 멀티미디어 송신용 부분 인트라프레임 인코딩을 위한시스템 및 방법

Info

Publication number: KR20050109596A
Application number: KR1020057017629A
Authority: KR
Inventors: 리차드 도일 레인
Original assignee: 퀄컴 인코포레이티드
Priority date: 2003-03-17
Filing date: 2004-03-17
Publication date: 2005-11-21
Also published as: NO20054733L; NO20054733D0; RU2005131939A; RU2341037C2; US7949047B2; US20080002768A1; US20040184539A1; WO2004084040A2; AU2004220875A1; US8155182B2; NZ542513A; WO2004084040A3; JP2006521064A; EP1604521A4; CA2519398A1; MXPA05009964A; EP1604521A2; BRPI0408395A; EG24091A

Abstract

디지털 멀티미디어는 인트라프레임 정보 및 인터프레임 정보를 포함한다. 인터프레임에 의해 참조되는 별도의 완전한 인트라프레임을 송신하는 것에 더하여, 일부 인터프레임 ("하이브리드" 프레임) 은 부분 인트라프레임 정보를 포함하여, 완전한 인트라프레임이 손실되면, 인터프레임의 참조가 하이브리드 프레임으로부터 적어도 일부의 인트라프레임 정보를 획득할 수 있게 한다.

Description

무선 멀티미디어 송신용 부분 인트라프레임 인코딩을 위한 시스템 및 방법{SYSTEM AND METHOD FOR PARTIAL INTRAFRAME ENCODING FOR WIRELESS MULTIMEDIA TRANSMISSION}

관련 출원의 상호-참조

본 출원은, 2003년 3월 17일자로 출원되었고 여기에 참조로서 전부 포함되는 미국특허 가출원 제 60/456,022 호를 우선권 주장한다.

발명의 기술분야

본 발명은 일반적으로 컴퓨터-기반 통신 시스템에 관한 것이다.

발명의 배경

비디오 및 음악과 같은 디지털 멀티미디어 데이터는, 이동 수신기의 사용자에 의한 멀티미디어의 재생을 위해, 무선 전화기와 같은 이동 수신기에 무선으로 송신될 수 있다. 통상적으로, 그러한 데이터는 방송될 수도 있다.

그 멀티미디어는, MPEG-1, MPEG-2 (DVD 포맷용으로도 이용됨), MPEG-4 및 다른 블록-기반 변환 코덱과 같은 MPEG (Moving Pictures Expert Group) 표준에 따라 포맷될 수 있다. 본질적으로, 개별 비디오 프레임에 대하여, 이들 멀티미디어 표준은 JPEG (Joint Photographic Experts Group) 압축을 이용한다. JPEG 에서, 통상적으로, 단일 프레임의 이미지는, 픽셀에 의해 표현되는 공간 강도값을 최저 주파수로부터 최고 주파수로 블록 내에 대략 배열되는 공간 주파수값으로 변환시키기 위해 이산 코사인 변환 (DCT) 를 이용하여 인코딩되는 작은 블록의 픽셀 (일반적으로, 8×8 및/또는 16×16 픽셀 블록) 로 분할된다. 그 후, DCT 값들은 양자화된다 (즉, 그 정보는, 예를 들어, 모든 값을 10 으로 나누고 가장 가까운 정수로 반올림하여 덩어리 (chunks) 로 그루핑 (grouping) 함으로써 감소됨). DCT 함수는, 블록의 좌측 상부 코너 근처에 더 큰 수를 두고 우측 하부 코너 근처에 더 작은 수를 두는 점진적인 가중 (progressive weighting) 을 포함하기 때문에, (특히, 모두 제로 (0) 값을 저장하는 대신, 예를 들어, 연속적으로 나타나는 제로 값의 갯수에 대한 카운트를 저장하는) 런-렝스 코딩 (run-length coding) 에 의한 추가적인 압축을 용이하게 하는, 값들의 특별한 지그재그 정렬이 적용될 수 있다. 원할 경우, "가변 길이 코딩" 으로도 통칭되는 동작인, 가장 일반적인 수에 대한 더 짧은 심볼을 생성하기 위한 허프만 (Huffman) 코딩을 이용하여 전개되는 테이블로부터 심볼들을 검사하기 위해 결과적인 수가 사용될 수도 있다. 어떤 경우라도, JPEG-인코딩 스트림은, 기본적인 (underlying) 픽셀 데이터가 수평 로우의 매트릭스에 배열되는 것과 매우 동일한 방식으로, 화상의 수평 라인을 나타낸다.

JPEG 압축은 손실된 정보를 산출함을 알 수 있다. 그러나, 상술한 프로세스가 동작하는 방식 및 인간의 지각 현상으로 인해, JPEG 압축은, 거의 식별할 수 없는 차이가 있으면, 그 원래의 사이즈의 약 1/5 로 화상을 감소시키고, 사소한 열화만이 있으면, 그 원래의 사이즈의 1/10 로 화상을 감소시킬 수 있다.

동화상 (motion picture) 은 단일 화상의 공간 디멘젼에 시간 디멘젼 (temporal dimension) 을 부가한다. 통상적인 동화상은 관전 시간의 두번째 당 30 개의 프레임, 즉, 30 개의 정지 화상을 갖는다. 본질적으로, MPEG 은 비디오 스트림을 추가적으로 압축하기 위하여 모션 추정을 이용하는 압축 기술이다.

MPEG 인코딩은 각각의 화상을 "매크로블록" 이라고 지칭되는 블록으로 나눈 후, 유사한 블록에 대하여 인접한 화상을 탐색한다. 만약 일치가 발견되면, 전체 블록에 대한 모든 DCT 값을 저장하는 대신, 시스템은 화상 사이의 블록의 이동 여부를 나타내는 훨씬 더 작은 벡터를 저장한다. 이러한 방식으로, 효율적인 압축을 달성한다.

더 상세하게, 일반적으로, MPEG 압축은 3 종류의 비디오 프레임을 사용한다. 물론, 전체 프레임이 압축되고 양자화된 DCT 값으로 이루어진 "인트라프레임 (intraframe; "기준 프레임", "I 프레임", 및 "정보 프레임" 이라고도 지칭됨)" 으로서 지칭되는 어떤 프레임이 (예를 들어, 초당 약 2 개) 제공되어야 한다. 하지만, MPEG 압축에서, 그 두번째에 대한 비디오의 나머지를 구성하는 나머지 프레임 (예를 들어, 28) 은, MPEG 압축 원리에 따라 인트라프레임을 참조하는 훨씬 더 작은 프레임이다. MPEG 용어에서, 이들 프레임은 "예측 (predicted)" 프레임 ("P 프레임") 및 "양방향 (bidirectional)" 프레임 ("B 프레임") 이라고 지칭되며, 여기에서는 "인터프레임" 으로 통칭된다.

상술한 바에 의하면, 예측 프레임은, 선행하는 인트라프레임 또는 선행하는 예측 프레임에 대한 모션 벡터 기준을 포함하는 프레임이다. 만약 어떤 블록이 강도 또는 컬러에서 약간 변경되었으면, 2 개의 프레임 간의 차이 또한 예측 프레임에서 인코딩된다. 또한, 만약 임의의 이전 블록과 일치하지 않는 완전히 새로운 어떤 것이 나타나면, 새로운 블록 또는 블록들은 인트라프레임에서와 동일한 방식으로 예측 프레임에 저장될 수 있다. 여기에서 사용되는 바와 같이, 그러한 새로운 블록은, 프레임에서의 임의의 사이즈 및 위치에 대한 새로운 객체 (objects) 의 랜덤한 도입 시에만 발생한다는 점에서 인트라프레임의 "소정 부분" 이 아니다.

이와 대조적으로, 양방향 프레임은 다음과 같이 사용된다. MPEG 시스템은 비디오 스트림을 통해 순방향 및 역방향으로 탐색하여 블록들을 (통상적으로 각 방향에서 하나의 프레임) 일치시킨다. 경험적으로, 각각의 인트라프레임 사이의 2 개의 양방향 프레임 또는 예측 프레임이 잘 작동하는 것을 나타내기 때문에, 단일 인트라프레임과 관련된 프레임의 통상적인 그룹은 풀 (full) 인트라프레임, 후속하여 2 개의 양방향 프레임, 후속하여 예측 프레임, 후속하여 2 개의 양방향 프레임, 또 다른 예측 프레임, 2 개의 추가적인 양방향 프레임, 예측 프레임, 2 개의 추가적인 양방향 프레임, 예측 프레임 및 마지막으로 2 개의 추가적인 양방향 프레임일 수도 있으며, 어떤 포인트에서, 신규한 풀 인트라프레임은 스트림에 위치하여 그 스트림을 리프레시할 수도 있다. 어떤 경우에는, 양방향 프레임은 생성되기에 계산적으로 고비용이고 더 많은 기준 비디오 프레임이 디코더 메모리에 저장될 것을 요구하기 때문에, 인트라프레임 및 예측 프레임만이 사용된다. 가장 단순한 인코더는, 단순화를 위해 압축을 현저히 희생하지만 디코더 메모리의 최소량을 사용하는 인트라프레임만을 제외하고 어떠한 인터프레임도 사용하지 않는다.

상술한 원리를 고려할 때, 본 발명은, 신뢰성있는 링크 (예를 들어, 신뢰성있는 TCP/IP 네트워크 접속을 통한 하드 디스크 드라이브 또는 DVD 로부터 프로세서로의 링크) 를 통하여 비디오 스트림을 송신할 경우에 MPEG 압축이 매우 잘 작동함을 인식한다. 그러나, 본 발명은, 무선 송신에서 발생할 수도 있는 것과 같은 "손실있는" 송신 경로의 콘텍스트에서, 그 다음 풀 인트라프레임의 발생까지, 특히, 손실된 인트라프레임이 재송신될 수 없을 경우에 (예를 들어, 방송 송신 동안에), 얼마간의 인트라프레임의 손실은 관련 인터프레임을 파괴하고, 따라서, 제공된 서비스 품질 (QOS) 을 심각하게 저하시킴을 명백하게 인식한다. 이것은, 종종, 또 다른 유효한 인트라프레임이 수신될 때까지 디스플레이를 동결하도록 디코더에게 요구한다. 이상적인 솔루션은, 개선된 에러 복원력을 갖는 P 및 B 프레임을 이용함으로써 획득되는 압축을 제공하는 것이다.

발명의 요약

디지털 멀티미디어의 무선 송신용 멀티미디어 데이터 스트림은 복수의 프레임 세트를 포함하며, 통상적으로, 각각의 세트는 N 개의 하이브리드 프레임 (H 프레임이라고도 함) 을 포함한다. 각각의 하이브리드 프레임은 인터프레임 정보와 함께 각각의 i번째 인트라프레임 부분을 전달한다. 풀 인트라프레임은 인트라프레임 부분들에 의해 종합적으로 설정된다. 원할 경우, 각각의 프레임 세트 또한 종래의 풀 인트라프레임 및 종래의 인터프레임을 포함할 수도 있다.

다른 양태에서, 통신 시스템은, 멀티미디어 데이터를 수신하고 그 멀티미디어 데이터를 인터프레임 정보와 인트라프레임 정보로 파티션하는 프로세서를 포함한다. N 개의 하이브리드 프레임이 설정되며, 각각의 프레임은, 적어도 하나의 소정 (통상적으로, 순환적인 (cyclic)) 인트라프레임 부분을 나타내는 정보 및 적어도 일부의 인터프레임 정보를 갖는다. 주요 아이디어는, P 및 B 프레임이라고도 지칭되는 통상의 인터프레임의 통상의 구성에 요구되지 않는 인트라프레임 데이터를 삽입하는 것이다. 이러한 추가적인 인트라프레임 데이터는, 손실있는 송신 시스템을 통해 송신되는 비디오 스트림에 대해 추가적인 에러 복원력을 제공한다.

바람직한 실시형태에서, 프로세서는 모든 하이브리드 프레임을 설정하여, M 개의 인트라프레임 라인을 나타내는 정보를 갖는다. 종래의 DCT 모션 추정 및 보상 기술을 이용할 경우, 바람직하게, M 은 높이에 대한 매크로블록의 정수이다. 제 1 의 바람직한 하이브리드 프레임은 제 1 의 M 개의 인트라프레임 라인을 나타내는 정보를 포함하고, 제 2 의 하이브리드 프레임은 제 2 의 M 개의 인트라프레임 라인을 나타내는 정보를 포함하는 식이다. 하이브리드 프레임당 인트라프레임 데이터의 라인의 수는 상이한 알고리즘 또는 가중 함수를 수용하도록 변경될 수도 있음을 알 수 있다.

비-제한적인 실시형태에서, 멀티미디어 데이터는 디지털일 수 있으며, 그 멀티미디어 데이터는 CDMA 원리, GSM 원리, 또는 OFDM 원리를 이용하여 방송될 수 있다. 멀티미디어 데이터는 단방향 링크를 통해 방송될 수 있으며, 또는 양방향 점대점 링크를 통하여 무선 수신기로 송신될 수도 있다.

다른 양태에서, 인트라프레임 정보 및 인터프레임 정보에 의해 특징을 나타내는 멀티미디어 데이터를 무선 수신기로 전달하는 방법은, 하이브리드 인터프레임 내의 인트라프레임의 일부를 전달하는 단계를 포함하며, 하이브리드 인터프레임은 소정 간격으로 생성된다. 비-제한적인 실시형태에서, 하이브리드 프레임에 의해 반송되는 인트라프레임의 일부는, 픽셀 정보의 양자화된 이산 코사인 변환 (DCT) 을 나타내는 정보를 포함한다. 여기서, 그 방법은 DCT 블록-기반 변환 이외의 변환에 적용될 수 있다. 양자화된 DCT 를 나타내는 정보는, 예를 들어, 런 렝스 코딩을 이용하여 인코딩될 수도 있다.

또 다른 양태에서, 인트라프레임 정보의 순환 부분을 전달하는 하이브리드 프레임 및 인터프레임에 의해 특징을 나타내는 멀티미디어 데이터를 디스플레이하는 무선 수신기는 하이브리드 프레임에서 반송되는 순환 부분을 참조하기 위해 인터프레임을 이용하는 수단을 포함한다. 또한, 그 수신기는 순환 부분을 이용하여 멀티미디어를 적어도 부분적으로 디스플레이하는 수단을 포함한다.

다른 실시형태에서, I 프레임들 사이에서 발견되는 하이브리드 프레임에 포함된 소정의 인트라프레임 데이터 부분들은 전체 비디오 프레임을 커버하도록 조합할 필요는 없다. 또한, 하이브리드 프레임에 포함된 인트라프레임 데이터에 의해 커버되는 총 면적은, 덜 중요하게 간주되는 화상의 면적을 커버할 필요도 없다. 이러한 결정은, 비디오 프레임의 코너, 최상부 및 최하부 또는 에지 (edge) 를 무시하는 형태를 가질 수 있지만 이에 제한되지 않는다. 또한, 인코더는, 일련의 화상의 특정 영역이 다른 것보다 더 많이 일치하는 모션을 가지며 에러 복원력을 위해 일정한 (regular) 하이브리드 프레임을 생성한다고 결정할 수 있다.

이에 따라, 비디오 스트림에서의 하이브리드 프레임 간의 간격은 반드시 동일하거나 순환적일 필요는 없다. H 프레임을 이용함으로써, 풀 I 프레임 간의 간격은 증가될 수 있으며, 따라서, 원하는 QoS 를 위해 요구되는 전체 BW 는 감소될 수 있다.

좀더 상세하게, 인트라프레임의 사이즈 및 위치는 화상의 대략 중앙에 중심을 둘 수 있으며, I 프레임 이후, 각각의 연속적인 H 프레임은, 최종 H 프레임의 인트라프레임 데이터가 대부분 그리고 전체 프레임 (즉, 전체 I 프레임 대부분) 을 실제로 커버할 때까지, 이전의 H 프레임보다 더 많은 인트라프레임 데이터를 포함할 수 있다. 또한, 2 개의 I 프레임 사이의 연속적인 H 프레임의 인트라프레임 데이터의 양은, 원할 경우, 변할 수 있다.

또한, 인트라프레임 데이터를 반송하기 위해, 부분 (fractional) 인트라프레임 (F 프레임이라고도 함) 이 사용될 수도 있다. F 프레임은 H 프레임과 유사하지만 인터프레임 데이터를 포함하지 않으며, 대신, 부분 인트라프레임 데이터만을 반송한다. 마지막 I 프레임 또는 H 프레임이 화상의 동일한 영역을 커버하기 때문에, F 프레임에 의해 커버되는 영역에 대하여 충분히 적은 에러가 관측되었음을 수신 장치가 결정하면, F 프레임은 반드시 디코딩될 필요가 없다.

계층화 (layering) 를 채용하는 시스템에서, H 및/또는 F 프레임은 하나 또는 모든 계층에 사용될 수 있다. 가능성 있는 구현예는 오직 베이스 계층(들) 에만 H 및 F 프레임을 포함하는 것이다.

H 및 F 프레임에서의 인트라프레임 데이터는 수평 라인들을 그루핑함으로써 이루어지는 직사각형 형상에 제한될 필요는 없다. 인트라프레임 데이터를 포함하기 위해, 상이한 기하학적인 형상이 사용될 수 있다.

본 발명의 구조 및 동작에 관한 세부사항은 첨부도면을 참조하여 가장 잘 이해할 수 있으며, 도면에서 동일한 도면부호는 동일한 대상을 나타낸다.

도면의 간단한 설명

도 1 은 본 시스템의 블록도이다.

도 2 는 본 발명에 따른 프레임 그룹의 개략도이다.

도 3 은 그룹의 하이브리드 프레임의 개략도이다.

도 4 는 하이브리드 프레임을 생성하기 위한 본 프로세스의 흐름도이다.

바람직한 실시형태의 상세한 설명

먼저, 도 1 을 참조하면, 바람직하게는 단방향 채널 (14) 을 이용하여, 무선 이동국 (16) (명료화를 위하여 단일의 이동국 (16) 만이 도시되어 있음) 으로, 멀티미디어 스트림의 형태인 디지털 멀티미디어 콘텐츠를 무선으로 방송하는 무선 방송 시스템 (12) 을 포함하는, 일반적으로 도면부호 10 으로 명시한 시스템이 도시되어 있다. 그 방송 시스템 (12) 및 이동국 (16) 모두는 각각의 프로세서를 포함할 수 있다.

멀티미디어 스트림은, 방송 시스템 (12) 과 통신하거나, 그렇지 않으면, 그 방송 시스템 (12) 과 연관되는 하나 이상의 소스 (18) 로부터 산출될 수 있다. 방송 시스템 (12) 은, 광대역 CDMA (WCDMA), (예를 들어, cdma2000 1x 또는 3x 공중 인터페이스 표준과 같은) cdma2000, TDMA, 또는 TD-SCDMA, 및 OFDM 을 포함하여 CDMA 원리, GSM 원리, 또는 다른 무선 원리를 제한없이 이용할 수 있다. 다른 방법으로, 멀티미디어 콘텐츠는, 원할 경우, 블루투스 링크 또는 802.11 링크 또는 CDMA 링크 또는 GSM 링크와 같은 단방향의 점대점 링크를 통하여 제공될 수 있다. 어떤 경우라도, 이동국 (16) 은, 디스플레이 (20) 상에 멀티미디어 스트림을 나타내기 위하여, 오디오, 비디오, 또는 오디오/비디오 (A/V) 디스플레이 (20) 을 포함할 수 있다.

도 2 는 본 발명에 따라, 단일의 프레임 시퀀스, 즉, 관련 프레임의 그룹 또는 세트를 개략적으로 도시한 것이다. 도 2 및 3 에는 프레임을 그래프로 나타냈지만, 물론, 실제로, 송신 멀티미디어 스트림은, 도 2 및 3 에 도시되어 있는 물리적인 프레임을 함께 나타내는 심볼 스트림이다.

도 2 에 도시된 바와 같이, 풀 인트라프레임 (22) 은 초기의 프레임 세트일 수 있다. 그러나, 아래에서 더 설명되는 하이브리드 프레임에서 반송되는 후속적인 인트라프레임 정보로 인해, 풀 인트라프레임 (22) 은 일부 실시형태에서 옵션일 수도 있다. 어떤 경우라도, 바람직한 인트라프레임 (22) 은 본질적으로 단일의 완전 JPEG-타입 DCT 기반 또는 자립형 화상 또는 기준 프레임이다. 이에 따라, 상술한 원리에 의하면, 대체로, 인트라프레임 (22) 은, 비디오 프레임의 픽셀을 차례로 나타내는 인코딩된 양자화 DCT 값을 나타내는 심볼로 이루어진다.

비디오 시퀀스에서의 화상 프레임의 세트들은 프로세싱을 위하여 함께 그루핑된다. 이러한 그루핑은 GOP, 즉, 화상들의 그룹이라고 한다. 각각의 GOP 는 적어도 하나의 인트라프레임 (통상, 오직 하나의 인트라프레임) 을 포함한다. 또한, GOP 내의 프레임들은, 예측 프레임 (24) 및 양방향 프레임 (26) 을 포함하는 인터프레임을 포함할 수도 있다. 또한, 아래에서 더 설명되는 원리에 의하면, 단일의 프레임 세트에서의 프레임들은 하이브리드 프레임 (28) 을 포함할 수 있다. 하이브리드 프레임 (28) 은, 인트라프레임 정보의 소정 부분을 포함하는 것을 제외하면, 본질적으로 인터프레임 (24, 26) 과 유사하다.

좀더 상세하게, 도 3 에 도시된 바와 같이, 각각의 하이브리드 프레임 (28) 은 종래의 인터프레임 정보 (30) 및 인트라프레임 정보 (32) 를 포함한다. 인터프레임 정보는, 예를 들어, 다른 프레임에서의 벡터 참조 블록을 포함할 수 있지만, 인트라프레임 정보는 픽셀을 나타내는 인트라프레임 정보, 즉, 인코딩된 양자화 DCT 값과 같은 DCT-기반 값 또는 공간 픽셀 강도를 나타내는 실제로 다른 값을 포함한다.

바람직한 실시형태에 대하여, 임의의 (프로그램에 입각한 관점으로부터의) 시간 및 외형의 위치에 대한 신규한 객체에 관련된 인트라프레임 정보를 포함할 수도 있는 종래의 인터프레임과 달리, 하이브리드 프레임 (28) 은 인트라프레임의 소정 사이클 부분을 포함할 수 있다. 즉, GOP 의 하이브리드 프레임은, 기하학적으로 연속적인 인트라프레임 영역을 나타내는 인트라프레임 정보를 연속적으로 포함한다. 좀더 상세하게, 제 1 의 하이브리드 프레임 (28) 은 인트라프레임의 제 1 부분을 포함하며, GOP 에서의 제 2 의 하이브리드 프레임은, 제 1 의 인트라프레임 부분에 기하학적으로 후속하는 것이 바람직한 제 2 의 인트라프레임 부분을 포함하며, ..., GOP 에서의 제 N 의 하이브리드 프레임은 제 N 의 인트라프레임 부분을 포함한다. 그 부분들은 인트라프레임의 M 개의 라인을 나타내는 정보일 수도 있으며, 그룹에서의 모든 인트라프레임 부분들은 모두 함께 완전한 인트라프레임을 구성한다. 따라서, 각각의 인트라프레임 부분이 인트라프레임 정보의 M 개의 라인일 경우, N×M 이 단일 인트라프레임에서의 라인의 총 개수이다. 인트라프레임의 소정의 별개의 기하학적인 영역을 나타내는 동안, 일 세트에서의 하이브리드 프레임의 인트라프레임 부분들은 단일 JPEG 이미지로부터 유도 또는 그 이미지를 표현할 수도 있고 그렇지 않을 수도 있다. 다른 실시형태에서, 하이브리드 프레임의 인트라프레임 부분들은 완전한 프레임을 표현할 필요는 없다. 또한, 수직 바 (bar), 원, 정사각형 등과 같이, 인트라프레임 데이터를 포함하기 위해 또 다른 형상이 사용될 수도 있다.

이미지의 라인 대신에, 인트라프레임 부분들은 오디오에 대한 주파수 대역, 비디오에 대한 객체 또는 객체의 타입, 텍스트 등일 수도 있다.

상술한 부분 인트라프레임 (F-프레임) 은, 인터프레임 정보 부분 (30) 을 포함하지 않는 대신 부분 인트라프레임 부분 (32) 을 포함한다는 것을 제외하면, 도 3 에 도시되어 있는 임의의 하이브리드 프레임과 본질적으로 동일하다.

도 4 는 도 2 및 3 의 개략도에 도시되어 있는 로직을 나타낸 것이다. 블록 34 는, 각각의 GOP 동안에 진입되는 DO 루프의 시작을 나타내며, 프레임들은 그룹으로 파티션되며, 각각의 그룹은 MPEG 원리에 따르는 하나 이상의 풀 인트라프레임 및 복수의 인터프레임을 포함할 수 있다. 프로세싱 이후, GOP 는 하나의 완전한 인트라프레임, 후속하여 종래의 인터프레임 및 하이브리드 프레임을 포함한다. 예를 들어, GOP 는 10 개의 종래의 인터프레임 및 5 개의 하이브리드 프레임을 포함할 수도 있으며, 이들 각각은 인트라프레임의 고유의 1/5 부분 및 아마도 하나의 초기의 완전한 인트라프레임을 전달한다. 종래의 인터프레임은, 풀 인트라프레임이 제공되는지 여부에 관계없이, 하이브리드 프레임의 인트라프레임 부분을 참조할 수 있으며, 또는, 풀 인트라프레임이 제공되면, 그 인터프레임은, 그것을 참조할 수도 있고, 풀 인트라프레임이 손실될 경우에만 하이브리드 프레임을 참조할 수도 있다.

또한, 바람직한 실시형태의 경우, 블록 36 으로 이동하여, 매 P번째 인터프레임은 기대되는 (prospective) 하이브리드 프레임으로서 선택될 수도 있다. N 개의 인터프레임 전부가 선택된다. 따라서, 상기 예에서, (N=5) 하이브리드 프레임을 생성하기 위하여, 총 15 개 중 매 세번째 인터프레임이 선택된다 (P=3). "P" 의 값은 1 내지 10 또는 그 이상으로 변할 수도 있다. 실제로, "P" 의 값은, 예를 들어, 모션 정도 등에 의존하여, 단일 멀티미디어 스트림 내에서 변할 수도 있다.

P 와 N 의 선택물을 반드시 승산하여 GOP 의 길이 또는 (GOP-1) 의 길이와 동일하게 할 필요는 없다. 만약 시스템이 더 큰 에러 복원력을 원하면, 하이브리드 프레임들은 서로 더 근접하게 위치된다. 이와 대조적으로, 더 작은 에러 복원력이 요구되면, 하이브리드 프레임들은 더 멀리 이격된다. 인트라프레임들 간의 거리는 하이브리드 프레임들 간의 거리와 함께 변할 가능성이 있다.

블록 38 로 진행하면, 각각의 i번째의 기대되는 하이브리드 프레임 (i = 1, 2, …, N) 에 대하여, 로직은 블록 40 으로 루핑 (loops) 하여, 인트라프레임의 1/N 부분을 단순히 참조하는 i번째 인터프레임 정보 부분을 인트라프레임의 i번째 1/N 부분을 나타내는 인트라프레임 정보로 대체함으로써 그 프레임을 하이브리드 프레임으로 전환한다. 인트라프레임 부분을 각각 M 개의 라인으로 분할하는 경우, 제 1 의 하이브리드 프레임에서의 제 1 의 M 개의 인트라프레임 라인에 대한 참조는 인트라프레임의 제 1 의 M 개의 라인으로 대체되고, 제 2 의 하이브리드 프레임에서의 제 2 의 M 개의 인트라프레임 라인에 대한 참조는 인트라프레임의 제 2 의 M 개의 라인으로 대체되는 식이다. M 은, 종종, 16 개의 라인으로 설정되는 매크로블록 높이의 배수가 되게 선택될 가능성이 있다. 도 4 는 실제 인터프레임 기준이 인트라프레임 부분으로 "대체" 되는 것을 나타내지만, "그라운드-업 (ground-up) 으로부터", 즉, 초기에 인트라프레임의 i번째 1/N 부분을 갖는 신규한 프레임을 인터프레임 정보를 전달하는 프레임의 나머지로 생성함으로써, 하이브리드 프레임이 생성될 수 있음을 알 수 있다. 어떤 경우라도, 바람직한 시스템은 인트라프레임의 순환 부분을 포함하는 각각의 하이브리드 프레임을 산출하며, 각각의 i번째 순환 부분은, (i-1)번째 하이브리드 프레임의 (i-1)번째 순환 부분에 의해 표현되는 (i-1)번째 영역에 기하학적으로 인접하고 (i+1)번째 하이브리드 프레임의 (i+1)번째 순환 부분에 의해 표현되는 (i+1)번째 영역에 기하학적으로 인접한 i번째 인트라프레임 영역을 표현한다.

다른 실시형태에서, 하이브리드 프레임에서의 인트라프레임 데이터의 형상 및 사이즈는 동일하거나 전체 화상 프레임 사이즈를 커버하거나 일정한 간격으로 분리될 필요는 없다. 예를 들어, 높은 관심도 또는 통상의 높은 모션의 화상 영역이 존재하였으면, 하이브리드 프레임은, 임의의 인트라프레임 데이터가 에러 정정을 위해 실제로 요구되는지 여부에 관계없이 추가적인 인트라프레임 데이터를 제공할 수 있다.

이동국 (16) 은 멀티미디어 스트림을 수신하고, 하이브리드 프레임을 포함하여 그 내부의 정보를 디코딩하며, 이동국 (16) 은 참조를 위해 인터프레임을 이용하고, 선택적으로 또는 다른 방법으로, 멀티미디어의 디스플레이용의 하이브리드 프레임에 반송되는 인트라프레임 부분을 이용한다. 이동국 (16) 에서의 프로세서는 이러한 목적으로 사용될 수도 있다.

만약 전체 인트라프레임의 손실이 발생하면, 하이브리드 프레임을 선행하는 인터프레임만이 완전히 소용없게 됨을 알 수 있다. 하이브리드 프레임 이후의 인터프레임은 그 하이브리드 프레임에서의 i번째 인트라프레임 부분을 적어도 참조할 수 있으므로, 일부 측정가능한 QoS 를 제공할 수 있다.

여기에서 상세하게 설명 및 기술된 바와 같이, 부분 인트라프레임 인코딩 또는 무선 멀티미디어 송신을 위한 특정 시스템 및 방법이 본 발명의 상술한 목적을 완전히 획득할 수 있지만, 그것은 본 발명의 현재의 바람직한 실시형태이며, 따라서, 본 발명에 의해 널리 고려되는 주제를 나타내는 것임을 알 수 있으며, 본 발명의 범위는 당업자에게 명백하게 될 수도 있는 다른 실시형태들을 완전히 포함함을 알 수 있으며, 이에 따라, 본 발명의 범위는 첨부된 특허청구범위에 의해서만 제한됨을 알 수 있으며, 특허청구범위에서, 구성요소를 단수로 참조한 것은, 명시적으로 서술하지 않으면, "하나 및 오직 하나" 를 의미하도록 의도하지 않고, 대신, "하나 이상" 을 의미한다. 당업자에게 공지되었거나 나중에 공지될 상술한 바람직한 실시형태의 구성요소에 대한 모든 구조적 및 기능적인 균등물은 여기에 참조로서 명백히 포함되며 본 특허청구범위에 의해 포함되도록 의도된다. 또한, 본 발명에 의해 해결되도록 추구된 각각의 그리고 모든 문제를 해소하기 위한 장치 또는 방법이 반드시 필요한 것은 아니며, 그 장치 또는 방법이 본 특허청구범위에 의해 반드시 포함되어야 하는 것도 아니다. 또한, 본 발명에서의 어떠한 구성요소, 컴포넌트, 또는 방법 단계도, 그 구성요소, 컴포넌트, 또는 방법 단계가 특허청구범위에 명시적으로 인용되는지 여부에 관계없이, 공중에 전용되도록 의도되지 않는다. 구성요소가 "~ 을 위한 방법" 이라는 문구를 이용하여 명백히 인용되지 않으면, 또는, 방법 청구항의 경우, 그 구성요소가 "행위" 대신에 "단계" 로서 인용되지 않으면, 여기에서의 어떠한 특허청구범위 구성요소도 35 U.S.C.'112, 제6절의 규정에 따라 해석되어서는 안된다.

Claims

멀티미디어 데이터를 수신하고, 그리고,

상기 멀티미디어 데이터를 인터프레임 정보 및 인트라프레임 정보로 파티션하는 단계; 및 적어도 하나의 소정의 순환 (cyclic) 인트라프레임 부분 및 적어도 일부의 인터프레임 정보를 나타내는 정보를 갖도록 적어도 하나의 하이브리드 프레임을 설정함으로써, 적어도 N 개의 하이브리드 프레임을 적어도 부분적으로 설정하는 단계를 포함하는 로직을 수행하는 프로세서를 구비하는, 통신 시스템.
제 1 항에 있어서,

상기 프로세서는, M 개의 인트라프레임 라인을 나타내는 정보를 갖도록 모든 하이브리드 프레임을 설정하는, 통신 시스템.
제 1 항에 있어서,

제 1 의 하이브리드 프레임은 제 1 의 M 개의 인트라프레임 라인을 나타내는 정보를 포함하는, 통신 시스템.
제 3 항에 있어서,

제 2 의 하이브리드 프레임은 제 2 의 M 개의 인트라프레임 라인을 나타내는 정보를 포함하는, 통신 시스템.
제 1 항에 있어서,

상기 멀티미디어 데이터는 그 데이터 내의 객체 (objects) 에 기초하여 파티션되는, 통신 시스템.
제 1 항에 있어서,

제 1 의 하이브리드 프레임은 사이즈 및 형상을 갖는 제 1 의 인트라프레임 정보 부분을 포함하며,

제 2 의 하이브리드 프레임은 사이즈 및 형상을 갖는 제 2 의 인트라프레임 정보 부분을 포함하며,

상기 제 1 의 인트라프레임 부분의 상기 사이즈 및 형상 중 적어도 하나는 상기 제 2 의 인트라프레임 부분의 대응하는 사이즈 및 형상과는 상이한, 통신 시스템.
제 1 항에 있어서,

상기 멀티미디어 데이터는 디지털인, 통신 시스템.
제 1 항에 있어서,

상기 멀티미디어 데이터는 CDMA 원리, GSM 원리, 및 OFDM 원리 중 적어도 하나를 이용하여 방송되는, 통신 시스템.
제 1 항에 있어서,

상기 멀티미디어 데이터는 단방향 링크를 통하여 방송되는, 통신 시스템.
제 1 항에 있어서,

상기 멀티미디어 데이터는 양방향 점대점 링크를 통하여 송신되는, 통신 시스템.
제 1 항에 있어서,

상기 멀티미디어 데이터를 수신하는 적어도 하나의 무선 수신기를 더 구비하는, 통신 시스템.
인트라프레임 정보 및 인터프레임 정보에 의해 특징을 나타내는 멀티미디어 데이터를 무선 수신기로 전달하는 방법으로서,

인트라프레임의 일부를 하이브리드 인터프레임 내에 전달하는 단계를 포함하며,

상기 하이브리드 인터프레임은, 소정의 간격, 관심있는 적어도 하나의 프레임 위치, 및 상기 멀티미디어 데이터에 나타낸 모션 레이트 중 적어도 하나에 기초하여 생성되는, 전달 방법.
제 12 항에 있어서,

상기 인트라프레임의 일부는 픽셀 정보의 양자화된 이산 코사인 변환 (DCT) 을 나타내는 정보를 포함하는, 전달 방법.
제 13 항에 있어서,

양자화된 DCT 를 나타내는 상기 정보는 인코딩되는, 전달 방법.
제 12 항에 있어서,

제 1 의 하이브리드 프레임은 사이즈 및 형상을 갖는 제 1 의 인트라프레임 정보 부분을 포함하며,

제 2 의 하이브리드 프레임은 사이즈 및 형상을 갖는 제 2 의 인트라프레임 정보 부분을 포함하며,

상기 제 1 의 인트라프레임 부분의 상기 사이즈 및 형상 중 적어도 하나는 상기 제 2 의 인트라프레임 부분의 대응하는 사이즈 및 형상과는 상이한, 전달 방법.
제 15 항에 있어서,

상기 제 1 의 하이브리드 프레임은, 비디오 프레임 내의 상기 인트라프레임 부분의 위치에 관련된 정보를 포함하는, 전달 방법.
제 12 항에 있어서,

제 1 의 하이브리드 프레임에 의해 전달되는 인트라프레임의 상기 일부는 비디오 프레임의 제 1 의 M 개의 라인을 나타내는, 전달 방법.
제 17 항에 있어서,

상기 제 1 의 하이브리드 프레임과 관련된 GOP 에서의 제 2 의 하이브리드 프레임에 의해 전달되는 인트라프레임의 상기 일부는, 비디오 프레임의 제 2 의 M 개의 라인을 나타내는, 전달 방법.
제 12 항에 있어서,

GOP 에서의 제 N 의 하이브리드 프레임에 의해 전달되는 인트라프레임의 상기 일부는, 비디오 프레임의 제 N 의 M 개의 라인을 나타내는, 전달 방법.
인트라프레임 정보의 순환 부분을 전달하는 적어도 일부의 하이브리드 프레임 및 인터프레임에 의해 적어도 특징을 나타내는 멀티미디어 데이터를 디스플레이하는 무선 수신기로서,

상기 인터프레임이 상기 하이브리드 프레임에 반송되는 상기 순환 부분을 참조하는 수단; 및

상기 순환 부분을 이용하여 멀티미디어를 적어도 부분적으로 디스플레이하는 수단을 구비하는, 무선 수신기.
제 20 항에 있어서,

프레임 세트에서의 i번째 하이브리드 프레임의 상기 순환 부분은 인트라프레임의 i번째 부분인, 무선 수신기.
제 20 항에 있어서,

각각의 순환 부분은 인트라프레임 정보의 M 개의 라인을 포함하는, 무선 수신기.
제 20 항에 있어서,

각각의 i번째 순환 부분은, (i-1)번째 하이브리드 프레임의 (i-1)번째 순환 부분에 의해 나타나는 (i-1)번째 영역 및 (i+1)번째 하이브리드 프레임의 (i+1)번째 순환 부분에 의해 나타나는 (i+1)번째 영역 중 적어도 하나와 기하학적으로 인접한 i번째 인트라프레임 영역을 나타내는, 무선 수신기.
각각의 i번째 인트라프레임 부분 및 인터프레임 정보를 각각 전달하는 N 개의 하이브리드 프레임을 각각 포함하는 복수의 프레임 그룹을 구비하는, 멀티미디어 데이터 구조.
제 24 항에 있어서,

상기 하이브리드 프레임에 전체적으로 포함되는 인트라프레임 데이터 부분에 의해 풀 인트라프레임이 설정되는, 멀티미디어 데이터 구조.
제 24 항에 있어서,

상기 하이브리드 프레임에 전체적으로 포함되는 인트라프레임 데이터 부분에 의해 풀 인트라프레임이 설정되지 않는, 멀티미디어 데이터 구조.
제 24 항에 있어서,

각각의 그룹은 적어도 하나의 풀 인트라프레임을 포함하는, 멀티미디어 데이터 구조.
제 24 항에 있어서,

각각의 그룹은 풀 인트라프레임을 포함하지 않는, 멀티미디어 데이터 구조.
제 24 항에 있어서,

하이브리드 프레임의 각각의 인트라프레임 부분은 M 개의 인트라프레임 라인을 나타내는, 멀티미디어 데이터 구조.
제 29 항에 있어서,

상기 라인은 인트라프레임의 수평 부분 및 인트라프레임의 수직 부분을 나타낼 수 있는, 멀티미디어 데이터 구조.
멀티미디어 데이터를 수신하고, 그리고,

상기 멀티미디어 데이터를 인터프레임 정보 및 인트라프레임 정보로 파티션하는 단계; 및 풀 인트라프레임의 오직 일부를 나타내는 적어도 하나의 인트라프레임 부분을 나타내는 정보를 갖고 인터프레임 정보는 갖지 않도록 적어도 하나의 부분 프레임을 설정함으로써, 적어도 N 개의 부분 프레임 (F 프레임) 을 적어도 부분적으로 설정하는 단계를 포함하는 로직을 수행하는 프로세서를 구비하는, 통신 시스템.
제 31 항에 있어서,

수신기는, 에러 정정 요건에 기초하여 F 프레임을 선택적으로 디코딩하는, 통신 시스템.