KR100959293B1 - 멀티미디어 스트리밍시 포워드 에러 정정 프레임들을 조합하기 위한 방법 및 장치 - Google Patents

멀티미디어 스트리밍시 포워드 에러 정정 프레임들을 조합하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR100959293B1
KR100959293B1 KR1020097005696A KR20097005696A KR100959293B1 KR 100959293 B1 KR100959293 B1 KR 100959293B1 KR 1020097005696 A KR1020097005696 A KR 1020097005696A KR 20097005696 A KR20097005696 A KR 20097005696A KR 100959293 B1 KR100959293 B1 KR 100959293B1
Authority
KR
South Korea
Prior art keywords
fec
media
source block
random access
forward error
Prior art date
Application number
KR1020097005696A
Other languages
English (en)
Other versions
KR20090048636A (ko
Inventor
라마크리쉬나 베단탐
비드야 세틀루르
수레쉬 치투리
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20090048636A publication Critical patent/KR20090048636A/ko
Application granted granted Critical
Publication of KR100959293B1 publication Critical patent/KR100959293B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H04N21/4384—Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image

Abstract

미디어 패킷들의 소스 블록들을 포함하는 복수의 FEC 프레임들을 가진 RTP 스트림에서, 랜덤 액세스 포인트들이 소스 블록 앞에 삽입되어, 미디어 디코더로 하여금 FEC 디코딩이 끝나자마자 미디어 패킷들을 디코딩할 수 있도록 한다. 특히, 미디어 패킷들은 멀티미디어 브로드캐스트/멀티캐스트 기반 스트리밍 서비스 콘텐츠를 위한 포워드 에러 정정 (FEC) 소스 블록들을 포함한다. 멀티미디어 브로드캐스트/멀티캐스트 스트리밍 서비스가, FEC RTP 패킷들과 함께 다른 미디어의 소스 RTP 패킷들이 별개의 RTP 스트림들로서 전송되는 다이내믹한 인터랙티브 멀티미디어 씬 콘텐츠를 포함하기 때문에, 랜덤 액세스 포인트의 산입은 FEC 디코딩 후 다이내믹한 인터랙티브 멀티미디어 씬 콘텐츠의 즉각적인 렌더링을 도모함으로써, 튠-인 대기시간을 줄이게 된다.

Description

멀티미디어 스트리밍시 포워드 에러 정정 프레임들을 조합하기 위한 방법 및 장치{Method and device for assembling forward error correction frames in multimedia streaming}
본 발명은 일반적으로 코딩된 미디어 패킷들의 그룹들에 대한 포워드 에러 정정 프레임들의 조합 (assembly)에 관한 것으로, 특히 멀티미디어 스트리밍 할 때의 포워드 에러 정정 프레임들에 관한 것이다.
대부분의 패킷 기반 통신 네트워크들, 특히 서비스 품질이 보장되지 않은 인터넷 프로토콜 (IP, Internet Protocol) 네트워크들은 일정치 않은 양의 패킷 손실이나 에러들에 시달리고 있다. 그러한 손실들은 라우터나 전송 세그먼트 과부하, 또는 말소에 이르게 되는 패킷들의 비트 에러들 같은 여러 원인들로부터 생겨날 수 있다. 패킷 손실들은 대부분의 패킷 네트워크 아키텍쳐들에서 공통적인 동작 국면일 뿐 네트워크 실패가 아니다. 미디어 전송, 특히 압축된 비디오의 전송은 패킷 손실을 심하게 겪는다.
미디어 전송시의 에러들로부터 비롯된 미디어 표현의 성가신 아티팩트들(artifacts)은 미디어 코딩 프로세스 중 여러 상이한 수단들에 의해 추가 회피될 수 있다. 그러나, 미디어 코딩 프로세스 중 잉여 (redundancy) 비트들을 추가하는 것은 사전 코딩된 (pre-coded) 콘텐츠에 대해 가능하지 않으며, 통상적으로 포워드 에러 정정 (FEC, forward error correction)을 이용하는 채널 코딩시의 최적 보호 메커니즘들보다 덜 효율적이다.
포워드 에러 정정은, 보호되어야 할 다양한 미디어 패킷들 내 보호되어야 할 비트들에 대해 다수의 잉여 비트들을 산출하고, 그 비트들을 FEC 패킷들에 더하여, 그 미디어 패킷들 및 FEC 패킷들 모두를 전송함으로써 이뤄진다. 수신기에서, FEC 패킷들은, 미디어 패킷들의 무결성을 검사하고 누락되었을 수 있는 미디어 패킷들을 재건하는데 사용될 수 있다. 이제부터, 미디어 패킷들 및, 그 미디어 패킷들을 보호할 FEC 패킷들을 FEC 프레임이라 부를 것이다. FEC 프레임의 예들이 도 1에 도시된다. 도 1에 도시된 것과 같이, 미디어 GOP 스트림(300)은 경계(315)에 의해 분리되는 미디어 GOP(310)와 미디어 GOP(320)를 포함한다. FEC 구조(500)는 경계(515)에 의해 분리되는 FEC 프레임(510)과 FEC 프레임(520)을 포함한다. 미디어 패킷들(514)에 더해, FEC 프레임(510)은 FEC 패킷(512)과 두 개의 패딩 패킷들(516) 역시 포함하고 있다. 마찬가지로, FEC 프레임(520)은 미디어 패킷들(524) 외에 FEC 패킷을 포함한다. 그와 같이, FEC 프레임들(510, 520)은 일반적으로 미디어 GOP들보다 길다. 그에 따라, FEC 프레임들은 미디어 GOP들과 얼라인되지 (aligned) 않는다.
에러 방지를 지향하는 대부분의 FEC 방식들은, 보호될 미디어 패킷들의 개수 및 FEC 패킷들의 개수를 선택하는 것이, FEC 서브시스템의 지연 구속 (delay constraints) 및 보호 강도를 선택하도록 적응적으로 택일되게 한다.
위에서 논의된 견지에 따른 패킷 기반 FEC는 FEC의 장점을 활용하기 위해 FEC 프레임 구조에 대한 수신기 동기를 요한다. 즉, 수신기는 에러 정정이 시작되기 전에 FEC 프레임의 모든 미디어 및 FEC 패킷들을 버퍼링해야 한다.
예를 들어, 비디오 코딩 방식들, 및 점점 증가하는 일부 오디오 코딩 방식들은 소위 예측 코딩 (predictive coding) 기술들을 사용한다. 그러한 기술들은 이전 (previous) 픽처들 또는 오디오 프레임들로부터 각각 추후의 (later) 비디오 픽처 또는 오디오 프레임의 콘텐츠를 예측한다. 이하에서는, 비디오 픽처들 및 오디오 프레임들을 모두 다 "픽처들"로 칭하여 FEC 프레임들과 구별되도록 할 것이다. 예측 코딩 기술들을 이용함으로써, 압축 방식은 매우 효율적으로 될 수 있으나, 예측 체인 (chain)이 길어질수록 에러들에도 점점 더 취약하게 될 것이다. 따라서, 소위 중요 (key) 픽처들, 또는 비예측 (non-predictively) 코딩된 오디오 프레임들에 해당하는 것들 (이하, 그 둘 모두 키 픽처들이라 칭함)이 때때로 삽입된다. 이러한 기술은 비예측 코딩 기술들만을 이용해 예측 체인의 무결성을 복구한다. 키 픽처들이 예측 코딩된 픽처보다 5 내지 20배 크다는 것이 드문 일은 아니다. 각각의 인코딩된 픽처는, 가령 한 개의 보호될 미디어 패킷에 대응할 수 있다.
MPEG-2 비주얼에 관한 협의에 따라, 키 픽처로 시작하고 0 또는 그 이상의 비-키 (non-key) 픽처들이 뒤따르는 픽처 시퀀스를 이제부터 픽처들의 그룹 (GOP, Group of Pictures)이라고 부른다. 디지털 TV에서, 한 GOP는 보통 6 개 이하의 픽처들로 이뤄진다. 그러나, 스트리밍 어플리케이션들에서, GOP 사이즈들은 흔히 훨씬 더 큰 것으로 결정된다. 일부 GOP들은 예측 코딩된 픽처들의 우수한 코딩 효율 성을 활용하기 위해 한 GOP 안에 수백 개의 픽처들을 포함할 수 있다. 이러한 이유로, 그러한 시퀀스로의 "튠 인 (tune in)"하는데 수 초의 시간이 소요될 수 있다.
FEC 방식들은 FEC 프레임들이 사이즈가 클 때, 이를테면 이들이 수백 개의 패킷들을 포함하고 있을 때 더 효율적이도록 설계될 수 있다. 이와 비슷하게, 대부분의 미디어 코딩 방식들은 보다 큰 GOP 사이즈들을 선택할 때 효율성을 얻게 되는데, 이는 GOP가 그 GOP의 다른 픽처들보다 통계적으로 훨씬 큰 오직 하나의 단일 키 픽처를 포함하기 때문이다. 그러나, 큰 FEC 프레임들 및 큰 GOP 사이즈들은 모두 그들 각자의 구조에 동조되어야 한다. 그것은 FEC 프레임들에 있어서 수신된 전체 FEC 프레임의 버퍼링 및 어떤 정정가능 에러들의 정정을 의미한다. 그것은 미디어 GOP들에 있어서 한 GOP의 시작부 (키 프레임)를 형성하지 않는 미디어 패킷들을 파싱 (parsing)하고 버리는 것을 의미한다.
미국 특허 출원 공개번호 2006/0107189 A1에서는, 디코딩 단에서 버퍼 지연을 줄이기 위해, FEC 프레임들이 미디어 패킷들의 그룹들과 얼라인 되어야 (aligned) 한다는 것이 기술되어 있다. 그를 위해, 인코더는, 한 FEC 프레임에 포함된 코딩된 미디어 패킷들의 그룹에 대해 그 FEC 프레임 안에 꼭 맞는 다음에 이어지는 코딩된 미디어 패킷들의 그룹들의 개수를 결정하고, 그 FEC 프레임에 대해 그렇게 결정된 코딩된 미디어 패킷들의 그룹 또는 그룹들과 관련된 모든 코딩된 미디어 패킷들을 선택할 수 있어야 한다. 얼라인먼트 (alignement)를 위해, 선택된 패킷들 중 일부에 소정 데이터를 추가하여 그 선택된 패킷들의 크기를 균일하게 하 는 것이 가능하다. 얼라인 된 FEC 프레임들 및 미디어 패킷들의 그룹들에 대한 예들이 도 2에 도시되어 있다. 도 2에 도시된 것처럼, 미디어 GOP 스트림(400)은 경계(415)에 의해 나눠지는 미디어 GOP(410)와 미디어 GOP(420)를 포함한다. FEC 구조(600)는 경계(615)에 의해 나눠지는 FEC 프레임(610) 및 FEC 프레임(620)을 포함한다. FEC 프레임들(610 및 620)은 FEC 패킷들과 미디어 패킷들을 포함함에도 불구하고, GOP들과 얼라인 될 수 있다.
FEC는 리치 (rich) 미디어 콘텐츠에 적용될 수 있다. 리치 미디어 콘텐츠란 일반적으로 그래픽면에서 풍부하고, 그래픽, 텍스트, 비디오 및 오디오를 포함하는 복합물 (또는 다중 미디어)을 포함하며, 하나의 인터페이스를 통해 전달됨이 바람직한 콘텐츠를 말한다. 리치 미디어는 시간에 따라 다이내믹하게 변화하며 사용자 인터랙션 (interaction)에 반응할 수도 있을 것이다.
리치 미디어 콘텐츠의 스트리밍은 특히 3GPP의 패킷 교환형 스트리밍 서비스 (PSSS, Packet-switched Streaming Services) 및 멀티미디어 브로드캐스트/멀티캐스트 서비스 (MBMS, Multimedia Broadcast/Multicast Services) 아키텍처들 안에서 실시간 전송할 리치 콘텐츠를 시각적으로 전송하는데 있어 점점 더 중요해지고 있다. PSS는 특히 포인트-투-포인트 (point-to-point) 베어러 (bearer)들을 통해 3G 네트워크들 내 인터넷 프로토콜 (IP) 기반 스트리밍 어플리케이션들에 대한 구조 (framework)를 제공한다. MBMS 스트리밍 서비스들은 3G 모바일 환경 내 여러 수신기들로의 대중적인 실시간 콘텐츠의 자원 효율적 전송을 돕는다. 상이한 포인트-투-포인트 (PtP) 베어러들을 이용해 서로 다른 모바일들로 동일한 콘텐츠를 전송하 는 대신, 하나의 포인트-투-멀티포인트 (PtM, point-to-multipoint) 베어러가 주어진 셀 내 서로 다른 모바일들로 동일한 콘텐츠를 전송하는데 사용된다. 스트리밍되는 콘텐츠는 비디오, 오디오, SVG (Scalable Vector Graphics) 같은 XML (eXtensible Markup Language) 콘텐츠, 시간 지정 텍스트 (timed-text) 및 기타 지원되는 미디어로 이뤄질 수 있다. 콘텐츠는 라이브 피드 (live-feed)로부터 생성되거나 사전 기록될 수 있다. SVG는 3 가지 타입의 그래픽 오브젝트들을 허용한다: 벡터 그래픽 모양, 이미지 및 텍스트들이 그것이다. 그래픽 오브젝트들은 그룹화되고, 앞서 렌더링된 오브젝트들로부터 변환 및 조성될 수 있다. SVG 콘텐츠는 그룹들 안에 정렬되어, 그 그룹들 각각이 나중에 적절한 시기에 전송되는 그룹들과는 별개로 처리되고 디스프레이될 수 있도록 할 수 있다. 그룹들을 씬들 (scenes)이라고도 부른다.
최근까지, 모바일 기기들을 위한 어플리케이션들은 제한된 인터랙티비티 (상호 동작성)를 가진 텍스트에 기반하는 것이었다. 그러나, 더욱 더 많은 무선 기기들이 컬러 디스플레이들과 더욱 진일보한 그래픽 렌더링 라이브러리들 (graphic rendering libraries)을 갖춰서 나타나고 있기 때문에, 소비자들은 그들의 모든 무선 어플리케이션들로부터 풍성한 미디어 체험을 요구할 것이다. 실시간 리치 미디어콘텐츠 스트리밍 서비스는 모바일 단말들에 있어서, 특히 MBMS, PSS 및 멀티미디어 스트리밍 (MMS, Multi-Media Streaming) 서비스들의 영역에 있어서 필수적인 것이다. 특히 웹 서비스 도메인에서의 리치 미디어 어플리케이션들은 다음과 같은 XML 기반 콘텐츠를 포함한다:
SVGT 1.2 - 이것은 이차원 그래픽을 XML로 나타내기 위한 랭귀지 (language)이다. SVG는 세 가지 타입의 그래픽 오브젝트들, 즉 벡터 그래픽 모양들 (가령, 직선 및 곡선들로 이뤄진 패스들), 멀티미디어 (래스터 이미지들, 비디오, 비디오 등), 및 텍스트를 허용한다. SVG 드로윙 (drawings)은 (DOM 이벤트 모델을 사용해) 인터랙티브하고도 다이내믹할 수 있다. 애니메이션들이 선언적으로 (즉, SVG 콘텐츠에 SVG 애니메이션 엘리먼트들을 삽입함으로써) 아니면 스크립팅 (scripting)을 거쳐서 정의되고 촉발될 수 있다. 모든 엘리먼트들, 속성들 및 특성들에 대한 완벽한 액세스를 제공하는 SVG μDOM (Micro Document Objects Module)을 액세스하는 보충적 스크립팅 랭귀지의 사용을 통해 SVG의 정교한 어플리케이션들이 가능하게 된다. 풍성한 이벤트 처리 세트가 임의의 SVG 그래픽 오브젝트에 할당될 수 있다. 다른 Web 표준들 (CDF 등)에 대한 호환성 및 레버리징 (leveraging) 때문에, 스크립팅 같은 특성들은 동일한 웹 페이지 안의 XHTML (Extensible HyperText Markup Language) 및 SVG 엘리먼트들 상에서 동시에 수행될 수 있다.
SMIL 2.0 - SMIL (Synchronized Multimedia Integration Language, 동기된 멀티미디어 통합 랭귀지)는 인터랙티브한 시청각적 표현의 간단한 저작 (authoring)을 가능하게 한다. SMIL은 보통 스트리밍 오디오 및 비디오를 이미지, 텍스트 또는 임의의 다른 미디어 타입과 병합시키는 "리치 미디어"/멀티미디어 표현에 사용된다.
CDF - CDF (Compound Document Format, 복합 문서 포맷) 워킹 그룹은 사용자 인터페이스 마크업들에 대한 포커스를 가진, XHTML, SVG, MathML, 및 SMIL 같은 별개의 컴포넌트 랭귀지들 (가령, 별개 어휘들 (vocabularies)로부터의 속성들, 엘리먼트들 및 XML 기반 랭귀지들)을 결합하는 것에 대한 권고안들을 만들고 있다. 사용자 인터페이스 마크업들을 결합할 때, 마크업들 간 이벤트들의 전파, 렌더링 또는 사용자 인터랙션 모델과 복합 문서와의 결합과 같이, 개별 마크업들의 사양들로는 착안되지 않는 특정 문제들이 해소될 수 있어야 한다. 복합 문서 포맷 워킹 그룹은 이런 타입의 문제들에 대해 주의를 기울일 것이다. 이 작업은 국면 별로, 두 가지 기술 솔루션들로 나눠진다: 참조에 의한 결합 및 산입 (inclusion)에 의한 결합.
현재의 3GPP DIMS (Dynamic Interactive Multimedia Scenes) 활동에서, DIMS 콘텐츠의 스트리밍은 클라이언트 측에서의 실시간 연속 콘텐츠 구현을 가능하게 하는 다이내믹 리치 미디어 서비스의 중요한 요소로서 인식되어 왔다. DIMS 콘텐츠 스트림은 통상적으로, 페이로드가 SVG 씬 (scene)인 일련의 RTP (Real-time Transport Protocol) 패킷들, SVG 씬 업데이트들 및 코딩된 비디오 및 오디오 패킷들로 이뤄진다. 이 RTP 패킷들은 UDP (User Datagram Protocol)/IP 헤더들에 의해 캡슐화되고 3G 네트워크들을 거쳐 전송된다. 그러한 패킷들은 무선 링크들에서의 전송 에러들이나 3G 네트워크들의 중간 라우터들에서의 버퍼 오버플로들로 인해 유실될 수가 있다.
3GPP SA4는 MBMS 및 PSS 구조 내 전송 계층 및 그 상위 계층에서 어떤 미디어 독립 패킷 손실 복구 메커니즘들을 규정하였다. MBMS에서, 어플리케이션 계층 FEC는 스트리밍 및 다운로드 서비스들 둘 모두에서의 패킷 손실 복구에 사용된다. PSS에서는, RTP 계층 재전송이 패킷 손실 복구에 사용된다. 유니캐스트 (unicast) 다운로드 전송을 위해, TCP (Transmission Control Protocol)가 콘텐츠의 안정적 전송을 다룬다.
리치 미디어 기반 MBMS 스트리밍 서비스들에 있어서, 사용자들은 스트리밍 세션 도중 임의의 순간에 그 서비스에 튠 인 (tune-in)할 가능성이 크다. 클라이언트들은 서비스에 튠 인하자 마자 패킷 수신을 시작하고, 수신된 리치 미디어 콘텐츠의 디코딩/렌더링을 시작하기 위해 소정 시간을 대기해야 할 것이다. 이 시간을 "튠-인 지연"이라 부른다. 양호한 사용자 경험을 위해, 클라이언트들은 콘텐츠를 수신한 시점으로부터 가능하면 즉시 그 콘텐츠의 렌더링을 시작하도록 요망된다. 따라서, DIMS의 한 요건은 브로드캐스트/멀티캐스트 스트리밍 서비스로의 DIMS의 효율적이고도 빠른 튠-인을 가능하게 하는 것이다. 빠른 튠-인은 미디어 레벨 솔루션들, 전송 레벨 솔루션들, 혹은 그 둘의 복합 솔루션들에 의해 이행될 될 수 있다.
3G 무선 네트워크들의 브로드캐스트/멀티캐스트 채널들을 통해 리치 미디어 (DIMS) 콘텐츠를 스트리밍할 때, 어플리케이션 계층 포워드 에러 정정 (AL-FEC, application layer forward error correction) 메커니즘을 이용해 콘텐츠를 패킷 손실로부터 보호하는 것이 중요하다. AL-FEC 알고리즘은 통상적으로 잉여 FEC RTP 패킷들을 생성하기 위해 미디어 RTP 패킷들의 소스 블록에 걸쳐 적용된다. 앞서 논의되고 도 1 및 2에서 도시된 바와 같이, 미디어 및 관련 FEC 패킷들을 묶어서 "FEC 프레임"으로 칭한다. FEC 프레임은 손실 네트워크 (lossy network)를 통해 전송된다. 수신기가 그 FEC 프레임으로부터 충분한 절대 수의 미디어 및 FEC RTP 패킷들을 수신하면 유실된 임의의 미디어 RTP 패킷들을 복구할 수 있을 것이다. 현재, 상술한 소스 블록의 길이는 설정가능하다. 대형 소스 블록들이 사용될 때 AL-FEC가 더 효과적이다. 한편, 튠-인 지연은 이 소스 블록의 길이와 정비례한다.
송신측에서 SVG, 오디오 및 비디오 미디어를 포함하는 통상적인 리치 미디어 스트리밍 세션 중에, 각 미디어의 소스 RTP 패킷들은 함께 묶여서 FEC 보호를 위한 소스 블록을 형성한다. FEC 인코딩 알고리즘을 이용해 하나 이상의 FEC RTP 패킷들이 이 소스 블록으로부터 생성된다. 도 3에 도시된 것과 같이, 다른 미디어의 소스 RTP 패킷들이 FEC RTP 패킷들과 함께 각각의 RTP 스트림들로서 전송된다. 도 3에 도시된 것처럼, DIMS RTP 스트림은 예를 들어 복수 개의 FEC 프레임들 6101, 6102, 및 6103을 포함한다. 이들 FEC 프레임들은 다른 DIMS 미디어나 동일한 미디어에 대한 소스 블록들을 포함할 수 있다. FEC 프레임 6101은 소스 RTP 패킷들 및 FEC RTP 패킷 6121의 소스 블록 6141을 포함한다. 수신기 측에서, 클라이언트는 충분한 듀레이션 (duration)을 위해 수신된 RTP 패킷들 (소스 및 FEC 둘 다)을 버퍼링하고 나서 상술한 소스 블록을 재건하려고 한다. 클라이언트는, 어떤 소스 RTP 패킷들이 누락되면, FEC 디코딩 알고리즘을 적용해 그것들을 복구하도록 시도한다.
FEC 소스 블록의 길이는 튠-인 지연을 결정하는 데 있어 중요한 팩터가 된다. 클라이언트는 전체 FEC 소스 블록의 듀레이션을 위해 버퍼링을 해야 한다. 클라이언트가 현재의 FEC 소스 블록 중간에 데이터 수신을 시작할 때, 클라이언트는 현재의 소스 블록으로부터 그 데이터를 버리고 다음 소스 블록을 처음부터 끝까지 수신하도록 대기해야 한다. 따라서, 평균적으로 클라이언트는 FEC 소스 블록 듀레이션의 1.5 배의 시간을 기다려야 한다.
FEC 디코딩 후, 패킷들은 수신기에 있는 다양한 미디어 디코더들로 보내진다. 미디어 디코더들은 압축된 미디어 비트 스트림 내 임의의 포인트들부터 디코딩될 수는 없을 것이다. FEC 프레임들 및 미디어 GOP들이 얼라인되어 있지 않으면, 평균적으로 디코더는 현재의 미디어 GOP 데이터의 절반을 버려야만 할 것이다.
튠-인 지연 (tune-in delay) = 1.5*(FEC 소스 블록 듀레이션)+0.5*(미디어 GOP 듀레이션) (1)
FEC 소스 블록 듀레이션은 FEC 프레임의 버퍼링 지연이고 (등시성 네트워크들에서 이것은 FEC 프레임의 사이즈에 비례함), 미디어 GOP 듀레이션은 미디어 GOP의 버퍼링 지연이다. 완전한 FEC 프레임 및 완전한 GOP가 각자 FEC 디코더의 버퍼 및 미디어 디코더의 버퍼에 각각 꼭 맞도록 최악의 경우의 버퍼 사이즈들이 선택되어야 한다.
본 발명은, 멀티미디어 브로드캐스트/멀티캐스트 기반 스트리밍 서비스 콘텐츠를 위한 각각의 포워드 에러 정정 (FEC, forward error correction) 도입부에 랜덤 액세스 포인트가 삽입되는 방법 및 장치를 제안한다. 그에 따라, 미디어 디코더는 FEC 디코딩이 끝나자 마자 디코딩을 시작할 수 있고 식 (1)의 두 번째 항이 제거될 수 있어, 튠-인 지연을 감소시키게 된다. 멀티미디어 브로드캐스트/멀티캐스트 스트리밍 서비스는, FEC RTP 패킷들과 함께 다른 미디어의 소스 RTP 패킷들이 각각의 RTP 스트림들로서 전송되는 다이내믹한 인터랙티브 멀티미디어 씬 (scene) 콘텐츠를 포함한다. 랜덤 액세스 포인트의 산입 (inclusion)은 FEC 디코딩 후 다이내믹한 인터랙티브 멀티미디어 씬 콘텐츠의 즉각적 렌더링을 촉진시키고, 그에 따라 튠-인 지연을 감소시킬 수 있다.
따라서, 본 발명의 제1양상은 복수 미디어의 미디어 패킷들을 디코딩할 수 있는 멀티미디어 클라이언트로 패킷 스트림이 제공되고, 각 미디어의 인코딩 된 미디어 패킷들이 프레임들 안에 정렬되고, 각각의 프레임은 적어도 한 포워드 에러 정정 패킷을 뒤따르는 적어도 한 소스 블록을 포함하는, 멀티미디어 스트리밍에 사용되는 방법에 대한 것이다. 이 방법은 프레임들의 적어도 일부 안에 랜덤 액세스 포인트를 삽입하는데, 그 랜덤 액세스 포인트는 소스 블록과 포워드 에러 정정 패킷 사이에 자리하도록 하는 단계를 포함한다.
본 발명의 제2양상은 복수 미디어의 미디어 패킷들을 디코딩할 수 있는 멀티미디어 클라이언트로 서버로부터 패킷 스트림이 제공되고, 각 미디어의 인코딩된 미디어 패킷들은 프레임들 안에 정렬되고, 각 프레임은 적어도 한 포워드 에러 정정 패킷을 뒤따르는 적어도 한 소스 블록을 포함하는, 멀티미디어 스트리밍시 서버에서 사용할 모듈에 관한 것이다. 이 모듈은 프레임들의 적어도 일부에 랜덤 액세스 포인트를 삽입하는데, 그 랜덤 액세스 포인트는 소스 블록과 포워드 에러 정정 패킷 사이에 위치되도록 구성된다.
본 발명의 제3양상은 통신 시스템이 서버에 관한 것으로, 통신 시스템은 복수 미디어의 미디어 패킷들을 디코딩할 수 있는 하나 이상의 멀티미디어 클라이언트들을 포함하고, 각각의 미디어의 인코딩된 미디어 패킷들은 프레임들 안에 정렬되고, 각 프레임은 적어도 한 포워드 에러 정정 패킷을 뒤따르는 적어도 한 소스 블록을 포함한다. 서버는 프레임들의 적어도 일부 안에서 소스 블록과 포워드 에러 정정 패킷 사이에 위치하도록 랜덤 액세스 포인트를 삽입하도록 하는 생성 모듈을 포함한다.
본 발명의 제4양상은 멀티미디어 비트스트림을 수신하도록 구성된 멀티미디어 클라이언트에 대한 것으로서, 상기 비트스트림은 프레임들 안에 정렬된 복수의 인코딩된 미디어 패킷들을 포함하고, 각각의 프레임은 적어도 한 포워드 에러 정정 패킷을 뒤따르는 적어도 한 소스 블록을 포함하고, 적어도 한 랜덤 액세스 포인트가 소스 블록과 포워드 에러 정정 패킷 사이에 삽입된다. 클라이언트는 포워드 에러 정정 디코딩을 위한 제1디코더, 및 랜덤 액세스 포인트에 기초하여 포워드 에러 정정 디코딩 후 인코딩된 미디어 패킷의 소스 블록을 디코딩하기 위한 적어도 한 미디어 디코더를 포함한다.
본 발명의 제5양상은 멀티미디어 스트리밍시 사용하기 위한 소프트웨어 어플리케이션을 구비한 저장 매체를 포함하는 소프트웨어 어플리케이션 제품에 관한 것으로, 복수 미디어의 미디어 패킷들을 디코딩할 수 있는 멀티미디어 클라이언트로 패킷 스트림이 제공되고, 각 미디어의 인코딩된 미디어 패킷들은 프레임들 안에 정렬되고, 각각의 프레임은 적어도 한 포워드 에러 정정 패킷을 뒤따르는 적어도 한 소스 블록을 가진다. 소프트웨어 어플리케이션은 프레임들의 적어도 일부 안에 랜덤 액세스 포인트를 삽입하는데, 그 랜덤 액세스 포인트는 소스 블록과 포워드 에러 정정 패킷 사이에 위치하도록 하는 프로그래밍 코드를 포함한다.
본 발명의 제6양상은 멀티미디어 클라이언트에서 사용할 소프트웨어 어플리케이션을 가진 저장 매체를 구비한 소프트웨어 어플리케이션 제품에 관한 것으로, 클라이언트는 멀티미디어 비트스트림을 수신하도록 구성되고, 상기 비트스트림은 프레임들 안에 정렬된 복수의 인코딩된 미디어 패킷들을 포함하고, 각각의 프레임은 적어도 한 포워드 에러 정정 패킷을 뒤따르는 적어도 한 소스 블록을 포함하고, 소스 블록과 포워드 에러 정정 패킷 사이에 적어도 한 랜덤 액세스 포인트가 삽입된다. 소프트웨어 어플리케이션은 포워드 에러 정정 디코딩을 위한 프로그래밍 코드 및, 랜덤 액세스 포인트에 기초하여 포워드 에러 정정 디코딩 후, 인코딩된 미디어 패킷들의 소스 블록을 디코딩하는 프로그래밍 코드를 포함한다.
본 발명은 도 1 내지 7과 연계된 내용을 읽은 뒤에 보다 자명하게 될 것이다.
도 1은 복수의 GOP들 및, GOP들과 얼라인되어 있지 않은 관련 FEC 프레임들을 보인 타이밍도이다.
도 2는 복수의 GOP들 및, GOP들과 얼라인된 관련 FEC 프레임들을 보인 타이밍도이다.
도 3은 멀티미디어 스트리밍시의 FEC 프레임들을 보인다.
도 4는 본 발명의 일 실시예에 따라, 멀티미디어 스트리밍을 위해 각 FEC 소스 블록의 도입부에 랜덤 액세스 포인트를 삽입한 것을 보인다.
도 5a는 본 발명의 일 실시예에 따라, DIMS를 위한 FEC 프레임 구조를 보인다.
도 5b는 본 발명의 또 다른 실시예에 따라, DIMS를 위한 FEC 구조를 보인다.
도 6은 랜덤 액세스 포인트들이 FEC 프레임들 안에 삽입되는, 서버 및 클라이언트를 가진 통신 시스템의 개략적 표현이다.
도 7은 본 발명에 따라, 멀티미디어 스트리밍 인코더 및 디코더 중 적어도 하나를 구비한 전자 기기의 블록도이다.
리치 미디어 콘텐츠의 스트리밍시, 스트리밍되는 콘텐츠는 비디오, 오디오, SVG 같은 XML 콘텐츠, 타임-텍스트 및 기타 지원 미디어로 이뤄진다. SVG 스트림은 일반적으로 한 씬 (scene) 및 일련의 씬 업데이트들로 이뤄진다. SVG 씬은, FEC 디코딩 후 수신기에 있는 SVG 디코더 내에서 디코딩하기 위한 시작 포인트라고 간주될 수 있다.
본 발명에 따르면, FEC 디코딩 후 수신기에 있는 미디어 디코더에서 디코딩을 위한 시작 포인트가 있는 랜덤 액세스 포인트를 삽입하는 것이 바람직하다. SVG 같은 XML 스트림을 위한 각각의 FEC 소스 블록의 도입부 (beginning)에 랜덤 액세스 포인트를 삽입하는 것 외에, 비디오 스트림을 위한 각 FEC 소스 블록의 도입부 및, 오디오를 위한 각 FEC 소스 블록의 도입부에 랜덤 액세스 포인트를 삽입 하는 것에 이점이 있다. 현재의 MBMS FEC 구조는 FEC 보호 목적으로 미디어 번들링 (bundling, 묶기)을 이용한다, 즉, 같은 FEC 프레임이 모든 종류의 미디어 RTP 패킷들 (가령, SVG, 오디오, 비디오)를 포함한다. 그러한 구성에서는, FEC 프레임의 도입부에 세 가지 미디어의 랜덤 액세스 포인트들을 (어떤 순서로든) 포함하는 것이 유리하다. 그러한 랜덤 액세스 포인트의 산입 (inclusion)이 FEC 디코딩 후 DIMS의 즉각적 렌더링을 촉진한다. 도 4는 FEC 프레임의 각 소스 블록의 도입부에 랜덤 액세스 포인트를 산입한 것을 보인다. 도 4에 도시된 바와 같이, DIMS RTP 스트림은 이를테면, FEC 프레임들 7101, 7102 및 7103을 포함한다. 이 FEC 프레임들은 비디오, 오디오, 및 시간 지정 텍스트같은 상이한 DIMS 미디어나, 동일한 미디어에 대한 소스 블록들을 포함한다. FEC 프레임 7101은 소스 RTP 패킷들의 소스 블록 7141, 랜덤 액세스 포인트 7181, 및 FEC RTP 패킷 7121을 포함한다. FEC 프레임 7102은 소스 RTP 패킷들의 소스 블록 7142, 랜덤 액세스 포인트 7182, 및 FEC RTP 패킷 7122을 포함한다. FEC 프레임 7103은 소스 RTP 패킷들의 소스 블록 7143, 랜덤 액세스 포인트 7183, 및 FEC RTP 패킷 7123을 포함한다.
FEC 프레임이 둘 이상의 FEC 패킷들을 포함하여 미디어 비트스트림이 패킷 손실에 대해 보다 강력해지도록 할 수 있다는 것을 주지해야 할 것이다. 또, 도 5a에 도시된 것과 같이, FEC 패킷이나 패킷들 다음에 하나의 랜덤 액세스 포인트를 포함하는 것이 자연스럽지만, 도 5b에 보이는 것처럼 씬 변경 (scene change)을 시 그날링하도록 하나의 FEC 프레임 안에 둘 이상의 랜덤 액세스 포인트들을 포함하는 것 역시 가능하다. FEC 패킷들은 보통 FEC 프레임의 끝에 있고, RAP 패킷들은 FEC 프레임의 도입부에 있게 된다. FEC 프레임의 중간에 있는 랜덤 액세스 포인트는 빠른 튠-인 (tune-in)을 위해 유용하다. 그것은 또한 FEC 디코딩 실패의 경우에도 유용하다. 그 경우에, 최초 랜덤 액세스 포인트는 유실되지만 동일한 FEC 프레임 내 후속 랜덤 액세스 포인트들이 미디어 디코딩에 사용될 수 있다.
튠-인 목적을 위해 FEC 블록들 안에서 RAP들을 조합하기 위한 일곱 가지 스트리밍 기반 사용 케이스들이 존재한다. 이들 중 일부는 리치 미디어 서비스 장르의 일부로서, 다음과 같은 것이 포함된다:
1) 인터랙티브 모바일 TV 서비스 - 이 서비스는 오디오-비디오 콘텐츠, 텍스트, 이미지들, SVG 같은 XML 기반 콘텐츠를 포함하는 리치-미디어 (Rich media) 콘텐츠의 결정적 렌더링 및 작용을 TV 및 라디오 채널들과 함께 모두 최종 사용자 인터페이스에서 제공하는 기능으로 파악된다. 이 서비스는 하나의 어플리케이션이나 서비스 내 콘텐츠를 통해 편리한 네비게이션을 제공하고, 근거리나 원거리에서 보우팅 (voting) 및 퍼스널라이제이션 (personalization) 같은 동기된 인터랙션을 허용한다 (가령: 최종 사용자 프로파일이나 서비스 가입의 기능을 통한 관련 메뉴나 서브-메뉴, 광고 및 콘텐츠).
이러한 사용 케이스는 iTV 모바일 서비스에서 이용 가능한 4 가지 서비스들 및 서브-서비스들에 대응하는 4 가지 단계들로 설명된다:
● 모자이크 (Mosaic) 메뉴: TV 채널 배경.
● 전자 프로그램 가이드 (Electronic Program Guide) 및 관련 iTV 서비스의 유발.
● iTV 서비스.
● 개인화 메뉴 (Personalized Menu) "스포츠 뉴스".
2) 라이브 엔터프라이즈 데이터 피드 (live enterprise data feed) - 이 서비스는 실시간 시세들, 기술적 지시자들이 있는 라이브 인트라-데이 차트들 (live intra-day charts), 뉴스 모니터링, 날씨 경고, 차트들, 비즈니스 업데이트들 등의 스트리밍을 제공하는 주식 전표들을 포함한다.
3) 라이브 채팅 - 이 서비스는 웹 캠이나 비디오 채널, 또는 리치 미디어 블로그 서비스 안에 포함될 수 있다. 최종 사용자들이 자신들의 별칭을 등록 및 저장하고 메시지들을 교환할 수 있다. 메시지들은 라이브 채팅 서비스 안에서, 최종 사용자에 의해 제공된 리치 미디어 데이터와 함께 다이내믹하게 보여진다. 채팅 서비스는 동시에 하나 이상의 여러 채널들을 통해 사적으로나 공개적으로 될 수 있다. 최종 사용자들에게 다른 사용자들로부터의 새 메시지들이 다이내믹하게 환기된다. 전체 페이지를 재로드하지 않고도 이 서비스 내 메시지들의 다이내믹한 업데이트가 일어난다.
4) 가라오케 - 이 서비스는 노래할 텍스트 문자들에 대해 흘러가는 형상의 애니메이션이 있는 노랫말 (가령, 폰트들의 완만한 색 변화, 텍스트의 스크롤링)과 함께 하는 음악 TV 채널이나 비디오 클립 카탈로그를 디스플레이한다. 최종 사용자는 인터랙티브 버튼을 선택해, 전체 애니메이션과 함께 자신이 선택한 노래를 다 운로드할 수 있다.
본 발명의 일 실시예에 따른, 서버 및 클라이언트를 구비한 통신 시스템의 개략적 표현이 도 6에 보여진다. 도 6에 도시된 것과 같이, 통신 시스템은 멀티미디어/멀티캐스트 서비스들을 제공할 수 있다. 따라서, 통신 시스템은 멀티미디어 스트리밍을 위해 적어도 한 개의 서버 및 한 개의 클라이언트를 포함한다. 특히, 서버는 인터넷 같은 무선 네트워크의 브로드캐스트/멀티캐스트 채널들을 통해 리치 미디어 (DIMS) 콘텐츠를 제공하도록 구성된다. 특히, 서버는 DIMS 콘텐츠를 획득, 수신 및/또는 저장하도록 구성된다. 예를 들어, DIMS 콘텐츠는 씬들과 씬 업데이트들을 포함한다. DIMS 콘텐츠는 랜덤 액세스 포인트들이 FEC 프레임들 안에 삽입되도록 구성되는 FSC 프레임 생성기로 전달될 수 있다. 보다 구체적으로, 랜덤 액세스 포인트들은 DIMS 콘텐츠에 대한 MBMS 기반 스트리밍 서비스의 한 소스 블록의 도입부에 삽입된다. 바람직하게도, FEC 생성기는, 랜덤 액세스 포인트들이 삽입되어 미디어 DIMS 패킷들과 얼라인되는 FEC 프레임들을 제공하도록 구성된다. 얼라인된 FEC 프레임들과 DIMS 패킷들이 브로드캐스트/멀티캐스트 채널들을 통해 비트스트림으로써 전송되어, 하나 이상의 DIMS 클라이언트들이 그 비트스트림을 수신해 디코딩할 수 있도록 한다. FEC 생성기는 랜덤 액세스 삽입과 함께 FEC 프레임을 얼라인하는 프로그래밍 코드를 가진 FEC 인코딩 소프트웨어를 구동하는 프로세싱 요소를 포함할 수 있다.
일반적으로, 각 DIMS 클라이언트는 에러 정정 목적을 위해 FEC 디코더를 포함한다. FEC 디코더는 FEC 디코딩 소프트웨어를 실행하는 프로세싱 요소를 포함할 수 있다. FEC 디코딩 후, DIMS 콘텐츠들이 여러 미디어 디코더들로 전달된다. 각각의 미디어 디코더로부터 디코딩된 콘텐츠가 출력 모듈로 제공된다. 예를 들어, 미디어 디코더가 비디오 디코더인 경우, 디코딩 된 콘텐츠는 디스플레이용 스크린으로 제공된다. 도 6에 도시된 바와 같이, 세 개의 상이한 미디어 디코더들 및 그에 상응하는 세 개의 출력 모듈들이 보여진다. 출력 모듈들 중 하나는 가령 SVG 드로잉들을 위해 조정된 렌더러일 수 있다. SVG 드로잉들은 인터랙티브하고도 다이내믹할 수 있고, 애니메이션 등에 사용될 수 있다.
이제 도 7을 참조하면, 도 7은 도 6에 도시된 것 같은 서버 모듈 및 DIMS 클라이언트 모듈 중 적어도 하나를 갖춘 전자 기기를 보인다. 본 발명의 일 실시예에 따르면, 이 전자 기기는 모바일 단말이다. 도 7에 도시된 모바일 기기(10)는 셀룰라 데이터 및 음성 통신 기능이 있다. 본 발명이 여러 상이한 실시예들 중 하나를 재현한 이 특수한 실시예에만 한정되는 것이 아니라는 것을 알아야 한다. 모바일 기기(10)는 마이크로프로세서나 마이크로-컨트롤러(100) 뿐 아니라 모바일 기기의 동작을 통제하는 마이크로프로세서와 관련된 구성요소들을 포함한다. 그 구성요소들에는 디스플레이 모듈(135)에 연결된 디스플레이 컨트롤러(130), 비휘발성 메모리(140), 램 (RAM) 같은 휘발성 메모리(150), 마이크(161), 스피커(162) 및/또는 헤드셋(163)과 연결된 오디오 입력/출력 (I/O) 인터페이스(160), 키패드(175)나 키보드와 연결된 키패드 컨트롤러(170), 임의의 보조 입/출력 (I/O) 인터페이스(200), 및 단거리 통신 인터페이스(180)가 포함된다. 그러한 기기는 통상적으로, 190으로 일반화하여 보인 다른 기기 서브시스템들을 포함하기도 한다.
모바일 기기(10)는 음성 네트워크를 통해 통신하고/거나, 가령 디지털 셀룰라 네트워크들, 특히 GSM (Global System for Mobile communication)이나 UMTS (Universal Mobile Telecommunications System)의 형식으로 어떤 공공 지상 모바일 네트워크들 (PLMNs, Public Land Mobile Networks) 같은 데이터 네트워크를 통해서도 마찬가지로 통신을 행할 수 있다. 보통 음성 및/또는 데이터 통신은 전파공간 인터페이스, 즉 셀룰라 통신 인터페이스 서브시스템을 통해 다른 구성요소들 (상술한 내용 참조)과 협력하여 셀룰라 네트워크 인프라구조의 라디오 액세스 네트워크 (RAN, Radio Access Network)의 일부인 기지국 (BS) 또는 노드 B (미도시)로 행해진다.
도 7에 예로서 도시된 것 같은 셀룰라 통신 인터페이스 서브시스템은 셀룰라 인터페이스(110), 디지털 신호 프로세서 (DSP)(120), 수신기(RX)(121), 송신기(TX)(122), 및 하나 이상의 로컬 오실레이터들 (LOs)(123)을 포함하여, 하나 이상의 공공 지상 모바일 네트워크들 (PLMNs)과의 통신을 수행한다. 디지털 신호 처리기 (DSP)(120)는 송신기 (TX)(122)로 통신 신호들(124)을 보내고 수신기 (RX)(121)로부터 통신 신호들(125)을 수신한다. 통신 신호들을 처리하는 것 외에, 디지털 신호 프로세서(120)는 수신기 제어 신호들(126) 및 송신기 제어 신호(127) 또한 제공한다. 예를 들어, 송신할 신호들의 변조 및 수신된 신호들의 복조 이외에, 수신기(RX)(121) 및 송신기(TX)(122)의 통신 신호들에 인가되는 이득 (gain) 수준들이 디지털 신호 프로세서(DSP)(120)에서 구현되는 자동 이득 제어 알고리즘들을 통해 적응적으로 제어될 수 있다. 다른 트랜시버(121/122)의 보다 정교한 제 어를 지원하기 위해, 그 다른 트랜시버 제어 알고리즘들 역시 디지털 신호 프로세서 (DSP)(120)에서 구현될 수도 있을 것이다.
PLMN을 통한 모바일 기기(10) 통신이 단일 주파수나 인접 간격의 주파수들의 세트 상에서 발생하는 경우, 송신기 (TX)(122) 및 수신기 (RX)(121)와 연계하여 하나의 로컬 오실레이터 (LO)(123)가 사용될 수 있다. 이와 달리, 서로 상이한 주파수들이 음성/데이터 통신이나 송신 대 수신에 사용되는 경우, 대응되는 복수의 주파수들을 생성해 내기 위해 복수의 로컬 오실레이터들이 사용될 수 있다.
도 7에 도시된 모바일 기기(10)는 다이버시티 (diversity) 안테나 시스템 (미도시)으로서, 혹은 그 시스템과 함께 사용되지만, 모바일 기기(10)가 신호 수신 및 송신을 위한 단일 안테나 구조를 가지고 사용될 수도 있을 것이다. 음성 및 데이터 정보 모두를 포함하는 정보가 디지털 신호 프로세서 (DSP)(120)와의 사이에 있는 데이터 링크를 통해 셀룰라 인터페이스(110)와 교류된다. 주파수 대역, 컴포넌트 선택, 전력 레벨 등등과 같은 셀룰라 인터페이스(110)의 자세한 디자인은 모바일 기기(10)가 작동하고자 하는 무선 네트워크에 좌우될 것이다.
셀룰라 네트워크들로의 등록을 요하는 가입자 식별 모듈 (SIM, Subscriber Identification Module)(210)을 포함할 수 있는 어떤 요청되는 네트워크 등록 또는 활성화 절차가 이행된 후에, 모바일 기기(10)는 무선 네트워크를 통해, 음성 및 데이터 신호 둘 다를 포함하는 통신 신호들을 송수신할 것이다. 무선 네트워크로부터 안테나(129)를 통해 수신된 신호들은 수신기(121)로 라우팅되고, 수신기는 신호 증폭, 주파수 하향 변환, 필터링, 채널 선택, 및 아날로그-디지털 변환 같은 동작 들을 지원한다. 아날로그-디지털 변환은 디지털 복조 및 디코딩 같은 보다 복잡한 통신 기능들이 디지털 신호 프로세서 (DSP)(120)를 사용해 수행될 수 있게 한다. 비슷한 방식으로, 네트워크로 전송될 신호들이 디지털 신호 프로세서 (DSP)(120)에 의해 변조 및 인코딩 등을 포함하는 처리 과정을 겪고 그런 다음 디지털-아날로그 변환, 주파수 상향 변환, 필터링, 증폭, 및 안테나(129)를 통한 무선 네트워크로의 송신을 위해 송신기(122)로 제공된다.
마이크로프로세서/마이크로-컨트롤러 (μC)(110)는 장치 플랫폼 마이크로프로세서라고도 칭할 수 있으며, 모바일 기기(10)의 동작들을 관리한다. 프로세서(110)에 의해 사용되는 운영 시스템 소프트웨어(149)가 비휘발성 메모리(140) 같은 영구 저장부에 저장됨이 바람직한데, 그러한 영구 저장부는 가령 플래시 (Flash) 메모리, 배터리 백업형 RAM, 어떤 다른 비휘발성 저장 기술, 혹은 그들의 임의 조합형태로 구현될 수 있다. 모바일 기기(10)의 하위 레벨 동작들 및 (그래픽) 베이직 사용자 인터페이스 동작들을 제어하는 운영 시스템(149) 말고도, 비휘발성 메모리(140)는 음성 통신 소프트웨어 어플리케이션(142), 데이터 통신 소프트웨어 어플리케이션(141), 오거나이저 (organizer) 모듈 (미도시), 또는 어떤 다른 종류의 소프트웨어 모듈 (미도시) 같은 복수의 상위 레벨 소프트웨어 어플리케이션 프로그램들 또는 모듈들을 포함한다. 이 모듈들은 프로세서(100)에 의해 실행되고 모바일 기기(10)의 사용자와 모바일 기기(10) 사이의 하이 레벨 인터페이스를 제공한다. 이 인터페이스는 보통 디스플레이 컨트롤러(130)에 의해 제어된 디스플레이(135)를 통해 주어지는 그래픽 컴포넌트 및 키패드 컨트롤러(17)를 통해 프로세 서(100)에 연결된 키패드(175)를 거쳐 주어지는 입/출력 컴포넌트들, 보조 입/출력 (I/O) 인터페이스(200), 및/또는 단거리 (SR, Short Range) 통신 인터페이스(180)를 포함한다. 보조 I/O 인터페이스(200)는 특히 USB (Universal Serial Bus) 인터페이스, 시리얼 인터페이스, MMC (MultiMedia Card) 인터페이스 및 관련 인터페이스 기술/규격들, 그리고 임의의 기타 규격화되거나 전매되는 데이터 통신 버스 테크놀로지를 포함하며, 단거리 통신 인터페이스 라디오 주파수 (RF) 저전력 인터페이스는 특히 WLAN (Wireless Local Area Network) 및 블루투스 통신 테크놀로지 또는 IRDA (InfRared Data Access) 인터페이스를 포함한다. 여기서 말하는 RF 저전력 인터페이스 테크놀로지는 특히, 전기전자 엔지니어 협회 (Institute of Electrical and Electronic Engineers)로부터 그 상세내용을 얻을 수 있는 임의의 IEEE 801.xx 규격 테크놀로지를 포함하는 것으로 이해되어야 한다. 또, 보조 I/O 인터페이스(200) 및 단거리 통신 인터페이스(18)는 각각 하나 이상의 입/출력 인터페이스 테크놀로지들 및 통신 인터페이스 테크놀로지들을 지원하는 하나 이상의 인터페이스들을 나타낼 수 있다. 운영 시스템, 고유 장치 소프트웨어 어플리케이션들 또는 모듈들, 또는 그 부분들은 일시적으로 랜덤 액세스 메모리 (보통 신속한 동작을 위해 DRAM (Direct Random Access Memory) 테크놀로지에 기초해 구현됨) 같은 휘발성 저장부(150)로 로드 될 수 있다. 또, 수신된 통신 신호들 역시, 비휘발성 메모리(140)나 데이터 저장을 위해 보조 I/O 인터페이스를 통해 탈부착가능하게 연결됨이 바람직한 어떤 매스 (mass) 저장부에 자리한 파일 시스템에 그 신호들이 영구히 기록되기 전에, 휘발성 메모리(150)로 일시 저장될 수 있을 것이다. 상술 한 구성요소들은 여기서 셀룰라 폰의 형태로 구현되는 전통적 모바일 기기(10)의 일반적인 구성요소들을 나타낸다는 것을 알아야 한다. 본 발명은 완결성을 도모하기 위해 단지 예로서 도시된 그러한 특정 구성요소들 및 그 구성에 국한되지 않는다.
모바일 기기(10)의 전형적 소프트웨어 어플리케이션 모듈은, 보통 접촉 관리자, 캘린더, 작업 관리자 등등을 포함하여 PDA 기능을 제공하는 퍼스널 정보 관리자 어플리케이션이다. 그러한 퍼스널 정보 관리자는 프로세서(100)에 의해 실행되고, 모바일 기기(10)의 구성요소들을 액세스할 수 있으며, 다른 소프트웨어 어플리케이션 모듈과 상호동작할 수 있다. 예를 들어, 음성 통신 소프트웨어 어플리케이션과의 인터랙션은 전화 통화, 음성 메일 등등의 관리를 가능하게 하고, 데이터 통신 소프트웨어 어플리케이션과의 인터랙션은 SMS (Soft Message Service), MMS (Multimedia Service), 이메일 통신 및 기타 데이터 전송을 관리를 행한다. 비휘발성 메모리(140)는 특히 캘린더 엔트리들, 장치 상에서 연락처들 등등을 포함하는 데이터 아이템들의 영구적 저장을 돕기 위해 파일 시스템을 제공함이 바람직하다. 가령 셀룰라 인터페이스, 단거리 통신 인터페이스, 또는 보조 I/O 인터페이스를 통한 네트워크들과의 데이터 통신 능력이 그러한 네트워크들을 통한 업로드, 다운로드, 및 동기화를 행한다.
어플리케이션 모듈들(141 내지 149)은 프로세서(100)에 의해 실행되도록 구성된 장치 기능들이나 소프트웨어 어플리케이션들을 나타낸다. 대부분의 알려진 모바일 기기들에서는, 하나의 프로세서가 모바일 기기의 전반적 동작 뿐 아니라 모 든 장치 기능들 및 소프트웨어 어플리케이션들을 관리한다. 이 개념은 오늘날의 모바일 기기들에 적용가능하다. 강화된 멀티미디어 기능들의 구현은, 가령 비디오 스트리밍 어플리케이션들의 재생, 디지털 이미지들의 조작, 및 병합 또는 탈부착가능하게 연결된 디지털 카메라 기능을 통한 비디오 시퀀스들의 캡처링을 포함한다. 이러한 구현은 또한 정교한 그래픽 및 필수적 계산 능력을 가진 게임 어플리케이션들 또한 포함할 수 있다. 과거에 추구되었던, 계산 능력에 대한 요건을 다루기 위한 하나의 방식은, 강력하고 유니버설한 프로세서 코어들을 구현함으로써 계산 능력을 증진하도록 문제를 해결한다. 계산 능력을 지원하기 위한 또다른 방식은 이 기술분야에서 잘 알려져 있는 방법론인, 둘 이상의 독자적 프로세서 코어들을 구현하는 것이다. 여러 독자적 프로세서 코어들의 이점은 이 분야의 당업자들에게 즉각적으로 예상될 수 있다. 유니버설 프로세서가 상이한 작업들의 사전 선택에 대한 특화 없이 여러 상이한 작업들을 수행하도록 설계되는 반면, 멀티-프로세서 구성은 일련의 소정 작업들을 처리하도록 구성된 하나 이상의 특화된 프로세서들 및 하나 이상의 유니버설 프로세서들을 포함할 수 있다. 그럼에도 불구하고, 한 장치, 특히 모바일 기기(10) 같은 모바일 기기 안에 여러 프로세서들을 구현하는 것은 전통적으로 완벽하고도 정교한 구성요소들의 재설계를 요한다.
이하에서 본 발명은 고비용의 완벽하고도 정교한 재설계를 생략할 수 있게 추가 프로세서 코어들을 기존 프로세싱 장치 구성에 단순 통합하는 것을 허용하는 개념을 제안할 것이다. 본 발명의 개념은 SoC (System-On-a-Chip) 설계를 참조해 기술될 것이다. SoC는 프로세싱 장치의 적어도 상당수 (혹은 전체) 구성요소들을 하나의 고 집적 칩 안에 통합한다는 개념이다. 그러한 SoC에는 디지털, 아날로그, 혼합 신호, 및 흔히 라디오 주파수 함수들이 모두 하나의 칩 상에 포함될 수 있다. 통상의 프로세싱 장치는 상이한 작업들을 수행하는 여러 집적 회로들을 포함한다. 이들 집적 회로들에는 특히 마이크로프로세서, 메모리, 유니버설 비동기 수신기-송신기들 (UARTs, Universal Asynchronous Receiver-Transmitters), 직/병렬 포트들, 다이렉트 메모리 액세스 (DMA, Direct Memory Access) 컨트롤러들 등등이 포함될 수 있다. 유니버설 비동기 수신기-송신기 (UART)는 데이터의 병렬 비트들과 직렬 비트들 간을 변환하는 것이다. 반도체 기술에 있어서의 최근의 진보가 VLSI (Very-Large-Scale Integration) 집적 회로들이 복잡도에서의 상당한 성장을 가능하게 하였기 때문에, 단일 칩 안에 많은 구성요소들을 집적시키는 일이 가능하게 된다. 도 7을 참조하면, 하나 이상의 구성요소들, 가령 컨트롤러들(130 및 170), 메모리 컴포넌트들(150 및 140), 그리고 하나 이상의 인터페이스들(200, 180 및 110)이, 궁극적으로 SoC를 형성하는 단일 칩 안에서 프로세서(100)와 함께 집적될 수 있다.
또, 기기(10)는 본 발명의 진보한 작용에 따라 비디오 데이터의 스케일러블 (scalable) 인코딩(105) 및 스케일러블 디코딩(106)을 위한 모듈을 갖춘다. CPU(100)를 이용해, 그러한 모듈들(105, 106)이 개별적으로 사용될 수 있다. 그러나, 기기(10)는 개별적으로 비디오 데이터 인코딩 또는 디코딩을 수행하도록 구성된다. 상기 비디오 데이터는 기기의 통신 모듈들을 이용해 수신될 수 있고, 아니면 기기(10) 내 어떤 유추가능한 저장 수단 안에 저장될 수도 있다. 비디오 데이 터는 기기(10) 및 통신 네트워크 내 다른 전자 기기 사이에서 비트스트림으로써 전달될 수 있다.
본 발명에 따른 모바일 단말은 상술한 것과 같이 서버 안에서 인코더를, 또는 DIMS 클라이언트 안에서 디코더를 갖출 수 있다. 모바일 단말이 인코더 및 디코더를 모두 포함할 수도 있다.
본 발명은 각각의 FEC 소스 블록 도입부에 DIMS RAP들의 다른 변종들이 산입되는 것을 포괄한다. 그러한 변종에는 다음과 같은 것들이 포함된다:
● 전체 SVG 신 (scene)
○ 클라이언트 상에서 전체 DOM 트리를 대체할 수 있는 DIMS 신 업데이트
○ 추후 신 업데이트들에 대한 잠정적 관계를 가진 잉여 SVG 신들을 포함하는 잉여 RAP들. 이러한 잉여 RAP들은 재동기화를 요하지 않는 클라이언트들에 의해 무시될 수 있다.
본 발명이 그에 대한 하나 이상의 실시예들과 관련해 기술되었지만, 이 분야의 당업자라면 본 발명의 범위에서 벗어나지 않고 상술한 사항 및 그 형식과 세부사항에서의 다른 다양한 변경, 삭제 및 편차들이 있을 수 있다는 것을 알 수 있을 것이다.

Claims (13)

  1. 멀티미디어 스트리밍에 사용할 방법에 있어서,
    서버에서, 다이내믹 인터랙티브 멀티미디어 씬 (DIMS, Dynamic Interactive Multimedia Scene) 콘텐츠의 미디어 패킷들을, 각 프레임이 미디어 패킷들로 된 적어도 한 소스 블록 및 적어도 한 포워드 에러 정정 패킷을 포함하는 복수의 프레임들 안에 정렬하는 단계; 및
    서버에서 상기 DIMS 콘텐츠의 랜덤 액세스 포인트를 각각의 소스 블록의 도입부에 삽입하는 단계를 포함함을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 랜덤 액세스 포인트는 스케일러블 벡터 그래픽 (SVG, Scalable Vector Graphics) 씬임을 특징으로 하는 방법.
  3. 다이내믹 인터랙티브 멀티미디어 씬 (DIMS, Dynamic Interactive Multimedia Scene) 콘텐츠의 미디어 패킷들이, 각 프레임이 미디어 패킷들로 된 적어도 한 소스 블록 및 적어도 한 포워드 에러 정정 패킷을 포함하는 복수의 프레임들 안에 정렬되어 있는 멀티미디어를 스트리밍하기 위한 서버에 있어서,
    상기 DIMS 콘텐츠의 랜덤 액세스 포인트를 각각의 소스 블록의 도입부에 삽입하도록 하는 생성 모듈을 포함함을 특징으로 하는 서버.
  4. 제3항에 있어서, 상기 생성 모듈은 상기 랜덤 액세스 포인트를 스케일러블 벡터 그래픽 (SVG, Scalable Vector Graphics) 씬으로서 제공하도록 구성됨을 특징으로 하는 서버.
  5. 멀티미디어 비트스트림이 프레임들 안에 정렬된 DIMS 콘텐츠의 인코딩된 미디어 패킷들을 포함하고, 각 프레임은 미디어 패킷들로 된 적어도 한 소스 블록 및 적어도 한 포워드 에러 정정 패킷을 포함하는, 상기 멀티미디어 비트스트림을 수신하도록 구성되는 클라이언트 장치에 있어서,
    포워드 에러 정정 디코더; 및
    상기 DIMS 콘텐츠의 인코딩된 미디어 패킷들로 된 상기 소스 블록을 디코딩하기 위한 적어도 한 미디어 디코더를 포함하고,
    상기 클라이언트 장치는 각 소스 블록의 도입부에서 상기 DIMS 콘텐츠의 랜덤 액세스 포인트를 수신하도록 구성됨을 특징으로 하는 클라이언트 장치.
  6. 제5항에 있어서, 상기 적어도 한 미디어 디코더는, 포워드 에러 정정 디코더가 수신된 프레임 디코딩을 종료하자 마자, 디코딩을 시작함을 특징으로 하는 클라이언트 장치.
  7. 제5항에 있어서,
    상기 소스 블록과 상기 포워드 에러 정정 패킷 사이에 위치하도록 상기 랜덤 액세스 포인트를 상기 프레임들의 적어도 일부 안에 삽입하는 생성 모듈을 더 포함함을 특징으로 하는 클라이언트 장치.
  8. 제5항에 있어서, 상기 랜덤 액세스 포인트를 스케일러블 벡터 그래픽 (SVG, Scalable Vector Graphics) 씬으로서 제공하도록 구성된 생성 모듈을 더 포함함을 특징으로 하는 클라이언트 장치.
  9. 멀티미디어 비트스트림이 프레임들 안에 정렬된 DIMS 콘텐츠의 인코딩된 미디어 패킷들을 포함하고, 각 프레임은 미디어 패킷들로 된 적어도 한 소스 블록 및 적어도 한 포워드 에러 정정 패킷을 포함하는 상기 멀티미디어 비트스트림을 수신하는 방법에 있어서,
    각 소스 블록의 도입부에서 상기 DIMS 콘텐츠의 랜덤 액세스 포인트를 수신하는 단계; 및
    상기 DIMS 콘텐츠의 인코딩된 미디어 패킷들로 된 상기 소스 블록을 디코딩하는 단계를 포함함을 특징으로 하는 방법.
  10. 제9항에 있어서,
    수신된 프레임을 포워드 에러 정정 디코딩하는 단계를 더 포함하고,
    상기 소스 블록의 디코딩은 상기 포워드 에러 정정 디코딩이 종료되자 마자 시작되도록 구성됨을 특징으로 하는 방법.
  11. 제9항에 있어서, 상기 랜덤 액세스 포인트는 스케일러블 벡터 그래픽 (SVG, Scalable Vector Graphics) 씬으로서 제공됨을 특징으로 하는 방법.
  12. 컴퓨터 프로세서에 의해 실행되는 소프트웨어 어플리케이션을 구현하는 컴퓨터 판독가능 저장 매체에 있어서,
    상기 소프트웨어 어플리케이션은 제1항에 따른 멀티미디어 스트리밍에 사용할 방법을 수행하도록 하는 컴퓨터 프로그램 명령들을 포함함을 특징으로 하는 컴퓨터 판독가능 저장 매체.
  13. 컴퓨터 프로세서에 의해 실행되는 소프트웨어 어플리케이션을 구현하는 컴퓨터 판독가능 저장 매체에 있어서,
    상기 소프트웨어 어플리케이션은 제10항에 따른 멀티미디어 비트스트림을 수신하기 위한 방법을 수행하도록 하는 컴퓨터 프로그램 명령들 및, 상기 포워드 에러 정정 디코딩을 위한 컴퓨터 코드 명령들을 포함함을 특징으로 하는 컴퓨터 판독가능 저장 매체.
KR1020097005696A 2006-08-22 2007-08-20 멀티미디어 스트리밍시 포워드 에러 정정 프레임들을 조합하기 위한 방법 및 장치 KR100959293B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/508,726 2006-08-22
US11/508,726 US7746882B2 (en) 2006-08-22 2006-08-22 Method and device for assembling forward error correction frames in multimedia streaming

Publications (2)

Publication Number Publication Date
KR20090048636A KR20090048636A (ko) 2009-05-14
KR100959293B1 true KR100959293B1 (ko) 2010-05-26

Family

ID=39107165

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097005696A KR100959293B1 (ko) 2006-08-22 2007-08-20 멀티미디어 스트리밍시 포워드 에러 정정 프레임들을 조합하기 위한 방법 및 장치

Country Status (9)

Country Link
US (1) US7746882B2 (ko)
EP (1) EP2055109A4 (ko)
KR (1) KR100959293B1 (ko)
CN (2) CN104010229A (ko)
AU (1) AU2007287316A1 (ko)
BR (1) BRPI0719899A2 (ko)
CA (1) CA2661320A1 (ko)
MX (1) MX2009001924A (ko)
WO (1) WO2008023236A2 (ko)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10585934B2 (en) 2005-10-26 2020-03-10 Cortica Ltd. Method and system for populating a concept database with respect to user identifiers
US10614626B2 (en) 2005-10-26 2020-04-07 Cortica Ltd. System and method for providing augmented reality challenges
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US10387914B2 (en) 2005-10-26 2019-08-20 Cortica, Ltd. Method for identification of multimedia content elements and adding advertising content respective thereof
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US11003706B2 (en) 2005-10-26 2021-05-11 Cortica Ltd System and methods for determining access permissions on personalized clusters of multimedia content elements
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US8818916B2 (en) 2005-10-26 2014-08-26 Cortica, Ltd. System and method for linking multimedia data elements to web pages
US10372746B2 (en) 2005-10-26 2019-08-06 Cortica, Ltd. System and method for searching applications using multimedia content elements
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US10691642B2 (en) 2005-10-26 2020-06-23 Cortica Ltd System and method for enriching a concept database with homogenous concepts
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US10621988B2 (en) 2005-10-26 2020-04-14 Cortica Ltd System and method for speech to text translation using cores of a natural liquid architecture system
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US10776585B2 (en) 2005-10-26 2020-09-15 Cortica, Ltd. System and method for recognizing characters in multimedia content
KR100819302B1 (ko) * 2006-12-01 2008-04-02 삼성전자주식회사 광대역 무선 접속 시스템의 멀티캐스트 및 브로드캐스트서비스를 위한 데이터 송수신 방법
US8238278B2 (en) * 2007-01-08 2012-08-07 Hellosoft, Inc. Hardware-based beacon processing
US7792141B2 (en) * 2007-01-08 2010-09-07 Hellosoft, Inc. Hardware-centric medium access control (MAC) device
US8243638B2 (en) 2007-01-08 2012-08-14 Hellosoft, Inc. Passive listening in wireless communication
US9760146B2 (en) * 2007-01-08 2017-09-12 Imagination Technologies Limited Conditional activation and deactivation of a microprocessor
US8868499B2 (en) * 2007-08-15 2014-10-21 Salesforce.Com, Inc. Method and system for pushing data to subscribers in an on-demand service
FR2930662B1 (fr) * 2008-04-23 2010-05-21 Streamezzo Procede de securisation d'une scene evolutive, dispositif, signal et programme d'ordinateur correspondants, procede de mise a jour d'une scene evolutive, dispositif et programme d'ordinateur correspondants
US8261148B2 (en) 2008-07-28 2012-09-04 At&T Intellectual Property Ii, Lp Internet protocol multicast with internet protocol unicast/multicast error correction
US20120121014A1 (en) * 2009-03-04 2012-05-17 Thomas Rusert Processing of Multimedia Data
US8144612B2 (en) * 2009-04-15 2012-03-27 Ibiquity Digital Corporation Systems and methods for transmitting media content via digital radio broadcast transmission for synchronized rendering by a receiver
GB2481573A (en) 2010-06-15 2012-01-04 Nds Ltd Splicng of encoded media content
ES2832098T3 (es) * 2010-06-30 2021-06-09 Hughes Systique India Private Ltd Un método y sistema para comprimir y transportar de modo eficiente imágenes y animación basadas en gráficos vectoriales escalables en redes de ancho de banda bajo
KR101803970B1 (ko) * 2011-03-16 2017-12-28 삼성전자주식회사 컨텐트를 구성하는 장치 및 방법
KR101933465B1 (ko) 2011-10-13 2019-01-11 삼성전자주식회사 이동 통신 시스템에서 패킷 송수신 장치 및 방법
US9526091B2 (en) * 2012-03-16 2016-12-20 Intel Corporation Method and apparatus for coordination of self-optimization functions in a wireless network
KR20130126876A (ko) * 2012-04-30 2013-11-21 삼성전자주식회사 통신 시스템에서 패킷 송수신 방법 및 장치
US10356143B2 (en) * 2012-10-10 2019-07-16 Samsung Electronics Co., Ltd. Method and apparatus for media data delivery control
WO2016030568A1 (en) 2014-08-28 2016-03-03 Nokia Technologies Oy Audio parameter quantization
US20160323063A1 (en) * 2015-05-01 2016-11-03 Qualcomm Incorporated Bundled Forward Error Correction (FEC) for Multiple Sequenced Flows
US11195043B2 (en) 2015-12-15 2021-12-07 Cortica, Ltd. System and method for determining common patterns in multimedia content elements based on key points
US11037015B2 (en) 2015-12-15 2021-06-15 Cortica Ltd. Identification of key points in multimedia data elements
WO2019008581A1 (en) 2017-07-05 2019-01-10 Cortica Ltd. DETERMINATION OF DRIVING POLICIES
US11899707B2 (en) 2017-07-09 2024-02-13 Cortica Ltd. Driving policies determination
US10846544B2 (en) 2018-07-16 2020-11-24 Cartica Ai Ltd. Transportation prediction system and method
US11126870B2 (en) 2018-10-18 2021-09-21 Cartica Ai Ltd. Method and system for obstacle detection
US20200133308A1 (en) 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US11181911B2 (en) 2018-10-18 2021-11-23 Cartica Ai Ltd Control transfer of a vehicle
US10839694B2 (en) 2018-10-18 2020-11-17 Cartica Ai Ltd Blind spot alert
US11270132B2 (en) 2018-10-26 2022-03-08 Cartica Ai Ltd Vehicle to vehicle communication and signatures
US10748038B1 (en) 2019-03-31 2020-08-18 Cortica Ltd. Efficient calculation of a robust signature of a media unit
US10789535B2 (en) 2018-11-26 2020-09-29 Cartica Ai Ltd Detection of road elements
US11643005B2 (en) 2019-02-27 2023-05-09 Autobrains Technologies Ltd Adjusting adjustable headlights of a vehicle
US11285963B2 (en) 2019-03-10 2022-03-29 Cartica Ai Ltd. Driver-based prediction of dangerous events
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
US11132548B2 (en) 2019-03-20 2021-09-28 Cortica Ltd. Determining object information that does not explicitly appear in a media unit signature
US10789527B1 (en) 2019-03-31 2020-09-29 Cortica Ltd. Method for object detection using shallow neural networks
US10776669B1 (en) 2019-03-31 2020-09-15 Cortica Ltd. Signature generation and object detection that refer to rare scenes
US11222069B2 (en) 2019-03-31 2022-01-11 Cortica Ltd. Low-power calculation of a signature of a media unit
US10796444B1 (en) 2019-03-31 2020-10-06 Cortica Ltd Configuring spanning elements of a signature generator
US11593662B2 (en) 2019-12-12 2023-02-28 Autobrains Technologies Ltd Unsupervised cluster generation
US10748022B1 (en) 2019-12-12 2020-08-18 Cartica Ai Ltd Crowd separation
US11590988B2 (en) 2020-03-19 2023-02-28 Autobrains Technologies Ltd Predictive turning assistant
US11827215B2 (en) 2020-03-31 2023-11-28 AutoBrains Technologies Ltd. Method for training a driving related object detector
US11756424B2 (en) 2020-07-24 2023-09-12 AutoBrains Technologies Ltd. Parking assist
CN112333470B (zh) * 2020-10-27 2022-05-27 杭州叙简科技股份有限公司 一种基于视频帧的fec纠错系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060107187A1 (en) 2004-11-16 2006-05-18 Nokia Corporation Buffering packets of a media stream

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006038055A1 (en) 2004-10-06 2006-04-13 Nokia Corporation Assembling forward error correction frames
US7751324B2 (en) * 2004-11-19 2010-07-06 Nokia Corporation Packet stream arrangement in multimedia transmission
US20080008190A1 (en) * 2006-07-07 2008-01-10 General Instrument Corporation Method and apparatus for distributing statistical multiplex signals to handheld devices

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060107187A1 (en) 2004-11-16 2006-05-18 Nokia Corporation Buffering packets of a media stream

Also Published As

Publication number Publication date
KR20090048636A (ko) 2009-05-14
CA2661320A1 (en) 2008-02-28
BRPI0719899A2 (pt) 2015-09-08
WO2008023236A3 (en) 2008-06-05
WO2008023236A2 (en) 2008-02-28
US7746882B2 (en) 2010-06-29
CN104010229A (zh) 2014-08-27
CN101536532A (zh) 2009-09-16
EP2055109A4 (en) 2010-07-07
US20080049789A1 (en) 2008-02-28
MX2009001924A (es) 2009-04-30
AU2007287316A1 (en) 2008-02-28
EP2055109A2 (en) 2009-05-06

Similar Documents

Publication Publication Date Title
KR100959293B1 (ko) 멀티미디어 스트리밍시 포워드 에러 정정 프레임들을 조합하기 위한 방법 및 장치
CN101999136B (zh) 对富媒体服务中的离散内容进行渐进传送和同步的方法和系统
KR100927978B1 (ko) 리치 미디어 콘텐츠의 프로그레시브 다운로딩 및스트리밍을 위해 ｉｓｏ 기반 미디어 파일 포맷으로 ｓｖｇ콘텐츠를 임베딩 하는 방법
EP2894831B1 (en) Transport mechanisms for dynamic rich media scenes
US7917644B2 (en) Extensions to rich media container format for use by mobile broadcast/multicast streaming servers
RU2384956C2 (ru) Система и способ обеспечения неравномерной защиты от ошибок для маркированных согласно приоритету дейтаграмм в системе передачи dvb-h
US8472477B2 (en) SAF synchronization layer packet structure and server system therefor
US7792998B2 (en) System and method for providing real-time streaming service between terminals
US20050123042A1 (en) Moving picture streaming file, method and system for moving picture streaming service of mobile communication terminal
CN102257785A (zh) 用于交织数据块的方法和装置
TW200822758A (en) Scalable video coding and decoding
EP1742476A1 (en) Scalable video coding streaming system and transmission mechanism of the same system
US9369508B2 (en) Method for transmitting a scalable HTTP stream for natural reproduction upon the occurrence of expression-switching during HTTP streaming
CN101924914A (zh) 一种切换电视频道的方法、系统及装置
Montelius et al. Streaming Video in Wireless Networks: Service and Technique

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130419

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140422

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150416

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160419

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170420

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180504

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee