KR20080038251A - 장치로 멀티미디어 스트림들에 대해 아무 동기화도수행하지 말라거나 동기화 지연을 포함하도록 시그날링하는 방법 - Google Patents

장치로 멀티미디어 스트림들에 대해 아무 동기화도수행하지 말라거나 동기화 지연을 포함하도록 시그날링하는 방법 Download PDF

Info

Publication number
KR20080038251A
KR20080038251A KR1020087007219A KR20087007219A KR20080038251A KR 20080038251 A KR20080038251 A KR 20080038251A KR 1020087007219 A KR1020087007219 A KR 1020087007219A KR 20087007219 A KR20087007219 A KR 20087007219A KR 20080038251 A KR20080038251 A KR 20080038251A
Authority
KR
South Korea
Prior art keywords
multimedia streams
receiving device
attribute
synchronization
jitter
Prior art date
Application number
KR1020087007219A
Other languages
English (en)
Inventor
이고르 다닐로 디에고 쿠르시오
우메쉬 찬드라
다비드 레옹
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20080038251A publication Critical patent/KR20080038251A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/54—Store-and-forward switching systems 
    • H04L12/56—Packet switching systems
    • H04L12/5601—Transfer mode dependent, e.g. ATM
    • H04L2012/5603—Access techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

전송 전자 장치로 하여금 전송되는 멀티미디어 스트림에서 어느 스트림들이 동기되면 안되는지, 혹은 특정 크기의 동기화 지터를 포함해야 하는지를 명시적으로 나타내게 하는 개선된 시스템 및 방법. 본 발명은 또한, 수신 장치로 하여금 둘 이상의 스트림들을 동기시킬 때 동기화 지터 값이 사용되어야 하는지 여부에 대한 결정을 내릴 수도 있게 한다. 일방 비디오 공유 또는 비디오 PoC 같은 소정 어플리케이션들에 있어서, 스트림 전송 장치는 보다 나은 미디어 품질을 위해, 수신 장치가 어떠한 동기화도 수행하지 말도록 하거나 제한된 동기화를 수행하도록 지시할 수 있다.

Description

장치로 멀티미디어 스트림들에 대해 아무 동기화도 수행하지 말라거나 동기화 지연을 포함하도록 시그날링 하는 방법{Method for signaling a device to perform no synchronization or include a synchronization delay on multimedia streams}
본 발명은 일반적으로 IP 멀티미디어 통신 분야에 관한 것이다. 더 상세히 말해, 본 발명은 수신 장치에 명령하여 서로 다른 멀티미디어 스트림들 사이에 동기화를 수행하지 말도록 하거나 동기화 지터를 포함하도록 멀티미디어 통신에 사용되는 시그날링 메커니즘에 관한 것이다.
IP 멀티미디어 콜 (call) 설정 중에, 그 콜의 전송 장치 (즉, 제안자 또는 발신자)가 세션 정보를 특정한다. 세션 정보는 미디어 및 전송 관련 정보를 포함한다. 이러한 세션 정보는 SDP (Session Description Protocol, 세션 기술 프로토콜) 같은 프로토콜 메시지들을 통해 운반된다. SDP는 SIP (Session initiation Protocol, 세션 개시 프로토콜), RTSP (Real Time Streaming Protocol, 실시간 스트리밍 프로토콜) 등과 같은 높은 수준의 시그날링 프로토콜을 통해 전송된다. 제3세대 공동 프로젝트 (3GPP, third Generation Partnership Project)는 IP 멀티미디어 서브 시스템 (IMS, IP Multimedia Subsystem)에 대한 멀티미디어 세션 설정을 위한 시그날링 프로토콜에 대한 선택으로서, SIP를 특정하였다.
SDP에서, 전송 장치 및 수신 장치는 서로 다른 종류의 어플리케이션들을 야기하는 미디어 스트림들에 대한 서로 다른 방향들을 특정할 수 있다. 예를 들어, 전송 장치가 한 방향의 미디어 세션을 설정하고자 하면 (이는 전송 장치가 비디오 전송을 원하고 수신 장치에게는 단지 그 비디오를 수신하는 것만을 기대한다는 것을 의미), 그것은 SDP에 이 미디어 스트림을 a=sendonly라고 특정한다. 수신 장치가 그러한 SDP 메시지를 수신하고 그 세션에 참여하고 싶어할 때, 수신 장치는 스트림을 a=recvonly라고 특정할 수 있다. 비디오 전화 통화에 있어서, 전송 장치 및 수신 장치는 모두 미디어 스트림의 방향을 a=sendrecv라고 특정한다.
일반적으로 IP 멀티미디어 통화시, 수신 장치 측에서 다른 미디어 타입들을 동기화할 필요가 있다. 예를 들어, 오디오/비디오 IP 통화시, 양호한 사용자 체험을 위해 수신 장치 측에서 립(lip)싱크가 수행되어야 한다. 동기화에 대한 다른 예는 자막 사용과 관련이 있는데; 오디오 및/또는 비디오의 발신자가 영어로 말하고 있고, 말과 더불어 다른 언어로 그 말의 텍스트가 다른 실시간 전송 프로토콜 (RTP) 스트림을 통해 전송되는 경우, 그 두 스트림들은 수신 장치 내에서 동기 되도록 요청된다.
(전송 장치 측으로부터) 서로 다른 미디어 스트림들이 서로 다른 RTP/사용자 데이터 프로토콜 (UDP)/인터넷 프로토콜 (IP) 스트림들을 통해 운반된다. RTP 타임 스탬프들이 수신 장치 클라이언트들에 의해 사용되어 미디어 간 동기화를 수행하도록 한다.
도 1은 전송 장치로부터 멀티미디어 스트림들을 수신하는 수신 장치를 도시한 것이다. 수평 축은 경과 시간을 나타내며 수신되는 패킷들을 보인다. 도 1의 오디오 및 비디오 버퍼는 전송 장치로부터 패킷들을 수신하면서 RTP 패킷들을 보유한다. 버퍼는 (네트워크로부터) 각 미디어의 각 패킷에 대해 지터 제거를 수행하고 재생 시간을 산출한다. 패킷이 소정 시간 주기 동안 버퍼에 머물 때 디코딩이 수행된다. 그 시간 주기는 일반적으로 가변적이며 그 시간 주기의 일부를 지터라고 부른다. 재생 시간에 기초해 디코딩이 일단 완료되었으면, 패킷들이 디스플레이되거나 재생되기 위해 제공된다. 들어오는 RTP 패킷들을 홀딩하기 위해 두 개의 서로 다른 버퍼들이 있을 수 있는데, 하나는 지터용 버퍼이고 하나는 디코딩 큐 (que) 버퍼임을 알아야 한다. 명료성 및 예로 들 목적으로, 도 1에는 지터 및 디코딩이 결합 된 버퍼를 보인 오직 하나의 큐만이 도시된다. 일단 패킷들이 디코딩되면, 이들은 재생 시간이 경과 될 때 재생 및 디스플레이되도록 준비된다. 그러나, 수신 장치가 오디오/비디오 동기화를 수행하고자 할 때, 그것은, 먼저 도달한 패킷들을 지연시키고자 할 것이다.
도 1에 도시된 예에서, 오디오 패킷 1이 TA1에 도달되고, 비디오 패킷은 TA1 보다 늦은 시간인 TV1에 도달한다. "도달한다"는 용어는 패킷들이 도착하는 시간 또는 각 패킷의 재생 시간을 의미할 수 있다. 도 1의 예에서, 같은 재생 시간을 가진 오디오 및 비디오 패킷들은 동기되어야 하는데, 그것은 이 패킷들이 (전송 장치에서) 동일한 기준 클록 캡처 시간을 가지기 때문으로, 이는 그 패킷들이 전송 장치에서 같은 시간에 샘플링되었음을 의미한다. 기준 클록 캡처 시간의 산출은, RTCP 발신자 리포트 (SR, Sender Report) 패킷들을 통해 전송되는 RTP 패킷 내 RTP 타임 스탬프 및 NTP 타임 스탬프를 이용해 수행된다. 오디오 및 비디오 패킷들은 서로 상이한 시간대에 수신 장치에 도달할 가능성이 매우 높은데, 그것은 이들이 서로 다른 네트워크 경로들을 거칠 것이고, 각 패킷마다 프로세싱 지연 (인코딩, 패킷화, 디패킷화 (depacketization), 디코딩)이 다를 수 있기 때문이다. 따라서, 도 1에 도시된 예에서, 오디오 패킷들은 TV1-TA1이라는 시간만큼 지연될 것이고, 이것이 동기화 지터 또는 지연에 해당한다.
도 1에 도시된 예에서, 어플리케이션 (또는 발신자)이 A/V 동기화를 수행할 의도가 없었는데, 그럼에도 불구하고 수신 장치가 (디폴트 동작으로서) 동기화를 수행하고자 하는 경우, 수신 장치는 추가 시간 동안 오디오 패킷들을 홀딩하지 않을 수 없게 될 것이다. 이러한 액션은 아마도 오디오 버퍼를 오버플로 (overflow) 시킬 수 있다. 또, 큐 헤드에 있는 오디오 패킷들이 동기화가 시도될 때 지연되고, 이것은 좋지 않은 사용자 체험 또는 미디어 품질로 이어질 수 있다. 서비스 품질 (QoS, Quality of Service)이 보장되는 경우, 오디오 및 비디오 패킷들은 큐 안에서 더 지연되게 될 때 누락되어야 할 수 있다. 따라서, 전송 장치가 미디어 스트림들을 동기시키고 싶어하지 않더라도, 전송 장치가 수신 장치로 동기화나 동기화 지연이 필요하지 않다는 것을 가리킬 수 있는 메커니즘의 결여로 인해, 패킷 분실, 패킷 지연, 및 계산 자원들의 낭비 같은 문제들이 일어날 수 있다.
인터넷 엔지니어링 전략 팀의 네트워크 워킹 그룹 (Internet Engineering Task Force's Network Working Group)으로부터의 RFC (Request for Comments) No.3388에는, 전송 장치가 세션 중 어떤 미디어 스트림들이 동기되어야 하는지를 명시적으로 특정할 수 있는 메커니즘이 특정된다. 전송 장치가 세션 안에서 어떤 미디어 스트림들이 립싱크 되어야 하는지를 특정하도록 도울 수 있는 새 SDP 속성들 (가령, "group", "mid" 및 립싱크 (LS, Lip Synchronization)이 정의된다. 또, RTP 수신 장치의 디폴트 구현 동작은, 같은 소스로부터 수신하는 미디어 스트림들을 동기시키는 것이다. 또, 그 사양은 누군가 멀티미디어 스트림들을 동기시켜야 하는 경우, RFC 3388이 요청되도록 강제하지 않는다. RFC 3388은 단지 전송 장치가 둘 이상의 스트림들을 전송하는 경우 어느 스트림들이 동기되어야 할지를 특정하게 할 수 있는 메커니즘을 명시하고 있을 뿐이다.
멀티미디어 스트림들이 동기되지 않아도 된다는 것을 요구하는 어플리케이션들 및 사용 케이스들이 존재한다. 예를 들어, RTVS (Real Time Video Sharing) 어플리케이션들에서, 사용자는 일방 비디오 공유 세션 (uni-directional video sharing session)을 시작한다. 일방 미디어 세션은 SDP를 통해 미디어 스트림을 a=sendonly 또는 a=recvonly라고 선언함으로써 설정된다. 두 당사자 간에 설정된 양방향 (혹은 일방일 수도 있음) 오디오 세션이 이미 존재한다. 콜 당사자들 중 하나는 상대방과 비디오를 공유하고 싶어한다. 오디오 및 비디오는 IP 베어러 (bearer) 상에서 설정되지만, 오디오나 비디오 세션이 회로 교환형 베어러 상으로도 역시 설정될 수 있다. 공유된 비디오는 파일이나 라이브 카메라 보기로부터 나올 수 있다.
일방 비디오 공유시의 일부 시나리오에서, 전송 장치는 비디오 (파일로부터 공유됨) 및 음성을 동기시키고 싶어하지 않는다. 동기 시키고 싶어하지 않는 한 이유는 전송 장치가, 비디오가 지연되더라도 수신 장치에서 고화질로 수신되는 것을 선호한다는 것일 수 있다. 이 상황에서, 전송 장치는 수신 장치가 더 긴 지연 버퍼를 가지는 것을 선호할 수 있고 그로써 동기화가 수행을 원하지 않는다.
또 다른 일방 비디오 공유 예에, 사용자가 어떤 오브젝트의 비디오를 촬영하고 그것에 대해 말하는 경우가 포함된다. 이 상황에서, 완벽한 동기보다, 좀 더 조악한 형태의 동기화로도 충분할 수 있는데, 이는 그 사람이 자기 자신의 얼굴에 대한 비디오를 촬영하지 않고 다른 오브젝트를 필름에 담기 때문이다. 또 다른 예에, 그래픽이 실시간 오디오 및 비디오와 믹스되는 "강화된 (augmented) 리얼리티"가 포함된다. 이 경우, 좀 더 조악한 형태의 동기화로도 충분할 것이다.
클라이언트의 디폴트 동작이 이러한 두 스트림들을 동기시키는 것일 때, 수신 장치 클라이언트는 그 스트림들을 동기시키기 위한 특별한 알고리즘들을 활용할 것이다. 수신 장치 측에서의 그러한 동기화 알고리즘은 특정한 정도의 계산 복잡도를 요할 것이고, 클라이언트는 전송 장치가 어떠한 동기화를 원하지 않을 때에도 일부 자원들을 낭비하게 될 것이다. 오디오 및 비디오 스트림은 서로 다른 지연을 가지고 수신 장치에 도달할 수 있다. 수신 장치가 스트림들을 동기시키고자 할 경우, 오디오 및 비디오 프레임들의 누락을 가져올 것이고 그에 따라 수신된 미디어의 품질 저하를 가져올 것이다.
불행히도, RFC 3388은 어떤 스트림들이 동기되지 말아야 하는지를 명확히 식별할 수 있는 메커니즘을 논의하고 있지 못하다. 예를 들어, 전송 장치가 한 세션 안에서 2 개의 오디오 스트림들 (A1 및 A2)과 1 개의 비디오 스트림 (V1)의 세 스트림들을 전송하고자 하고, 전송 장치가 A1과 V1 스트림들을 동기시키고 (립싱크 시키고) 싶어할 때, mid-SDP 속성들 및 LS 어의 (semantic) 태그의 그룹을 사용해 그것을 특정할 수 있다. 이것이 A1 및 V1은 동기되어야 하고, A2는 동기되지 말아야 한다는 것을 수신 장치에 가리킬 것이다. 그러나, 둘 이상의 스트림들이 존재하고 어떤 스트림들도 동기될 필요가 없는 활용의 경우, RFC 3388은 기대를 만족시키지 못한다. 또, 립싱크 수행 (및 RFC 3388이 립싱크 없음을 특정하는데 사용되는 일부 경우들)을 나타내기 위해, RFC 3388이 요구되어야 한다. 마지막으로, RFC 3388은 한 장치가 상이한 미디어들 중에서 원하는 동기화 지터를 가리킬 수 있게 하는 메커니즘을 제공하지 못한다.
위의 이유들 때문에, 현재는 멀티미디어 콜 중에, 전송 장치가 수신 장치로 전송 장치에 의해 전송되고 있는 멀티미디어 스트림을 동기시키지 말라고 지시할 수 있는 메커니즘도 없고, 멀티미디어 스트림의 동기화 지연이나 지터를 특정하도록 하는 메커니즘도 존재하지 않는다.
본 발명은 전송 장치나 송신 장치가, 전송 중인 멀티미디어 스트림 중 어느 스트림들이 동기되지 말아야 하는지, 혹은 특정 정도만큼의 동기화 지터를 포함해야 하는지를 명시적으로 지시할 수 있는 메커니즘을 제공한다. 이 메커니즘은 수신 장치가 스트림 특성을 이해하는 것을 돕고, 수신 장치가 동기화를 수행할지 말아야 할지에 대해 유식한 판단을 내릴 수 있게 한다. 일방 비디오 공유 또는 비디오 PoC 같은 소정 어플리케이션들에 대해, 스트림의 전송 장치는 수신 장치가 더 나은 미디어 품질을 위해 어떠한 동기화도 수행하지 않도록 지시할 수 있다.
본 발명의 일실시예는 새로운 여러 SDP 속성들의 도입을 수반한다. 전송 장치는 세션 설정 단계 중에 SDP를 통해 이러한 속성들을 선언할 것이며, 그 속성들은 임의의 상위 레벨 시그날링 프로토콜 (가령, SIP, RTSP 등등)을 통해 운반될 수 있다. 그러나, 이러한 속성들은 SDP 프로토콜 사용에만 제한되는 것이 아니고, ISO OSI 프로토콜 스택의 제1-7 계층들 중 하나에서 임의의 다른 통신 프로토콜 (가령, XML, HTTP, UPnP, CC/PP 등등)을 이용해 정의되고 전송될 수 있다.
본 발명은 전송 장치가 세션 설정 단계 중에 미디어 스트림들 사이에서 어떠한 동기화도 선호하지 않는다는 것을 가리키는 기능을 제공함으로써 종래의 RFC 3388 구조를 넘는 실질적인 이점을 제공한다. 전송 장치가, 자신이 전송하는 미디어가 동기되는 것을 원하지 않는 사용의 경우들 및 어플리케이션들이 존재한다. 이러한 바람이 수신 장치로 시그날링 될 때, 수신 장치는 그에 따라 자원들을 설정하고 다른 작업들이나 더 나은 미디어 품질을 위해 사용될 수 있는 계산 자원들을 낭비할 필요가 없다. 결국 본 발명은 수신 장치에서, 수신 장치가 미디어 스트림 동기화를 수행하고자 할 때 일어날 수 있는 패킷 누락보다 적은 패킷 누락을 가져올 수 있다.
위의 사항 외에도, 본 발명은 전송 장치가 세션 설정 단계 중에 미디어 스트림들 사이에서 동기화 지터를 선호한다는 것을 가리키는 기능을 제공함으로써 RFC 3388을 개선한다. 전송 장치가, 전송되는 미디어가 특정 위상을 가진 (coarser) 지터를 가지고 동기되기를 바라는 사용의 경우들 및 어플리케이션들이 존재하기 때문에, 이러한 바람을 수신 장치로 시그날링하는 기능이, 수신 장치로 하여금 그에 따라 자원들을 설정할 수 있게 한다. 이것은 또한, 계산 자원들의 보존 기회도 제공한다. 사실, 강제된 미디어 동기 시나리오 하에서는, 수신 장치에서 버려지는 데이터나 다른 이유들로 인해 약간의 패킷 손실이 있을 수 있으며, 이것은 수신 장치가 미디어 스트림 동기화를 수행하려고 시도할 때 일어날 수 있다. 이것은, 미디어 데이터가 수신 장치로 상이한 지연을 가지고 도달할 것이라는 사실에 기인하는 것으로, 이것이 너무 늦게 도달해 완전히 동기 된 재생에 사용될 수 없는 일부 콘텐츠를 파생할 것이다. 동기화 지터를 통제함으로써, 이 문제가 완화되거나 사라질 수 있다.
본 발명의 이러한, 그리고 기타의 목적, 이점 및 특징들과 더불어 그 동작 체계 및 방법은 첨부된 도면들과 연계한 이하의 상세 설명을 통해 자명하게 될 것이며, 이하에 설명할 도면들에 거쳐 있는 동일한 구성요소들은 동일한 참조번호를 가질 것이다.
도 1은 전송 장치로부터 수신 장치로의 복수의 오디오 및 비디오 패킷 전송을 도시한 도면으로서, 여기서는 전송 장치에 의해 동기화가 요청되지 않더라도 수신 장치에 의해 동기화가 수행된다.
도 2는 본 발명의 구현에 사용될 수 있는 전자 장치의 투시도이다.
도 3은 도 1의 전자 장치의 회로에 대한 개략도이다.
도 4는 본 발명의 일실시예에 따른 일반적 구현을 보인 흐름도이다.
본 발명은 전송 장치나 송신 장치가, 송신되는 멀티미디어 스트림에서 어느 스트림들이 동기되지 말아야 하는지 또는 특정 정도의 동기화 지터를 포함해야 하는지를 명시적으로 나타내게 하는 메커니즘을 제공한다. 이 메커니즘은 수신 장치가 스트림 특성을 파악하는 것을 돕고, 수신 장치로 하여금 동기화를 수행할지 말지, 그리고 동기화 지터 값을 특정할지에 관한 유식한 결정을 내릴 수 있게 한다.
본 발명의 구현을 이해하기 위해, 도 1은, 전송 장치가 세션 설정 기간 중에, 자신이 수신 장치가 어떠한 동기화를 수행하거나 특정 값 (가령, 500 msec)을 사용해 특정 위상의 동기화 지연이나 지터를 가진 동기화를 수행하는 것을 원치 않는다는 것을, 수신 장치에 알린다는 이해에 기초하여 사용될 수 있다. 이 시나리오 하에서, 수신 장치는 디코딩을 완료했고 각 미디어 스트림의 각 패킷에 대해 재생 시간이 지났을 때, 각 패킷들을 프레젠테이션을 위해 제공할 수 있다. 수신 장치는 특정된 값보다 더 길게 패킷들을 지연시킬 필요가 없다. 이것은 지터 버퍼의 오버플로 문제를 막는 역할을 하며, 패킷들은 동기 목적을 위해 지연되지 않고, 미디어 품질이 향상되게 된다. 이 시나리오 하에서, 수신 장치는 어떠한 상호 관련성 없이 독자적으로 양 미디어 큐를 관리해야 한다.
전송 장치가 수신 장치에 의해 특정 지연 값을 가진 어떤 동기가 수행된다고 기대하는 경우, 수신 장치는 디코딩 후 오디오 및 비디어 패킷들의 재생 시간의 차이 (TV1-TA1)를 판단한다. 이 값이 동기화 지터에 대한 세션 설정시 정의된 값보 다 적으면, 수신 장치는 재생 시간이 지시한 것보다 긴 시간 동안 오디오 및 비디오 패킷들을 홀딩할 필요가 없다. 그 값 (TV1-TA1)이 동기화 지터보다 크면, 수신 장치는 짧은 시간 동안 그 패킷들을 홀딩해야 한다. 예를 들어, 세션 설정 중 특정된 동기화 지터가 500 msec이고, TV1-TA1이 350 msec이면, 수신 장치는 어떤 것도 특정할 필요가 없다. 그러나, TV1-TA1이 600 msec이면, 오디오 패킷은 추가 100 msec 동안 큐 안에서 지연되어야 한다.
본 발명의 제1실시예에서, 멀티미디어 스트림들의 전송 장치로 하여금, 그 멀티미디어 스트림들이 동기되지 말라고 지시하게 할 수 있는 두 개의 메커니즘들이 특정된다. 이 실시예는 멀티미디어 스트림들의 전송 장치가 수신 장치에 의해 동기화가 수행되지 않도록 특정하는 것을 돕는 새 SDP 파라미터들의 도입을 포함한다.
제1메커니즘에서, "NO_SYNC"라고 하는 새 SDP 속성이 소개된다. "NO_SYNC"는 스트림들이 세션 내 어떤 다른 멀티미디어 스트림과도 동기되지 말 것을 지시한다. NO_SYNC 속성은 a=NO_SYNC라고 선언된다.
NO_SYNC 속성은 미디어 레벨 (즉, SDP를 통한 m 라인 뒤)에서 규정되거나, 세션 레벨에서 규정될 수 있다. 미디어 레벨에서 규정될 때, NO_SYNC 속성은 미디어 스트림이 그 세션 내 어떤 다른 스트림들과도 동기되어서는 안된다는 것을 의미한다. NO_SYNC 속성을 이용하는 예는 다음과 같다:
Figure 112008021601664-PCT00001
위의 예에서, 제1비디오 스트림들은 수신 장치에서 동기되면 안된다. 수신 장치 클라이언트는 자신이 이 SDP를 수신할 때, (MPEG4 코덱을 통해) 그 비디오 스트림이 어떤 다른 스트림과도 동기되면 안 된다는 것을 안다. 수신 장치는 나머지 (오디오 및 비디오) 스트림을 동기시킬지 동기시키지 않을지를 선택할 수 있다.
NO_SYNC 속성은 세션 시작시 선언될 수 있으며, 이것은 그 세션 중 모든 스트림들이 동기 되면 안 된다는 것을 내포한다. 이는 아래와 같이 묘사된다.
Figure 112008021601664-PCT00002
위의 예에서, 전송 장치는 수신 장치에, 이 세션 내 스트림들 모두가 동기되면 안 된다는 것을 알린다.
다른 구현 예에서, RFC 3388에 대한 확장 버전이 규정될 수 있다. 이 확장 버전은 어떤 스트림들이 동기되어야 하는가를 특정하는데 사용될 수 있다. 아래 내용은 종래의 RFC 3388 시스템으로부터 SDP를 통해 동기가 어떻게 지시되는지를 보이는 예가 된다:
Figure 112008021601664-PCT00003
위의 예에서, mid 1과 mid 2를 가진 스트림들은 동기되어야 한다. 이것은 그룹 (group) 속성 안에서 LS 어의 태그로서 지시된다. 그러나 새로운 구현예에서, 새 어의 태그는, 어떤 동기화에 대한 의미구조도 갖지 않는 그룹 속성인 "NLS"와 함께 사용된다. 아래의 예는, 스트림이 세션 내 다른 어느 스트림들과도 동기되면 안된다는 지시가 어떻게 제공될 것인가를 보인다:
Figure 112008021601664-PCT00004
Figure 112008021601664-PCT00005
위의 예에서, MID 1을 가진 스트림은 그 세션 내 어떤 다른 스트림과도 동기되지 않는다. 따라서 RFC 3388이, 전송 장치가 한 미디어 스트림에 대해 어떤 동기화도 필요로 되지 않는다는 것을 지시하는 것을 돕는 새로운 어의 태그를 가지고 확장될 수 있게 된다.
어의 태그 LS 및 NLS는 어떤 스트림들이 동기되어야 하는지와 어떤 스트림들이 동기 되면 안 되는지를 나타내는 동일한 세션 내용 (description) 안에서 사용될 수 있다. 예를 들어, 아래에서 예시된 SDP 예에서, 스트림 1은 그 세션의 어떤 다른 스트림과도 동기 되면 안 되고, 스트림 2 및 스트림 3은 동기 되어야 한다. 이렇게 전송 장치는 어떤 스트림들이 동기 되어야 하고 어떤 스트림들이 동기 되면 안되는지 명시적으로 나타낼 수 있다.
Figure 112008021601664-PCT00006
본 발명의 제2실시예에서, 멀티미디어 스트림의 전송 장치로 하여금, 전송 장치가 수신 장치에 의해 동기 되길 바라는 멀티미디어 스트림들 사이에서 동기화 지연 또는 지터 값을 가리킬 수 있도록 하는 메커니즘이 도입된다. 이 실시예에서, 새 SDP 파라미터들이 사용되어 그러한 지터 값을 특정한다. 이 SDP 속성들을 가지고, 전송 장치 또한 주어진 멀티미디어 세션 안에서 어느 스트림들이 그 동일 세션 내 어떤 다른 스트림과 동기되면 안되는지를 특정할 수도 있다.
이 실시예의 한 특정 구현예에서, "sync_jitter"라고 하는 새 SDP 속성이 정의된다. 이 속성은, 멀티미디어 스트림들 사이의 동기화 지연을 가리킨다. sync_jitter SDP 속성은 시간 단위들 (가령, 밀리 초) 혹은 어떤 다른 적절한 단위로써 특정된다. sync_jitter에 있어 0이라는 값은 어떤 동기화도 수행되면 안 된다는 것을 의미한다. 이 속성은 아래와 같이 SDP를 통해 선언된다:
Figure 112008021601664-PCT00007
sync_jitter SDP 속성은 group 및 mid 속성과 LS 어의 태그 (RFC 3388에 정의된 것과 같음)와 함께 사용될 수 있다. 이 속성과 함께 사용시, sync_jitter는 는 LS 어의 태그에 특정된 것과 같이 동기 되어야 하는 스트림들 사이에서 허용가능한 동기화 지터를 특정한다. 아래의 코드는 동기화가 SDP에 어떻게 일반적으로 지시되는지를 기술한 RFC 3388로부터의 예이다:
위의 예에서, mid 1 및 mid 2를 갖는 스트림들은 동기되어야 한다. 이것은 group 속성에서 LS 어의 태그로써 지시된다. 그러나, 이 예에서는, mid 1 및 mid 2를 갖는 스트림들 사이에서 원하는 동기화 지터를 가리킬 방법이 없다. 서로 다른 어플리케이션들 (일방 비디오 공유 또는 실시간 대화형 비디오 전화 같은 것)에 따라 동기 값이 서로 다르게 될 것이다.
이하의 예는 sync_jitter 속성을 갖는 상기 예를 확장한 것이다. 상기 SDP 내용이 일방 비디오 공유 어플리케이션에 사용되는 경우, 그리고 보다 조악한 형태의 동기화로도 특정 상황을 만족시킬 수 있는 경우, 전송 장치는 가령 mid 1 및 mid 2를 갖는 스트림들 사이의 동기화 지터에 대해 500 ms라는 값을 사용할 수 있 다. 이러한 상황하에서, SDP는 다음과 같을 것이다:
Figure 112008021601664-PCT00009
sync_jitter 속성은 0이라는 값과 함께 사용될 수 있다. 0이라는 값은 실질적으로 전송 장치가, 특정 미디어 스트림이 해당 세션 내 어떤 다른 스트림과도 동기되기를 바라지 않는다는 것을 특정하는 것이다. 앞서 논의했다시피, 디폴트 구성은 동기를 수행하는 것이고, 전송 장치의 SDP 구성이 RFC 3388을 지원하지 않는 경우, 전송 장치는 자신이 세션 내 한 주어진 스트림이 어떤 다른 스트림과도 동기되길 바라지 않음을 가리키도록 0 값을 가진 sync_jitter 속성을 사용할 수 있다. 전송 장치가 0인 sync_jitter 값을 특정하는 한 SDP의 예는 아래와 같다:
Figure 112008021601664-PCT00010
Figure 112008021601664-PCT00011
위의 예에서, 전송 장치는 (MPEG-4의) 제1비디오 스트림이 그 세션 내 어떤 다른 스트림과도 동기 되기를 바라지 않는다. 수신 장치가 그 세션에서 주어진 남은 두 스트림들을 동기할지 여부를 선택할 수 있다.
0이 다른 어의구조를 가질 때, 어떤 동기화도 필요치 않다는 것을 나타내기 위해 sync_jitter에 대해 0 아닌 다른 적절한 값이 선택되는 것도 가능하다는 것을 알아야 한다.
도 4는 본 발명의 일실시예의 구현예를 보인 일반적인 흐름도로서, 여기서 전송 장치는 동기화하지 말 것, 혹은 어떤 값의 동기화 지터 도입을 지정할 수 있다. 도 4의 300 단계에서, 전송 장치가 SDP 정보를 전송한다. SDP 정보는 전송되는 멀티미디어 스트림들의 동기화에 관한 상술한 유형의 지시사항들을 포함한다. 310 단계에서, 수신 장치가 그 SDP 정보를 수신한다. 320 단계에서, 수신 장치는 그 SDP 정보를 읽어, 어떤 멀티미디어 스트림 혹은 전체 멀티미디어 스트림들을 동기 시키지 말라는 어떤 지시가 있는지, 소정 크기의 동기화 지터를 포함시킬지, 아니면 완전 동기가 일어나야 하는지를 판단한다. 동기화 하지 말라는 지시가 있으면, 이 지시는 330 단계로 간다. 동기화 지터 값이 있는 경우, 정해진 크기의 지터가 스트림에 도입된다 (340 단계). 동기화하지 말라거나 일정 크기의 동기화 지터에 관한 지시가 없거나, 완전 동기화에 대한 특정한 지시가 있으면, 완전 동기화가 일어난다 (350 단계).
도 2 및 3은 본 발명이 구현될 수 있는 한 대표적 전자 장치(12)를 보인 것이다. 도 2 및 3의 전자 장치는 모바일 전화를 포함하며 전송 장치나 수신 장치로 사용될 수 있다. 그러나, 본 발명이 특정한 한 유형의 전자 장치에 국한하는 것으로 의도되지는 않았다는 것을 알아야 한다. 예를 들어, 이 전자 장치(12)는 PDA (personal digital assistant), PDA와 모바일 폰을 결합한 것, 통합 메시징 장치 (IMD, integrated messaging device), 데스크 탑 컴퓨터, 노트북 컴퓨터, 또는 다른 다양한 장치들을 포함할 수 있다.
도 2 및 3의 전자 장치(12)는 하우징(30), 액정 디스플레이 형태의 디스플레이(32), 키패드(34), 마이크(36), 이어폰(38), 배터리(40), 적외선 포트(42), 안테 나(44), 본 발명의 일실시예에 따른 UICC 형식의 스마트 카드(46), 카드 리더(48), 라디오 인터페이스 회로(52), 코덱 회로(54), 컨트롤러(56) 및 메모리(58)를 포함한다. 개별 회로들 및 구성요소들은 가령 Nokia 모바일 전화기들의 영역 등, 이 기술분야 내에서 모두 잘 알려져 있는 타입의 것이다.
본 발명은 일반적인 방법의 단계들로써 기술되었고, 그 방법의 단계들은 네트워킹 환경하의 컴퓨터들에 의해 실행되는 프로그램 코드 같은 컴퓨터 판독가능 명령어들을 포함하는 프로그램 생성물에 의해 일 실시예로서 구현될 수 있다.
일반적으로, 프로그램 모듈들은 특정 작업들을 수행하거나 특정 개념의 데이터 타입들을 구현하는 루틴들, 프로그램들, 오브젝트들, 성분들, 데이터 구조들 등등을 포함한다. 데이터 구조들과 결부된 컴퓨터 실행가능 명령들, 및 프로그램 모듈들은 여기 개시된 방법의 단계들을 실행하기 위한 프로그램 코드의 예들을 나타낸다. 그러한 실행가능 명령들이나 관련 데이터 구조들의 특정한 시퀀스는 그러한 단계들에 기술된 기능들을 구현하기 위한 해당 동작들의 예들을 나타낸다.
다양한 데이터베이스 검색 단계들, 상관 단계들, 비교 단계들 및 결정 단계들을 이행하기 위한 규칙-기반 로직 및 기타 로직을 갖춘 표준 프로그래밍 기술로써 본 발명의 소프트웨어 및 웹 구현이 이뤄질 수 있을 것이다. 또한, 명세서 및 청구범위에 사용된 "성분" 및 "모듈"이라는 말들은 한 라인 이상의 소프트웨어 코드, 및/또는 하드웨어 구성, 및/또는 수동 입력을 받는 장치들을 이용하는 구현예들을 포괄한다는 것을 알아야 한다.
본 발명의 실시예들에 대한 상기 내용은 예시 및 설명의 목적으로 제시되었 다. 본 발명을 상기 개시된 것과 정확히 같은 형식으로 총망라하거나 제한하고자 하는 의도는 없으며, 상기 개시된 내용에 비춰 여러 변형 및 치환이 가능하고, 또는 그러한 변형 및 치환이 본 발명의 실시로부터 획득될 수도 있다. 실시예들은 본 발명의 원리들과 그 실제적 어플리케이션들을 설명하여, 이 분야의 당업자로 하여금 본 발명을 다양한 실시예들과 숙고된 특정 용도에 적합한 정도의 다양한 실시예들 및 변형예들로써 활용할 수 있게 하기 위해, 선택되고 설명되었다.

Claims (35)

  1. 복수의 멀티미디어 스트림들에 대한 동기화 정보를 제공하는 방법에 있어서,
    수신 장치로 복수의 멀티미디어 스트림들을 전송하는 단계; 및
    복수의 멀티미디어 스트림들에 관한 정보를 전송하는 단계를 포함하고,
    상기 정보는 수신 장치로 하여금 복수의 멀티미디어 스트림들 중 적어도 하나와 복수의 멀티미디어 스트림들 중 적어도 다른 하나 사이에 동기화를 하지 못하게 하거나 특정 크기의 동기화 지연을 허용하는 특정 명령을 포함함을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 명령은 수신 장치로 전송된 세션 정보 내 한 속성으로서 포함됨을 특징으로 하는 방법.
  3. 제1항에 있어서, 상기 명령은 멀티미디어 스트림들 중 적어도 둘 사이의 허용가능한 동기 지연값을 포함함을 특징으로 하는 방법.
  4. 제1항에 있어서, 상기 명령은 "sync_jitter" 속성을 포함함을 특징으로 하는 방법.
  5. 제4항에 있어서, 상기 "sync_jitter" 속성은 동기화하지 말라는 것을 가리키 는 값을 수반함을 특징으로 하는 방법.
  6. 제4항에 있어서, 상기 "sync_jitter" 속성은 허용가능 동기화 지연 값을 수반함을 특징으로 하는 방법.
  7. 제4항에 있어서, 상기 "sync_jitter" 속성은 한 SDP 속성임을 특징으로 하는 방법.
  8. 제1항에 있어서, 상기 명령은 "NO_SYNC" 속성을 포함함을 특징으로 하는 방법.
  9. 제1항에 있어서, 상기 명령은 "NLS" 어의 태그를 포함함을 특징으로 하는 방법.
  10. 제1항에 있어서, 상기 전송된 정보는, 복수의 멀티미디어 스트림들 중 어느 것도 다른 것과 동기시키지 말라고 수신 장치에 지시함을 특징으로 하는 방법.
  11. 제1항에 있어서, 상기 전송된 정보는, 복수의 멀티미디어 스트림들 중 하나를 그 복수의 멀티미디어 스트림들 중 다른 어느 하나와 동기시키지 말도록 수신 장치에 지시함을 특징으로 하는 방법.
  12. 복수의 멀티미디어 스트림들에 대한 동기화 정보를 제공하는 컴퓨터 프로그램 생성물에 있어서,
    수신 장치로 복수의 멀티미디어 스트림들을 전송하도록 하는 컴퓨터 코드; 및
    복수의 멀티미디어 스트림들에 관한 정보를 전송하도록 하는 컴퓨터 코드를 포함하고,
    상기 정보는 수신 장치로 하여금 복수의 멀티미디어 스트림들 중 적어도 하나와 복수의 멀티미디어 스트림들 중 적어도 다른 하나 사이에 동기화를 하지 못하게 하거나 특정 크기의 동기화 지연을 허용하는 특정 명령을 포함함을 특징으로 하는 컴퓨터 프로그램 생성물.
  13. 제12항에 있어서, 상기 명령은 수신 장치로 전송된 세션 정보 내 한 속성으로서 포함됨을 특징으로 하는 컴퓨터 프로그램 생성물.
  14. 제12항에 있어서, 상기 명령은 멀티미디어 스트림들 중 적어도 둘 사이의 허용가능한 동기 지연값을 포함함을 특징으로 하는 컴퓨터 프로그램 생성물.
  15. 제12항에 있어서, 상기 명령은 "sync_jitter" 속성을 포함함을 특징으로 하는 컴퓨터 프로그램 생성물.
  16. 제15항에 있어서, 상기 "sync_jitter" 속성은 허용가능 동기화 지연 값을 수반함을 특징으로 하는 컴퓨터 프로그램 생성물.
  17. 제15항에 있어서, 상기 "sync_jitter" 속성은 한 SDP 속성임을 특징으로 하는 컴퓨터 프로그램 생성물.
  18. 제12항에 있어서, 상기 전송된 정보는, 복수의 멀티미디어 스트림들 중 어느 것도 그 복수의 멀티미디어 스트림들 중 다른 어느 것과 동기시키지 말라고 수신 장치에 지시함을 특징으로 하는 컴퓨터 프로그램 생성물.
  19. 제12항에 있어서, 상기 전송된 정보는, 복수의 멀티미디어 스트림들 중 어느 하나를 서로 동기시키지 말도록 수신 장치에 지시함을 특징으로 하는 컴퓨터 프로그램 생성물.
  20. 전자 장치에 있어서,
    프로세서; 및
    프로세서와 연결되어, 수신 장치로 복수의 멀티미디어 스트림들을 전송하도록 하는 컴퓨터 코드; 및 복수의 멀티미디어 스트림들에 관한 정보를 전송하도록 하는 컴퓨터 코드를 포함하는 메모리를 포함하고,
    상기 정보는 수신 장치로 하여금 복수의 멀티미디어 스트림들 중 적어도 하나와 복수의 멀티미디어 스트림들 중 적어도 다른 하나 사이에 동기화를 하지 못하게 하거나 특정 크기의 동기화 지연을 허용하는 특정 명령을 포함함을 특징으로 하는 전자 장치.
  21. 제20항에 있어서, 상기 명령은 수신 장치로 전송된 세션 정보 내 한 속성으로서 포함됨을 특징으로 하는 전자 장치.
  22. 제20항에 있어서, 상기 명령은 멀티미디어 스트림들 중 적어도 둘 사이의 허용가능한 동기 지연값을 포함함을 특징으로 하는 전자 장치.
  23. 제20항에 있어서, 상기 명령은 "sync_jitter" 속성을 포함함을 특징으로 하는 전자 장치.
  24. 제23항에 있어서, 상기 "sync_jitter" 속성은 허용가능 동기화 지연 값을 수반함을 특징으로 하는 전자 장치.
  25. 제23항에 있어서, 상기 "sync_jitter" 속성은 한 SDP 속성임을 특징으로 하는 전자 장치.
  26. 제20항에 있어서, 상기 전송된 정보는, 복수의 멀티미디어 스트림들 중 어느 것도 서로 동기시키지 말라고 수신 장치에 지시함을 특징으로 하는 전자 장치.
  27. 제20항에 있어서, 상기 전송된 정보는, 복수의 멀티미디어 스트림들 중 어느 하나를 그 복수의 멀티미디어 스트림들 중 다른 어느 하나와 동기시키지 말도록 수신 장치에 지시함을 특징으로 하는 전자 장치.
  28. 제20항에 있어서, 상기 전자 장치는, 모바일 전화, PDA (personal digital assitant), 랩 탑 컴퓨터, 데스크 탑 컴퓨터, 통합 메시징 장치 (integrated messaging device), 및 이들의 조합된 형태로 이뤄진 그룹에서 선택된 한 장치를 포함함을 특징으로 하는 전자 장치.
  29. 멀티미디어 콘텐츠 프로세싱 방법에 있어서,
    전송 장치로부터 복수의 멀티미디어 스트림들을 수신하는 단계;
    전송 장치로부터 복수의 멀티미디어 스트림들에 관한 정보를 수신하는 단계; 및
    수신된 정보가 복수의 멀티미디어 스트림들 중 적어도 하나와 복수의 멀티미디어 스트림들 중 적어도 다른 하나 사이에 동기화를 하지 못하게 하거나 특정 크기의 동기화 지연을 허용하는 특정 명령을 포함하는 경우, 상기 특정 명령에 따라 복수의 멀티미디어 스트림들을 나타내는 단계를 포함함을 특징으로 하는 방법.
  30. 제29항에 있어서, 상기 명령은 멀티미디어 스트림들 중 적어도 둘 사이의 허용가능한 동기 지연값을 포함함을 특징으로 하는 방법.
  31. 제29항에 있어서, 상기 명령은 "sync_jitter" 속성을 포함함을 특징으로 하는 방법.
  32. 제31항에 있어서, 상기 "sync_jitter" 속성은 허용가능 동기화 지연 값을 수반함을 특징으로 하는 방법.
  33. 제29항에 있어서, 상기 수신된 정보에 따라, 복수의 멀티미디어 스트림들 중 어느 것도 서로 동기되지 않음을 특징으로 하는 방법.
  34. 제29항에 있어서, 상기 수신된 정보에 따라, 복수의 멀티미디어 스트림들 중 하나는 그 복수의 멀티미디어 스트림들 중 다른 어느 하나와 동기되지 않음을 특징으로 하는 방법.
  35. 전자 장치에 있어서,
    프로세서; 및
    프로세서와 연결되어, 수신 장치로 복수의 멀티미디어 스트림들을 전송하도 록 하는 수단; 및 복수의 멀티미디어 스트림들에 관한 정보를 전송하도록 하는 수단을 포함하는 메모리를 포함하고,
    상기 정보는 수신 장치로 하여금 복수의 멀티미디어 스트림들 중 적어도 하나와 복수의 멀티미디어 스트림들 중 적어도 다른 하나 사이에 동기화를 하지 못하게 하거나 특정 크기의 동기화 지연을 허용하는 특정 명령을 포함함을 특징으로 하는 전자 장치.
KR1020087007219A 2005-08-26 2006-08-25 장치로 멀티미디어 스트림들에 대해 아무 동기화도수행하지 말라거나 동기화 지연을 포함하도록 시그날링하는 방법 KR20080038251A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/213,330 US20070047590A1 (en) 2005-08-26 2005-08-26 Method for signaling a device to perform no synchronization or include a synchronization delay on multimedia stream
US11/213,330 2005-08-26

Publications (1)

Publication Number Publication Date
KR20080038251A true KR20080038251A (ko) 2008-05-02

Family

ID=37771989

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087007219A KR20080038251A (ko) 2005-08-26 2006-08-25 장치로 멀티미디어 스트림들에 대해 아무 동기화도수행하지 말라거나 동기화 지연을 포함하도록 시그날링하는 방법

Country Status (10)

Country Link
US (1) US20070047590A1 (ko)
EP (1) EP1938498A2 (ko)
JP (1) JP2009506611A (ko)
KR (1) KR20080038251A (ko)
CN (1) CN101288257A (ko)
AU (1) AU2006283294A1 (ko)
MX (1) MX2008002738A (ko)
RU (1) RU2392753C2 (ko)
WO (1) WO2007023378A2 (ko)
ZA (1) ZA200802531B (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2745045T3 (es) 2005-04-22 2020-02-27 Audinate Pty Ltd Red, dispositivo y método para transportar medios digitales
CN100477650C (zh) * 2005-09-30 2009-04-08 华为技术有限公司 下一代网络中的ip互通网关及其实现ip域互通的方法
CN100479528C (zh) * 2006-08-30 2009-04-15 华为技术有限公司 一种支持多音轨的方法、系统及流媒体服务器
US20080178243A1 (en) * 2007-01-19 2008-07-24 Suiwu Dong Multimedia client/server system with audio synchronization and methods for use therewith
US8077745B2 (en) * 2007-03-23 2011-12-13 Qualcomm Incorporated Techniques for unidirectional disabling of audio-video synchronization
EP2043323A1 (en) * 2007-09-28 2009-04-01 THOMSON Licensing Communication device able to synchronise the received stream with that sent to another device
CN101340626B (zh) * 2007-11-21 2010-08-11 华为技术有限公司 在sdp协议中标识、获取权限信息的方法及装置
CN100550860C (zh) * 2007-11-27 2009-10-14 华为技术有限公司 媒体资源预留方法及业务包信息获取方法及装置
CN101729532B (zh) * 2009-06-26 2012-09-05 中兴通讯股份有限公司 一种ip多媒体子系统延迟媒体信息传输方法及系统
US8327029B1 (en) * 2010-03-12 2012-12-04 The Mathworks, Inc. Unified software construct representing multiple synchronized hardware systems
TW201225701A (en) * 2010-11-18 2012-06-16 Interdigital Patent Holdings Method and apparatus for inter-user equipment transfer
EP3110105A1 (en) * 2011-02-11 2016-12-28 Interdigital Patent Holdings, Inc. Method and apparatus for synchronizing mobile station media flows during a collaborative session
CN109068155B (zh) * 2011-09-23 2021-01-26 韩国电子通信研究院 传送媒体数据的设备以及接收媒体数据的设备
EP2592842A1 (en) 2011-11-14 2013-05-15 Accenture Global Services Limited Computer-implemented method, computer system, and computer program product for synchronizing output of media data across a plurality of devices
WO2014115147A1 (en) * 2013-01-24 2014-07-31 Telesofia Medical Ltd. System and method for flexible video construction
WO2015002586A1 (en) * 2013-07-04 2015-01-08 Telefonaktiebolaget L M Ericsson (Publ) Audio and video synchronization
KR20150026069A (ko) * 2013-08-30 2015-03-11 삼성전자주식회사 컨텐츠 재생 방법 및 그 방법을 처리하는 전자 장치
US11146611B2 (en) 2017-03-23 2021-10-12 Huawei Technologies Co., Ltd. Lip synchronization of audio and video signals for broadcast transmission
US11392786B2 (en) * 2018-10-23 2022-07-19 Oracle International Corporation Automated analytic resampling process for optimally synchronizing time-series signals

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993005593A1 (en) * 1991-09-10 1993-03-18 Hybrid Networks, Inc. Remote link adapter for use in tv broadcast data transmission system
US5751694A (en) * 1995-05-22 1998-05-12 Sony Corporation Methods and apparatus for synchronizing temporally related data streams
US5737531A (en) * 1995-06-27 1998-04-07 International Business Machines Corporation System for synchronizing by transmitting control packet to omit blocks from transmission, and transmitting second control packet when the timing difference exceeds second predetermined threshold
US5570372A (en) * 1995-11-08 1996-10-29 Siemens Rolm Communications Inc. Multimedia communications with system-dependent adaptive delays
US5953049A (en) * 1996-08-02 1999-09-14 Lucent Technologies Inc. Adaptive audio delay control for multimedia conferencing
US6480902B1 (en) * 1999-05-25 2002-11-12 Institute For Information Industry Intermedia synchronization system for communicating multimedia data in a computer network
US7346698B2 (en) * 2000-12-20 2008-03-18 G. W. Hannaway & Associates Webcasting method and system for time-based synchronization of multiple, independent media streams
AU2003259240A1 (en) * 2002-07-26 2004-02-16 Green Border Technologies, Inc. Transparent configuration authentication of networked devices
JP2004112113A (ja) * 2002-09-13 2004-04-08 Matsushita Electric Ind Co Ltd リアルタイム通信の適応制御方法、受信報告パケットの連続消失に対する対策方法、受信報告パケットの送出間隔の動的決定装置、リアルタイム通信の適応制御装置、データ受信装置およびデータ配信装置
US7231229B1 (en) * 2003-03-16 2007-06-12 Palm, Inc. Communication device interface
US7443849B2 (en) * 2004-12-30 2008-10-28 Cisco Technology, Inc. Mechanisms for detection of non-supporting NAT traversal boxes in the path

Also Published As

Publication number Publication date
CN101288257A (zh) 2008-10-15
US20070047590A1 (en) 2007-03-01
WO2007023378A2 (en) 2007-03-01
RU2392753C2 (ru) 2010-06-20
WO2007023378A3 (en) 2007-04-26
AU2006283294A1 (en) 2007-03-01
JP2009506611A (ja) 2009-02-12
EP1938498A2 (en) 2008-07-02
RU2008107932A (ru) 2009-10-10
MX2008002738A (es) 2008-03-26
ZA200802531B (en) 2009-01-28

Similar Documents

Publication Publication Date Title
KR20080038251A (ko) 장치로 멀티미디어 스트림들에 대해 아무 동기화도수행하지 말라거나 동기화 지연을 포함하도록 시그날링하는 방법
US10778731B2 (en) Communications methods, apparatus and systems for conserving media resource function resources
US8149261B2 (en) Integration of audio conference bridge with video multipoint control unit
US9883028B2 (en) Method and apparatus for providing interactive media during communication in channel-based media telecommunication protocols
US9955205B2 (en) Method and system for improving interactive media response systems using visual cues
EP3054699A1 (en) Flow-control based switched group video chat and real-time interactive broadcast
US20070002902A1 (en) Audio and video synchronization
US20110010625A1 (en) Method for Manually Optimizing Jitter, Delay and Synch Levels in Audio-Video Transmission
CN114600468B (zh) 将复合视频流中的视频流与元数据组合的组合器系统、接收器设备、计算机实现的方法和计算机可读介质
US8571189B2 (en) Efficient transmission of audio and non-audio portions of a communication session for phones
CN108366044B (zh) 一种VoIP远程音视频共享方法
WO2023231478A1 (zh) 音视频共享方法、设备及计算机可读存储介质
Pandey et al. Web application for social networking using RTC
JP2015012557A (ja) 映像音声処理装置、映像音声処理システム、映像音声同期方法、プログラム
CN114979080B (zh) 一种融合局域网和广域网的sip对讲方法、系统、存储装置
US20220311812A1 (en) Method and system for integrating video content in a video conference session
KR20240023037A (ko) 실시간 증강 현실 통신 세션
CN110087020B (zh) 一种iOS设备进行视联网会议的实现方法及系统
US20190089755A1 (en) Multiplexing data
CN112689118B (zh) 一种多屏网真终端的数据传输方法和装置
Cricri et al. Mobile and Interactive Social Television—A Virtual TV Room
Georganas Synchronization issues in multimedia presentational and conversational applications
Yuan et al. A scalable video communication framework based on D-bus
Igor Bokun et al. The MECCANO Internet Multimedia Conferencing Architecture

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application