KR20140104969A - 비동기 네트워크를 통해 멀티미디어 콘텐츠를 동기 전송하는 장치 및 방법 - Google Patents

비동기 네트워크를 통해 멀티미디어 콘텐츠를 동기 전송하는 장치 및 방법 Download PDF

Info

Publication number
KR20140104969A
KR20140104969A KR1020147016741A KR20147016741A KR20140104969A KR 20140104969 A KR20140104969 A KR 20140104969A KR 1020147016741 A KR1020147016741 A KR 1020147016741A KR 20147016741 A KR20147016741 A KR 20147016741A KR 20140104969 A KR20140104969 A KR 20140104969A
Authority
KR
South Korea
Prior art keywords
time stamp
delay value
content signal
receiver
receive
Prior art date
Application number
KR1020147016741A
Other languages
English (en)
Inventor
요시노부 구레
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20140104969A publication Critical patent/KR20140104969A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/0635Clock or time synchronisation in a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00Arrangements for synchronising receiver with transmitter
    • H04L7/0016Arrangements for synchronising receiver with transmitter correction of synchronization errors
    • H04L7/0033Correction by delay
    • H04L7/0037Delay of clock signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/0635Clock or time synchronisation in a network
    • H04J3/0638Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658Clock or time synchronisation among packet nodes
    • H04J3/0661Clock or time synchronisation among packet nodes using timestamps
    • H04J3/0667Bidirectional timestamps, e.g. NTP or PTP for compensation of clock drift and for compensation of propagation delays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Electric Clocks (AREA)

Abstract

본 장치는 수신기(21), 지연 값 수신기(25), 타임 스탬프 산출부(29) 및 송신기(25)를 포함한다. 수신기(21)는 콘텐츠 신호를 수신하도록 구성된다. 지연 값 수신기(25)는 다른 장치(13)로부터 지연 값을 수신하도록 구성된다. 타임 스탬프 산출부(29)는 지연 값에 기초하여 타임 스탬프를 결정하도록 구성된다. 송신기(25)는, 타임 스탬프를 포함하는 콘텐츠 신호를 다른 장치(13)에 송신하도록 구성된다.

Description

비동기 네트워크를 통해 멀티미디어 콘텐츠를 동기 전송하는 장치 및 방법{APPARATUS AND METHOD FOR SYNCHRONIZED TRANSMISSION OF MULTIMEDIA CONTENT OVER AN ASYNCHRONOUS NETWORK}
본 발명은 송신 장치, 송신 방법, 수신 장치, 수신 방법, 동기 전송 시스템, 동기 전송 방법 및 비일시적(non-transitory) 컴퓨터 판독가능 매체 상에 인코드된 프로그램에 관한 것으로, 특히 비동기 패킷 전송 네트워크를 통해 멀티미디어 데이터를 동기 전송하는 경우에 사용하기에 적합한 송신 장치, 송신 방법, 수신 장치, 수신 방법, 동기 전송 시스템, 동기 전송 방법 및 비일시적 컴퓨터 판독가능 매체 상에 인코드된 프로그램에 관한 것이다.
종래, 방송국 등에서 사용되는 비디오 카메라와 카메라 제어부(이하, CCU라 함)는 HD-SDI 케이블에 의해 접속되고, 이 HD-SDI 케이블을 통해 비디오 신호가 비압축 방식으로 동기 전송된다. 그리고, 최근, 이 HD-SDI 케이블은 Ethernet(등록 상표) 케이블로 대체되고 있다. 이 경우, HD-SDI 케이블이 사용될 때와 마찬가지로, 비디오 카메라와 CCU 각각의 기준 신호가 상호 고정밀도로 동기화되고 비디오 신호의 전송 지연이 비디오 프레임 간격 이하로 설정될 것이 요구된다.
Ethernet(등록 상표)에 의해 접속되는 비디오 카메라와 CCU 각각의 기준 신호간 고정밀도 동기화는 IEEE1588 PTP(Precision Time Protocol)를 사용하여 구현될 수 있다(예를 들어, 특허문헌 1 참조).
또한, 전송 지연을 비디오 프레임 간격 이하로 설정하는 것에 대하여는, HD-SDI 케이블로 접속할 수 있을 정도로 단거리라면 Ethernet(등록 상표) 케이블로 대체하여도 문제가 발생하지 않는다.
일본 특허 공개 2010-190635호 공보
또한, 요즈음, 비디오 카메라와 CCU가 인터넷(WAN(wide area network) 및 LAN(local area network)을 포함함)으로 대표되는 비동기 패킷 전송 네트워크에 각각 접속하여, 이 비동기 패킷 전송 네트워크를 통해 비디오 신호를 전송하는 수요가 증가하고 있다.
이 경우에도, 비디오 카메라와 CCU 각각의 기준 신호간 고정밀도 동기화는 IEEE1588 PTP를 사용하여 구현될 수 있다. 그러나, 비디오 신호의 전송 지연을 비디오 프레임 간격 이하로 설정하는 것은 보장하기 어렵다.
비디오 신호의 전송 지연이 증가되면, 송신측에서 자신의 기준 신호에 맞추어진 미디어 위상(비디오 신호의 경우에는 프레임 위상)의 비디오 데이터를 송신하고, 수신측에서 이를 수신할 때, 관련 미디어 위상과 수신측의 기준 신호간 시프트가 발생된다. 결과적으로, 수신측에서 수신된 비디오 신호를 처리할 때, 영상이나 음성에 간섭이 발생된다.
미디어 위상이란 소정의 기준 신호에 대한 멀티미디어 데이터의 프레임 재생 타이밍(비디오 신호의 경우에는 FSYNC 등)의 오프셋 량을 지칭하는 것임에 주의하여야 한다.
본 발명은 상술한 상황을 감안하여 이루어진 것으로, 비디오 신호 등의 멀티미디어 데이터를 비동기 패킷 전송 네트워크를 통해 동기 전송할 수 있도록 하는 것이다.
일 실시예에서, 본 발명은 수신기, 지연 값 수신기, 타임 스탬프 산출부 및 송신기를 포함하는 장치를 포함한다. 수신기는 콘텐츠 신호를 수신하도록 구성된다. 지연 값 수신기는 다른 장치로부터 지연 값을 수신하도록 구성된다. 타임 스탬프 산출부는 지연 값에 기초하여 타임 스탬프를 결정하도록 구성된다. 송신기는 타임 스탬프를 포함하는 콘텐츠 신호를 다른 장치에 송신하도록 구성된다.
다른 실시예에서, 본 장치는 수신기, 지연 값 산출부 및 송신기를 포함한다. 수신기는, 타임 스탬프를 포함하는 콘텐츠 신호를 다른 장치로부터 수신하도록 구성된다. 지연 값 산출부는 타임 스탬프 및 타임 스탬프의 수신 시간에 기초하여 지연 값을 산출하도록 구성된다. 송신기는 지연 값을 다른 장치에 송신하여, 다른 장치가 지연 값을 사용하여 이후 타임 스탬프를 산출하도록 구성된다.
본 발명의 제2 양태에 따르면, 비디오 신호 등의 멀티미디어 데이터를 위상 시프트없이 비동기 패킷 전송 네트워크를 통해 수신하는 것이 가능하다.
본 발명의 제3 양태에 따르면, 비디오 신호 등의 멀티미디어 데이터를 비동기 패킷 전송 네트워크를 통해 동기 전송하는 것이 가능하다.
도 1은 본 발명이 적용되는 동기 전송 시스템 구성의 일 예를 도시하는 블럭도이다.
도 2는 비디오 신호에 대한 통신 타이밍을 도시하는 타이밍 차트이다.
도 3은 비디호 신호 전송 처리를 설명하는 흐름도이다.
도 4는 수신 장치에 의한 지연 측정 처리를 설명하는 흐름도이다.
도 5는 송신 장치에 의한 보정 처리를 설명하는 흐름도이다.
도 6은 수신 장치의 다른 구성예를 도시하는 블럭도이다.
도 7은 컴퓨터의 구성예를 도시하는 블럭도이다.
이하, 도면을 참조하여 본 발명을 구현하기 위한 최상의 모드(이하, 실시예라 함)가 설명될 것이다.
<1. 실시예>
<동기 전송 시스템의 구성예>
도 1은 본 실시예에 따른 동기 전송 시스템의 구성예를 도시하고 있다. 이 동기 전송 시스템(10)은 카메라(11), 송신 장치(12) 및 수신 장치(13)를 포함한다.
카메라(11)는, 송신 장치(12)의 미디어 위상 제어부(28)로부터 공급되는 SMPTE-274M을 따르는 기준 신호에 동기하여 비디오 촬영을 행하고, 그 결과 취득된 비디오 신호를 HD-SDI I/F를 통해 송신 장치(12)에 출력한다.
송신 장치(12)는, 네트워크(14)를 통해 접속되는 수신 장치(13)와 기준 신호 및 시스템 클럭이 동기화되며, 카메라(11)로부터 입력되는 비디오 신호를 압축 코딩해서 패킷화하여, 네트워크(14)를 통해 수신 장치(13)에 동기 전송한다. 수신 장치(13)는 송신 장치(12)로부터 압축 코딩 및 패킷화된 상태로 송신되는 비디오 신호를 수신하여 디코드한다. 네트워크(14)는 인터넷으로 대표되는 비동기 패킷 전송 네트워크가다.
<송신 장치(12)의 구성예>
송신 장치(12)는 인코더(21), FEC 처리부(22), RTP 처리부(23), 평활화부(24), 통신부(25), 고정밀도 클럭 동기부(26), 기준 신호 생성부(27), 미디어 위상 제어부(28), 타임 스탬프 제어부(29), 타임 스탬프 카운터(30) 및 RTCP 처리부(31)를 포함한다.
인코더(21)는, 카메라(11)로부터 입력되는 비디오 신호를 압축 코딩하여, 그 결과 취득되는 코딩 데이터를 FEC 처리부(22)에 출력한다. FEC(forward error correction) 처리부(22)는 입력되는 코딩 데이터에 리던던트(redundant) 코딩 처리를 행하여 리드-솔로몬(Reed-Solomon) 코드 등의 에러 정정 코드를 부가하여 RTP 처리부(23)에 출력한다.
RTP(real-time transport protocol) 처리부(23)는, 에러 정정 코드가 부가된 코딩 데이터를 IETF RFC3550 RTP에 따르는 RTP 패킷으로 패킷화한다. 또한, RTP 처리부(23)는, 패킷화되는 타이밍에 타임 스탬프 카운터(48)로부터 통지되는 타임 스탬프 보정량 TS_OFFSET가 가산되어 있는 타임 스탬프 S_TS를 각 RTP 패킷에 부가하여 평활화부(24)에 출력한다. 또한, RTP 패킷에 부가되는 타임 스탬프 S_TS는, 패킷화되는 타이밍 외에, 비디오 신호가 인코더(21)에 입력되는 타이밍에 대응하는 것이어도 좋고, 비디오 신호가 송신 장치(12)로부터 송신되는 타이밍에 대응하는 것이어도 좋다는 점에 주의하여야 한다.
평활화부(24)는 RTP 처리부(23)로부터 순차 입력되는 RTP 패킷을 평활화하여 통신부(25)에 출력한다.
통신부(25)는 평활화된 RTP 패킷을 네트워크(14)를 통해 수신 장치(13)에 송신한다. 또한, 통신부(25)는, 고정밀도 클럭 동기부(26)와 수신 장치(13)의 고정밀도 클럭 동기부(47) 사이에서 통신되고, IEEE1588PTP에 기초하는 기준 신호 동기화용 PTP 메시지를, 네트워크(14)를 통해 송수신한다. 또한, 통신부(25)는, RTCP 처리부(31)와 수신 장치(13)의 RTCP 처리부(50) 사이에서 통신되는 RTCP 패킷을, 네트워크(14)를 통해 송수신한다.
고정밀도 클럭 동기부(26)는, 수신 장치(13)의 고정밀도 클럭 동기부(47)와의 사이에 통신되는 PTP 메시지에 기초하여, 송신 장치(12)와 수신 장치(13)의 각 기준 신호와 시스템 클럭이 상호 고정밀도로 동기화되도록, 기준 신호 생성부(27)를 제어한다. 기준 신호 생성부(27)는, 고정밀도 클럭 동기부(26)로부터의 제어에 따라, 수신 장치(13)의 기준 신호와 동기화되는 기준 신호를 생성하여, 미디어 위상 제어부(28) 및 기타 각 부에 출력한다.
미디어 위상 제어부(28)는, RTCP 처리부(31)로부터 입력되는 전송 지연 정보 D_OFFSET에 기초하여 미디어 위상 보정량 M_OFFSET을 결정하고, 기준 신호 생성부(27)로부터 입력되는 기준 신호의 위상을 미디어 위상 보정량 M_OFFSET만큼 선행시켜 카메라(11)에 공급한다. 이에 따르면, 카메라(11)는, 미디어 위상 제어부(28)로부터 공급되고, 수신 장치(13)의 기준 신호에 비하여 미디어 위상 보정량 M_OFFSET만큼 위상이 선행된 기준 신호를 따라서 동작한다.
타임 스탬프 제어부(29)는, RTCP 처리부(31)로부터 입력되는 전송 지연 정보 D_OFFSET에 기초하여 타임 스탬프 보정량 TS_OFFSET을 결정하고, 결정된 타임 스탬프 보정량 TS_OFFSET을 타임 스탬프 카운터(30)에 통지한다.
타임 스탬프 카운터(30)는, 기준 신호 생성부(27)에 의한 기준 신호에 기초하여, 시스템 클럭을 나타내는 타임 스탬프 TS에, 미디어 위상 제어부(28)로부터 통지되는 타임 스탬프 보정량 TS_OFFSET을 가산함으로써 보정되는 타임 스탬프 S_TS를 생성하여, 그 타임 스탬프를 RTP 처리부(23)에 통지한다. 또한, 타임 스탬프 카운터(30)는 RTCP 처리부(31)에 타임 스탬프 보정량 TS_OFFSET을 통지한다.
RTCP(RTP control protocol) 처리부(31)는, 타임 스탬프 카운터(30)로부터 통지되는 타임 스탬프 보정량 TS_OFFSET을 저장하는 RTCP 패킷을 주기적으로 생성하여 통신부(25)에 출력한다. 또한, RTCP 처리부(31)는, 수신 장치(13)의 RTCP 처리부(50)로부터 송신되는 RTCP 패킷에 저장되는 평균 전송 지연 값 Da에 기초해서, 전송 지연 정보 D_OFFSET을 생성하여, 미디어 위상 제어부(28) 및 타임 스탬프 제어부(29)에 출력한다.
미디어 위상 제어부(28)에서의 미디어 위상에 대한 보정은 기본적으로 네트워크(14)의 전송 지연에 대처하기 위한 것이므로, 기준 신호의 위상이 선행되지만, 선행의 정도를 조절하기 위해 위상이 복귀될 수 있다는 점에 주의하여야 한다. 그 경우, 미디어 위상 보정량 M_OFFSET으로서 네거티브 값이 발생될 수 있다. 유사하게, 타임 스탬프 제어부(29)는 타임 스탬프 카운터(30)의 타임 스탬프 TS를 선행시킬 뿐만 아니라 복귀시킬 수 있다. 그 경우, 타임 스탬프 보정량 TS_OFFSET으로서 네거티브 값이 발생될 수 있다.
<수신 장치(13)의 구성예>
수신 장치(13)는 통신부(41), RTP 처리부(42), 지터 흡수 버퍼(43), FEC 처리부(44), 디코더(45), 기준 신호 생성부(46), 고정밀도 클럭 동기부(47), 타임 스탬프 카운터(48), 지연 계측부(49) 및 RTCP 처리부(50)를 포함한다.
통신부(41)는, 네트워크(14)를 통해 송신 장치(12)로부터 송신되어 압축 코딩되는 비디오 신호를 저장하고 있는 RTP 패킷을 수신하여, 그 RTP 패킷을 RTP 처리부(42)에 출력한다. 또한, 통신부(41)는, 고정밀도 클럭 동기부(47)와 송신 장치(12)의 고정밀도 클럭 동기부(26) 사이에 통신되고, 기준 신호 동기용인 PTP 메시지를 송수신한다. 또한, 통신부(41)는 RTCP 처리부(50)와 송신 장치(12)의 RTCP 처리부(31) 사이에서 통신되는 RTCP 패킷을 송수신한다.
RTP 처리부(42)는 통신부(41)로부터 입력되는 RTCP 패킷을 재구성하여 지터 흡수 버퍼(43)에 출력한다. 지터 흡수 버퍼(43)는, 재구성된 RTP 패킷을 버퍼링하고, 버퍼링된 RTP 패킷에 부가되는 타임 스탬프 S_TS가 타임 스탬프 카운터(48)에서 카운트되는 타임 스탬프 R_TS와 일치하는 패킷을 FEC 처리부(44)에 순차 출력한다.
지터 흡수 버퍼(43)로부터 출력되는 RTP 패킷에 저장되는 코딩 데이터에 오류나 결손이 발생하는 경우, FEC 처리부(44)는 이를 정정하여 디코더(45)에 출력한다. 디코더(45)는, 코딩 데이터를 디코드하여, 그 결과 취득되는 비디오 신호를 기준 신호 생성부(46)에 의해 생성되는 기준 신호에 동기시켜 후속 단에 출력한다.
기준 신호 생성부(46)는, 수신 장치(13)의 각 부의 동작 타이밍에 대한 기준이 되는 기준 신호를 생성한다. 기준 신호 생성부(46)에서 생성되는 기준 신호에 대하여, 송신 장치(12)의 기준 신호 생성부(27)에서 생성되는 기준 신호도 동기화된다는 점에 주의하여야 한다. 즉, 기준 신호에 대하여, 수신 장치(13) 측이 마스터가 되고, 송신 장치(12) 측이 슬레이브가 된다.
고정밀도 클럭 동기부(47)는, 송신 장치(12)의 고정밀도 클럭 동기부(26)와 기준 신호 동기용 PTP 메시지를 통신한다. 타임 스탬프 카운터(48)는, 기준 신호 생성부(46)에 의해 생성되는 기준 신호에 기초하여, 시스템 클럭을 나타내는 타임 스탬프 R_TS를 지터 흡수부(43)에 통지한다.
지연 계측부(49)는, 수신된 RTP 패킷에 부가되는 타임 스탬프 S_TS, 타임 스탬프 카운터(48)에 의해 카운트 업되는 타임 스탬프 R_TS 및 RTCP 처리부(50)로부터 통지되는 송신 장치(12)에서의 타임 스탬프 보정량 TS_OFFSET에 기초하여, 순간 전송 지연 값 Dc를 산출한다. 또한, 지연 계측부(49)는, 순간 전송 지연 값 Dc에 기초하여 평균 전송 지연 값 Da를 산출하여 RTCP 처리부(50)에 출력한다.
RTCP 처리부(50)는, 송신 장치(12)의 RTCP 처리부(31)로부터 송신되어 통신부(41)에 의해 수신되는 RTCP 패킷에 저장되어 있는 타임 스탬프 보정량 TS_OFFSET을 지연 계측부(49)에 통지한다. 또한, RTCP 처리부(50)는, 지연 계측부(49)로부터 입력되는 평균 전송 지연 값 Da을 RTCP 처리부(31)로의 송신용 RTCP 패킷에 저장하여, 통신부(25)에 출력한다.
<전송 타이밍의 개요>
도 2는, 카메라(11)에 의해 촬영되는 비디호 신호의 한 블럭 중 선두 라인 블럭이 송신 장치(12) 및 수신 장치(13)의 각 부에 순차 전송되어 처리되는 타이밍을 도시하고 있다.
도 2에서 A로 표시되는 타이밍에 카메라(11)로부터 송신 장치(12)에 입력되는 비디오 신호는, 도 2에서 B로 표시되는 타이밍에 압축 코딩되고, 도 2에서 C로 표시되는 타이밍에 RTP 패킷으로 패킷화되고, 평활화되어, 네트워크(14)를 통해 송신 장치(12)로부터 수신 장치(13)로 송신된다.
수신 장치(13)에 의해 수신된 RTP 패킷은 도 2에서 D로 표시되는 타이밍에 지터 흡수 버퍼(43)로부터 출력되어, 도 2에서 E로 표시되는 타이밍에 에러 정정이 수행되고, 도 2에서 F로 표시되는 타이밍에 비디오 신호로 디코드된다. 그리고, 비디오 신호는 도 2에서 G로 표시되는 타이밍에 수신 장치(13)로부터 후속 단에 출력된다.
상술된 전송 지연 정보 D_OFFSET은, 도 2에 C로 표시되는 송신 장치(12)로부터의 송신 타이밍과 도 2에 D로 표시되는 지터 흡수 버퍼(43)로부터의 출력 타이밍 사이의 시간차다.
또한, 도 2에 I로 표시되는 바와 같이, 미디어 위상 보정량 M_OFFSET은, 도 2에 A로 표시되는 송신 장치(12)에 대한 비디오 신호의 입력 타이밍과 도 2에 G로 표시되는 수신 장치(13)로부터의 비디오 신호의 출력 타이밍 사이의 시간차다.
도 2로부터 자명하듯이, 미디어 위상 보정량 M_OFFSET은, 송신 장치(12)에서의 각종 처리 시간, 전송 지연 정보 D_OFFSET 및 수신 장치(13)에서의 지터 흡수 버퍼(43) 후속 단에서의 처리 시간의 합이다. 여기서, 송신 장치(12)에서의 각종 처리 시간 및 수신 장치(13)에서의 지터 흡수 버퍼(43) 후속 단에서의 처리 시간은 거의 일정하고, 미리 측정되어 설정될 수 있다. 이에 비하여, 전송 지연 정보 D_OFFSET은 네트워크(14)의 상태에 따라 변화하므로, 미디어 위상 보정량 M_OFFSET은 전송 지연 정보 D_OFFSET에서의 변화에 따라 변동된다.
도 2에서 J는 송신 장치(12)의 타임 스탬프 카운터(30)로부터 RTP 처리부(23)에 통지되는 타임 스탬프 S_TS가 시간의 경과에 따라 카운트 업되는 상태를 도시하고 있다. 도 2에서 K는 수신 장치(13)의 타임 스탬프 카운터(48)로부터 지터 흡수 버퍼(43)와 지연 계측부(49)에 통지되는 타임 스탬프 R_TS가 시간의 경과에 따라 카운트 업되는 상태를 도시하고 있다. 도 2의 J 및 K로부터 자명하듯이, 타임 스탬프 S_TS는 타임 스탬프 R_TS에 대해 전송 지연 정보 D_OFFSET 만큼 선행된 값으로 설정된다.
<동기 전송 시스템(10)의 동작 설명>
도 3은 동기 전송 시스템(10)에 의한 비디호 신호 전송 처리를 설명하는 흐름도이다.
이러한 비디호 신호 전송 처리에 대한 전제로서, 수신 장치(13)의 기준 신호와 동기화되는 상태로부터 미디어 위상 보정량 M_OFFSET 만큼 선행된 기준 신호가, 송신 장치(12)의 미디어 위상 제어부(28)로부터 카메라(11)에 공급된다.
스텝 S1에서, 카메라(11)는, 미디어 위상 제어부(28)로부터 공급되는 기준 신호와 동기하여 비디오 촬영을 수행하고, 그 결과 취득되는 비디오 신호를 HD-SDI I/F를 통해 송신 장치(12)에 입력한다. 스텝 S2에서, 인코더(21)는, 카메라(11)로부터 입력되는 비디오 신호에 대해 압축 코딩을 수행하고, 그 결과 취득되는 코딩 데이터를 FEC 처리부(22)에 출력한다. 스텝 S3에서, FEC 처리부(22)는, 입력된 코딩 데이터에 리던던트 코딩 처리를 수행하여 순방향(forward) 에러 정정 코드를 부가하여 RTP 처리부(23)에 출력한다.
스텝 S4에서, RTP 처리부(23)는, 에러 정정 코드가 부가된 코딩 데이터를 RTP 패킷으로 패킷화하고, 각 RTP 패킷에 타임 스탬프 카운터(48)로부터 통지되는 타임 스탬프 S_TS를 부가하여, 평활화부(24)에 출력한다. 스텝 S5에서, 평활화부(24)는, RTP 처리부(23)로부터 순차 입력되는 RTP 패킷을 평활하여 통신부(25)에 출력한다. 스텝 S6에서, 통신부(25)는 평활화된 RTP 패킷을 네트워크(14)를 통해 수신 장치(13)에 송신한다. 스텝 S1 내지 S6에서의 처리는 비디오 신호 전송 처리가 종료될 때까지 반복하여 실행된다는 점에 주의하여야 한다.
한편, 수신 장치(13)에서는, 스텝 S11에서, 송신 장치(12)로부터 네트워크(14)를 통해 송신된, 압축 코딩되는 비디오 신호를 저장하고 있는 RTP 패킷을 통신부(41)가 수신하여 RTP 처리부(42)에 출력한다. 스텝 S12에서, RTP 처리부(42)는, 통신부(41)로부터 입력되는 RTP 패킷을 재구성하여 지터 흡수 버퍼(43)에 출력한다. 스텝 S13에서, 지터 흡수 버퍼(43)는 재구성된 RTP 패킷을 버퍼링한다.
스텝 S14에서, 지터 흡수 버퍼(43)는, 버퍼링되는 RTP 패킷에 부가되는 타임 스탬프 S_TS가 타임 스탬프 카운터(48)로부터 통지된 타임 스탬프 R_TS와 일치하는지 여부를 판정하고, 판정 결과가 긍정일 때까지 대기한다.
송신 장치(12)의 타임 스탬프 카운터(30)에 의해 출력되는 카운트 값 TS의 초기값이 IETF RFC3550에 따라서 랜덤하게 설정되는 경우, 카운트 값 TS의 랜덤 설정 초기값과 시스템 클럭(즉, 수신 장치(13)의 타임 스탬프 카운터(48)의 카운트 값)과의 오프셋 값은, RTCP 패킷을 사용하여 송신 장치(12)의 RTCP 처리부(31)로부터 수신 장치(13)의 RTCP 처리부(50)로 통지되고, 이러한 오프셋 값만큼 타임 스탬프 S_TS를 시프트하여 취득되는 값이 타임 스탬프 R_TS와 일치되는지 여부에 대하여 판정이 이루어진다는 점에 주의하여야 한다.
스텝 S14에서, 판정 결과가 긍정인 경우, 처리는 스텝 S15로 진행된다. 스텝 S15에서, 지터 흡수 버퍼(43)는, 타임 스탬프 R_TS와 일치되는 타임 스탬프 S_TS가 부가되는 RTP 패킷을 FEC 처리부(44)에 출력한다.
스텝 S16에서, FEC 처리부(44)는, 지터 흡수 버퍼(43)로부터 입력되는 RTP 패킷에 저장된 코딩 데이터에 대하여 에러 정정 처리를 수행하여 디코더(45)에 출력한다. 스텝 S17에서, 디코더(45)는, 코딩 데이터를 디코드하여, 그 결과 취득되는 비디오 신호를 기준 신호 생성부(46)에 의해 생성되는 기준 신호와 동기화하여 후속 단에 출력한다. 스텝 S11 내지 S17에서의 처리는 비디오 신호 전송 처리가 종료될 때까지 반복하여 실행된다는 점에 주의하여야 한다. 이상으로, 비디오 신호 전송 처리에 대한 설명을 마친다.
다음으로, 도 4는 상술한 비디오 신호 전송 처리와 병행되는, 수신 장치(13)에 의한 지연 계측 처리를 설명하는 흐름도이다.
스텝 S21에서, 수신 장치(13)의 지연 계측부(49)는, 통신부(41)에 의해 수신되고, RTP 처리부(42)에 입력되는 RTP 패킷에 부가되는 타임 스탬프 S_TS를 취득하고, 또한, 타임 스탬프 카운터(48)에 의해 카운트 업되는 타임 스탬프 R_TS를 취득한다. 스텝 S22에서, 지연 계측부(49)는, 이하의 식 1에 따라, 네트워크(14)에서의 RTP 패킷의 순간 전송 지연 값 Dc를 산출한다:
[식 1]
순간 전송 지연 값 Dc = 타임 스탬프 R_TS - 타임 스탬프 S_TS + 타임 스탬프 보정량 TS_OFFSET
현 단계에서 송신 장치(12)로부터 타임 스탬프 보정량 TS_OFFSET이 통지되지 않는 경우, 타임 스탬프 보정량 TS_OFFSET 대신 소정의 초기값이 채택된다는 점에 주의하여야 한다.
스텝 S23에서, 지연 계측부(49)는, 산출된 순간 전송 지연 값 Dc에 기초해서 평균 전송 지연 값 Da를 갱신하여, RTCP 처리부(50)에 출력한다. 스텝 S24에서, 송신 장치(12)의 RTCP 처리부(31)에 이전 시간 RTCP 패킷이 송신된 이후 소정 주기의 시간이 경과되면, RTCP 처리부(50)는, 지연 계측부(49)로부터의 평균 전송 지연 값 Da를 RTCP 패킷에 저장하여 통신부(25)에 출력하고, 송신 장치(12)의 RTCP 처리부(31)에 송신한다. 이 평균 전송 지연 값 Da는 송신 장치(12)에서 전송 지연 정보 D_OFFSET으로서 이용된다.
스텝 S25에서, RTCP 처리부(50)는, 송신 장치(12)의 RTCP 처리부(31)로부터 송신되는 타임 스탬프 보정량 TS_OFFSET을 저장하고 있는 RTCP 패킷이, 통신부(41)에 의해 수신되는지 여부를 판정한다. 이러한 판정 결과가 부정인 경우, 처리는 스텝 S21로 복귀하여, 후속 처리가 반복된다.
스텝 S25에서의 판정 결과가 긍정인 경우, 처리는 스텝 S26으로 진행된다. 스텝 S26에서, RTCP 처리부(50)는, 수신되는 RTCP 패킷에 저장되어 있는 타임 스탬프 보정량 TS_OFFSET을 지연 계측부(49)에 통지한다. 이에 응답하여, 지연 계측부(49)는, 이후, 스텝 S22에서의 처리가 실행될 때 사용된 타임 스탬프 보정량 TS_OFFSET을, 통지된 타임 스탬프 보정량으로 갱신한다. 스텝 S21 내지 S26에서의 처리는 상술된 비디오 신호 전송 처리가 종료될 때까지 반복하여 실행된다는 점에 주의하여야 한다. 이상으로, 수신 장치(13)에 의한 지연 계측 처리의 설명을 마친다.
다음으로, 도 5는 상술된 비디오 신호 처리와 병행되는 송신 장치(12)에 의한 보정 처리를 설명하는 흐름도이다.
스텝 S31에서, RTCP 처리부(31)는, 상술한 스텝 S24에서의 처리로서 수신 장치(13)의 RTCP 처리부(50)에 의해 송신된 RTCP 패킷이 통신부(25)에 의해 수신되는지 여부를 판정한다. 판정 결과가 긍정인 경우, 처리는 스텝 S32로 진행된다.
스텝 S32에서, RTCP 처리부(31)는, 수신된 RTCP 패킷에 저장된 평균 전송 지연 값 Da와 현재의 전송 지연 정보 D_OFFSET을 비교하여, 그 차가 소정 임계값 이상인지의 여부를 판정한다. 이 판정 결과가 긍정인 경우, 처리는 스텝 S33으로 진행된다. 스텝 S33에서, RTCP 처리부(31)는, 평균 전송 지연 값 Da를 새로운 전송 지연 정보 D_OFFSET으로서 미디어 위상 제어부(28)와 타임 스탬프 제어부(29)에 통지한다. 이 후, 처리는 스텝 S34로 진행된다.
스텝 S34에서, 미디어 위상 제어부(28)는, RTCP 처리부(31)로부터 통지된 전송 지연 정보 D_OFFSET을 사용하여, 이하의 식 2에 따라, 미디어 위상 정보량 M_OFFSET을 결정한다:
[식 2]
미디어 위상 보정량 M_OFFSET = 전송 지연 정보 D_OFFSET + 송신 장치(12)에서의 각 부의 처리 시간(알려진 값) + 수신 장치(13)에서의 지터 흡수 버퍼(43)에 후속하는 단에서의 처리 시간(알려진 값)
그러나, 송신 장치(12)에서의 각 부의 처리 시간(알려진 값) 및 수신 장치(13)에서의 지터 흡수 버퍼(43)에 후속하는 단에서의 처리 시간(알려진 값)은 미리 측정되어, 미디어 위상 제어부(28)에 설정될 필요가 있다는 점에 주의하여야 한다.
또한, 미디어 위상 제어부(28)는, 기준 신호 생성부(27)로부터 입력되는 기준 신호의 위상을 미디어 위상 보정량 M_OFFSET까지 점진적으로 선행시켜 카메라(11)에 공급한다. 이러한 방식으로, 기준 신호의 위상을 점진적으로 조정함으로써, 보정이 수행되는 기간 중에 비디오 신호에 발생될 수 있는 비디오 간섭 등을 감소시키는 것이 가능하다.
한편, 타임 스탬프 제어부(29)는, RTCP 처리부(31)로부터 통지되는 전송 지연 정보 D_OFFSET를 사용하여, 이하의 식 3에 따라, 타임 스탬프 보정량 TS_OFFSET을 결정한다:
[식 3]
타임 스탬프 보정량 TS_OFFSET = 전송 지연 정보 D_OFFSET x 타임 스탬프 주파수
또한, 미디어 위상 제어부(28)와 마찬가지로, 타임 스탬프 제어부(29)는, 기준 신호 생성부(27)에 의한 기준 신호에 기초하여, 시스템 클럭을 나타내는 타임 스탬프 TS에 부가되는 값이 타임 스탬프 보정량 TS_OFFSET까지 점진적으로 증가되도록 타임 스탬프 카운터(30)를 제어하여, 보정된 타임 스탬프 S_TS를 RTP 처리부(23)에 통지한다. 그러나, 타임 스탬프 TS에 부가되는 값에 있어서의 변화는, 비디오 신호의 프레임에서 라인 단위로 수행되고, 타임 스탬프 TS에 부가되는 값은 동일 라인에서 변동하지 않는다는 점에 주의하여야 한다.
이러한 방식으로, 타임 스탬프 S_TS를 점진적으로 보정함으로써, 보정이 수행되는 기간 중 비디오 신호에 발생될 수 있는 비디오 간섭 등을 감소시키는 것이 가능하다.
이 후, 처리는 스텝 S35로 진행된다. 스텝 S31에서의 판정 결과가 부정일 경우, 스텝 S32 내지 S34는 건너 뛰고, 처리는 스텝 S35로 진행된다. 마찬가지로, 스텝 S32에서의 판정 결과가 부정일 경우, 스텝 S33 내지 S34는 건너 뛰고, 처리는 스텝 S35로 진행된다.
스텝 S35에서, 전송 지연 정보 D_OFFSET을 저장하고 있는 RTCP 패킷이 이전 시간에 송신되고 난 이후 소정 주기의 시간이 경과되면, RTCP 처리부(31)는, 최근 전송 지연 정보 D_OFFSET을 저장하고 있는 RTCP 패킷을 생성하여, 통신부(25)로부터 수신 장치(13)의 RTCP 처리부(50)에 송신한다.
스텝 S31 내지 S35에서의 처리는 상술한 비디오 신호 전송 처리가 종료될 때까지 반복하여 실행된다. 이상, 송신 장치(12)에 의한 보정 처리의 설명을 마친다.
상술한 동기 전송 시스템(10)에 의한 동작에 따르면, 네트워크(14)에서의 전송 지연을 고려하여, 송신 장치(12)로부터 송신되는 비디오 신호의 위상과 타임 스탬프가 오프셋된다. 이에 따르면, 전송된 비디오 신호가 수신 장치(13)에 의해 재생될 때, 비디오 간섭을 억제하는 것이 가능하다.
<변형예>
도 6은 수신 장치(13)의 다른 구성예를 도시하고 있다. 도 6에 도시된 수신 장치(13)는 도 1에 도시된 수신 장치(13)와 구성 요소는 공통이지만, 지터 흡수 버퍼(43)의 배치가 변경된 것이다.
이 경우, 송신 장치(12)의 타임 스탬프 제어부(29)는, 이하의 식 4에 따라, 타임 스탬프 보정량 TS_OFFSET을 결정하도록 구성된다:
[식 4]
타임 스탬프 보정량 TS_OFFSET = (전송 지연 정보 D_OFFSET + 송신 장치(12)에서의 각 부의 처리 시간(알려진 값) + 수신 장치(13)의 지터 흡수 버퍼(43) 이전 단에서의 처리 시간(알려진 값)) x 타임 스탬프 주파수
또한, RTP 처리부(42)와 RTCP 처리부(50)는, 패킷 손실률 및 버스트 패킷 손실률의 계측을 수행하고, 계측 결과를 송신 장치(12)에 통지하며, 계측 결과에 따라, FEC 처리부(22)에 의한 리던던트 코딩의 단위가 변경될 수 있다. 이에 의하면, 네트워크 환경에 버스트 패킷 손실 내성이 적용될 수 있다. 그러나, 이 경우, FEC 처리 시간이 변경되므로, 식 2 및 식 4에서 '알려진 값'들이 변경될 필요가 있다는 점에 주의하여야 한다.
또한, RTP 처리부(42)와 RTCP 처리부(50)는, 네트워크 지터의 계측을 수행하고, 계측 결과에 따라, 지터 흡수 버퍼(43)에서의 데이터 유지 시간이 변경되고, 변경 결과는 송신 장치(12)에 통지될 수 있다. 이에 의하면, 지터 내성이 향상될 수 있다. 그러나, 이 경우, 지터 흡수 버퍼에서의 처리 시간이 변경되므로, 식 2 및 식 4에서 '알려진 값'들이 변경될 필요가 있다는 점에 주의하여야 한다.
비디오 신호 외에도, 본 발명은 오디오 신호 등의 멀티미디어 데이터가 전송되는 경우에 적용될 수 있다는 점에 주의하여야 한다. 따라서, 본 발명은, 오디오 전용 신호, 비디오 전용 신호 및 오디오와 비디오 양자 모두를 포함하는 신호에 대해 사용될 수 있다.
그런데, 상술한 송신 장치(12) 또는 수신 장치(13)에 의한 일련의 처리는, 하드웨어에 의해 실행될 수도 있고, 소프트웨어에 의해 실행될 수도 있다. 일련의 처리가 소프트웨어에 의해 실행되는 경우, 이러한 소프트웨어를 구성하는 프로그램이 컴퓨터에 설치된다. 여기서, 컴퓨터는, 전용 하드웨어에 내장되는 컴퓨터, 예를 들어, 각종 프로그램을 설치하는 것에 의해 각종 기능을 실행할 수 있는 범용 컴퓨터 등을 포함한다.
도 7은 상술한 일련의 처리를 프로그램에 의해 실행할 수 있는 컴퓨터의 하드웨어 구성을 도시하는 블럭도이다.
컴퓨터(100)에서, CPU(Central Processing Unit)(101), ROM(Read Only Memory)(102) 및 RAM(Random Access Memory)(103)은 버스(104)에 의해 상호 접속된다.
입력 및 출력 인터페이스(105)도 버스(104)에 접속된다. 입력부(106), 출력부(107), 기억부(108), 통신부(109) 및 드라이브(110)가 입력 및 출력 인터페이스(105)에 접속된다.
입력부(106)는 키보드, 마우스, 마이크로폰 등을 포함한다. 출력부(107)는 디스플레이, 스피커 등을 포함한다. 기억부(108)는 하드 디스크, 불휘발성 메모리 등을 포함한다. 통신부(109)는 네트워크 인터페이스 등을 포함한다. 드라이브(110)는 자기 디스크, 광 디스크, 광자기 디스크 또는 반도체 메모리 등의 리무버블 매체(111)를 구동한다.
상술한 바와 같이 구성되는 컴퓨터(100)에서, CPU(101)는, 예를 들어, 기억부(107)에 저장된 프로그램을, 입력 및 출력 인터페이스(105) 및 버스(104)를 통해, RAM(103)에 로드하여 실행함으로써, 상술한 일련의 처리가 수행된다.
컴퓨터(100)에 의해 실행되는 프로그램은, 본 명세서에서 설명된 순서에 따라 시계열 방식으로 처리가 수행되는 프로그램이거나, 또는 병렬로 아니면 호출이 행해지는 등의 필요한 타이밍으로 처리가 수행되는 프로그램일 수 있다는 점에 주의하여야 한다.
본 발명의 실시예들은 상술된 실시예에 국한되는 것이 아니라, 본 발명의 요지를 벗어나지 않는 범위 내에서 다양한 변형이 이루어질 수 있다는 점에 주의하여야 한다.
(1) 콘텐츠 신호를 수신하도록 구성된 수신기;
다른 장치로부터 지연 값을 수신하도록 구성된 지연 값 수신기;
상기 지연 값에 기초하여 타임 스탬프를 산출하도록 구성된 타임 스탬프 산출부; 및
상기 타임 스탬프를 포함하는 상기 콘텐츠 신호를 상기 다른 장치에 송신하도록 구성된 송신기
를 포함하는, 장치.
(2) (1)에 있어서, 상기 수신기는, 비디오 신호를 포함하는 상기 콘텐츠 신호를 수신하도록 구성된, 장치.
(3) (2)에 있어서, 상기 수신기는, 오디오 신호를 포함하는 상기 콘텐츠 신호를 수신하도록 구성된, 장치.
(4) (1)에 있어서, 상기 수신기는, 오디오 신호를 포함하는 상기 콘텐츠 신호를 수신하도록 구성된, 장치.
(5) (1) 내지 (4)에 있어서, 상기 지연 값에 기초하여 미디어 위상 보정을 산출하도록 구성된 미디어 위상 보정 산출부를 더 포함하는, 장치.
(6) (5)에 있어서, 상기 미디어 위상 보정 산출부는, 상기 지연 값 및 상기 장치에서의 처리 지연 시간에 기초하여 미디어 위상 보정을 산출하는, 장치.
(7) (6)에 있어서, 상기 수신기에 상기 콘텐츠 신호를 제공하는 카메라에 상기 미디어 위상 보정을 송신하는, 장치.
(8) (1) 내지 (7)에 따른 장치를 포함하는, 멀티미디어 데이터용 비동기 패킷 전송 네트워크 시스템.
(9) 콘텐츠 신호를 수신하는 단계;
다른 장치로부터 지연 값을 수신하는 단계;
상기 지연 값에 기초하여 타임 스탬프를 산출하는 단계; 및
상기 타임 스탬프를 포함하는 상기 콘텐츠 신호를 상기 다른 장치에 송신하는 단계
를 포함하는, 방법.
(10) 프로세서 상에 로드될 때, 상기 프로세서로 하여금, 하기의 각 단계를 포함하는 방법을 수행하게 하는 프로그램이 인코드된 비일시적 컴퓨터 판독가능 매체로서,
상기 방법은,
콘텐츠 신호를 수신하는 단계;
다른 장치로부터 지연 값을 수신하는 단계;
상기 지연 값에 기초하여 타임 스탬프를 산출하는 단계; 및
상기 타임 스탬프를 포함하는 상기 콘텐츠 신호를 상기 다른 장치에 송신하는 단계
를 포함하는, 비일시적 컴퓨터 판독가능 매체.
(11) 타임 스탬프를 포함하는 콘텐츠 신호를 다른 장치로부터 수신하도록 구성된 수신기;
상기 타임 스탬프 및 상기 타임 스탬프의 수신 시간에 기초하여, 지연 값을 산출하도록 구성된 지연 값 산출기; 및
상기 다른 장치가 상기 지연 값을 사용하여 이후 타임 스탬프를 산출하도록, 상기 지연 값을 상기 다른 장치에 송신하도록 구성된 송신기
를 포함하는, 장치.
(12) (11)에 있어서, 상기 수신기는, 비디오 신호를 포함하는 상기 콘텐츠 신호를 수신하도록 구성된, 장치.
(13) (12)에 있어서, 상기 수신기는, 오디오 신호를 포함하는 상기 콘텐츠 신호를 수신하도록 구성된, 장치.
(14) (11)에 있어서, 상기 수신기는, 오디오 신호를 포함하는 상기 콘텐츠 신호를 수신하도록 구성된, 장치.
(15) (11) 내지 (14)에 있어서, 상기 지연 값 산출기는, 복수의 패킷에 대한 상기 타임 스탬프에 기초하여 상기 지연 값을 산출하는, 장치.
(16) (11) 내지 (15)에 있어서, 상기 지연 값 산출기는, 복수의 패킷에 대한 상기 타임 스탬프 및 상기 타임 스탬프의 수신 시간에 기초하여 평균 지연 값을 산출하고,
상기 송신기는 상기 평균 지연 값을 상기 다른 장치에 송신하는, 장치.
(17) (11) 내지 (16)에 있어서, 상기 타임 스탬프에 기초하여 상기 콘텐츠 신호를 재생하도록 구성된 출력 디바이스를 더 포함하는, 장치.
(18) (11) 내지 (17)에 따른 장치를 포함하는 멀티미디어 데이터용 비동기 패킷 전송 네트워크 시스템.
(19) 타임 스탬프를 포함하는 콘텐츠 신호를 다른 장치로부터 수신하는 단계;
상기 타임 스탬프 및 상기 타임 스탬프의 수신 시간에 기초하여 지연 값을 산출하는 단계; 및
상기 다른 장치가 상기 지연 값을 사용하여 이후 타임 스탬프를 산출하도록, 상기 지연 값을 상기 다른 장치에 송신하는 단계
를 포함하는, 방법.
(20) 프로세서 상에 로드될 때, 상기 프로세서로 하여금, 하기의 각 단계를 포함하는 방법을 수행하게 하는 프로그램이 인코드된 비일시적 컴퓨터 판독가능 매체로서,
상기 방법은,
타임 스탬프를 포함하는 콘텐츠 신호를 다른 장치로부터 수신하는 단계;
상기 타임 스탬프 및 상기 타임 스탬프의 수신 시간에 기초하여 지연 값을 산출하는 단계; 및
상기 다른 장치가 상기 지연 값을 사용하여 이후 타임 스탬프를 산출하도록, 상기 지연 값을 상기 다른 장치에 송신하는 단계
를 포함하는, 비일시적인 컴퓨터 판독가능 매체.
10 : 동기 전송 시스템
11 : 카메라
12 : 송신 장치
13 : 수신 장치
14 : 네트워크
21 : 인코더
22 : FEC 처리부
23 : RTP 처리부
24 : 평활화부
25 : 통신부
26 : 고정밀도 클럭 동기부
27 : 기준 신호 생성부
28 : 미디어 위상 제어부
29 : 타임 스탬프 제어부
30 : 타임 스탬프 카운터
41 : 통신부
42 : RTP 처리부
43 : 지터 흡수 버퍼
44 : FEC 처리부
45 : 디코더
46 : 기준 신호 생성부
47 : 고정밀도 클럭 동기부
48 : 타임 스탬프 카운터
49 : 지연 계측부
50 : RTCP 처리부

Claims (20)

  1. 콘텐츠 신호를 수신하도록 구성된 수신기;
    다른 장치로부터 지연 값을 수신하도록 구성된 지연 값 수신기;
    상기 지연 값에 기초하여 타임 스탬프를 산출하도록 구성된 타임 스탬프 산출부; 및
    상기 타임 스탬프를 포함하는 상기 콘텐츠 신호를 상기 다른 장치에 송신하도록 구성된 송신기
    를 포함하는, 장치.
  2. 제1항에 있어서,
    상기 수신기는, 비디오 신호를 포함하는 상기 콘텐츠 신호를 수신하도록 구성된, 장치.
  3. 제2항에 있어서,
    상기 수신기는, 오디오 신호를 포함하는 상기 콘텐츠 신호를 수신하도록 구성된, 장치.
  4. 제1항에 있어서,
    상기 수신기는, 오디오 신호를 포함하는 상기 콘텐츠 신호를 수신하도록 구성된, 장치.
  5. 제1항에 있어서,
    상기 지연 값에 기초하여 미디어 위상 보정을 산출하도록 구성된 미디어 위상 보정 산출부를 더 포함하는, 장치.
  6. 제5항에 있어서,
    상기 미디어 위상 보정 산출부는, 상기 지연 값 및 상기 장치에서의 처리 지연 시간에 기초하여 미디어 위상 보정을 산출하는, 장치.
  7. 제6항에 있어서,
    상기 수신기에 상기 콘텐츠 신호를 제공하는 카메라에 상기 미디어 위상 보정을 송신하는, 장치.
  8. 제1항에 따른 장치를 포함하는, 멀티미디어 데이터용 비동기 패킷 전송 네트워크 시스템.
  9. 콘텐츠 신호를 수신하는 단계;
    다른 장치로부터 지연 값을 수신하는 단계;
    상기 지연 값에 기초하여 타임 스탬프를 산출하는 단계; 및
    상기 타임 스탬프를 포함하는 상기 콘텐츠 신호를 상기 다른 장치에 송신하는 단계
    를 포함하는, 방법.
  10. 프로세서 상에 로드될 때, 상기 프로세서로 하여금, 하기의 각 단계를 포함하는 방법을 수행하게 하는 프로그램이 인코드된 비일시적(non-transitory) 컴퓨터 판독가능 매체로서,
    상기 방법은,
    콘텐츠 신호를 수신하는 단계;
    다른 장치로부터 지연 값을 수신하는 단계;
    상기 지연 값에 기초하여 타임 스탬프를 산출하는 단계; 및
    상기 타임 스탬프를 포함하는 상기 콘텐츠 신호를 상기 다른 장치에 송신하는 단계
    를 포함하는, 비일시적 컴퓨터 판독가능 매체.
  11. 타임 스탬프를 포함하는 콘텐츠 신호를 다른 장치로부터 수신하도록 구성된 수신기;
    상기 타임 스탬프 및 상기 타임 스탬프의 수신 시간에 기초하여, 지연 값을 산출하도록 구성된 지연 값 산출기; 및
    상기 다른 장치가 상기 지연 값을 사용하여 이후 타임 스탬프를 산출하도록, 상기 지연 값을 상기 다른 장치에 송신하도록 구성된 송신기
    를 포함하는, 장치.
  12. 제11항에 있어서,
    상기 수신기는, 비디오 신호를 포함하는 상기 콘텐츠 신호를 수신하도록 구성된, 장치.
  13. 제12항에 있어서,
    상기 수신기는, 오디오 신호를 포함하는 상기 콘텐츠 신호를 수신하도록 구성된, 장치.
  14. 제11항에 있어서,
    상기 수신기는, 오디오 신호를 포함하는 상기 콘텐츠 신호를 수신하도록 구성된, 장치.
  15. 제11항에 있어서,
    상기 지연 값 산출기는, 복수의 패킷에 대한 상기 타임 스탬프에 기초하여 상기 지연 값을 산출하는, 장치.
  16. 제11항에 있어서,
    상기 지연 값 산출기는, 복수의 패킷에 대한 상기 타임 스탬프 및 상기 타임 스탬프의 수신 시간에 기초하여 평균 지연 값을 산출하고,
    상기 송신기는 상기 평균 지연 값을 상기 다른 장치에 송신하는, 장치.
  17. 제11항에 있어서,
    상기 타임 스탬프에 기초하여 상기 콘텐츠 신호를 재생하도록 구성된 출력 디바이스를 더 포함하는, 장치.
  18. 제11항에 따른 장치를 포함하는 멀티미디어 데이터용 비동기 패킷 전송 네트워크 시스템.
  19. 타임 스탬프를 포함하는 콘텐츠 신호를 다른 장치로부터 수신하는 단계;
    상기 타임 스탬프 및 상기 타임 스탬프의 수신 시간에 기초하여 지연 값을 산출하는 단계; 및
    상기 다른 장치가 상기 지연 값을 사용하여 이후 타임 스탬프를 산출하도록, 상기 지연 값을 상기 다른 장치에 송신하는 단계
    를 포함하는, 방법.
  20. 프로세서 상에 로드될 때, 상기 프로세서로 하여금, 하기의 각 단계를 포함하는 방법을 수행하게 하는 프로그램이 인코드된 비일시적 컴퓨터 판독가능 매체로서,
    상기 방법은,
    타임 스탬프를 포함하는 콘텐츠 신호를 다른 장치로부터 수신하는 단계;
    상기 타임 스탬프 및 상기 타임 스탬프의 수신 시간에 기초하여 지연 값을 산출하는 단계; 및
    상기 다른 장치가 상기 지연 값을 사용하여 이후 타임 스탬프를 산출하도록, 상기 지연 값을 상기 다른 장치에 송신하는 단계
    를 포함하는, 비일시적 컴퓨터 판독가능 매체.
KR1020147016741A 2011-12-26 2012-12-11 비동기 네트워크를 통해 멀티미디어 콘텐츠를 동기 전송하는 장치 및 방법 KR20140104969A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2011-283844 2011-12-26
JP2011283844A JP2013134119A (ja) 2011-12-26 2011-12-26 送信装置、送信方法、受信装置、受信方法、同期伝送システム、同期伝送方法、およびプログラム
PCT/JP2012/007892 WO2013099122A1 (en) 2011-12-26 2012-12-11 Apparatus and method for synchronized transmission of multimedia content over an asynchronous network

Publications (1)

Publication Number Publication Date
KR20140104969A true KR20140104969A (ko) 2014-08-29

Family

ID=47459066

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147016741A KR20140104969A (ko) 2011-12-26 2012-12-11 비동기 네트워크를 통해 멀티미디어 콘텐츠를 동기 전송하는 장치 및 방법

Country Status (7)

Country Link
US (1) US9407387B2 (ko)
EP (1) EP2798850B1 (ko)
JP (1) JP2013134119A (ko)
KR (1) KR20140104969A (ko)
CN (1) CN104025607A (ko)
BR (1) BR112014015167A8 (ko)
WO (1) WO2013099122A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102251148B1 (ko) * 2020-05-06 2021-05-12 (주)유브릿지 오디오-비디오 동기화 처리 방법
KR20230058919A (ko) * 2021-10-25 2023-05-03 주식회사 픽스트리 멀티뷰 서비스를 위한 다중 입력 영상 동기화 방법 및 시스템

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9806967B2 (en) * 2014-05-30 2017-10-31 Sony Corporation Communication device and data processing method
US9432144B2 (en) * 2014-09-12 2016-08-30 Ciena Corporation Precision time transfer systems and methods in optical networks
US9755932B1 (en) * 2014-09-26 2017-09-05 Juniper Networks, Inc. Monitoring packet residence time and correlating packet residence time to input sources
US9674480B2 (en) * 2014-10-01 2017-06-06 Teac Corporation Camera link recorder
US10298647B2 (en) * 2015-02-26 2019-05-21 Qualcomm Incorporated Delay compensation for broadcast adaptive bitrate streaming
CN104796606B (zh) * 2015-04-08 2017-11-28 无锡天脉聚源传媒科技有限公司 一种利用光传输实现时钟同步的方法及装置
US9838571B2 (en) * 2015-04-10 2017-12-05 Gvbb Holdings S.A.R.L. Precision timing for broadcast network
CN105847926A (zh) * 2016-03-31 2016-08-10 乐视控股(北京)有限公司 一种多媒体数据的同步播放方法及装置
CN109787861B (zh) * 2016-08-01 2021-03-02 北京大学 网络数据延迟控制方法
JP2018067761A (ja) * 2016-10-17 2018-04-26 富士通株式会社 無線制御装置、無線装置および処理方法
US10594395B2 (en) 2018-07-23 2020-03-17 Ciena Corporation Systems and methods for compensating coherent optics delay asymmetry in a packet optical network
US11283699B2 (en) 2020-01-17 2022-03-22 Vmware, Inc. Practical overlay network latency measurement in datacenter
US11240163B2 (en) * 2020-01-17 2022-02-01 Vmware, Inc. Practical overlay network latency measurement in datacenter
KR20210097285A (ko) * 2020-01-30 2021-08-09 삼성전자주식회사 이동통신 네트워크의 미디어 처리 및 전송에 대한 지연을 할당하기 위한 장치와 방법
US11570090B2 (en) 2020-07-29 2023-01-31 Vmware, Inc. Flow tracing operation in container cluster
US11552722B2 (en) 2020-12-10 2023-01-10 Ciena Corporation Precision time protocol using a coherent optical DSP frame
US11336533B1 (en) 2021-01-08 2022-05-17 Vmware, Inc. Network visualization of correlations between logical elements and associated physical elements
US11706109B2 (en) 2021-09-17 2023-07-18 Vmware, Inc. Performance of traffic monitoring actions
CN113839733B (zh) * 2021-09-28 2024-10-25 北京航空航天大学 一种用于光通信的时钟同步装置与方法
CN114448954A (zh) * 2021-12-30 2022-05-06 普强时代(珠海横琴)信息技术有限公司 一种静音处理方法以及装置、存储介质、电子装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI108692B (fi) * 1999-12-30 2002-02-28 Nokia Corp Menetelmä ja laite datapakettien prosessoinnin ajoittamiseksi
US7630357B2 (en) * 2004-09-14 2009-12-08 Broadcom Corporation Synchronization of distributed cable modem network components
JP4546202B2 (ja) * 2004-09-28 2010-09-15 キヤノン株式会社 映像受信装置とその制御方法とプログラム及び記憶媒体
JP4851118B2 (ja) 2005-05-23 2012-01-11 ソニー株式会社 撮像システム,撮像制御装置,垂直同期方法およびプログラム
US7571340B2 (en) * 2006-06-13 2009-08-04 Intel Corporation Eliminating receiver clock drift caused by voltage and temperature change in a high-speed I/O system that uses a forwarded clock
EP2124449A1 (en) * 2008-05-19 2009-11-25 THOMSON Licensing Device and method for synchronizing an interactive mark to streaming content
US8274998B2 (en) 2008-10-02 2012-09-25 Cortina Systems, Inc. Systems and methods for packet based timing offset determination using timing adjustment information
JP2010190635A (ja) 2009-02-17 2010-09-02 Sony Corp スレーブ装置、スレーブ装置の時刻同期化方法、マスタ装置および電子機器システム
JP4766128B2 (ja) 2009-02-27 2011-09-07 ソニー株式会社 スレーブ装置、スレーブ装置の時刻同期化方法および電子機器システム
JP5493471B2 (ja) * 2009-05-27 2014-05-14 ソニー株式会社 情報処理装置および方法
CN102577194B (zh) * 2009-08-25 2014-11-12 Sem技术公司 使分布式网络内时钟同步的系统和方法
CN102082697A (zh) 2009-11-27 2011-06-01 华为技术有限公司 通信路径不对称延时测量方法、装置和系统
EP2343845A3 (en) 2009-12-31 2011-10-19 Thomson Licensing Precise compensation of video propagation duration
EP2553861B1 (en) * 2010-03-29 2019-03-20 Telefonaktiebolaget LM Ericsson (publ) Methods and arrangements in optical network
JP2011234341A (ja) * 2010-04-09 2011-11-17 Sony Corp 受信装置およびカメラシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102251148B1 (ko) * 2020-05-06 2021-05-12 (주)유브릿지 오디오-비디오 동기화 처리 방법
KR20230058919A (ko) * 2021-10-25 2023-05-03 주식회사 픽스트리 멀티뷰 서비스를 위한 다중 입력 영상 동기화 방법 및 시스템

Also Published As

Publication number Publication date
US9407387B2 (en) 2016-08-02
US20140348184A1 (en) 2014-11-27
EP2798850B1 (en) 2021-03-31
CN104025607A (zh) 2014-09-03
BR112014015167A2 (pt) 2017-06-13
EP2798850A1 (en) 2014-11-05
JP2013134119A (ja) 2013-07-08
WO2013099122A1 (en) 2013-07-04
BR112014015167A8 (pt) 2017-07-04

Similar Documents

Publication Publication Date Title
KR20140104969A (ko) 비동기 네트워크를 통해 멀티미디어 콘텐츠를 동기 전송하는 장치 및 방법
US10454811B2 (en) Apparatus and method for de-jitter buffer delay adjustment
US8873928B2 (en) Audio and video synchronization apparatus and method in wireless communication network
US8750078B2 (en) Slave device, time synchronization method in slave device, master device, and electronic equipment system
JP6232870B2 (ja) 無線通信システム、無線通信方法、プログラム、及び記録媒体
JP2008527817A (ja) Ipを介してmpegストリームを伝送する方法、並びに、対応する装置、受信方法及び受信器
CN108933768B (zh) 视频帧的发送帧率的获取方法和装置
JP4042396B2 (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
EP2337392B1 (en) Time sequence number jumping detecting and processing method and device
JP5391964B2 (ja) クロック同期方法及びパケット通信システム
US20220360845A1 (en) Reception apparatus, reception method, and transmission and reception system
JP2020005063A (ja) 処理装置及びその制御方法、出力装置、同期制御システム、並びにプログラム
JP2005286749A (ja) 映像復号化装置およびそれを用いた映像伝送システム
JP5632711B2 (ja) 送信装置、受信装置及び伝送システム
KR101924183B1 (ko) 젠락 기능을 가진 멀티미디어 송수신 장치
JP5958008B2 (ja) ストリーム処理装置、ストリーム処理方法およびストリーム処理プログラム
JP2010136159A (ja) データ受信装置
JP5239405B2 (ja) Ts受信装置及びそれに用いるタイミング再生方法
KR20210125083A (ko) 방송 제어 장치, 방송 제어 방법, 프로그램, 및 기록 매체
JP2003163691A (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
US9438379B2 (en) Communication device, communication program, communication method, and information processing device
JP2019213091A (ja) 出力装置、処理装置、同期制御システム、制御方法及びプログラム
JP5441650B2 (ja) メディア受信装置
JP4874272B2 (ja) 映像信号処理装置および映像信号処理方法
JP4188402B2 (ja) 映像受信装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid