KR101587547B1 - 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법 및 이를 이용하는 실시간 영상 서비스 제공 시스템 - Google Patents

레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법 및 이를 이용하는 실시간 영상 서비스 제공 시스템 Download PDF

Info

Publication number
KR101587547B1
KR101587547B1 KR1020140070989A KR20140070989A KR101587547B1 KR 101587547 B1 KR101587547 B1 KR 101587547B1 KR 1020140070989 A KR1020140070989 A KR 1020140070989A KR 20140070989 A KR20140070989 A KR 20140070989A KR 101587547 B1 KR101587547 B1 KR 101587547B1
Authority
KR
South Korea
Prior art keywords
packet
system clock
delay time
time
transmission
Prior art date
Application number
KR1020140070989A
Other languages
English (en)
Other versions
KR20150142350A (ko
Inventor
이길수
정주호
Original Assignee
(주)티아이스퀘어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)티아이스퀘어 filed Critical (주)티아이스퀘어
Priority to KR1020140070989A priority Critical patent/KR101587547B1/ko
Publication of KR20150142350A publication Critical patent/KR20150142350A/ko
Application granted granted Critical
Publication of KR101587547B1 publication Critical patent/KR101587547B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L12/4013—Management of data rate on the bus
    • H04L12/40136—Nodes adapting their rate to the physical link properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

본 발명은 실시간 영상 서비스의 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법 및 이를 이용하는 실시간 영상 서비스 제공 시스템에 관한 것으로, 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법은, 송신 장치에서 제1패킷의 송신 시점에 제1 시스템 클럭을 상기 제1패킷에 포함하여 수신 장치로 전송하는 단계-여기서, 제1 시스템 클럭은 수신 장치의 제2 시스템 클럭과의 비교를 통해 상대 전송지연시간의 변화 추이를 탐지하는 데 이용됨-, 수신 장치로부터 변화 추이에 따른 네트워크 혼잡도의 혼잡도 정보를 수신하는 단계, 및 혼잡도 정보에 따라 영상 인코더의 비트레이트를 조정하는 단계를 포함한다.

Description

레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법 및 이를 이용하는 실시간 영상 서비스 제공 시스템{Method for Measuring Variation of Transmission Delay Time of Network for Rate Adaptation and Realtime Video Service System Using the Same}
본 발명의 실시예들은 네트워크 전송지연시간 변동 측정 기술에 관한 것으로, 보다 상세하게는, 실시간 영상 서비스의 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법 및 이를 이용하는 실시간 영상 서비스 제공 시스템에 관한 것이다.
영상 통화와 같이 송신 장치와 수신 장치 간의 지연이 일정 수준 이하로 요구되는 실시간 영상 서비스를 위해서는 영상 통화의 패킷 유실시 유실된 패킷에 대한 재전송 특성을 갖는 TCP(Transmission Control Protocol) 기반의 프로토콜이나 그와 유사한 구현 방법을 사용할 수 있으나, 그 경우 정상적인 ACK(acknowledge) 및 패킷 재전송에 따른 시간 지연 때문에 실시간성에 문제가 생길 수 있다.
그러한 이유로, 실시간 영상 전송은 주로 RTP(Real-time Transport Protocol) UDP(User Datagram Protocol) 형태로 수행된다. 하지만 UDP는 전송이 보장되지 않는 프로토콜이므로 네트워크 대역폭 이상의 비트레이트로 전송하거나 네트워크 혼잡도가 높아지는 경우 패킷 유실이 발생하게 되고 그에 의해 실시간 영상의 화질 열화와 같은 품질 저하가 발생한다.
영상 통화와 같은 실시간 영상 서비스에서는 해당 영상 및 음성 패킷이 높은 우선순위를 갖는 품질이 보장되는 네트워크를 사용하는 것이 좋은 방안 중 하나이나. 즉, 품질이 보장되지 않는 네트워크나 무선 환경이나 이동통신 환경에서는 신호 세기의 변화로 인해 패킷 유실이 발생하는 것을 막을 수는 없다. 따라서, 레이트 어댑테이션(Rate Adaptation)을 통해 네트워크 혼잡이 발생하지 않는 전송 대역폭을 추정하여 송신 비트레이트를 지속적으로 변경하고, 추가적으로 순방향 에러 정정(Forward Error Correction, FEC) 등을 통해 유실된 패킷에 대해 보완하는 것이 일반적이다.
종래의 레이트 어댑테이션 방법에서는 수신 장치에서 송신 장치로 송신 비트레이트를 조정하는데 필요한 정보가 담긴 피드백패킷을 전송하여 송신 비트레이트를 조정한다. 예를 들면, 피드백패킷을 통해 수신 장치에서 송신 장치로 패킷 유실, 지터(Jitter), 수신된 데이터량 등의 정보가 전송될 수 있으며, 전송된 정보 중에 패킷 유실에 관련된 정보가 송신 비트레이트를 조절하는 핵심 정보로 사용된다. 피드백패킷은 표준 RTCP(RTP control protocol) 패킷을 이용하여 구현될 수 있다. 하지만, 패킷 유실 정보 기반의 레이트 어댑테이션은 이미 패킷 유실이 발생하여 품질이 현격히 저하된 이후에야 비로써 송신 비트레이트가 조정되는 단점이 있다.
패킷 유실이 일어나는 이유에 대해서는 네트워크 혼잡도가 높아지게 되면 주로 라우터 등 중계 장치의 큐에 패킷이 쌓이게 되고 그에 의해 패킷의 전송 지연이 일어나며, 큐의 크기 이상 패킷이 쌓이면 패킷 유실이 발생한다. 즉, 패킷 유실 이전에 패킷의 전송 지연이 일어나며, 이러한 원리에 착안하여 패킷 전송 지연시간을 측정하여 레이트 어댑테이션을 위한 변수로 사용하기도 한다.
패킷 전송 지연시간을 추정하는 기존의 방법은 RTCP 패킷을 이용하여 구한 RTT(Round Trip Time)의 절반값을 사용하는 방법이 있다. 도 1은 표준 RTCP 패킷을 이용한 RTT 측정 방식을 설명한 도면이다.
도 1에 도시한 바와 같이, 송신 장치에서는 주기적으로 RTCP SR(Sender Report) 패킷을 수신 장치로 전송하며, 수신 장치에서는 RTCP SR 패킷 수신시 주기적으로 RTCP RR(Receiver Report) 패킷을 송신 장치로 전송한다. 수신 장치에서는 RTCP SR 패킷을 수신 즉시 그 응답으로서 RTCP RR 패킷을 곧바로 송신 장치에 보내는 것은 아니므로 수신 장치가 RTCP SR 패킷을 수신한 시각부터 RTCP RR 패킷을 송신한 시각 사이의 차이를 딜레이(Td)로 정의하여 RTCP RR 패킷에 넣어서 전송하도록 규격화되어 있다.
송신 장치 측에서 측정할 수 있는 RTT는 다음의 수학식 1의 공식으로 구할 수 있다.
Figure 112014054653350-pat00001
패킷 전송지연시간은 RTT의 절반값으로 정의할 수 있지만 다음과 같은 1.~3.의 단점이 있다.
1. RTT는 양방향 네트워크 상태에 고루 영향을 받으므로 단방향 전송인 영상 통화 등의 멀티미디어 공유에는 적합하지 않고 비대칭 네트워크인 이동통신망에서는 더욱 오차가 심해질 수 있다.
2. RTT 계산을 위해 RR(Receiver Report)은 SR(Sender Report)와 쌍을 이루어 전송되어야 하므로 반응속도가 느리다. 특히, RTCP 패킷이 유실되는 경우 SR 재전송시까지 상태정보를 갱신할 수 없는 것이 일반적이다.
3. 표준 규격의 RTCP 패킷은 불필요한 정보량이 많아 네트워크 대역폭 낭비를 야기할 수 있다.
국제출원 공개번호 WO 2012/125008 A2(2012.09.20)
본 발명은 종래 기술의 단점을 해결하기 위해 도출된 것으로, 본 발명의 일실시예에서는 패킷 전송지연시간의 측정을 이용하여 간단히 적용할 수 있으면서 추가적인 네트워크 부하 증가도 거의 없는 레이트 어댑테이션 구현 방안을 제공하고자 한다. 즉, 본 발명의 실시예에서는 실시간 영상 서비스의 레이트 어댑테이션을 위한 효율적인 네트워크 전송지연시간 변동 측정 방법 및 이를 이용하는 실시간 영상 서비스 시스템을 제공하고자 한다.
상기 기술적 과제를 해결하기 위하여 본 발명의 일 측면에 따른 실시간 영상 서비스의 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법은, 송신 장치에서 제1패킷의 송신 시점에 제1 시스템 클럭을 제1패킷에 포함하여 수신 장치로 전송하는 단계-여기서, 제1 시스템 클럭은 수신 장치의 제2 시스템 클럭과의 비교를 통해 상대 전송지연시간의 변화 추이를 탐지하는 데 이용됨-; 수신 장치로부터 변화 추이에 따른 네트워크 혼잡도의 혼잡도 정보를 수신하는 단계; 및 혼잡도 정보에 따라 영상 인코더의 비트레이트를 조정하는 단계를 포함한다.
본 발명의 다른 측면에 따른 실시간 영상 서비스의 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법은, 수신 장치에서 송신 장치로부터 송신 패킷을 수신하고, 수신한 송신 패킷에 포함된 제1 시스템 클럭을 수신 장치의 제2 시스템 클럭과 비교하여 상대 전송지연시간의 변화 추이를 탐지하고 변화 추이에 따른 네트워크 혼잡도를 추정한 후 추정된 혼잡도 정보를 송신 장치로 전송하는 일련의 과정을 포함한다. 여기서, 혼잡도 정보는 송신 장치의 레이트 조정기에서 송신 장치의 영상 인코더의 비트레이트를 조정하는데 이용된다.
일실시예에서, 실시간 영상 서비스의 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법은, 수신 장치에서 기준 클럭을 점진적으로 증가시켜 송신 장치와 수신 장치의 시스템 클럭 증가 속도 차이를 보정하는 것을 더 포함한다. 여기서, 기준 클럭은 제2 시스템 클럭에서 제1 시스템 클럭을 뺀 것이다.
일실시예에서, 실시간 영상 서비스의 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법은, 수신 장치에서 상대 전송지연시간의 선형 회귀 분석을 통해 네트워크 혼잡도의 변화 추이를 추정하는 것을 더 포함한다.
일실시예에서, 제1 시스템 클럭은 UDP(User Datagram Protocol) 패킷의 타임스탬프를 대체하도록 부가될 수 있다.
본 발명의 또 다른 측면에 따른 실시간 영상 서비스 제공 시스템은, 네트워크를 통해 수신 장치와 연결되는 송신 장치로서, 수신 장치로 전송할 영상을 부호화하는 영상 인코더; 영상 인코더에서 부호화된 영상 데이터를 패킷화하는 패킷타이저; 패킷타이저에서 패킷화된 제1패킷을 수신 장치로 송신하는 패킷 송신기; 패킷 송신기에 결합하여 제1패킷의 송신 전에 제1패킷에 제1 시스템 클럭을 부가하는 시스템시각 주입기; 및 수신 장치로부터 제1 시스템 클럭을 토대로 추정한 네트워크 혼잡도의 혼잡도 정보를 수신하고 수신한 혼잡도 정보에 기초하여 영상 인코더의 비트레이트를 제어하는 레이트 조정기를 포함한다.
본 발명의 또 다른 측면에 따른 실시간 영상 서비스 제공 시스템은, 네트워크를 통해 송신 장치와 연결되는 수신 장치로서, 송신 장치로부터 제1패킷을 수신하는 패킷 수신기; 패킷 수신기의 제1패킷을 파싱하는 디패킷타이저; 디패킷타이저에서 파싱된 영상 데이터를 복호화하는 영상 디코더; 패킷 수신기에 수신된 제1패킷의 수신 시점에 대한 제2 시스템 클럭을 생성하는 시스템시각 주입기; 제1패킷에 포함된 제1 시스템 클럭과 상기 제2 시스템 클럭을 비교하여 상대 송신 지연 시간을 계산하는 상대 전송지연시간 계산부; 및 상대 송신 지연 시간을 분석하여 변화 추이를 추정하고, 추정된 변화 추이에 따른 네트워크 혼잡도의 혼잡도 정보를 송신 장치로 전송하는 네트워크 혼잡도 추정부-여기서, 혼잡도 정보는 송신 장치의 레이트 조정기에서 송신 장치의 영상 인코더의 비트레이트를 조정하는데 이용됨-를 포함하는 실시간 영상 서비스 제공 시스템을 제공한다.
일실시예에서, 수신 장치는 기준 클럭을 점진적으로 증가시켜 송신 장치와의 시스템 클럭 증가 속도 차이를 보정하되, 여기서 기준 클럭은 제2 시스템 클럭에서 제1 시스템 클럭을 뺀 것이다.
일실시예에서, 네트워크 혼잡도 추정부는, 상대 전송지연시간의 선형 회귀 분석을 통해 네트워크 혼잡도의 변화 추이를 추정한다.
일실시예에서, 제1 시스템 클럭은 UDP 패킷에서 타임스탬프 대신 삽입될 수 있다.
본 발명에 의하면, 안정적인 영상 서비스를 위한 기존의 레이트 어댑테이션의 방법에서 고려되는 요소 중 화질 열화가 일어나기 전에 전송 레이트를 조절할 수 있는 가장 효과적이라고 판단되는 패킷 전송 지연시각의 측정을 이용하여 간단히 적용할 수 있고 추가적인 네트워크 부하도 거의 없는 레이트 어댑테이션 구현 방안을 제공하며, 그에 의해 효율적인 영상 전송 서비스를 구현할 수 있도록 한다.
즉, 안정적인 영상 서비스를 위해서는 네트워크 상태 변화에 적응할 수 있는 레이트 어댑테이션의 적용이 필요하지만 충분한 효과가 기대되는 방법에 대해서는 그 적용이 단순하지 않다. 특히, 기존에 이미 영상 전송 기능이 구현되어 있는 경우에 송신 장치, 수신 장치 및 네트워크에 적지 않은 수정이 필요하다. 하지만, 본 실시예에 의하면, 비교적 간단하고 추가적인 네트워크 부하가 거의 없는 방법으로서 기존에 구현된 환경이나 사항에 많은 수정을 가하지 않고 효과적으로 레이트 어댑테이션 기능을 구현할 수 있는 효과가 있다.
또한, 본 발명에 의하면, 기본적으로 UDP(User Datagram Protocol)로 대용량 데이터를 전송해야 하는 서비스로서, 네트워크 상황에 따라 전송 레이트를 조정하여야 하는 통신 시스템에 적용하여 사용할 수 있는 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법 및 시스템을 제공할 수 있다.
또한, 본 발명에 의하면, 주로 영상 전송을 필요로 하는 모든 서비스에 적용할 수 있으며, 특히 실시간성이 중요한 영상 통화 서비스 등에 활용할 수 있는 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법 및 시스템을 제공할 수 있다.
또한, 본 발명에 의하면, 일반 음성 통화와 동시에 영상 전송을 하는 실시간 영상 공유 서비스에 적용할 수 있고, 그 경우 실시간성이 보장되어 음성 통화와 동기화에 근접하여 영상을 전송할 수 있는 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법 및 시스템을 제공할 수 있다.
도 1은 표준 RTCP(RTP control protocol) 패킷을 이용한 RTT(Round Trip Time) 측정 방식에 대한 예시도
도 2는 본 발명의 일실시예에 따른 실시간 영상 서비스의 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법을 이용하는 실시간 영상 서비스 제공 시스템의 블록도
도 3은 본 발명의 다른 실시예에 따른 실시간 영상 서비스의 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법의 상대 지연시간 측정 과정에 대한 순서도
이하, 첨부 도면을 참조하여 본 발명에 의한 실시예들을 상세하게 설명한다.
본 발명의 실시예에 따른 네트워크 전송지연시간 변동 측정 방법은, 실시간 멀티미디어 전송에 있어서 네트워크 상태 변화에 따라 송신 비트 레이트를 조정하는 레이트 어댑테이션을 구현하는데 필요한 기술이다.
본 실시예의 네트워크 전송지연시간 변동 측정 방법에서 구현하는 레이트 어댑테이션 방법을 기존의 레이트 어댑테이션 방법과 비교하여 그 특징적인 부분을 기술하면 다음과 같다.
전송 장치에서, 패킷 전송 시점의 시스템 클럭을, 전송할 패킷에 주입한다.
수신 장치에서, 수신된 패킷에서 전송 시점의 시스템 클럭을 추출하여 기준 클럭을 설정 또는 갱신하고 패킷의 상대적인 전송지연시간을 계산한다.
또한, 송신 장치와 수신 장치 간의 시스템 클럭 증가 속도 차이에 따른 오차를 자동 보정하기 위해 기준 클럭을 조금씩 증가시킨다.
또한, 수신 장치에서, 확인된 전송지연시간의 변화 추이를 계산하여 송신 장치로 피드백 패킷을 보낸다.
본 실시예에 의하면, 실시간 영상 전송 방법의 구현에 있어서 네트워크 혼잡도 변화에 따라 전송 비트레이트를 동적으로 변경하여 영상 품질의 열화를 방지하는 레이트 어댑테이션 적용에 관련된 것으로서, 특히 패킷의 전송 지연시간을 기반으로 한 레이트 어댑테이션 즉, 네트워크 혼잡도가 증가하면 패킷의 전송 지연시간이 증가한다는 현상을 이용한 레이트 어댑테이션 기법을 적용함에 있어서 패킷 전송 지연시간의 절대값 자체보다는 패킷 전송 지연시간의 상대적 변화 추이를 확인할 수 있는 간단한 방법을 제공함으로써 효과적인 실시간 영상 서비스에서의 레이트 어댑테이션 방법을 제공할 수 있다.
실시예1
도 2는 본 발명의 일실시예에 따른 실시간 영상 서비스의 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법을 이용하는 실시간 영상 서비스 제공 시스템의 블록도이다.
일반적인 영상 전송 서비스의 흐름은 송신 장치에서는 영상 인코더와 패킷타이저(packetizer) 그리고 패킷 송신기로 구성되고 네트워크를 통해 전달된 패킷은 수신 장치에서는 패킷 수신기, 디패킷타이저(depacketizer), 그리고 영상 디코더로 연결된다.
도 1을 참조하면, 본 실시예에 따른 실시간 영상 서비스 제공 시스템은, 네트워크를 통해 연결되는 송신 장치(10)와 수신 장치(20)를 포함하고, 여기서 송신 장치(10)는 영상 인코더(11), 패킷타이저(12), 패킷 송신기(13), 시스템시각 주입기(14) 및 레이트 조정기(15)를 포함하고, 수신 장치(20)는 패킷 수신기(21), 디패킷타이저(22), 영상 디코더(24), 시스템시각 주입기(24), 상대 전송 지연시간 계산부(25) 및 네트워크 혼잡도 추정부(26)를 포함한다.
시스템시각 주입기(14)는 제1 시스템시각 주입기로 지칭될 수 있고, 패킷 송신기(13)에 결합하여 송신 장치(10)에서 수신 장치(20)로 전송되는 RTCP SR 패킷의 전송 시점에 대한 제1시간을 해당 송신 패킷에 주입한다.
레이트 조정기(15)는 수신 장치(20)의 네트워크 혼잡도 추정부(26)로부터 받은 혼잡도 정보를 토대로 실시간 영상 서비스의 비트레이트가 조정되도록 영상 인코더(11)에 제어 신호를 인가한다. 여기서, 혼잡도 정보는 실시간 영상 서비스를 위한 송신 영상 신호의 비트레이트 조정용 참조값일 수 있다.
시스템시각 주입기(24)는 제2 시스템시각 주입기로 지칭될 수 있고, 패킷 수신기(21)에 결합하여 송신 장치(10)로부터 수신한 RTCP SR 패킷의 수신 시점에 대한 제2시간을 상대 전송 지연시간 계산부(25)에 제공한다.
상대 전송 지연시간 계산부(25)는 RTCP SR 패킷을 파싱하여 얻은 제1시간과 시스템시간 주입기(24)로부터 얻은 제2시간에 기초하여 송신 장치(10)로부터 수신한 특정 패킷의 지연 시간 변동을 산출한다. 상대 전송 지연시간 계산부(25)는 수신 패킷의 상대 지연 시간 변동을 산출하는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부로 구현될 수 있다.
네트워크 혼잡도 추정부(26)는 상대 전송 지연시간 계산부(25)에서 구한 상대 지연 시간을 분석하여 네트워크 혼잡도의 변화 추이를 추정한다. 네트워크 혼잡도 추정부(26)에서 추정된 네트워크 혼잡도의 변화 추이를 혼잡도 정보로서 송신 장치(10)의 레이트 조정기(15)에 전달된다.
본 실시예에 의하면, 패킷 송신기(13)에서 시스템 시각을 패킷에 주입하고, 패킷 수신기에서 패킷에 주입된 송신 장치의 시스템 시각으로부터 상대 전송 지연시간을 계산하고, 수신 장치의 시스템 시각을 변형한 후 네트워크의 혼잡도를 추정하고, 혼잡도의 변화 추이를 송신 장치에 전달하여 송신 영상의 비트레이트를 조정하도록 함으로써 실시간 영상 서비스의 레이트 어댑테이션을 효율적으로 최적화할 수 있다.
실시예2
패킷 전송지연시간의 정확한 측정은 송신 장치와 수신 장치의 시스템 클럭이 별도의 장치를 사용해서 정확히 동기화되어 있는 경우 패킷 송신 시점의 클럭과 패킷 수신 시점의 클럭 차이로 정의된다. 하지만, 두 장치 간의 시스템 클럭이 동기화되어 있지 않더라도 송신 장치와 수신 장치의 시스템 클럭 증가 속도가 동일하다는 가정하에서는 송신 장치에서 1번째 패킷이 송신되는 클럭과 수신 장치에서 해당 패킷이 수신되는 클럭을 기준으로 삼으면 상대적인 변화는 알아낼 수 있다.
즉, N번째 패킷의 전송지연시간과 M번째 패킷의 전송지연 시간과의 차이는 다음의 수학식 2와 같이 정의할 수 있다.
Figure 112014054653350-pat00002
수학식 2에서, TSM은 M번째 패킷 송신시 송신 장치의 시스템 클럭을, TRM은 M번째 패킷 수신시 수신 장치의 시스템 클럭을, DM은 M번째 패킷의 실제 전송지연시간을 각각 나타내며, TSN은 N번째 패킷 송신시 송신 장치의 시스템 클럭을, TRN은 N번째 패킷 수신시 수신 장치의 시스템 클럭을, DN은 N번째 패킷의 실제 전송지연시간을 각각 나타낸다. 여기서, N은 M보다 큰 자연수이다.
위의 수학식 2에서 N번째 패킷의 실제 전송지연 시간을 0으로 하여 기준으로 삼고, M번째 패킷의 상대적인 전송지연 시간을 DRelM이라고 정의하면 다음의 수학식 3과 같이 간단히 정의할 수 있다.
Figure 112014054653350-pat00003
수학식 3에서, Tdiffbase는 N번째 패킷의 전송지연시간으로 다음의 수학식 4와 같이 정의할 수 있으며, 기준클럭으로서 0으로 설정될 수 있다.
Figure 112014054653350-pat00004
위에서 설명한 바와 같이, 송신 장치에서 패킷 전송 시점에 시스템 클럭을 측정하고 패킷에 포함하여 수신 장치로 전송하면, 수신 장치는 수신한 패킷을 파싱하여 상대적인 전송지연시간을 측정할 수 있다. 특히, 전송하는 프로토콜이 RTP(Real-time Transport Protocol)라면 RTP의 타임스탬프를 송신 시점의 시스템 클럭을 저장하는데 사용할 수 있다.
표준 RTP의 구현 방법과 비교할 때, RTP 타임스탬프는 미디어의 재생 시각이지 전송 시각이 아니므로 인코더, 디코더, 플레이 버퍼 등의 요소에 의해 정확한 네트워크 지연 시간 변화 측정의 기준으로 삼기에는 정확성이 부족하다. 따라서 본 실시예에서는 RTP 송신 장치에서 RTP 타임스탬프를 재생시각 대신 송신 장치의 시스템 클럭으로 덮어씀으로써 네트워크 지연 시간 변화 측정의 기준으로 삼을 수 있다.
RTP UDP(User Datagram Protocol)의 경우 일반적으로 영상의 한 프레임의 크기가 최대 전송 단위(Maximum Transmission Unit, MTU)보다 크기 때문에 복수 개의 UDP 패킷으로 영상의 한 프레임으로 구성된다. 즉, 본 실시예에 의하면, 한 프레임의 영상을 구성하는 복수 개의 패킷들은 동일한 타임스탬프를 가진다.
따라서, 복수 개의 패킷이 영상의 한 프레임을 구성하는 경우에 있어서 해당 프레임의 첫번째 RTP 패킷에 대해서 전송 시각을 측정하고 RTP 타임스탬프로 덮어쓰고 나머지 RTP 패킷의 타임스탬프는 첫번째 RTP 패킷의 전송 시각으로 덮어쓰도록 한다. 이러한 구성에 의하면, RTP 표준 규격에서 벗어나지 않으므로 일반적인 재생기에서 재생 가능하다.
수신 장치에서의 처리 내용을 보면, 수신된 패킷의 타임스탬프는 패킷의 송신 시점에서의 송신 장치의 시스템 클럭이므로 수신 장치에서는 도 3에서와 같은 간단한 방법으로 패킷의 지연 시간 변동을 구할 수 있다.
도 3은 본 발명의 다른 실시예에 따른 실시간 영상 서비스의 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법의 상대 지연 시간 측정 과정에 대한 순서도이다.
도 3을 참조하면, 본 실시예에 따른 수신 장치에서의 상대 지연 시간 측정 과정은 먼저 패킷을 수신하고(S31), 계산 대상 패킷인가를 판단한다(S32). 계산 대상 패킷의 판단은 복수의 패킷들이 동일한 타임스탬프를 가졌는지 판단하는 것을 지칭한다.
다음, 계산 대상 패킷인 복수의 패킷들 중 첫번째 패킷인지를 판단한다(S33). 본 단계는 계산 대상 패킷 여부를 판단하는 단계(S32)에서 복수 개의 RTP 패킷이 한 개의 영상 프레임을 구성하는 경우와 같이 단일 프레임의 첫번째 패킷과 동일한 타임스탬프를 가진 나머지 패킷을 상대 지연 시간 계산 대상에서 제외하기 위한 것이다.
상기의 단계(S33)에서 계산 대상 패킷의 첫번째 패킷으로 판단되면, 첫번째 패킷의 타임스탬프를 이용하여 기준클럭을 설정한다(S34). 즉, 기준클럭 설정 단계(S34)는 송신장치의 시스템 클럭과 수신장치의 시스템 클럭의 차이를 구하는 단계로 단순하게는 다음의 수학식 5와 같이 구할 수 있다.
Figure 112014054653350-pat00005
다음, 기준클럭을 적용하여 기준클럭 설정에 이용된 패킷의 이전 혹은 직전 패킷의 상대 지연 시간을 계산한다(S35). 상대 지연 시간 계산 단계(S35)는 기 수신된 패킷의 상대적 지연 시간을 구하는 것으로 다음의 수학식 6과 같이 구할 수 있다.
Figure 112014054653350-pat00006
수학식 6에서 알 수 있듯이, 수신된 패킷의 지연 시간이 0보다 작은 경우 즉, 이전에 수신되었던 패킷들 중에서 지연 시간이 가장 긴 경우라면 해당 패킷의 지연 시간을 0으로 기준 잡고 기준 클럭을 다시 설정함으로써, 패킷 전송지연시간의 최소값이 0이 되도록 유지할 수 있다.
다음, 상대 지연 시간이 0보다 작은지를 판단한다(S36). 본 단계(S36)는 상기의 과정을 통해 구한 상대 지연 시간을 선형회귀 분석 등을 통해 변화 추이를 파악하여 지연 시간의 변화 추이를 확인하기 위한 과정이다.
예를 들어, x축을 시간으로 하고 y축을 지연 시간으로 하는 가장 단순한 최소제곱법에 의한 선형 회귀 분석의 경우, 상대 지연 시간 계산의 결과가 기울기와 절편으로 분석되었을 때, 기울기가 0보다 크면 네트워크 혼잡도가 증가하고 있는 상황이고 0보다 작으면 네트워크 혼잡도가 감소하고 있는 상황이라고 판단할 수 있다.
다음, 기준클럭의 재설정을 위해 송신 장치로 혼잡도 정보를 전송한다(S37). 본 단계(S37)에서는 상대 지연 시간에 대한 선형 회귀 분석 결과의 기울기가 특정 임계값 이상일 때 송신 비트레이트를 감소시키도록 송신 장치로 혼잡도 정보를 포함한 피드백 패킷을 전송하여 송신 장치에서 비트레이트를 감소시키도록 할 수 있다.
실시예3
한편, 네트워크 상황을 알지 못하고 최초 설정된 비트레이트로 전송시 초기 기준클럭이 적절히 설정되지 못해 오동작을 일으킬 가능성이 있다. 일반적인 네트워크 환경에서 크기가 작은 IP(Internet Protocol) 패킷의 전송 지연이 크기가 큰 IP 패킷보다 작으므로 최소화한 크기의 패킷을 실제 영상 패킷의 전송 시작 이전에 전송함으로써 현재 네트워크 상태의 최소 지연 시간에 보다 근접한 값에 접근할 수 있다. 또한, 도 2를 참조하여 앞서 설명한 송신 장치와 수신 장치 간 클럭 증가 속도 차이 보정을 위해 최소 지연 시간을 업데이트할 필요가 있으므로 주기적으로 작은 크기의 패킷을 전송할 필요가 있을 수 있다.
위에서 설명한 대로 패킷 전송지연시간의 정확한 측정은 송신 장치와 수신 장치의 시스템 클럭이 정확히 일치하는 경우 패킷의 송신 시점의 클럭과 수신 시점의 클럭 차이로 정의된다. 한편, 송신 장치와 수신 장치의 클럭을 1회 정확히 동기화시켰다 할지라도 송신 장치의 시스템 클럭과 수신 장치의 시스템 클럭은 서로 완벽하게 동일한 속도로 증가하지 않는다.
시스템 클럭의 동기화가 안정화된 상태에서 송신 장치의 시스템 클럭을 Cs, 수신 장치의 시스템 클럭을 Cr이라고 하면, 두 장치의 시스템 클럭 간의 관계는 간단한 선형 함수인 수학식 7의 함수 형태로 표현할 수 있다.
Figure 112014054653350-pat00007
수학식 7에서, A가 0이면 두 클럭의 증가속도가 정확히 동일한 경우이고, A가 0보다 크면 수신 장치의 시스템 클럭이 송신 장치의 시스템 클럭보다 더 빠르게 동작하는 경우이며, A가 0보다 작으면 송신 장치의 시스템 클럭이 수신 장치의 시스템 클럭보다 더 빠르게 동작하는 경우이다.
시간이 지날수록 두 장치 간의 시스템 클럭들 간의 차이는 벌어질 수 있으므로 이를 보정하기 위한 별도의 장치가 필요하며, 원칙대로 두 시스템 클럭을 동기화시킨다고 하면, 동기화 수행 시점을 언제부터 얼마만큼의 간격으로 할 것인지, 동기화 진행 중에 실제 패킷 전송은 어떻게 할 것인지, 시스템 클럭의 동기화를 위해 네트워크를 사용해야 한다면 동일한 네트워크를 사용하는 영상 전송에 영향을 미치지는 않는지 등의 고려해야할 요소가 증가하게 된다.
즉, 송신 장치와 수신 장치 간의 시스템 클럭 증가 속도의 차이는 상대적인 패킷 지연 시간 측정 방법에도 문제를 일으킬 수 있다. 하지만, 일반적인 상황에서 두 장치 간 시스템 클럭 증가 속도의 차이는 별로 크지 않으며, 따라서 본 실시예에서는 단순히 수신 장치의 시스템 클럭을 실제보다 더 느리게 동작하는 것처럼 조작하는 것으로 전술한 문제를 회피한다.
상술한 작동 원리를 설명하면 다음의 1. 및 2.와 같다.
1. 수신 장치의 시스템 클럭이 더 느리게 동작하는 경우, 실제 패킷 지연 시간의 변화가 전혀 없는 상태라면, 수학식 6을 만족하게 되므로 상대 지연 시간은 점차 감소하는 것으로 측정된다. 결국, 상대 지연 시간이 음수가 되는 경우가 발생하며, 그 경우 해당 패킷에 맞추어서 기준 클럭이 업데이트되도록 하여 자연스럽게 수신 장치의 시스템 클럭을 보정하여 송신 장치와 동기화시킬 수 있다.
2. 수신 장치의 시스템 클럭이 더 빠르게 동작하는 경우, 실제 패킷 전송지연시간의 변화가 전혀 없는 이상적인 상태라면 수신 장치의 시스템 시각이 송신 장치의 시스템 시각보다 빠르게 동작하기 때문에 패킷의 타임스탬프 증가폭이 수신 장치의 시스템 시각의 증가폭보다 작게 되며, 따라서 전송지연시간은 점점 증가하는 것으로 측정된다. 즉, 네트워크 혼잡도가 계속 증가하는 것으로 판단된다.
따라서, 이를 보정하기 위해 수신 장치의 시스템 시각을 항상 인위적으로 조금 느리게 동작하도록 조정한다. 이러한 조치에 의하면, 수신 장치의 시스템 클럭이 송신 장치의 시스템 클럭보다 느리게 증가할 것이고, 그에 의해 상기 1.의 보정기능과 동일한 원리에 의해 자연스럽게 수신 장치의 시스템 클럭이 보정될 수 있다.
위의 작동 원리에 의하면, 수학식 5의 기준클럭의 산정 공식은 아래의 수학식 8과 같이 수정될 수 있다.
Figure 112014054653350-pat00008
수학식 8에서, 기준클럭은 제2 시스템 클럭에 증가분을 더한 값에서 제1 시스템 클럭을 뺀 것에 대응하며, A는 보정된 수신 장치의 시스템 클럭 증가 속도가 송신 장치의 시스템 클럭 증가 속도보다 항상 빠르게 설정될 수 있는 가능한 작은 수(자연수)로 선택된다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10: 송신 장치
14: 시스템시각 주입기
15: 레이트 조정기
20: 수신 장치
24: 시스템시각 주입기
25: 상대 전송지연시간 계산부
26: 네트워크 혼잡도 추정부

Claims (8)

  1. 송신 장치가 데이터 패킷의 송신 시점에 제1 시스템 클럭을 상기 데이터 패킷에 포함하여 수신 장치로 전송하는 제1 단계-여기서, 상기 제1 시스템 클럭은 상기 수신 장치의 제2 시스템 클럭과의 비교를 통해 상대 전송지연시간의 변화 추이를 탐지하는 데 이용됨-;
    수신 장치가 상기 송신 장치로부터 수신한 데이터 패킷에 포함된 제1 시스템 클럭을 상기 수신 장치의 제2 시스템 클럭과 비교하여 상대 전송지연시간의 선형 회귀 분석을 통해 변화 추이를 탐지하고 상기 변화 추이에 따른 네트워크 혼잡도 를 추정하는 제2 단계;
    수신 장치가 상기 추정된 네트워크 혼잡도를 송신 장치로 전송하는 제3 단계; 및
    송신 장치가 상기 송신 장치로부터 수신한 네트워크 혼잡도에 따라 영상 인코더의 비트레이트를 조정하는 제4 단계
    를 포함하되,
    상기 제2 단계는, 상기 수신 장치가 기준 클럭을 점진적으로 증가시켜 상기 송신 장치와 상기 수신 장치의 시스템 클럭 증가 속도 차이를 보정하는 단계를 더 포함하되, 상기 기준 클럭은 상기 제2 시스템 클럭에 증가분을 더한 값에서 상기 제1 시스템 클럭을 뺀 것을 특징으로 하는 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 수신 장치로 전송할 영상을 부호화하는 영상 인코더; 상기 영상 인코더에서 부호화된 영상 데이터를 패킷화하는 패킷타이저; 상기 패킷타이저에서 패킷화된 제1패킷을 송신하는 패킷 송신기; 상기 패킷 송신기에 결합하여 상기 제1패킷의 송신 전에 상기 제1패킷에 제1 시스템 클럭을 부가하는 시스템시각 주입기; 및 상기 수신 장치로부터 상기 제1 시스템 클럭을 토대로 추정한 네트워크 혼잡도의 혼잡도 정보를 수신하고 수신한 혼잡도 정보에 기초하여 상기 영상 인코더의 비트레이트를 제어하는 레이트 조정기를 포함하는 송신 장치와,
    상기 송신 장치로부터 제1패킷을 수신하는 패킷 수신기; 상기 패킷 수신기의 제1패킷을 파싱하는 디패킷타이저; 상기 디패킷타이저에서 파싱된 영상 데이터를 복호화하는 영상 디코더; 상기 패킷 수신기에 수신된 제1패킷의 수신 시점에 대한 제2 시스템 클럭을 생성하는 시스템시각 주입기; 상기 제1패킷에 포함된 제1 시스템 클럭과 상기 제2 시스템 클럭을 비교하여 상대 송신 지연 시간을 계산하는 상대 전송지연시간 계산부; 및 상기 상대 송신 지연 시간을 선형 회귀 분석을 통해 분석하여 변화 추이를 추정하고, 추정된 변화 추이에 따른 네트워크 혼잡도 정보를 상기 송신 장치로 전송하는 네트워크 혼잡도 추정부-여기서, 상기 네트워크 혼잡도 정보는 상기 송신 장치의 레이트 조정기에서 상기 송신 장치의 영상 인코더의 비트레이트를 조정하는데 이용됨-;를 포함하는 수신 장치
    를 포함하고,
    상기 수신 장치는 기준 클럭을 점진적으로 증가시켜 상기 송신 장치와의 시스템 클럭 증가 속도 차이를 보정하되, 여기서 상기 기준 클럭은 상기 제2 시스템 클럭에 증가분을 더한 값에서 상기 제1 시스템 클럭을 뺀 것을 특징으로 하는 실시간 영상 서비스 제공 시스템.
  6. 삭제
  7. 삭제
  8. 삭제
KR1020140070989A 2014-06-11 2014-06-11 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법 및 이를 이용하는 실시간 영상 서비스 제공 시스템 KR101587547B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140070989A KR101587547B1 (ko) 2014-06-11 2014-06-11 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법 및 이를 이용하는 실시간 영상 서비스 제공 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140070989A KR101587547B1 (ko) 2014-06-11 2014-06-11 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법 및 이를 이용하는 실시간 영상 서비스 제공 시스템

Publications (2)

Publication Number Publication Date
KR20150142350A KR20150142350A (ko) 2015-12-22
KR101587547B1 true KR101587547B1 (ko) 2016-01-21

Family

ID=55081654

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140070989A KR101587547B1 (ko) 2014-06-11 2014-06-11 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법 및 이를 이용하는 실시간 영상 서비스 제공 시스템

Country Status (1)

Country Link
KR (1) KR101587547B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422356B (zh) * 2019-08-22 2022-07-29 腾讯科技（深圳）有限公司 确定网络状态的方法及装置
CN113691882B (zh) * 2021-09-02 2024-04-26 广州市奥威亚电子科技有限公司 判断网络状况的方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115245A (ja) * 1998-10-06 2000-04-21 Oki Electric Ind Co Ltd データ送信装置、データ受信装置、データ通信装置及びデータ通信方法
KR100735344B1 (ko) * 2004-08-16 2007-07-04 삼성전자주식회사 통신 시스템에서 기지국들 간의 시간 동기 획득 방법 및 시스템
KR100931375B1 (ko) 2009-05-15 2009-12-11 전자부품연구원 개선된 파라미터 산출방법이 적용된 데이터 스트림 전송률 제어방법 및 데이터 스트리밍 서버

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101234816B1 (ko) * 2011-03-15 2013-02-19 광주과학기술원 혼잡 탐지 장치, 혼잡 제어 장치 그리고 혼잡 제어 방법
WO2012125008A2 (ko) 2011-03-16 2012-09-20 한국전자통신연구원 부가 정보를 이용한 무선 채널 상태 추정 방법 및 장치, 이를 이용한 무선망에서의 코딩 레이트 조절 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115245A (ja) * 1998-10-06 2000-04-21 Oki Electric Ind Co Ltd データ送信装置、データ受信装置、データ通信装置及びデータ通信方法
KR100735344B1 (ko) * 2004-08-16 2007-07-04 삼성전자주식회사 통신 시스템에서 기지국들 간의 시간 동기 획득 방법 및 시스템
KR100931375B1 (ko) 2009-05-15 2009-12-11 전자부품연구원 개선된 파라미터 산출방법이 적용된 데이터 스트림 전송률 제어방법 및 데이터 스트리밍 서버

Also Published As

Publication number Publication date
KR20150142350A (ko) 2015-12-22

Similar Documents

Publication Publication Date Title
RU2304364C2 (ru) Устройство и способ для измерения времени задержки на двустороннее распространение для мультимедийных данных с переменной скоростью передачи битов
US9191664B2 (en) Adaptive bitrate management for streaming media over packet networks
US7991904B2 (en) Adaptive bitrate management for streaming media over packet networks
KR100641159B1 (ko) Ｒｔｃｐ패킷 기반의 적응적 멀티미디어 데이터 전송률추정방법
US8588071B2 (en) Device and method for adaptation of target rate of video signals
US7894367B2 (en) Methods and systems for bandwidth protection
WO2017000719A1 (zh) 一种基于队列时延的拥塞控制方法及装置
JP5565121B2 (ja) 通信処理装置、通信処理システム、通信処理方法及びプログラム
KR101587547B1 (ko) 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법 및 이를 이용하는 실시간 영상 서비스 제공 시스템
JP5820238B2 (ja) データ送信装置およびデータ受信装置
US20160261897A1 (en) Apparatus and method for managing mmt buffer model using reception quality feedback
CN113612649B (zh) 往返估计
Kreith et al. FRACTaL: FEC-based rate control for RTP
KR100698174B1 (ko) 네트워크 상에서 데이터의 유효 전송율 추정 방법 및데이터 전송 시스템
Oh et al. One-way delay estimation using packet intervals for efficient retransmission

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right