KR101044947B1 - 영상 데이터 스트림의 재생 방법 및 적응적 전송 제어 방법 - Google Patents

영상 데이터 스트림의 재생 방법 및 적응적 전송 제어 방법 Download PDF

Info

Publication number
KR101044947B1
KR101044947B1 KR1020070004398A KR20070004398A KR101044947B1 KR 101044947 B1 KR101044947 B1 KR 101044947B1 KR 1020070004398 A KR1020070004398 A KR 1020070004398A KR 20070004398 A KR20070004398 A KR 20070004398A KR 101044947 B1 KR101044947 B1 KR 101044947B1
Authority
KR
South Korea
Prior art keywords
data stream
video data
time information
image data
transmission
Prior art date
Application number
KR1020070004398A
Other languages
English (en)
Other versions
KR20080067169A (ko
Inventor
임용준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070004398A priority Critical patent/KR101044947B1/ko
Publication of KR20080067169A publication Critical patent/KR20080067169A/ko
Application granted granted Critical
Publication of KR101044947B1 publication Critical patent/KR101044947B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4381—Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 외부 네트워크로부터 수신된 영상 데이터 스트림의 디스플레이 시간 정보를 계산하여 이를 전송하고, 전송받은 디스플레이 시간 정보의 변화에 따라 송신측은 전송 방법을 조정하여 수신측의 영상 디스플레이의 QoS(Quality of Service)를 보장하는 방법 및 그 장치에 관한 것으로서, 외부 장치로부터 부호화된 영상 데이터 스트림을 수신하고, 수신된 영상 데이터 스트림을 복호화하고, 복호화된 영상 데이터 스트림의 디스플레이 가능한 시간을 나타내는 시간 정보를 계산하고, 생성된 시간 정보를 외부 장치로 전송함으로써, 수신측 어플리케이션 계층에서 실질적인 QoS를 완전히 보장할 수 있고, 송/수신측 사이의 프로토콜을 단순화하며 라운드 트립 시간(RTT)을 반 이하로 줄일 수 있는 효과가 있다.

Description

영상 데이터 스트림의 재생 방법 및 적응적 전송 제어 방법{Method for reproducing image data stream and adaptively controlling transmission thereof}
도 1은 종래 기술에 따른, 부호화 에러와 전송 에러의 검출을 위한 시스템을 개괄적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른, 영상 데이터 스트림의 재생 방법을 설명하기 위한 플로우 차트이다.
도 3은 본 발명의 다른 실시예에 따른, 영상 데이터 스트림의 전송 제어 방법을 설명하기 위한 플로우 차트이다.
도 4는 본 발명의 일 실시예에 따른, 영상 데이터 스트림의 재생 장치 내의 버퍼 데이터를 나타내는 도면이다.
도 5는 본 발명의 또 다른 실시예에 따른, 영상 데이터 스트림의 재생 장치를 나타내는 기능 블록도이다.
본 발명은 영상 데이터 스트림의 재생 방법 및 전송 제어 방법에 관한 것으 로, 보다 구체적으로는 외부 네트워크로부터 수신된 영상 데이터 스트림의 디스플레이 시간 정보를 계산하여 이를 전송하고, 전송받은 디스플레이 시간 정보의 변화에 따라 송신측은 전송 방법을 조정하여 수신측의 영상 디스플레이의 QoS(Quality of Service)를 보장하는 방법 및 그 장치에 관한 것이다.
유무선 네트워크 환경에서 특히, 무선 네트워크인 경우에 동영상 스트리밍은 통신 채널이 시간에 따라 변하고, 버스트 에러(burst error)가 빈번히 일어나기 때문에, 동영상 화질에 대한 QoS(Quality of Service) 및 QoE(Quality of Experience)의 보장이 어렵다.
또한 일반적으로 정해진 시간 내에 입력을 받아들이고 출력을 내고 외부와 상호작용을 하는 등의 시스템 작동의 정확성이 논리적이고 기능적인 특성과 더불어 시간적인 특성에 좌우되는 실시간 시스템(real-time system) 스트리밍에서는 동영상이 수신 단말에서 표현(presentation)될 수 있는 시간이 한정되어 있으므로 일반적으로 재전송에 의한 QoS의 보장 또한 어렵다.
도 1은 종래 기술에 따른, 부호화 에러와 전송 에러의 검출을 위한 시스템을 개괄적으로 나타낸 도면이다.
도 1을 참조하면, 서버측(100 및 110)은 크게 컨텐트 전송 서버(Content Delivery Server, 100)와 컨텐트 집합 서버(Content Aggregating Server, 110)로 구성되어 있다.
컨텐트 전송 서버(100)는 입력 데이터 스트림을 인코더(101)에서 부호화하여 직접 전송하는 역할을 수행하고, 컨텐트 집합 서버(110)는 여러 가지 에러에 의한 클라이언트측에서의 화질 저하의 객관적인 측정을 위해 클라이언트에 구비된 것과 같은 하나의 디코더(111)와 두 개의 추출부(Feature Extractor, 112 및 113)와 두 개의 비교부(Analyzer, 114 및 115), 그리고 하나의 연관부(Correlator, 116)로 구성되어 있다. 한편, 클라이언트에는 하나의 디코더(132), 서버와 같은 하나의 추출부(Feature Extractor, 133), 그리고 하나의 네트워크 모니터(Network Monitor)로 구성되어 있다.
컨텐트 전송 서버에서 생성된 컨텐트는 전송 네트워크(transmission network, 120)를 거쳐 클라이언트(130)에 전송된다. 클라이언트에서 겪는 화질의 저하(degradation)는 크게 인코딩/디코딩(encoding/decoding)에 의한 부호화 에러(encoding error)와 전송 중에 일어나는 전송 에러(transmission error)가 있다.
먼저 부호화 에러가 어느 정도인지를 알기 위해, 인코더(101)에서 부호화된 데이터 스트림을 다시 디코더(111)에서 복호화한 후에, 제2추출부(113)에 입력으로 전달한다. 제2추출부(113)는 부호화된 데이터 스트림에 대한 시간적(temporal), 공간적(spatial) 특성을 추출한다. 마찬가지로 원본 데이터 스트림(source data stream)도 제1추출부(112)를 통해 원본 데이터 스트림에 대한 시간적(temporal), 공간적(spatial) 특성이 추출된다. 추출된 두 가지의 시간적, 공간적 특성을 제1비교부(114)를 통하여 비교해보면, 부호화에 의해 화질이 얼마나 열화되었는지 그 지표(encoding metric)를 알 수 있다.
전송 에러(transmission error)는 다음과 같이 측정될 수 있다. 전송 네트워크(120)를 통해 전송된 부호화된 데이터 스트림은 클라이언트(130)의 디코 더(132)를 통해 복호화된다. 복호화된 데이터 스트림은 컨텐트 집합 서버(content aggregating server)에서와 똑같은 추출부(Feature Extractor, 133)를 통하여 시간적(temporal), 공간적(spatial) 특성이 추출된다. 추출된 시간적, 공간적 특성은 다시 전송 네트워크(120)에 의해 컨텐트 집합 서버(110)로 전송되고, 제2비교부(115)에서 이미 계산되어져 있던 전송전 복호화된 데이터 스트림의 시간적, 공간적 특성과 비교된다. 이렇게 비교된 차이는 전송 에러를 잘 표현하는 지표(transmission metric)가 된다.
한편, 클라이언트에 있는 네트워크 모니터(Network Monitor, 131)는 클라이언트에서 전송 네트워크(120)에 대한 정보를 감시하는 역할을 한다. 이렇게 수집된 전송 네트워크(120)의 성능 지표에 대한 정보는 다시 컨텐트 집합 서버(110)로 전해지고, 연관부(Correlator, 116)를 통하여 기 계산되어져 있는 전송 지표(transmission metric)과 연관되어 연관된 네트워크 통계 자료(correlated network statistics)로 출력된다
이러한 부호화 에러와 전송 에러의 검출을 위한 종래 기술에서는 에러를 인코딩/디코딩(encoding/decoding)에 의한 부호화 에러(encoding error)와 전송 중에 일어나는 전송 에러(transmission error)만 존재하는 것으로 가정하여 실제 스트리밍에서 요구하는 실시간(real-time) 특성이 많이 무시되었다.
실시간 특성이 중요한 이유는 전송 네트워크의 특성이 어플리케이션 계층(application level)에서의 특성과 정확히 일치하지는 않기 때문이다. 예를 들어, 전송 네트워크의 특성(packet loss, jitter, latency 등)은 성공적으로 받아진 패킷이 한 번에 제대로 전송된 것인지 재전송(re-transmission)에 의해 제대로 받아졌는지, FEC(Forward Error Correction) code rate은 어느 정도에서 받아진 것인지 등에 따라 어플리케이션 계층에서 보는 링크(link)의 특성은 다르게 해석될 수 있다. 심지어 네크워크 계층(network level)에서는 패킷이 제대로 받아졌다고 하더라도, 클라이언트에서 적절한 시간 내에 표현(presentation time)될 수 있도록 패킷이 어플리케이션 계층으로 전달되었는지는 별개의 이야기이다. 또한 종래의 기술은 네트워크 통계 자료를 정확히 아는 방법만 제시하였고, 실제로 전송 네트워크에서 일어나는 이러한 문제들(packet loss, jitter, latency)을 어떻게 해결해야 하는지에 대한 해결책은 주지 못하였다.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위하여 고안된 것으로, 본 발명이 이루고자 하는 기술적 과제는 프레임 버퍼내의 복호화된 패킷의 양을 송신측에 알려 줌으로써, 송신측이 채널 환경을 추측하여 적응적으로 송신 데이터의 전송 방법을 조절하게 하여 수신측의 프레임 버퍼 내에 항상 일정 양 이상의 복호화된 데이터가 존재하게 함으로써 수신 화질의 QoS를 보장하는 방법 및 장치를 제공하는 것이다.
상기 기술적 과제는 본 발명에 따라, 영상 데이터 스트림의 재생 방법에 있어서, 외부 장치로부터 부호화된 영상 데이터 스트림을 수신하는 단계와 상기 수신된 영상 데이터 스트림을 복호화하는 단계와 상기 복호화된 영상 데이터 스트림의 디스플레이 시간을 나타내는 시간 정보를 생성하는 단계와 상기 생성된 시간 정보를 상기 외부 장치로 전송하는 단계를 포함하는 것을 특징으로 하는 재생 방법에 의해 달성된다.
바람직하게는 상기 복호화된 영상 데이터 스트림 이외에 상기 수신된 영상 데이터 스트림의 양적 정보를 상기 전송되는 시간 정보와 함께 전송하는 단계를 더 포함할 수 있다.
본 발명의 다른 분야에 따르면, 상기 목적은 영상 데이터 스트림의 전송 제어 방법에 있어서, 부호화된 영상 데이터 스트림을 외부 장치로 전송하는 단계와 상기 전송된 영상 데이터 스트림에 대한 상기 외부 장치에서의 디스플레이 시간을 나타내는 시간 정보를 상기 외부 장치로부터 수신하는 단계와 상기 수신된 시간 정보에 기초하여 상기 영상 데이터 스트림의 전송 방법을 조정하는 단계를 포함하는 것을 특징으로 하는 제어 방법에 의해서도 달성된다.
상기 영상 데이터 스트림의 전송 방법을 조정하는 단계는, 상기 영상 데이터 스트림 중 손실된 패킷을 재전송하거나, 상기 전송에 있어서 에러 검출을 강화하거나, 상기 영상 데이터 스트림의 전송률을 조정하는 것 중 적어도 하나 이상을 선택하여 상기 전송 방법을 조정하는 것이 바람직하다.
본 발명의 또 다른 분야에 따르면, 상기 목적은 영상 데이터 스트림의 재생 장치에 있어서, 외부 장치로부터 부호화된 영상 데이터 스트림을 수신하는 네트워크 인터페이스부와 상기 네트워크 인터페이스부에 수신된 영상 데이터 스트림을 복호화하는 디코더와 상기 디코더에서 복호화된 영상 데이터 스트림의 디스플레이 시 간을 나타내는 시간 정보를 생성하는 시간 정보 생성부와 상기 시간 정보 생성부에서 생성된 시간 정보를 상기 외부 장치로 전송하는 전송 제어부를 포함하는 것을 특징으로 하는 재생 장치에 의해서도 달성된다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른, 영상 데이터 스트림의 재생 방법을 설명하기 위한 플로우 차트이다. 기본적으로 네트워크 시스템에 있어서 송/수신측은 정해진 프로토콜에 따라 초기 통신 조건이 설정된다고 가정한다. 초기 설정 환경은 소스 인코딩(source encoding) 방식, 소스 해상도(source resolution), 초당 프레임 수, 소스 비트 전송률(source bit-rate), 네트워크 대역폭(network bandwidth), 디코딩 버퍼 사이즈(decoding buffer size) 등을 주고 받아(hand-shaking) 설정된다.
도 2를 참조하면, 수신측은 먼저 외부 네트워크로부터 부호화된 영상 데이터 스트림을 수신한다(210). 이때, 외부 네트워크는 유선 또는 무선 네트워크 환경일 수 있으며, 무선 네트워크 환경인 경우에는 시간의 흐름에 따라 통신 채널의 변화가 심하므로 본 발명이 제공하는 적응적 전송 제어 방법이 보다 유용하게 적용될 수 있다. 아울러 부호화된 데이터 스트림(encoded data stream) 자체도 보통의 경우 계속해서 비트 전송률이 변한다.
다음으로 수신된 영상 데이터 스트림을 복호화한다(220). 즉, 단순히 수신된 부호화된 데이터가 저장되는 버퍼, 예를 들어 네트워크 인터페이스 버퍼(도시하 지 않음)나 디코딩 과정상 필요한 디코딩 버퍼(522a)에 존재하는 부호화된 데이터를 이용하지 않고 복호화 단계를 수행한 후의 데이터를 이용하기 위해 복호화하는 과정을 먼저 수행한다.
그럼 다음, 복호화된 영상 데이터 스트림의 디스플레이 시간을 나타내는 시간 정보를 생성한다(230). 본 발명의 목적이 실시간 시스템에서 실제 사용자가 느낄 수 있는 화질의 보장, 즉 QoS 및 QoE의 보장에 있으므로 이를 위해 사용되는 데이터는 실제 디스플레이되는 복호화된 영상 데이터, 즉 원 데이터이다. 복호화된 영상 데이터는 디스플레이 되기 직전의 데이터로서 이를 이용하여 실제 디스플레이가 가능한 시간이 얼마가 되는지를 계산할 수 있다. 예를 들어, 프레임 버퍼(523a)에 저장된 복호화된 영상 데이터의 프레임 해상도(frame resolution)과 색심도(color depth) 및 프레임의 전송률(rate)을 이용하여 디스플레이 가능한 시간(RPPI, receiver presentation prediction information)을 정확히 계산할 수 있다.
이렇게 계산된 디스플레이 시간 정보는 외부 장치로 전송될 수 있다(240). 이는 수신측의 디스플레이 가능 시간을 송신측에 알려주기 위함이며, 송신측을 이와 같은 디스플레이 시간 정보를 통하여 현재 수신측의 버퍼링 상황을 알 수 있고 나아가 전송 네트워크의 상황 또한 알 수 있게 된다. 따라서, 종래에는 송/수신측간의 핸드셰이킹(hand-shaking)을 위해 RTT(Round Trip Time)이 필요하였지만, 본 발명과 같이 수신측이 RPPI를 송신측에게만 보내 주고 송신측은 그 정보를 특정 알고리즘에 따라 그대로 이용하므로 STT(Single Trip Time)만으로 핸드셰이킹과 같은 효과를 낼 수 있다.
또한 디스플레이 시간 정보를 전송할 때, 수신측의 복호화된 영상 데이터 스트림을 제외한 다른 수신된 영상 데이터 스트림, 즉 디코딩 버퍼에 존재하며 아직 복호화되지 않은 영상 데이터 스트림의 양에 관한 정보를 함께 전송할 수 있는데(250), 송신측은 이를 통하여 보다 정확한 네트워크 및 수신측 상황을 알 수 있게 된다. 예를 들면, 디스플레이 가능한 시간은 작은 반면에 디코딩 버퍼에 존재하는 데이터의 양이 많다면 이는 특정 짧은 시간에서 링크 에러가 발생하였음을 나타낸다. 이런 경우, 송신측에서 해당 손실 패킷을 재전송하는 등의 오류 정정 정책을 구현하여 수신측의 RPPI를 증가시킬 수 있다. 또한, RPPI 정보와 디코딩 버퍼의 데이터 양 뿐만 아니라, 수신측의 RSSI(Received Signal Strength Indication) 및 SQE(Signal Quality Estimate) 등의 정보를 함께 전송할 수도 있다. RSSI는 기지국과의 거리 및 최대 대역폭 등의 정보를 포함하고, 수신측에서 수신되는 전력이 얼마인지의 그 수치를 나타낸다. 다만 이것은 수신측에 들어오는 신호전력을 의미하기 때문에 안테나의 이득이나 회로 내부의 손실은 고려하지 않는다. 따라서, RSSI는 희망 신호(desired signal)의 세기와 간섭 신호의 총합과 노이즈 신호를 모두 포함하는 단점이 있으나, 희망 신호의 세기가 나머지 신호의 값의 10배 이상의 값이 되는 경우에는 신뢰성이 인정된다. 한편 SQE는 실질적인 신호 품질을 나타내는 지수로서 희망 신호와 불요 신호의 세기를 구분한다. 즉, SQE = C/(I+N) 으로 나타나는 값으로 단위는 데시벨(dB)이다. (C는 희망 신호, I는 간섭 신호, N은 노이즈 신호)
도 3은 본 발명의 다른 실시예에 따른, 영상 데이터 스트림의 전송 제어 방법을 설명하기 위한 플로우 차트이다.
도 3을 참조하면, 영상 데이터 스트림의 전송 제어 방법은 먼저 송신측에서 부호화된 영상 데이터 스트림을 외부 장치로 전송하고(310), 이에 대하여 수신측의 가능한 디스플레이 시간 정보를 다시 전달받는다(320).
이렇게 수신되어 축적된 디스플레이 시간 정보는 히스토리를 구성하며, 통계적 데이터 분석을 통해 과거로부터 현재의 네트워크 상황을 나타내는 지표로 활용될 수 있다.
따라서 송신측은 이러한 디스플레이 시간 정보의 변화 추이를 살펴 다음번 전송 정책(transmission policy)에 있어서 이를 반영하여 전송 방법을 조정할 수 있다(330). 구체적으로, 수신측의 영상 데이터 스트림 중 손실된 패킷을 재전송하거나, 다음번 전송에 있어서 에러 검출 정책의 강도를 조절하거나, 비트 전송률을 조정하는 것이다. 여기서 전송 프로토콜(MPEG-2 TS, RTP)의 실시간 특성과 수신측의 GOP(Group Of Pictures) 정보를 이용하여 수신측의 버퍼에서 손실된 패킷의 위치를 찾아낼 수 있다.
도 4는 본 발명의 일 실시예에 따른, 영상 데이터 스트림의 재생 장치 내의 버퍼 데이터를 나타내는 도면이다.
간단하게 살펴보면, 시간(t)의 흐름에 따라 수신측의 버퍼에는 외부 네트워크를 통해 전송된 영상 데이터가 저장되는데, 여기에는 크게 디코딩 과정에서 필요한 버퍼인 디코딩 버퍼(522a)와 복호화된 후에 실제 디스플레이를 위해 사용되는 프레임 버퍼(523a)가 있다. 즉, 링 버퍼(ring buffer) 형태로 구성된 디코딩 버퍼(522a)에는 외부 네트워크를 통해 전송된 부호화된 데이터 패킷이 연결 리스트(linked list)에 추가/저장되고(430), 디코딩 후에는 제외되어 디스플레이를 위해 프레임 버퍼(523a)로 이동한다(410). 이러한 과정에서 디코딩 버퍼 데이터(430)와 프레임 버퍼 데이터(410)를 비교하여 손실된 패킷(packet loss)의 존재 여부를 확인할 수 있는데(420), 이런 경우 앞서 언급한 바와 같이 현재 디스플레이 가능한 시간(RPPI) 내에서 손실된 패킷을 재전송하여 이후의 RPPI를 높일 수 있다.
도 5는 본 발명의 또 다른 실시예에 따른, 영상 데이터 스트림의 재생 장치를 나타내는 기능 블록도이다.
도 5를 참조하여, 구성 요소를 살펴보면 유선 또는 무선 네트워크(510)에 연결된 영상 데이터 스트림의 재생 장치(520)가 있고, 이는 외부 네트워크와 직접 접촉하는 네트워크 인터페이스부(521), 부호화된 영상 데이터 스트림을 복호화하는 디코더(522), 복호화된 영상 데이터를 수신측 화면에 출력하는 디스플레이부(523), 시간 정보 생성부(524), 전송 제어부(525)를 포함한다.
시간 정보 생성부(RPPI: receiver presentation prediction information generator, 524)는 상기 언급한 수신측에서의 디스플레이 가능 시간을 계산하는데, 여기서 프레임 버퍼(523)에 저장된 복호화된 영상 데이터를 직접 이용하므로 실질적인 디스플레이 가능 시간을 구할 수 있으며, 이는 전송 제어부(525)를 통하여 다시 네트워크(510)를 통해 송신측으로 전달될 수 있다. 이러한 RPPI의 계산 및 전송이 반복적으로 이루어짐으로써, 송/수신측 사이의 통신 상황을 항상 모니터링 할 수 있으며 전송 정책을 적응적으로 수정할 수 있게 되는 것이다. 따라서, 네트워크 특히, 무선 통신 환경에서 수신측에서의 디스플레이 가능 시간을 송신측에 보내어, 이 시간을 기준으로 송/수신측(서버-클라이언트)간의 커뮤니케이션(communication) 설정을 적응적으로 바꾸어 갈 수 있다.
본 발명에 따른 영상 데이터 스트림의 재생 방법 및 전송 제어 방법은, 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, 자기 테이프, 플로피디스크와 같은 마그네틱 저장매체와 CD-ROM, 광 데이터 저장장치와 같은 광학적 판독매체 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명에 의한 영상 데이터 스트림의 재생 방법 및 적응적 전송 제어 방법에 따르면, 디스플레이 가능 시간(RPPI)은 정해진 시간 간격 동안에 채널 환경이 시간에 따라 어떻게 변해 가고 있는지를 나타내주므로, 시간에 따라 변화가 심한(time-varying) 무선 채널의 특성을 효과적으로 표현할 수 있으며 수신측의 상황 또한 표현해 줄 수 있다. 그리고 이 시간 동안 모든 패킷이 손실되었다고 해도, 수신측에서는 프레임 버퍼에 있는 복호화된 영상 데이터를 통하여 영상을 출력할 수 있으므로 본 발명에 따르면 수신측 어플리케이션 계층에서 실질적인 QoS를 완전히 보장할 수 있다. 그리고 송/수신측 사이의 프로토콜을 단순화할 수 있고, 라운드 트립 시간(RTT)을 반 이하로 줄일 수 있는 효과가 있다.

Claims (5)

  1. 영상 데이터 스트림의 재생 방법에 있어서,
    외부 장치로부터 부호화된 영상 데이터 스트림을 수신하는 단계와;
    상기 수신된 영상 데이터 스트림을 복호화하는 단계와;
    상기 복호화된 영상 데이터 스트림의 디스플레이 시간을 나타내는 시간 정보를 생성하는 단계와;
    상기 생성된 시간 정보를 상기 외부 장치로 전송하는 단계를 포함하는 것을 특징으로 하는 재생 방법.
  2. 제1항에 있어서,
    상기 복호화된 영상 데이터 스트림 이외에 상기 수신된 영상 데이터 스트림의 양적 정보를 상기 전송되는 시간 정보와 함께 전송하는 단계를 더 포함하는 것을 특징으로 하는 재생 방법.
  3. 영상 데이터 스트림의 전송 제어 방법에 있어서,
    부호화된 영상 데이터 스트림을 외부 장치로 전송하는 단계와;
    상기 전송된 영상 데이터 스트림에 대한 상기 외부 장치에서의 디스플레이 시간을 나타내는 시간 정보를 상기 외부 장치로부터 수신하는 단계와;
    상기 수신된 시간 정보에 기초하여 상기 영상 데이터 스트림의 전송 방법을 조정하는 단계를 포함하는 것을 특징으로 하는 제어 방법.
  4. 제3항에 있어서,
    상기 영상 데이터 스트림의 전송 방법을 조정하는 단계는,
    상기 영상 데이터 스트림 중 손실된 패킷을 재전송하거나, 상기 전송에 있어서 에러 검출을 강화하거나, 상기 영상 데이터 스트림의 전송률을 조정하는 것 중 적어도 하나 이상을 선택하여 상기 전송 방법을 조정하는 것을 특징으로 하는 제어 방법.
  5. 영상 데이터 스트림의 재생 장치에 있어서,
    외부 장치로부터 부호화된 영상 데이터 스트림을 수신하는 네트워크 인터페이스부와;
    상기 네트워크 인터페이스부에 수신된 영상 데이터 스트림을 복호화하는 디코더와;
    상기 디코더에서 복호화된 영상 데이터 스트림의 디스플레이 시간을 나타내는 시간 정보를 생성하는 시간 정보 생성부와;
    상기 시간 정보 생성부에서 생성된 시간 정보를 상기 외부 장치로 전송하는 전송 제어부를 포함하는 것을 특징으로 하는 재생 장치.
KR1020070004398A 2007-01-15 2007-01-15 영상 데이터 스트림의 재생 방법 및 적응적 전송 제어 방법 KR101044947B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070004398A KR101044947B1 (ko) 2007-01-15 2007-01-15 영상 데이터 스트림의 재생 방법 및 적응적 전송 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070004398A KR101044947B1 (ko) 2007-01-15 2007-01-15 영상 데이터 스트림의 재생 방법 및 적응적 전송 제어 방법

Publications (2)

Publication Number Publication Date
KR20080067169A KR20080067169A (ko) 2008-07-18
KR101044947B1 true KR101044947B1 (ko) 2011-06-28

Family

ID=39821538

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070004398A KR101044947B1 (ko) 2007-01-15 2007-01-15 영상 데이터 스트림의 재생 방법 및 적응적 전송 제어 방법

Country Status (1)

Country Link
KR (1) KR101044947B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990000302A (ko) * 1997-06-04 1999-01-15 윤종용 음성 및 영상 다중 전송 시스템
KR20040031644A (ko) * 2002-10-03 2004-04-13 가부시키가이샤 엔티티 도코모 비디오 인코딩 방법, 비디오 디코딩 방법, 비디오 인코딩장치, 비디오 디코딩 장치, 비디오 인코딩 프로그램, 및비디오 디코딩 프로그램
KR20060047254A (ko) * 2004-06-01 2006-05-18 산요덴키가부시키가이샤 디코더 장치
KR100720584B1 (ko) 2005-05-04 2007-05-22 엘지전자 주식회사 디지털멀티미디어방송의 수신장치, 그리고 그 수신장치에서녹화시간 및 재생시간을 측정하는 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990000302A (ko) * 1997-06-04 1999-01-15 윤종용 음성 및 영상 다중 전송 시스템
KR20040031644A (ko) * 2002-10-03 2004-04-13 가부시키가이샤 엔티티 도코모 비디오 인코딩 방법, 비디오 디코딩 방법, 비디오 인코딩장치, 비디오 디코딩 장치, 비디오 인코딩 프로그램, 및비디오 디코딩 프로그램
KR20060047254A (ko) * 2004-06-01 2006-05-18 산요덴키가부시키가이샤 디코더 장치
KR100720584B1 (ko) 2005-05-04 2007-05-22 엘지전자 주식회사 디지털멀티미디어방송의 수신장치, 그리고 그 수신장치에서녹화시간 및 재생시간을 측정하는 방법

Also Published As

Publication number Publication date
KR20080067169A (ko) 2008-07-18

Similar Documents

Publication Publication Date Title
KR100608821B1 (ko) 휴대단말기의 왕복지연시간 측정장치 및 방법
JP5277177B2 (ja) ビデオテレフォニー品質評価方法及び装置
US7502818B2 (en) Data communications system, data sender, data receiver, data communications method, and computer program
EP2529528B1 (en) A method and apparatus for parsing a network abstraction-layer for reliable data communication
KR101385265B1 (ko) 데이터통신시스템, 데이터송신장치, 데이터송신방법, 데이터수신장치 및 데이터수신방법
KR101727450B1 (ko) 화상 전화에서의 지연 감소
US10021402B2 (en) Estimation of video quality of experience on media servers
KR20120117907A (ko) 재전송 결정을 위한 장치 및 방법
JP2007524299A (ja) マルチメディアデータの伝送品質測定方法および装置
EP2649840B1 (en) Apparatus and methods for providing a communication quality feedback of an end-to-end communication path
US8873590B2 (en) Apparatus and method for correcting jitter
KR20120106610A (ko) 부가 정보를 이용한 무선 채널 상태 추정 방법 및 장치, 이를 이용한 무선망에서의 코딩 레이트 조절 방법
KR100851918B1 (ko) 네트워크 적응형 데이터 전송 방법, 이를 위한 데이터 전송시스템, 데이터 송신 장치, 및 데이터 수신 장치
JP2005184662A (ja) データ伝送装置、データ受信装置、および通信システム
JP2005033556A (ja) データ送信装置、データ送信方法、データ受信装置、データ受信方法
KR101044947B1 (ko) 영상 데이터 스트림의 재생 방법 및 적응적 전송 제어 방법
CN113612649B (zh) 往返估计
JP2010063004A (ja) 映像データ送信装置、映像配信システム、映像品質評価方法及びプログラム
KR100830965B1 (ko) 채널 적응적 인트라 업데이트를 이용한 영상부호화 장치 및방법
KR101700370B1 (ko) 지터 보정 방법 및 장치
CN114844872B (zh) 一种云手机动态码流调整方法及系统
JP3929876B2 (ja) 無線動画像伝送装置
Demircin et al. Delay-constrained and RD optimized transrating for high-definition video streaming over WLANs

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140529

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150528

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160530

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 8