KR20130141356A - 영상 데이터를 스트림형 데이터 전송하기 위해 이용되는 데이터 전송 시스템 및 데이터 전송 시스템에 이용되는 송신 장치, 수신 장치 및 프로그램 - Google Patents

영상 데이터를 스트림형 데이터 전송하기 위해 이용되는 데이터 전송 시스템 및 데이터 전송 시스템에 이용되는 송신 장치, 수신 장치 및 프로그램 Download PDF

Info

Publication number
KR20130141356A
KR20130141356A KR1020130033664A KR20130033664A KR20130141356A KR 20130141356 A KR20130141356 A KR 20130141356A KR 1020130033664 A KR1020130033664 A KR 1020130033664A KR 20130033664 A KR20130033664 A KR 20130033664A KR 20130141356 A KR20130141356 A KR 20130141356A
Authority
KR
South Korea
Prior art keywords
transmission
layer
unit
packet
video
Prior art date
Application number
KR1020130033664A
Other languages
English (en)
Inventor
모리오 요시모토
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/918,351 priority Critical patent/US20130339482A1/en
Publication of KR20130141356A publication Critical patent/KR20130141356A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

TCP에 의한 스트림형 데이터 전송이어도 스케일러블 부호화의 특성이 발휘되어, 실시간성을 확보하면서 동영상 데이터가 기록되어 있는 컨텐츠 영상의 특성에 맞는 고품질의 동영상 재생을 가능하게 하는 데이터 전송 시스템을 제공한다.
데이터 전송 시스템으로서, 영상 데이터의 영상 특성을 특정하는 영상 특성 특정부와, 상기 영상 특성 특정부에 의해 특정된 영상 특성에 기초하여 재송되어야 할 확장 레이어인 우선 확장 레이어를 설정하는 우선 확장 레이어 설정부를 구비하고 있고, 상기 재송 처리부가, 상기 수신 완료 처리부로부터 수신 완료 패킷을 수신하지 않은 송신 영상 패킷 중에서 상기 우선 확장 레이어 설정부에서 설정된 우선 확장 레이어의 송신 영상 패킷을 상기 송출부로 재송시키도록 구성하였다.

Description

영상 데이터를 스트림형 데이터 전송하기 위해 이용되는 데이터 전송 시스템 및 데이터 전송 시스템에 이용되는 송신 장치, 수신 장치 및 프로그램{Data transmitting system, transmitter apparatus and receiver apparatus and program in data transmitting system}
본 발명은, 영상 데이터를 스트림형 데이터 전송하기 위해 이용되는 데이터 전송 시스템 및 데이터 전송 시스템에 이용되는 송신 장치 및 수신 장치, 프로그램에 관한 것이다.
예를 들면 인터넷 통신을 통한 영상 데이터의 데이터 전송이 행해지는 경우, 다운로드형 전송 방식이 아니라 송신 장치로부터 수신 장치 측으로 데이터 전송이 행해지고 있는 동안에 병렬하여 재생 처리도 행하는 스트림형 데이터 전송이 이용되고 있다.
이러한 영상 데이터의 스트림형 데이터 전송이 행해지는 경우, 회선 상태나 수신 단말 능력 등에 따른 송신 영상 결과가 얻어지도록 영상 데이터를 스케일러블 부호화한 부호화 영상 데이터가 이용되고 있다.
스케일러블 부호화의 일례로서는, H.264 비디오 코덱 규격 내에 있는 SVC(Scalable Video Coding)를 들 수 있다. 이 코덱의 데이터 구조는, 도 4에 도시된 바와 같이 필요 최소한의 동영상 요소로 구성되는 베이스 레이어와, 상기 베이스 레이어와 조합함으로써 영상 품질을 향상시킬 수 있는 확장 레이어로 나눌 수 있다.
고신뢰성 채널인 상기 베이스 레이어에 관해서는, 수신 측에서 영상을 재생하는 데에 필수적인 데이터 스트림이기 때문에, FEC(Forward Error Correction) 등의 용장화 등에 의해 높은 신뢰성으로 송수신된다.
한편, 저신뢰성 채널인 상기 확장 레이어는, 화상의 고정밀화에 기여하는 공간 레이어, 동영상의 프레임 레이트 향상에 기여하는 시간 레이어, 화상의 S/N비의 향상에 기여하는 S/N비 레이어로 더 나누어진다.
상기 확장 레이어에 관해서는 예를 들면 FEC 처리 등이 걸치지 않기 때문에, 회선 상황이 나빠지면 수신 장치에는 도착하기 어려워진다. 수신 장치에서는 필수적인 베이스 레이어에 관해서는 반드시 수신되어 있으므로, 확장 레이어 중에서 무사히 송신 장치로부터 도착한 것과 베이스 레이어를 조합하여 적절히 디코드함으로써 회선 품질에 알맞은 송신 영상 결과가 얻어진다.
그런데, 스케일러블 부호화된 부호화 영상 데이터에 의한 데이터 전송을 행하는 경우, 특허문헌 1 등에 나타나는 바와 같이 전송 프로토콜로서는 재송 처리가 행해지지 않은 전송 방식인 RTP(Real Time Protocol)를 이용함으로써, 데이터 전송의 신뢰성보다 실시간성을 우선시키고 있다.
또, 특허문헌 1에서는 원칙적으로 재송 처리가 행해지지 않은 RTP를 전송 프로토콜로서 이용하면서도 일부의 레이어에 대해서는 재송 처리가 행해지도록 구성한 데이터 전송 시스템이 나타나 있다.
그러나, 동영상 등의 스트림형 전송을 행하는 경우에서는, 재송 처리를 행함으로써 신뢰성을 갖는 TCP가 전송 프로토콜로서 이용되는 경우도 있다. TCP에 의해 스케일러블 부호화된 부호화 영상 데이터를 전송하면, 수신 장치에서 수신되지 않았던 송신 영상 패킷이 있는 경우, 미 도달의 모든 송신 영상 패킷에 대해 재송 처리가 행해진다. 이 때문에, TCP에 의해 스케일러블 부호화된 데이터의 전송을 행하면, 최악의 경우 동영상 재생만을 목적으로 한다면 수신 장치에서 미 도달이었어도 상관없는 확장 레이어의 송신 영상 패킷까지 확실히 재송 처리되어 버린다. 따라서, 동영상 재생시의 품질은 최고의 것으로 고정할 수 있지만, 모든 송신 영상 패킷이 수신될 때까지의 대기 시간이 생기기 때문에 실시간성은 손상되어 버린다.
즉, TCP와 스케일러블 부호화를 단순히 조합한 것만으로는 회선 품질에 알맞은 화질을 자동적으로 얻을 수 없고, RTP와 스케일러블 부호화를 조합했을 때와 같은 베스트 에퍼트(best effort)형의 결과를 얻을 수 없다. 따라서, SVC의 특성을 발휘할 수 없고, 종래와 같이 회선 상태에 따른 비트 레이트의 인코드를 각각 행하거나 또는 복수의 인코드 완료된 동영상 데이터를 준비하지 않으면 안 된다.
또한, 특허문헌 1의 데이터 전송 시스템에서는, 회선 상황을 모니터링하고 회선 상황에 따라 재송 처리가 행해지는 확장 데이터가 동적으로 변경되는 것이 나타나 있다.
그러나, 회선 상황에 따라 재송되는 확장 데이터가 결정되면, 영상 데이터에 기록되어 있는 컨텐츠 영상의 내용에 따라서는 그만큼 화질 등의 향상에 기여하지 못하는 확장 레이어가 우선되어 바람직한 품질로 동영상 재생을 행할 수 없을 우려가 있다.
선행기술문헌
특허문헌 1: 일본특허 3757857호 공보
그래서, 본 발명은 상술한 바와 같은 문제를 감안하여 이루어진 것으로, TCP에 의한 스트림형 데이터 전송이어도 스케일러블 부호화의 특성이 발휘되어 베스트 에퍼트형의 영상 데이터의 전송을 가능하게 함과 동시에, 실시간성을 확보하면서 동영상 데이터가 기록되어 있는 컨텐츠 영상의 특성에 맞는 고품질의 동영상 재생을 가능하게 하는 데이터 전송 시스템을 제공하는 것을 목적으로 한다.
즉, 본 발명은 송신 장치 및 수신 장치로 이루어지고, 영상 데이터를 스트림형 데이터 전송하는 데이터 전송 시스템으로서, 상기 송신 장치가, 영상 데이터가 스케일러블 부호화된 것이고, 베이스 레이어와 확장 레이어로 이루어지는 부호화 영상 데이터 및 부호화 영상 데이터의 레이어를 나타내는 레이어 데이터를 쌍으로 하여 기억하는 영상 데이터 기억부; 부호화 영상 데이터와 대응하는 레이어 데이터를 함께 저장한 송신 영상 패킷을 생성하여 상기 수신 장치로 패킷 송신하는 송출부; 상기 수신 장치에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 그 수신 장치로부터 수신하는 것이고, 상기 송출부가 송신 영상 패킷을 송신하고 나서 소정 시간 내에 수신 완료 패킷을 상기 수신 장치로부터 수신하지 않은 송신 영상 패킷을 상기 송출부로 재송시키는 재송 처리부;를 구비하고, 상기 수신 장치가 상기 송신 장치로부터 송신된 송신 영상 패킷을 수신하는 수신부; 적어도 상기 수신부에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 상기 송신 장치로 송신하는 수신 완료 처리부;를 구비하며, 상기 송신 장치 또는 상기 수신 장치가 영상 데이터의 영상 특성을 특정하는 영상 특성 특정부; 상기 영상 특성 특정부에 의해 특정된 영상 특성에 기초하여 재송되어야 할 확장 레이어인 우선 확장 레이어를 설정하는 우선 확장 레이어 설정부;를 구비하고 있고, 상기 재송 처리부가 상기 수신 완료 처리부로부터 수신 완료 패킷을 수신하지 않은 송신 영상 패킷 중에서 상기 우선 확장 레이어 설정부에서 설정된 우선 확장 레이어의 송신 영상 패킷을 상기 송출부로 재송시키도록 구성되어 있는 것을 특징으로 한다.
이러한 것이면, 상기 재송 처리부가 상기 수신 완료 처리부로부터 수신 완료 패킷을 수신하지 않은 송신 영상 패킷 중에서 상기 우선 확장 레이어 설정부에서 설정된 우선 확장 레이어의 송신 영상 패킷을 상기 송출부로 재송시키도록 구성되어 있으므로, TCP 등의 재송 처리를 갖는 전송 프로토콜에 의해 데이터 전송을 행하는 경우이어도 회선 상황이 나쁜 경우에는 우선 확장 레이어 이외의 확장 레이어에 대해서는 재송되지 않고, 적어도 베이스 레이어와 우선 확장 레이어로 설정된 확장 레이어를 조합하여 디코드하여 동영상 재생을 행할 수 있다. 한편, 회선 상황이 좋은 경우에는 모든 확장 레이어가 상기 수신 장치로 송신되어 최고 품질의 재생이 가능하게 된다. 즉, 본 발명의 데이터 전송 시스템에 따르면, TCP와 같은 재송 처리가 있는 전송 프로토콜에서도 회선 상황에 따른 화질의 동영상 재생이 가능하게 되고 베스트 에퍼트형의 서비스를 제공할 수 있다.
또, 본 발명은 상기 송신 장치 또는 상기 수신 장치가 영상 데이터의 영상 특성을 특정하는 영상 특성 특정부; 상기 영상 특성 특정부에 의해 특정된 영상 특성에 기초하여 재송되어야 할 확장 레이어인 우선 확장 레이어를 설정하는 우선 확장 레이어 설정부;를 구비하고 있으므로, 영상 데이터의 영상 특성에 따른 확장 레이어를 재송할 수 있고, 회선 상황에 따르지 않고 항상 컨텐츠 영상에 적합한 확장 레이어와 베이스 레이어의 조합에 따른 디코드를 실현할 수 있어 바람직한 영상 품질로 동영상을 재생할 수 있다.
이로부터, 본 발명이면, TCP를 이용하면서도 스케일러블 부호화의 특성을 향수하면서 게다가 영상 데이터에 기록되어 있는 컨텐츠 영상에 있던 확장 레이어에 따른 디코드 및 동영상 재생이 가능하게 된다.
영상 데이터의 영상 특성을 간단한 구성으로 특정하고, 계산 부하를 그만큼 걸지 않고 우선 확장 레이어를 설정하는 데는, 상기 영상 특성 특정부가 영상 데이터의 메타 데이터에 기초하여 기록되어 있는 컨텐츠 영상의 장르를 특정하는 것이고, 상기 우선 확장 레이어 설정부가 상기 영상 특성 특정부에 의해 특정된 컨텐츠 영상의 장르에 따라 우선 확장 레이어를 설정하도록 구성되어 있으면 된다.
특히 프레임 레이트 등의 동영상 재생시의 원활함을 중시하는 경우에는, 스트림형 데이터 전송에 있어서 동영상 재생시의 품질에 상기 부호화 영상 데이터의 확장 레이어가 공간 레이어와 시간 레이어와 S/N비 레이어를 포함하는 것이고, 상기 영상 특성 특정부가 영상 데이터에 기록되어 있는 컨텐츠 영상의 움직임의 격렬함을 특정하는 것이며, 상기 우선 확장 레이어 설정부가 상기 영상 특성 특정부에 의해 특정된 컨텐츠 영상의 움직임의 격렬함이 소정값 이상인 경우에는 시간 레이어를 우선 확장 레이어로 설정하도록 구성되어 있으면 된다.
영상 데이터에 기록되어 있는 컨텐츠 영상의 해상도에 맞춘 동영상 재생을 가능하게 하는 데는, 상기 영상 특성 특정부가 영상 데이터가 스케일러블 부호화될 때에 고주파 성분의 양에 기초하여 해상도를 특정하도록 구성되어 있고, 상기 우선 확장 레이어 설정부가 해상도가 소정값 이상인 경우에는 공간 레이어를 우선 확장 레이어로서 설정하도록 구성되어 있으면 된다.
수신 장치에 특별한 구성이 없었다고 해도 송신 장치만으로 상기 재송 처리부에 의해 상기 송출부로부터 우선 확장 레이어를 포함하는 송신 영상 패킷만이 재송되도록 하는 데는, 상기 송신 장치가 상기 송출부에서 송신되는 송신 영상 패킷에 저장되는 부호화 영상 데이터의 레이어를 레이어 데이터에 기초하여 인식하는 레이어 인식부를 더 구비하고, 상기 재송 처리부가 상기 송출부에서 송신된 송신 영상 패킷 중에서 상기 레이어 인식부에서 우선 확장 레이어 이외의 확장 레이어라고 인식된 것은, 수신 완료 패킷을 수신하지 않아도 송신 영상 패킷을 재송하지 않도록 구성되어 있으면 된다.
반대로 송신 장치에 특별한 구성이 없어도 상기 재송 처리부에 의해 상기 송출부로부터 우선 확장 레이어를 포함하는 송신 영상 패킷만이 재송되도록 하는 데는, 상기 수신 완료 처리부가 상기 수신부에서 수신되지 않은 송신 영상 패킷 중에서 우선 확장 레이어 이외의 확장 레이어의 송신 영상 패킷에 대해서는 상기 수신부에서 수신되지 않아도 수신 완료 패킷을 상기 송신 장치로 송신하도록 구성되어 있으면 된다.
상기 수신 장치 측에서 미도달의 송신 영상 패킷에 대해 수복할 수 있도록 하고, 오류가 수정되지 않은 경우에서도 중요하지 않은 확장 레이어에 대해서는 재송 처리가 행해지지 않도록 하여 베스트 에퍼트형의 결과가 얻어지도록 하는 데는, 상기 수신 장치가 상기 수신부에서 수신된 송신 영상 패킷에 기초하여 FEC 처리를 행하는 FEC 처리부를 더 구비하고, 상기 수신 완료 처리부가 상기 FEC 처리부에서 오류 정정할 수 없었던 송신 영상 패킷이 우선 확장 레이어 이외의 송신 영상 패킷인 경우에는 수신 완료 패킷을 상기 송신 장치로 송신하도록 구성되어 있으면 된다.
TCP 등의 재송 처리가 있는 전송 프로토콜과 부호화 영상 데이터의 조합이어도 베스트 에퍼트형의 동영상 재생을 가능하게 하기 위한 송신 장치로서는, 영상 데이터가 스케일러블 부호화된 것이고, 베이스 레이어와 확장 레이어로 이루어지는 부호화 영상 데이터 및 부호화 영상 데이터의 레이어를 나타내는 레이어 데이터를 쌍으로 하여 기억하는 영상 데이터 기억부; 부호화 영상 데이터와 대응하는 레이어 데이터를 함께 저장한 송신 영상 패킷을 생성하여 상기 수신 장치로 패킷 송신하는 송출부; 상기 수신 장치에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 그 수신 장치로부터 수신하는 것이고, 상기 송출부가 송신 영상 패킷을 송신하고 나서 소정 시간 내에 수신 완료 패킷을 상기 수신 장치로부터 수신하지 않은 송신 영상 패킷을 상기 송출부로 재송시키는 재송 처리부;를 구비한 송신 장치 및 상기 송신 장치로부터 송신된 송신 영상 패킷을 수신하는 수신부; 적어도 상기 수신부에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 상기 송신 장치로 송신하는 수신 완료 처리부;를 구비한 수신 장치로 이루어지고, 영상 데이터를 스트림형 데이터 전송하는 데이터 전송 시스템에 이용되는 송신 장치로서, 상기 송신 장치가 영상 데이터의 영상 특성을 특정하는 영상 특성 특정부; 상기 영상 특성 특정부에 의해 특정된 영상 특성에 기초하여 재송되어야 할 확장 레이어인 우선 확장 레이어를 설정하는 우선 확장 레이어 설정부;를 더 구비하고 있고, 상기 재송 처리부가 상기 수신 완료 처리부로부터 수신 완료 패킷을 수신하지 않은 송신 영상 패킷 중에서 상기 우선 확장 레이어 설정부에서 설정된 우선 확장 레이어의 송신 영상 패킷을 상기 송출부로 재송시키도록 구성되어 있는 송신 장치이면 된다.
또한, 상술한 송신 장치와 같은 효과를 얻기 위한 수신 장치로서는, 영상 데이터가 스케일러블 부호화된 것이고, 베이스 레이어와 확장 레이어로 이루어지는 부호화 영상 데이터 및 부호화 영상 데이터의 레이어를 나타내는 레이어 데이터를 쌍으로 하여 기억하는 영상 데이터 기억부; 부호화 영상 데이터와 대응하는 레이어 데이터를 함께 저장한 송신 영상 패킷을 생성하여 상기 수신 장치로 패킷 송신하는 송출부; 상기 수신 장치에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 그 수신 장치로부터 수신하는 것이고, 상기 송출부가 송신 영상 패킷을 송신하고 나서 소정 시간 내에 수신 완료 패킷을 상기 수신 장치로부터 수신하지 않은 송신 영상 패킷을 상기 송출부로 재송시키는 재송 처리부;를 구비하며, 상기 재송 처리부가 상기 수신 완료 처리부로부터 수신 완료 패킷을 수신하지 않은 송신 영상 패킷 중에서 우선 확장 레이어의 송신 영상 패킷을 상기 송출부로 재송시키도록 구성되어 있는 송신 장치 및 상기 송신 장치로부터 송신된 송신 영상 패킷을 수신하는 수신부; 적어도 상기 수신부에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 상기 송신 장치로 송신하는 수신 완료 처리부;를 구비한 수신 장치로 이루어지고, 영상 데이터를 스트림형 데이터 전송하는 데이터 전송 시스템에 이용되는 수신 장치로서, 영상 데이터의 영상 특성을 특정하는 영상 특성 특정부; 상기 영상 특성 특정부에 의해 특정된 영상 특성에 기초하여 재송되어야 할 확장 레이어인 우선 확장 레이어를 설정하는 우선 확장 레이어 설정부;를 더 구비하고 있는 수신 장치를 들 수 있다.
기존의 송신 장치 및 수신 장치에 기록 매체 등을 통해 프로그램을 새로 인스톨함으로써, TCP 등의 재송 처리를 갖는 전송 프로토콜이어도 스케일러블 부호화된 영상 데이터를 회선 상황에 따라 전송할 수 있도록 하는 데는, 송신 장치 및 수신 장치로 이루어지고, 영상 데이터를 스트림형 데이터 전송하는 데이터 전송 시스템에 이용되는 프로그램으로서, 영상 데이터가 스케일러블 부호화된 것이고, 베이스 레이어와 확장 레이어로 이루어지는 부호화 영상 데이터 및 부호화 영상 데이터의 레이어를 나타내는 레이어 데이터를 쌍으로 하여 기억하는 영상 데이터 기억부; 부호화 영상 데이터와 대응하는 레이어 데이터를 함께 저장한 송신 영상 패킷을 생성하여 상기 수신 장치로 패킷 송신하는 송출부; 상기 수신 장치에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 그 수신 장치로부터 수신하는 것이고, 상기 송출부가 송신 영상 패킷을 송신하고 나서 소정 시간 내에 수신 완료 패킷을 상기 수신 장치로부터 수신하지 않은 송신 영상 패킷을 상기 송출부로 재송시키는 재송 처리부; 상기 송신 장치로부터 송신된 송신 영상 패킷을 수신하는 수신부; 적어도 상기 수신부에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 상기 송신 장치로 송신하는 수신 완료 처리부; 상기 수신부에서 수신된 송신 영상 패킷에 저장되어 있는 부호화 영상 데이터의 레이어를 레이어 데이터에 기초하여 식별하는 레이어 식별부; 영상 데이터의 영상 특성을 특정하는 영상 특성 특정부; 상기 영상 특성 특정부에 의해 특정된 영상 특성에 기초하여 재송되어야 할 확장 레이어인 우선 확장 레이어를 설정하는 우선 확장 레이어 설정부;를 구비하며, 상기 재송 처리부가 상기 수신 완료 처리부로부터 수신 완료 패킷을 수신하지 않은 송신 영상 패킷 중에서 상기 우선 확장 레이어 설정부에서 설정된 우선 확장 레이어의 송신 영상 패킷을 상기 송출부로 재송시키도록 구성되어 있는 데이터 전송 시스템용 프로그램을 이용하면 된다.
이와 같이 본 발명의 데이터 전송 시스템 등에 따르면, TCP에 의한 스트림형 데이터 전송이어도 회선 상태가 나쁜 경우에는 원하는 확장 레이어만을 확실히 수신 장치에 도달하도록 하여 회선 상태에 따른 품질로의 동영상 재생이 가능하게 된다. 또한, 우선 확장 레이어가 영상 데이터에 기록되어 있는 컨텐츠 영상의 내용에 따라 결정되어 있으므로, 베스트 에퍼트형의 영상 데이터의 전송을 가능하게 함과 동시에, 실시간성을 확보하면서 동영상 데이터가 기록되어 있는 컨텐츠 영상의 특성에 맞는 고품질의 동영상 재생이 가능하게 된다.
도 1은 본 발명의 제1 실시형태에 관한 데이터 전송 시스템의 모식적 기기 구성도이다.
도 2는 동 실시형태에서의 데이터 전송 시스템의 기능 블록도이다.
도 3은 동 실시형태에서의 송신 처리부 및 수신 처리부의 상세에 대해 나타내는 기능 블록도 이다.
도 4는 스케일러블 부호화된 영상 데이터의 데이터 구조를 나타내는 모식도이다.
본 발명의 제1 실시형태에 대해 도면을 참조하면서 설명한다.
본 실시형태의 데이터 전송 시스템(200)은, 송신 장치(101)로부터 수신 장치(100)로 영상 데이터를 스트림형 전송하기 위한 것이다.
상기 송신 장치(101) 및 상기 수신 장치(100)는, 도 1에 도시된 바와 같이 CPU(11), 메모리(12), HDD나 플래시 메모리(14), 통신 인터페이스(15), 입출력 기기(16) 등을 구비한 이른바 컴퓨터로서, 메모리(12)에 저장되어 있는 프로그램을 CPU(11)가 실행함으로써 각종 기능을 발휘하는 것이다. 또한, 상기 송신 장치(101)와 상기 수신 장치(100)는 인터넷 등의 네트워크에 의해 정보의 교환을 하고, 네트워크 상에서의 전송 프로토콜로서는 RTP가 아니라 TCP가 이용되고 있다.
상기 송신 장치(101)는 상기 열거한 것 이외에 촬영용 카메라(13)를 더 구비하고 있고, 촬영된 영상 데이터를 스케일러블 부호화한 후에 상기 수신 장치(100)로 송신하도록 구성되어 있다. 그리고, 상기 송신 장치(101)는, 도 2의 기능 블록도에 도시된 바와 같이 적어도 영상 부호화부(3), 부호화 제어부(2), 영상 데이터 기억부(4), 송신 처리부(7), 영상 특성 특정부(5), 우선 확장 레이어 설정부(6)로서의 기능을 발휘하도록 구성되어 있다.
한편, 상기 수신 장치(100)는 상기 송신 장치(101)로부터 송신되어 있는 송신 영상 패킷 중에서 그 수신 장치(100)에 정상적으로 도착하지 않았거나 혹은 오류가 있는 것에 대해 재송시킬지를 판단하고, 필요한 것에 대해서는 재송시킨 후에 스케일러블 부호화된 영상 데이터를 디코드(복호)하여 동영상을 재생하는 것이다. 즉, 상기 수신 장치(100)는, 도 2에 도시된 바와 같이 적어도 수신 처리부(8), 영상 복호부(9)로서의 기능을 발휘하도록 구성되어 있다.
다음에, 전술한 각 부의 구성 및 영상 데이터의 스케일러블 부호화, 패킷의 송수신에서의 동작 등에 대해 상술한다.
상기 영상 부호화부(3)는, 예를 들면 H.264 비디오 코덱 규격 내에 있는 SVC에 의해 상기 카메라(13)에 의해 촬상된 영상 데이터를 스케일러블 부호화하도록 구성되어 있다. 보다 구체적으로, 상기 영상 부호화부(3)는 영상 데이터를 필요 최소한의 동영상 요소로 구성되는 베이스 레이어와, 상기 베이스 레이어와 조합함으로써 영상 품질을 향상시킬 수 있는 확장 레이어로 이루어지는 부호화 영상 데이터로 하는 것이다.
상기 부호화 제어부(2)는, 어느 레이어를 얼만큼의 계층으로 분할하여 상기 영상 부호화부(3)가 영상 데이터의 스케일러블 부호화를 행할지를 제어하는 것이다. 본 실시형태에서는, 확장 레이어는 추가로 3개의 계층으로 분할하도록 제어하고, 확장 레이어는 화상의 고정밀화에 기여하는 공간 레이어, 화상의 프레임 레이트 향상에 기여하는 시간 레이어, 화상의 S/N비의 향상에 기여하는 S/N비 레이어로 구성된다. 베이스 레이어와 이들 확장 레이어를 적절히 조합한 후에 디코드함으로써, 원하는 품질 태양의 동영상 재생이 실현된다.
상기 영상 데이터 기억부(4)는, 상기 영상 부호화부(3)에서 부호화된 베이스 레이어와 확장 레이어로 이루어지는 부호화 영상 데이터 및 부호화 영상 데이터의 레이어를 나타내는 레이어 데이터를 쌍으로 하여 기억하는 것이다.
상기 송신 처리부(7)는, 부호화 영상 데이터를 상기 수신 장치(100)로 패킷 송신하는 것임과 동시에, 원칙적으로 상기 수신 장치(100)로부터 송신되는 수신 완료 패킷이 수신되지 않은 송신 영상 패킷을 전부 재송하도록 구성되어 있는 것이다.
보다 구체적으로, 상기 송신 처리부(7)는 도 3에 도시된 바와 같이 레이어 인식부(71), 송출부(72), 재송 처리부(73)로 구성되어 있다.
상기 레이어 인식부(71)는, 상기 영상 데이터 기억부(4)로부터 취득한 부호화 영상 데이터와 그 레이어를 나타내는 레이어 데이터를 수취하고, 수취한 부호화 영상 데이터가 어느 레이어의 데이터인지를 레이어 데이터에 기초하여 인식하는 것이다.
상기 송출부(72)는, 상기 레이어 식별부(82)에서 인식된 부호화 영상 데이터와 대응하는 레이어 데이터 모두 저장한 송신 영상 패킷을 생성하여 상기 수신 장치(100)로 패킷 송신하도록 구성되어 있다. 그리고, 상기 레이어 인식부(71)에서의 레이어 인식에 기초하여, 패킷 송신시에 시퀀스의 어느 부분이 베이스 레이어, 시간 레이어, 공간 레이어, S/N비 레이어를 포함하는 송신 영상 패킷인지에 대한 시퀀스 정보를 상기 재송 처리부(73)에 기억시키고 있다.
상기 재송 처리부(73)는 상기 수신 장치(100)에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 그 수신 장치(100)로부터 수신하는 것으로, 상기 송출부(72)가 송신 영상 패킷을 송신하고 나서 소정 시간 내에 수신 완료 패킷을 상기 수신 장치(100)로부터 수신하지 않은 송신 영상 패킷을 상기 송출부(72)로 재송시키도록 구성되어 있다.
보다 구체적으로, 후술하는 수신 완료 처리부(8)로부터 수신 완료 패킷을 수신하지 않은 송신 영상 패킷 중에서 상기 시퀀스 정보를 참조하여 우선 확장 레이어의 송신 영상 패킷인 것은 상기 송출부(72)로 재송시킴과 동시에, 수신 완료 패킷을 수신하지 않은 송신 영상 패킷이 우선 확장 레이어 이외의 확장 레이어인 경우는 재송 처리를 중단하도록 구성되어 있다.
상기 영상 특성 특정부(5)는, 상기 영상 부호화부(3)에서 영상 데이터가 스케일러블 부호화될 때의 움직임 벡터 정보에 기초하여 영상 데이터에 기록되어 있는 컨텐츠 영상의 움직임의 격렬함을 특정하여 구성 영상 데이터의 영상 특성을 특정하는 것이다. 또한, 이 영상 특성 특정부(5)는, 영상 데이터의 메타 데이터에 저장되어 있는 컨텐츠 영상의 장르 등에도 기초하여 영상 특성을 특정하고 있다. 예를 들면, 장르가 스포츠 등이면, 컨텐츠 영상의 움직임이 격렬한 것이라고 특정한다. 또, 이 영상 특성 특정부(5)는, 영상 데이터가 스케일러블 부호화될 때에 고주파 성분이 소정값 이상 발생하는 경우에는 컨텐츠 영상에 많은 미세한 묘사가 포함되어 있는 것으로 특정한다.
상기 우선 확장 레이어 설정부(6)는, 상기 영상 특성 특정부(5)에서 특정된 컨텐츠 영상의 움직임의 격렬함, 잡음 성분의 많음, 해상도 등에 기초하여 시간 레이어, 공간 레이어, S/N비 레이어 중 어느 것을 우선 확장 레이어로 할지, 혹은 어떠한 중요도로 각 확장 레이어에 대해 재송 처리나 후술하는 FEC 처리가 행해지도록 할지에 대해 설정하는 것이다. 예를 들면, 전술한 바와 같이 영상 컨텐츠의 장르가 스포츠 등의 움직임이 격렬한 것이라고 특정되어 있는 경우에는, 상기 우선 확장 레이어 설정부(6)는 동영상 재생시에서의 프레임 레이트가 소정값 이상으로 유지되도록 시간 레이어를 우선 확장 레이어로서 설정한다. 또한, 그 밖의 장르의 동영상으로서 움직임이 그만큼 격렬하지 않고 미세한 묘사가 많이 포함되어 있는 고해상도의 컨텐츠 영상의 경우에는, 상기 우선 확장 레이어 설정부(6)는 공간 레이어를 우선 확장 레이어로서 설정한다. 또, 잡음 성분이 많은 컨텐츠 영상의 경우에는, S/N비 레이어를 우선 확장 레이어로서 설정한다.
다음에, 상기 수신 장치(100)에 대해 설명한다.
상기 수신 장치(100)는, 도 2에 도시된 바와 같이 수신 처리부(8)와 영상 복호부(9)로 이루어진다.
상기 수신 처리부(8)는, 도 3에 도시된 바와 같이 수신부(81), 레이어 식별부(82), FEC부(83), 수신 완료 처리부(84)로 이루어지는 것으로, 상기 송신 장치(101)로부터 송신된 송신 영상 패킷을 받아들이고, 회선 상태 등에 따라 도착하지 않았던 송신 영상 패킷이나 부서져 있어 수복 불가능한 송신 영상 패킷 중에서 베이스 레이어와 우선 확장 레이어로 설정된 확장 레이어의 송신 영상 패킷만을 재송시키도록 구성되어 있다.
상기 수신부(81)는, 상기 송출부(72)로부터 어느 레이어의 송신 영상 패킷이 어느 시퀀스 번호로 송신되어 있는지를 나타내는 시퀀스 정보를 받아들임과 동시에 각 송신 영상 패킷을 수신하는 것이다.
상기 레이어 인식부(71)는, 상기 수신부(81)에서 수신된 송신 영상 패킷에 저장되어 있는 부호화 영상 데이터의 레이어를 레이어 데이터에 기초하여 식별하는 것이다. 이 레이어 인식부(71)에서 수신한 송신 영상 패킷의 손상이나 누락이 있는 것을 안 경우에는, 상기 FEC부(83)에서 FEC 처리가 시도된다. 여기서 수복된 부호화 영상 데이터는 상기 영상 복호부(9)로 보내져 동영상 재생을 위해 이용된다.
상기 수신 완료 처리부(84)는, 상기 수신부(81)에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 상기 송신 장치(101)로 송신하고, 재송 처리부(73)가 재송 처리를 시작하지 않도록 하는 것이다. 또한, 상기 수신 완료 처리부(84)는, 수신된 송신 영상 패킷 중에서 상기 FEC부(83)에서 오류 정정할 수 없었던 송신 영상 패킷에 대해서는 재송 처리가 시작되도록 수신 완료 패킷을 상기 송신 장치(101)로 송신하지 않는다.
상기 영상 복호부(9)에서는, 상기 수신부(81)에서 수신된 송신 영상 패킷 및 상기 FEC부(83)에서 수복(restoration)된 송신 영상 패킷에 기초하여 사용할 수 있는 레이어를 전부 이용하여 디코드가 행해진다. 상기 수신부(81)에서 수신되는 데이터는 적어도 베이스 레이어와 우선 확장 레이어를 포함하는 것으로, 이들을 조합하여 디코드가 행해진다. 예를 들면 회선 상황이 좋은 경우 등에는, 상기 영상 복호부(9)에서는 우선 확장 레이어 이외의 확장 레이어의 데이터도 조합하여 디코드가 행해지고, 더욱 고품질의 동영상 재생이 행해지도록 구성되어 있다.
이와 같이 본 실시형태의 데이터 전송 시스템(200)에 따르면, TCP와 같은 재송 처리가 있는 전송 프로토콜에서도 상기 재송 처리부(73)가 송신 영상 패킷을 송신하고 나서 소정 시간 내에 수신 완료 패킷을 수신하지 않은 것 중에서 우선 확장 레이어의 것은 상기 송출부(72)로 재송 처리를 시작시키고, 그 이외의 것에 대해서는 재송 처리를 행하지 않도록 구성되어 있으므로, 회선 상태가 좋은 경우에는 모든 확장 레이어가 구비된 고품질의 동영상 재생이 가능한 반면, 회선 상태가 나쁜 경우에는 일부의 확장 레이어는 누락되어 품질은 저하되지만 실시간성은 확보된 동영상 재생이 가능하게 된다. 즉, TCP와 같은 재송 처리가 전제가 된 전송 프로토콜과 스케일러블 부호화의 조합이어도, 회선 상황에 따른 화질의 동영상 재생이 가능하게 되고 베스트 에퍼트형의 서비스를 제공할 수 있다.
또, 본 발명은 상기 송신 장치(101) 또는 상기 수신 장치(100)가 영상 데이터의 영상 특성을 특정하는 영상 특성 특정부(5)와, 상기 영상 특성 특정부(5)에 의해 특정된 영상 특성에 기초하여 재송되어야 할 확장 레이어인 우선 확장 레이어를 설정하는 우선 확장 레이어 설정부(6)를 구비하고 있으므로, 영상 데이터의 영상 특성에 따른 확장 레이어가 재송할 수 있고, 회선 상황에 따르지 않고 항상 컨텐츠 영상에 있던 확장 레이어와 베이스 레이어를 조합한 동영상 재생이 가능하다.
다시 말하면, 회선 상태가 아니라 우선 컨텐츠 영상의 특성에 맞추어 우선하는 확장 레이어가 설정되므로, 항상 영상 데이터마다 적합한 확장 레이어의 송신을 보호할 수 있고 동영상 재생시의 품질을 종래보다 높일 수 있다.
다음에, 본 발명의 제2 실시형태에 대해 설명한다.
상기 제1 실시형태에서는, 상기 송신 장치(101)에서의 상기 재송 처리부(73)가 우선 확장 레이어의 송신 영상 데이터만을 재송시키도록 구성하였지만, 제2 실시형태에서는 상기 수신 장치(100)에서의 수신 완료 처리부(84)의 구성에 의해 미수신의 우선 확장 레이어만이 재송되도록 되어 있다.
이하에서는 제1 실시형태와 구성이 다른 부위에 대해서만 상술한다.
제2 실시형태의 송신 장치(101)에 있어서, 상기 송출부(72)와 상기 재송 처리부(73)의 구성은 상기 제1 실시형태와 다르다.
보다 구체적으로, 제2 실시형태에서 상기 송출부(72)는, 상기 레이어 인식부(71)에서의 레이어 인식에 기초하여 패킷 송신시에 시퀀스의 어느 부분이 베이스 레이어, 시간 레이어, 공간 레이어, S/N비 레이어를 포함하는 송신 영상 패킷인지에 대한 정보인 시퀀스 정보를 상기 수신 장치(100)로 미리 송신하고 있다.
또한, 제2 실시형태에서 상기 재송 처리부(73)는, 어느 송신 영상 패킷에 대해서도 특별히 판별하지 않고 수신 완료 패킷을 받아들이지 않은 영상 송신 패킷에 대해서는 전부 재송시키도록 구성되어 있다.
한편, 상기 수신 장치(100)에서는, 상기 수신 완료 처리부(84)의 구성이 제1 실시형태의 구성과 다르다.
보다 구체적으로, 이 제2 실시형태의 수신 완료 처리부(84)에서는, 상기 수신부(81)에서 수신된 송신 영상 패킷의 시퀀스 번호와 레이어의 대응 관계로부터 미수신의 송신 영상 패킷이 어느 레이어의 데이터가 저장되어 있는지를 추정하도록 구성되어 있다. 상기 수신 완료 처리부(84)는, 미수신의 송신 영상 패킷 중에서 동영상 재생에 필요 불가결한 베이스 레이어에 관한 것에 대해서는 그 송신 영상 패킷이 수신될 때까지 수신 완료 패킷을 송신하지 않는다. 또한, 상기 우선 확장 레이어 설정부(6)에서 설정된 우선 확장 레이어에 해당하는 확장 레이어의 송신 영상 패킷에 대해서도 실제로 수신될 때까지 수신 완료 패킷을 송신하지 않도록 구성되어 있다.
그리고, 상기 수신 완료 처리부(84)는, 미수신의 송신 영상 패킷이 시퀀스 번호와 레이어의 대응으로부터 우선 확장 레이어 이외의 확장 레이어의 데이터가 저장되어 있다고 추정되는 경우에는, 미수신이어도 수신 완료 패킷을 상기 재송 처리부(73)로 송신하고 재송 처리를 강제적으로 중단하도록 되어 있다. 덧붙여, 상기 수신 완료 처리부(84)는, 상기 FEC부(83)에서 오류 정정할 수 없었던 송신 영상 패킷이 우선 확장 레이어 이외의 송신 영상 패킷인 경우에는, 수신 완료 패킷을 상기 송신 장치(101)로 송신하도록 구성되어 있다.
이와 같이, 상기 수신 완료 처리부(84)는, 동영상 재생에 필요 불가결한 베이스 레이어와 화질 등을 일정한 수준으로 유지하기 위해 보호하고 있는 일부의 확장 레이어에 대해서는 실제로 수신될 때까지 수신 완료 패킷을 송신하지 않지만, 우선 확장 레이어 이외의 확장 레이어에 대해서는 수신되지 않은 경우에는, 재송 처리가 행해지지 않도록 더미의 수신 완료 패킷이 송신되게 된다.
이와 같이 제2 실시형태의 데이터 전송 시스템(200)에서는, 상기 수신 완료 처리부(84)가 재송 처리를 행할 필요가 없는 우선도가 낮은 확장 레이어에 대해서는 실제로 수신되지 않았어도 더미의 수신 완료 패킷을 재송 처리부(73)로 송신함으로써 재송 처리를 강제적으로 중단할 수 있으므로, 상기 송신 장치(101)에서 우선 확장 레이어의 송신 영상 패킷만을 재송하는 구성이 없었다고 해도 우선 확장 레이어만을 재수신할 수 있다.
따라서, 수신 장치(100)의 구성만으로 TCP와 스케일러블 부호화의 조합이어도 제1 실시형태와 같은 효과를 얻을 수 있다.
그 밖의 실시형태에 대해 설명한다.
상기 실시형태에서는, 상기 우선 확장 레이어 설정부는 하나의 확장 레이어만을 우선 확장 레이어로 설정하였지만, 예를 들면 복수의 확장 레이어를 우선 확장 레이어로 설정하는 것이어도 된다. 또한, 그 우선 확장 레이어 설정부가 특정된 동영상 특성에 따라 각 확장 레이어의 우선도에 대해 중요도 부여를 행하도록 구성해도 된다. 이 경우, 상기 수신 완료 처리부는, 우선도가 높은 확장 레이어의 송신 영상 패킷일수록 수신 완료 패킷이 송신될 때까지의 대기 시간을 길게 설정하여 중요도 부여가 실현되도록 하면 된다. 이와 같이 하면, 더 미세한 송신 제어, 회선 품질에 알맞은 베스트 에퍼트인 복호 품질 제어가 가능하게 된다.
상기 실시형태에서는 상기 동영상 특성 특정부 및 상기 우선 확장 레이어 설정부는 송신 장치 내에서 구성되었지만, 수신 장치 내에 구성해도 된다. 또한, 송신 장치 및 수신 장치의 양쪽에 걸쳐 상기 동영상 특성 특정부 및 상기 우선 확장 레이어 설정부가 구성되어 있어도 된다.
상기 실시형태에서는 카메라로부터 촬상된 영상 데이터를 상기 영상 부호화부에서 순차적으로 스케일러블 부호화하였지만, 미리 스케일러블 부호화된 부호화 데이터를 영상 데이터 기억부에 기억해 둔 것을 수신 장치로 송신하도록 해도 된다.
또한, 수신 단말의 수신 능력, 예를 들면 해상도 등 원래 수신 단말이 VGA(640x480) 레벨의 표시 해상도 능력의 디스플레이를 가진 단말인 경우에는, 비록 송신 영상 소스 해상도가 풀 HD(1920x1080)의 해상도의 공간 확장 레이어 데이터를 송신해도 충분히 살릴 수 없다. 덧붙여, 수신기가 갖는 디코더의 디코드 능력이 720P(1280x720)까지만 서포트하고 있음에도 불구하고, 풀 HD(1920x1080)의 해상도의 공간 확장 레이어 데이터를 송신해도 충분히 살릴 수 없기 때문에, 미리 수신 단말과 송신 단말의 협상(negotiation)에 의해 수신 단말의 최대 해상도나 비트 레이트 등의 능력 교환을 실시해 두고, 송신 단말은 그 능력 이하의 영상이 되도록 미리 확장 레이어 데이터를 축소하여 송신해도 된다. 지금까지 말한 수법은 본 제한을 가한 경우에서도 그 기능을 충분히 살리는 것이 가능하다.
또한, 상술한 각 부를 기존의 송신 장치 및 수신 장치에 새로운 프로그램으로서 인스톨하여 본 발명의 기능을 실현하도록 해도 상관없다. 상기 영상 부호화부에서의 스케일러블 부호화는 상기 실시형태에 나타낸 것에 한정되지 않는다. 예를 들면, 확장 레이어의 계층을 더 다수로 분할해도 상관없다.
기타 본 발명의 취지에 반하지 않는 한 여러 가지 변형이나 실시형태의 조합을 행해도 상관없다.
200 데이터 전송 시스템
100 수신 장치
101 송신 장치
2 부호화 제어부
3 영상 부호화부
4 영상 데이터 기억부
5 영상 특성 특정부
6 우선 확장 레이어 설정부
7 송신 처리부
8 수신 처리부
9 영상 복호부
71 레이어 인식부
72 송출부
73 재송 처리부
81 수신부
82 레이어 식별부
83 FEC부
84 수신 완료 처리부

Claims (21)

  1. 데이터 송신 장치에 있어서,
    영상 데이터의 영상 특성을 특정하는 영상 특성 특정부;
    상기 영상 특성 특정부에 의해 특정된 영상 특성에 기초하여 재송되어야 할 확장 레이어인 우선 확장 레이어를 설정하는 우선 확장 레이어 설정부;
    수신 장치로부터 수신 완료 패킷을 수신하지 않은 송신 영상 패킷 중에서 상기 우선 확장 레이어 설정부에서 설정된 우선 확장 레이어의 송신 영상 패킷을 재송하는 송신 처리부를 구비하는 것을 특징으로 하는 데이터 송신 장치.
  2. 제1항에 있어서, 데이터 송신 장치는, 상기 영상 데이터가 스케일러블 부호화된 것이고, 베이스 레이어와 확장 레이어로 이루어지는 부호화 영상 데이터 및 부호화 영상 데이터의 레이어를 나타내는 레이어 데이터를 쌍으로 하여 기억하는 영상 데이터 기억부를 더 구비하는 것을 특징으로 하는 데이터 송신 장치.
  3. 제1항에 있어서, 상기 송신 처리부는,
    부호화 영상 데이터와 대응하는 레이어 데이터를 함께 저장한 송신 영상 패킷을 생성하여 수신 장치로 패킷 송신하는 송출부;
    상기 수신 장치에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 그 수신 장치로부터 수신하는 것이고, 상기 송출부가 송신 영상 패킷을 송신하고 나서 소정 시간 내에 수신 완료 패킷을 상기 수신 장치로부터 수신하지 않은 송신 영상 패킷 중에서 상기 우선 확장 레이어 설정부에서 설정된 우선 확장 레이어의 송신 영상 패킷을 상기 송출부로 재송시키는 재송 처리부를 구비하는 것을 특징으로 하는 데이터 송신 장치.
  4. 제1항에 있어서,
    상기 영상 특성 특정부가 영상 데이터의 메타 데이터에 기초하여 기록되어 있는 컨텐츠 영상의 장르를 특정하는 것이고,
    상기 우선 확장 레이어 설정부가 상기 영상 특성 특정부에 의해 특정된 컨텐츠 영상의 장르에 따라 우선 확장 레이어를 설정하도록 구성되어 있는 데이터 송신 장치.
  5. 제1항에 있어서,
    상기 부호화 영상 데이터의 확장 레이어가 공간 레이어, 시간 레이어, S/N비 레이어를 포함하는 것이고,
    상기 영상 특성 특정부가 영상 데이터에 기록되어 있는 컨텐츠 영상의 움직임의 격렬함을 특정하는 것이며,
    상기 우선 확장 레이어 설정부가, 상기 영상 특성 특정부에 의해 특정된 컨텐츠 영상의 움직임의 격렬함이 소정값 이상인 경우에는 시간 레이어를 우선 확장 레이어로 설정하도록 구성되어 있는 데이터 송신 장치.
  6. 제1항에 있어서,
    상기 영상 특성 특정부가, 영상 데이터가 스케일러블 부호화될 때의 움직임 벡터 정보에 기초하여 영상 데이터에 기록되어 있는 컨텐츠 영상의 움직임의 격렬함을 특정하도록 구성되어 있고,
    상기 우선 확장 레이어 설정부가, 컨텐츠 영상의 움직임의 격렬함이 소정값 이하인 경우에는 공간 레이어 또는 S/N비 레이어를 우선 확장 레이어로서 설정하도록 구성되어 있는 데이터 송신 장치.
  7. 제1항에 있어서,
    상기 데이터 송신 장치는,
    상기 송출부에서 송신되는 송신 영상 패킷에 저장되는 부호화 영상 데이터의 레이어를 레이어 데이터에 기초하여 인식하는 레이어 인식부를 더 구비하고,
    상기 송출부에서 송신된 송신 영상 패킷 중에서 상기 레이어 인식부에서 우선 확장 레이어 이외의 확장 레이어라고 인식된 것은 수신 완료 패킷을 수신하지 않아도 송신 영상 패킷을 재송하지 않도록 구성되어 있는 데이터 송신 장치.
  8. 제1항에 있어서,
    상기 영상 특성 특정부가, 영상 데이터가 스케일러블 부호화될 때에 고주파 성분의 양에 기초하여 해상도를 특정하도록 구성되어 있고,
    상기 우선 확장 레이어 설정부가, 해상도가 소정값 이상인 경우에는 공간 레이어를 우선 확장 레이어로서 설정하도록 구성되어 있는 데이터 송신 장치.
  9. 데이터 수신 장치에 있어서,
    송신 장치로부터 송신된 송신 영상 패킷을 수신하는 수신부;
    적어도 상기 수신부에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 상기 송신 장치로 송신하는 수신 완료 처리부;
    상기 수신부에서 수신된 송신 영상 패킷에 기초하여 FEC 처리를 행하는 FEC 처리부;
    상기 수신 완료 처리부가, 상기 FEC 처리부에서 오류 정정할 수 없었던 송신 영상 패킷이 우선 확장 레이어 이외의 송신 영상 패킷인 경우에는 수신 완료 패킷을 상기 송신 장치로 송신하는 것을 특징으로 하는 데이터 수신 장치.
  10. 제9항에 있어서, 상기 수신 완료 처리부가, 상기 수신부에서 수신되지 않은 송신 영상 패킷 중에서 우선 확장 레이어 이외의 확장 레이어의 송신 영상 패킷에 대해서는 상기 수신부에서 수신되지 않아도 수신 완료 패킷을 상기 송신 장치로 송신하는 것을 특징으로 하는 데이터 수신 장치.
  11. 송신 장치 및 수신 장치로 이루어지고, 영상 데이터를 스트림형 데이터 전송하는 데이터 전송 시스템으로서,
    상기 송신 장치가,
    영상 데이터가 스케일러블 부호화된 것이고, 베이스 레이어와 확장 레이어로 이루어지는 부호화 영상 데이터 및 부호화 영상 데이터의 레이어를 나타내는 레이어 데이터를 쌍으로 하여 기억하는 영상 데이터 기억부;
    부호화 영상 데이터와 대응하는 레이어 데이터를 함께 저장한 송신 영상 패킷을 생성하여 상기 수신 장치로 패킷 송신하는 송출부;
    상기 수신 장치에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 그 수신 장치로부터 수신하는 것이고, 상기 송출부가 송신 영상 패킷을 송신하고 나서 소정 시간 내에 수신 완료 패킷을 상기 수신 장치로부터 수신하지 않은 송신 영상 패킷을 상기 송출부로 재송시키는 재송 처리부;를 구비하고,
    상기 수신 장치가,
    상기 송신 장치로부터 송신된 송신 영상 패킷을 수신하는 수신부;
    적어도 상기 수신부에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 상기 송신 장치로 송신하는 수신 완료 처리부;를 구비하며,
    상기 송신 장치 또는 상기 수신 장치가,
    영상 데이터의 영상 특성을 특정하는 영상 특성 특정부;
    상기 영상 특성 특정부에 의해 특정된 영상 특성에 기초하여 재송되어야 할 확장 레이어인 우선 확장 레이어를 설정하는 우선 확장 레이어 설정부;를 구비하고 있고,
    상기 재송 처리부가 상기 수신 완료 처리부로부터 수신 완료 패킷을 수신하지 않은 송신 영상 패킷 중에서 상기 우선 확장 레이어 설정부에서 설정된 우선 확장 레이어의 송신 영상 패킷을 상기 송출부로 재송시키도록 구성되어 있는 데이터 전송 시스템.
  12. 제11항에 있어서,
    상기 영상 특성 특정부가 영상 데이터의 메타 데이터에 기초하여 기록되어 있는 컨텐츠 영상의 장르를 특정하는 것이고,
    상기 우선 확장 레이어 설정부가 상기 영상 특성 특정부에 의해 특정된 컨텐츠 영상의 장르에 따라 우선 확장 레이어를 설정하도록 구성되어 있는 데이터 전송 시스템.
  13. 제11항에 있어서,
    상기 부호화 영상 데이터의 확장 레이어가 공간 레이어, 시간 레이어, S/N비 레이어를 포함하는 것이고,
    상기 영상 특성 특정부가 영상 데이터에 기록되어 있는 컨텐츠 영상의 움직임의 격렬함을 특정하는 것이며,
    상기 우선 확장 레이어 설정부가, 상기 영상 특성 특정부에 의해 특정된 컨텐츠 영상의 움직임의 격렬함이 소정값 이상인 경우에는 시간 레이어를 우선 확장 레이어로 설정하도록 구성되어 있는 데이터 전송 시스템.
  14. 제11항에 있어서,
    상기 영상 특성 특정부가, 영상 데이터가 스케일러블 부호화될 때의 움직임 벡터 정보에 기초하여 영상 데이터에 기록되어 있는 컨텐츠 영상의 움직임의 격렬함을 특정하도록 구성되어 있고,
    상기 우선 확장 레이어 설정부가, 컨텐츠 영상의 움직임의 격렬함이 소정값 이하인 경우에는 공간 레이어 또는 S/N비 레이어를 우선 확장 레이어로서 설정하도록 구성되어 있는 데이터 전송 시스템.
  15. 제11항에 있어서,
    상기 송신 장치가,
    상기 송출부에서 송신되는 송신 영상 패킷에 저장되는 부호화 영상 데이터의 레이어를 레이어 데이터에 기초하여 인식하는 레이어 인식부를 더 구비하고,
    상기 재송 처리부가, 상기 송출부에서 송신된 송신 영상 패킷 중에서 상기 레이어 인식부에서 우선 확장 레이어 이외의 확장 레이어라고 인식된 것은 수신 완료 패킷을 수신하지 않아도 송신 영상 패킷을 재송하지 않도록 구성되어 있는 데이터 전송 시스템.
  16. 제11항에 있어서,
    상기 수신 완료 처리부가, 상기 수신부에서 수신되지 않은 송신 영상 패킷 중에서 우선 확장 레이어 이외의 확장 레이어의 송신 영상 패킷에 대해서는 상기 수신부에서 수신되지 않아도 수신 완료 패킷을 상기 송신 장치로 송신하도록 구성되어 있는 데이터 전송 시스템.
  17. 제11항에 있어서,
    상기 수신 장치가, 상기 수신부에서 수신된 송신 영상 패킷에 기초하여 FEC 처리를 행하는 FEC 처리부를 더 구비하고,
    상기 수신 완료 처리부가, 상기 FEC 처리부에서 오류 정정할 수 없었던 송신 영상 패킷이 우선 확장 레이어 이외의 송신 영상 패킷인 경우에는 수신 완료 패킷을 상기 송신 장치로 송신하도록 구성되어 있는 데이터 전송 시스템.
  18. 제11항에 있어서,
    상기 영상 특성 특정부가, 영상 데이터가 스케일러블 부호화될 때에 고주파 성분의 양에 기초하여 해상도를 특정하도록 구성되어 있고,
    상기 우선 확장 레이어 설정부가, 해상도가 소정값 이상인 경우에는 공간 레이어를 우선 확장 레이어로서 설정하도록 구성되어 있는 데이터 전송 시스템.
  19. 영상 데이터가 스케일러블 부호화된 것이고, 베이스 레이어와 확장 레이어로 이루어지는 부호화 영상 데이터 및 부호화 영상 데이터의 레이어를 나타내는 레이어 데이터를 쌍으로 하여 기억하는 영상 데이터 기억부와, 부호화 영상 데이터와 대응하는 레이어 데이터를 함께 저장한 송신 영상 패킷을 생성하여 상기 수신 장치로 패킷 송신하는 송출부와, 상기 수신 장치에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 그 수신 장치로부터 수신하는 것이고, 상기 송출부가 송신 영상 패킷을 송신하고 나서 소정 시간 내에 수신 완료 패킷을 상기 수신 장치로부터 수신하지 않은 송신 영상 패킷을 상기 송출부로 재송시키는 재송 처리부를 구비한 송신 장치 및 상기 송신 장치로부터 송신된 송신 영상 패킷을 수신하는 수신부와, 적어도 상기 수신부에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 상기 송신 장치로 송신하는 수신 완료 처리부를 구비한 수신 장치로 이루어지며, 영상 데이터를 스트림형 데이터 전송하는 데이터 전송 시스템에 이용되는 송신 장치로서,
    상기 송신 장치가,
    영상 데이터의 영상 특성을 특정하는 영상 특성 특정부;
    상기 영상 특성 특정부에 의해 특정된 영상 특성에 기초하여 재송되어야 할 확장 레이어인 우선 확장 레이어를 설정하는 우선 확장 레이어 설정부;를 더 구비하고,
    상기 재송 처리부가, 상기 수신 완료 처리부로부터 수신 완료 패킷을 수신하지 않은 송신 영상 패킷 중에서 상기 우선 확장 레이어 설정부에서 설정된 우선 확장 레이어의 송신 영상 패킷을 상기 송출부로 재송시키도록 구성되어 있는 송신 장치.
  20. 영상 데이터가 스케일러블 부호화된 것이고, 베이스 레이어와 확장 레이어로 이루어지는 부호화 영상 데이터 및 부호화 영상 데이터의 레이어를 나타내는 레이어 데이터를 쌍으로 하여 기억하는 영상 데이터 기억부와, 부호화 영상 데이터와 대응하는 레이어 데이터를 함께 저장한 송신 영상 패킷을 생성하여 상기 수신 장치로 패킷 송신하는 송출부와, 상기 수신 장치에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 그 수신 장치로부터 수신하는 것이고, 상기 송출부가 송신 영상 패킷을 송신하고 나서 소정 시간 내에 수신 완료 패킷을 상기 수신 장치로부터 수신하지 않은 송신 영상 패킷을 상기 송출부로 재송시키는 재송 처리부를 구비하며, 상기 재송 처리부가, 상기 수신 완료 처리부로부터 수신 완료 패킷을 수신하지 않은 송신 영상 패킷 중에서 우선 확장 레이어의 송신 영상 패킷을 상기 송출부로 재송시키도록 구성되어 있는 송신 장치 및 상기 송신 장치로부터 송신된 송신 영상 패킷을 수신하는 수신부와, 적어도 상기 수신부에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 상기 송신 장치로 송신하는 수신 완료 처리부를 구비한 수신 장치로 이루어지고, 영상 데이터를 스트림형 데이터 전송하는 데이터 전송 시스템에 이용되는 수신 장치로서,
    영상 데이터의 영상 특성을 특정하는 영상 특성 특정부;
    상기 영상 특성 특정부에 의해 특정된 영상 특성에 기초하여 재송되어야 할 확장 레이어인 우선 확장 레이어를 설정하는 우선 확장 레이어 설정부;를 더 구비하고 있는 수신 장치.
  21. 송신 장치 및 수신 장치로 이루어지고, 영상 데이터를 스트림형 데이터 전송하는 데이터 전송 시스템에 이용되는 프로그램으로서,
    영상 데이터가 스케일러블 부호화된 것이고, 베이스 레이어와 확장 레이어로 이루어지는 부호화 영상 데이터 및 부호화 영상 데이터의 레이어를 나타내는 레이어 데이터를 쌍으로 하여 기억하는 영상 데이터 기억부;
    부호화 영상 데이터와 대응하는 레이어 데이터를 함께 저장한 송신 영상 패킷을 생성하여 상기 수신 장치로 패킷 송신하는 송출부;
    상기 수신 장치에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 그 수신 장치로부터 수신하는 것이고, 상기 송출부가 송신 영상 패킷을 송신하고 나서 소정 시간 내에 수신 완료 패킷을 상기 수신 장치로부터 수신하지 않은 송신 영상 패킷을 상기 송출부로 재송시키는 재송 처리부;
    상기 송신 장치로부터 송신된 송신 영상 패킷을 수신하는 수신부;
    적어도 상기 수신부에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 상기 송신 장치로 송신하는 수신 완료 처리부;
    영상 데이터의 영상 특성을 특정하는 영상 특성 특정부;
    상기 영상 특성 특정부에 의해 특정된 영상 특성에 기초하여 재송되어야 할 확장 레이어인 우선 확장 레이어를 설정하는 우선 확장 레이어 설정부;를 구비하고,
    상기 재송 처리부가, 상기 수신 완료 처리부로부터 수신 완료 패킷을 수신하지 않은 송신 영상 패킷 중에서 상기 우선 확장 레이어 설정부에서 설정된 우선 확장 레이어의 송신 영상 패킷을 상기 송출부로 재송시키도록 구성되어 있는 데이터 전송 시스템용 프로그램.
KR1020130033664A 2012-06-15 2013-03-28 영상 데이터를 스트림형 데이터 전송하기 위해 이용되는 데이터 전송 시스템 및 데이터 전송 시스템에 이용되는 송신 장치, 수신 장치 및 프로그램 KR20130141356A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/918,351 US20130339482A1 (en) 2012-06-15 2013-06-14 Data transmitting system, and transmitting apparatus and receiving apparatus and program in data transmitting system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012135674A JP2014003359A (ja) 2012-06-15 2012-06-15 映像データをストリーム型データ転送するために用いられるデータ転送システム及びデータ転送システムに用いられる送信装置、受信装置及びプログラム
JPJP-P-2012-135674 2012-06-15

Publications (1)

Publication Number Publication Date
KR20130141356A true KR20130141356A (ko) 2013-12-26

Family

ID=49985514

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130033664A KR20130141356A (ko) 2012-06-15 2013-03-28 영상 데이터를 스트림형 데이터 전송하기 위해 이용되는 데이터 전송 시스템 및 데이터 전송 시스템에 이용되는 송신 장치, 수신 장치 및 프로그램

Country Status (2)

Country Link
JP (1) JP2014003359A (ko)
KR (1) KR20130141356A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5941939B2 (ja) * 2014-03-14 2016-06-29 ソフトバンク株式会社 動画配信装置、動画符号化装置及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3757857B2 (ja) * 2001-12-12 2006-03-22 ソニー株式会社 データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP4586328B2 (ja) * 2002-12-11 2010-11-24 ソニー株式会社 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
JP4100182B2 (ja) * 2003-01-30 2008-06-11 松下電器産業株式会社 通信端末装置及びその制御方法
EP1709815A1 (en) * 2004-01-21 2006-10-11 Koninklijke Philips Electronics N.V. Method of spatial and snr fine granular scalable video encoding and transmission
JP2007143113A (ja) * 2005-10-19 2007-06-07 Matsushita Electric Ind Co Ltd 送受信システム、送信装置、および送信方法
JP2008076515A (ja) * 2006-09-19 2008-04-03 Fujitsu Hitachi Plasma Display Ltd プラズマディスプレイパネルおよびカラー表示装置
JP5304539B2 (ja) * 2009-08-27 2013-10-02 日本電気株式会社 メディア品質変換装置、メディア品質変換方法およびメディア品質変換プログラム
JP2011077679A (ja) * 2009-09-29 2011-04-14 Fujifilm Corp 立体画像表示装置
WO2011064810A1 (en) * 2009-11-24 2011-06-03 Skillupjapan Corporation Method and apparatus for dynamically adapting the number of retransmissions

Also Published As

Publication number Publication date
JP2014003359A (ja) 2014-01-09

Similar Documents

Publication Publication Date Title
US10911763B2 (en) System and method for electronic data communication
US8971415B2 (en) Video communication system, device and method based on feedback reference frames
US8233539B2 (en) Method and apparatus for transmitting packet-based image frame
US20090103635A1 (en) System and method of unequal error protection with hybrid arq/fec for video streaming over wireless local area networks
US9584596B2 (en) Device for obtaining content by choosing the transport protocol according to the available bandwidth
US20060188025A1 (en) Error concealment
CN100568947C (zh) 通信系统、终端设备和通信方法
US8214708B2 (en) Video transmitting apparatus, video receiving apparatus, and video transmission system
US9525874B2 (en) Transmitting apparatus and transmission method
WO2008070433A2 (en) Method and apparatus for recovering from errors in transmission of encoded video over a local area network
KR20140027393A (ko) 낮은 레이턴시 레이트 제어 시스템 및 방법
CN111093083B (zh) 数据传输方法及装置
CN1469581A (zh) 恢复保存的再生数据的恢复系统
CN110876066A (zh) 一种自适应前向纠错方法、装置、介质和设备
JP2009118244A (ja) 再生単位が可変のデータを送信する技術
US9191696B2 (en) Reception device and program for reception device
CN110708569B (zh) 一种视频处理方法、装置、电子设备及存储介质
CN109862400B (zh) 一种流媒体传输方法、装置及其系统
JP6278275B2 (ja) 送信装置、受信装置、送信方法および受信方法
KR102104495B1 (ko) 수신장치 및 수신장치용 프로그램
US20130339482A1 (en) Data transmitting system, and transmitting apparatus and receiving apparatus and program in data transmitting system
KR20130141356A (ko) 영상 데이터를 스트림형 데이터 전송하기 위해 이용되는 데이터 전송 시스템 및 데이터 전송 시스템에 이용되는 송신 장치, 수신 장치 및 프로그램
JPH1118086A (ja) 画像通信方法および装置
KR101429398B1 (ko) 스케일러블 코딩 기반의 데이터 처리 방법
US20160344790A1 (en) Wireless communication device and wireless communication method

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination