KR102104495B1 - 수신장치 및 수신장치용 프로그램 - Google Patents

수신장치 및 수신장치용 프로그램 Download PDF

Info

Publication number
KR102104495B1
KR102104495B1 KR1020130059933A KR20130059933A KR102104495B1 KR 102104495 B1 KR102104495 B1 KR 102104495B1 KR 1020130059933 A KR1020130059933 A KR 1020130059933A KR 20130059933 A KR20130059933 A KR 20130059933A KR 102104495 B1 KR102104495 B1 KR 102104495B1
Authority
KR
South Korea
Prior art keywords
layer
unit
reception
transmission
received
Prior art date
Application number
KR1020130059933A
Other languages
English (en)
Other versions
KR20130141368A (ko
Inventor
모리오 요시모토
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/918,355 priority Critical patent/US9191696B2/en
Publication of KR20130141368A publication Critical patent/KR20130141368A/ko
Application granted granted Critical
Publication of KR102104495B1 publication Critical patent/KR102104495B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6375—Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

TCP에 의한 스트림형 데이터 전송이어도 스케일러블 부호화의 특성이 발휘되어 실시간성을 확보할 수 있는 수신장치를 제공한다.
수신부(81)에서 수신된 송신 영상 패킷에 의해 재생 대상 프레임의 베이스 레이어가 갖추어진 시점인 베이스 레이어 수신 완료 시점을 검출하는 프레임 검출부(85)와, 상기 프레임 검출부(85)에서 재생 대상 프레임의 베이스 레이어가 갖추어진 시점에서부터 미리 정해진 타임아웃 시간이 경과된 경우에 수신 완료 처리부(84)에 타임아웃 시간이 경과된 것을 통지하는 타이머부(86)를 구비하고, 상기 수신 완료 처리부(84)가 상기 타이머부(86)로부터 타임아웃 시간이 경과된 것이 통지된 경우에 미수신된 송신 영상 패킷에 대해 수신 완료 패킷을 송신장치(101)에 송신하도록 구성하였다.

Description

수신장치 및 수신장치용 프로그램{Reception device and program for reception device}
본 발명은 영상 데이터를 스트림형 데이터로 전송하는 데이터 전송 시스템에서, 송신장치에서 송신되는 송신 영상 패킷을 수신하는 수신장치 및 수신장치용 프로그램에 관한 것이다.
예를 들면 인터넷 통신을 통해 영상 데이터의 데이터가 전송될 경우, 다운로드형 전송 방식이 아닌, 송신장치에서 수신장치측으로 데이터 전송을 하는 동안에 병렬시켜 재생 처리도 하는 스트림형 데이터 전송이 이용되고 있다.
이러한 영상 데이터의 스트림형 데이터 전송이 이루어질 경우, 회선 상태나 수신 단말 능력 등에 대응한 송신 영상 결과를 얻을 수 있도록 영상 데이터를 스케일러블 부호화한 부호화 영상 데이터가 이용되고 있다.
스케일러블 부호화의 일례로서는, H. 264 비디오 코덱 규격내에 있는 SVC(Scalable Video Coding)를 들 수 있다. 이 코덱의 데이터 구조는, 도 6에 도시한 바와 같이 필요 최소한의 동영상 요소로 구성되는 베이스 레이어와, 상기 베이스 레이어와 조합함으로써 영상 품질을 향상시킬 수 있는 확장 레이어로 나눌 수 있다.
고신뢰성 채널인 상기 베이스 레이어에 관해서는, 수신측에서 영상을 재생할 때 필수인 데이터 스트림이므로 FEC(Forward Error Correction) 등의 리던던시화 등에 의해 높은 신뢰성으로 송수신 된다.
한편 저신뢰성 채널인 상기 확장 레이어는 다시, 화상의 고정밀화에 기여하는 공간 레이어와, 동영상의 프레임 레이트 향상에 기여하는 시간 레이어와, 화상의 S/N비 향상에 기여하는 S/N비 레이어로 나뉜다.
상기 확장 레이어에 관해서는 예를 들면 FEC처리 등이 이루어지지 않았기 때문에 회선 상황이 나빠지면 수신장치에는 도달하기 어려워진다. 수신장치에서는 필수 베이스 레이어에 관해서는 반드시 수신되기 때문에 확장 레이어 중 무사히 송신장치에서 도착한 것과 베이스 레이어를 조합하여 적절히 디코딩함으로써 회선 품질에 적합한 송신 영상 결과를 얻을 수 있다.
그런데 스케일러블 부호화된 부호화 영상 데이터에 의한 데이터 전송을 할 경우, 특허문헌 1 등에 나타난 바와 같이 전송 프로토콜로서는 재송신 처리가 이루어지지 않는 전송 방식인 RTP(Real Time Protocol)를 이용함으로써 데이터 전송의 신뢰성보다 실시간성을 우선시한다.
아울러 특허문헌 1에서는 원칙적으로는 재송신 처리가 되지 않은 RTP를 전송 프로토콜로서 이용하면서도 일부 레이어에 대해서는 재송신 처리를 하도록 구성한 데이터 전송 시스템이 나타나 있다.
그러나 동영상 등의 스트림형 전송을 실시할 경우에는 재송신 처리를 함으로써 신뢰성을 유지하는 TCP가 전송 프로토콜로서 이용되기도 한다. TCP에 의해 스케일러블 부호화된 부호화 영상 데이터를 전송하면, 수신장치에서 수신되지 않은 송신 영상 패킷이 있는 경우, 도달하지 않은 모든 송신 영상 패킷에 대해 재송신 처리가 이루어진다. 따라서 TCP에 의해 스케일러블 부호화된 데이터를 전송하면, 최악의 경우 동영상 재생만을 목적으로 한다면 수신장치에서 도달하지 않아도 상관없는 확장 레이어의 송신 영상 패킷까지 확실하게 재송신 처리된다. 따라서 동영상 재생시의 품질은 최고로 고정시킬 수 있지만, 모든 송신 영상 패킷이 수신될 때까지의 대기 시간이 발생하므로 실시간성은 손상된다.
즉, TCP와 스케일러블 부호화를 단순하게 조합한 것만으로는 회선 품질에 적합한 화질을 자동적으로 얻을 수 없어 RTP와 스케일러블 부호화를 조합했을 때와 같은 best effort형의 결과를 얻을 수 없다. 따라서 SVC의 특성을 발휘하지 못하고 종래와 마찬가지로 회선 상태에 따른 비트레이트의 인코딩을 각각 실시하거나, 또는 복수의 부호화 완료된 동영상 데이터를 준비해야 한다.
또 특허문헌 2의 데이터 전송 시스템은, 송신장치는 송신한 송신 영상 패킷에 대해 수신장치로부터 수신 완료 패킷을 수신하지 않는 한 재송신 처리를 반복하도록 구성되어 있는 경우를 전제로 하여 수신장치만의 구성으로 베이스 레이어에 대해서는 수신장치에서 확실하게 수신되도록 함과 동시에 나머지 확장 레이어에 대해서는 수신할 수 없었던 것은 일률적으로 재송신되지 않도록 구성되어 있다.
보다 구체적으로는, 상기 수신장치는 베이스 레이어에 대해 수신되지 않았던 것에 대해서는 평소대로 수신 완료 패킷을 송신장치에 송신하지 않도록 함과 동시에 확장 레이어 중 수신할 수 없었던 것에 대해서는 실제로는 수신하지 않은 상태에서도 수신 완료 패킷을 송신장치에 송신함으로써 확장 레이어에 대해서는 재송신 처리를 강제적으로 중단하도록 구성되어 있다.
그러나 이러한 수신장치에서는, 수신장치에서 수신할 수 없었던 확장 레이어의 송신 영상 패킷이 하나라도 있을 경우, 그 확장 레이어의 재송신 처리가 중단되므로 회선 상태가 나빠진 경우, 확장 레이어에 대해서는 거의 디코딩하지 못하고 실질적으로 베이스 레이어만을 송신하는 것이나 다름없는 상태가 되는 경우가 있다.
바꾸어 말하면, 이러한 수신장치에서는 회선 상태에 의하지 않고 예를 들면 베이스 레이어와 또 하나의 우선 확장 레이어를 최소한으로 보호하여 동영상 재생을 하고자 하는 요구가 있었다고 해도 우선 확장 레이어를 보호할 수 없어 사용자의 화질 등의 기호를 반영하면서 best effort형 서비스를 제공할 수 없다.
<선행 기술문헌>
특허문헌
특허문헌 1. 일본특허3757857호 공보
특허문헌 2.일본특개평9-307510호 공보
그래서 본 발명은 상술한 문제를 감안하여 이루어진 것으로서, TCP에 의한 스트림형 데이터 전송이어도 스케일러블 부호화의 특성이 발휘되어 best effort형 영상 데이터 전송을 가능하게 함과 동시에 실시간성을 확보하면서 베이스 레이어 이외의 확장 레이어의 일부를 보호할 수 있는 수신장치 및 수신장치용 프로그램을 제공하는 것을 목적으로 한다. 바꾸어 말하면, 본 발명은 서버 등의 송신장치가 재송신 기능을 가지고 있지만 어느 레이어에 대해 재송신하는지를 설정하기 위한 구성을 가지지 않아도 클라이언트인 수신장치측의 구성만으로도 베이스 레이어와 확장 레이어의 일부를 보호하면서 best effort형 서비스를 받을 수 있도록 하는 것을 목적으로 하는 것이다.
즉, 본 발명은, 영상 데이터를 스트림형 데이터 전송하는 데이터 전송 시스템에서 송신장치에서 송신되는 송신 영상 패킷을 수신하는 수신장치로서, 상기 송신장치가 베이스 레이어와 확장 레이어로 이루어진 부호화 영상 데이터 및 부호화 영상 데이터의 레이어를 나타내는 레이어 데이터를 대상으로 하여 기억하는 영상 데이터 기억부와, 부호화 영상 데이터와 대응하는 레이어 데이터를 함께 저장한 송신 영상 패킷을 생성하여 상기 수신장치로 패킷을 송신하는 송출부와, 상기 수신장치에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 해당 수신장치로부터 수신하는 것으로서, 수신 완료 패킷을 상기 수신장치로부터 수신하지 않는 송신 영상 패킷을 상기 송출부에 재송신시키는 재송신 처리부를 구비한 것임을 전제로 한다.
그리고 상기 수신장치가, 적어도 상기 수신부에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 상기 송신장치에 송신하는 수신 완료 처리부와, 상기 수신부에서 수신된 송신 영상 패킷의 레이어를 레이어 데이터에 근거하여 식별하는 레이어 식별부와, 상기 수신부에서 수신된 송신 영상 패킷에 의해 재생 대상 프레임의 베이스 레이어가 갖추어진 시점인 베이스 레이어 수신 완료 시점을 검출하는 프레임 검출부와, 상기 베이스 레이어 수신 완료 시점에서 미리 정해진 타임아웃 시간이 경과된 경우에 상기 수신 완료 처리부에 타임아웃 시간이 경과된 것을 통지하는 타이머부를 구비하고, 상기 수신 완료 처리부가 상기 타이머부에서 타임아웃 시간이 경과된 것이 통지된 경우에 미수신된 송신 영상 패킷에 대해 수신 완료 패킷을 상기 송신장치에 송신하도록 구성되어 있는 것을 특징으로 한다.
이러한 것이라면, 상기 수신 완료 처리부가 상기 타이머부에서 타임아웃 시간이 경과된 것이 통지된 경우에 미수신된 송신 영상 패킷에 대해 수신 완료 패킷을 상기 송신장치에 송신하도록 구성되어 있기 때문에 TCP등의 재송신 처리를 가진 전송 프로토콜에 의해 데이터 전송을 실시하는 경우여도, 회선 상황이 나쁜 경우에도 베이스 레이어만은 재송신 처리에 의해 확실하게 수신함과 동시에 기타 확장 레이어에 대해서는 재송신 처리를 중단할 수 있다.
또한 이 확장 레이어의 재송신 처리 중단은, 상기 베이스 레이어 수신 완료 시점에서부터 타임아웃 시간 경과후에 이루어지도록 구성되어 있기 때문에 적어도 타임아웃 시간 경과까지의 동안에는 미수신된 확장 레이어에 대해서도 재송신 처리를 하여 보호할 수 있다.
즉, 본 발명의 수신장치는 수신되지 않은 확장 레이어에 대해 일률적으로 수신 완료 패킷을 송신하여 송신장치에 의한 재송신 처리를 중단하는 것이 아니라 타임아웃 시간이라고 하는 유예기간이 마련됨에 따라 확장 레이어의 일부에 대해서도 보호할 수 있도록 되어 있다.
한편 회선 상황이 좋은 경우에는 모든 확장 레이어가 상기 수신장치에서 수신되어 최고 품질의 재생이 가능해진다.
이로써 본 발명에 의하면, 송신장치에 특히 특별한 구성이 없었다고 해도 수신장치만의 구성에 의해 TCP와 같은 재송신 처리가 있는 전송 프로토콜에서도 회선 상황에 따른 화질의 동영상 재생이 가능해져 best effort형 서비스를 제공할 수 있다. 또한 베이스 레이어 뿐 아니라 확장 레이어의 일부도 보호한다는 사용자의 화질에 대한 요구를 반영한 best effort형 서비스로 할 수 있다.
확장 레이어의 일부도 베이스 레이어와 동일하게 보호할 수 있도록 하면서 동영상 재생의 실시간성을 손상시키지 않으려면, 상기 타임아웃 시간이 재생 대상 프레임의 재생 타이밍 전에 종료되도록 구성되어 있으면 된다.
확장 레이어의 일부를 우선 확장 레이어로서 보호하여 우선 확장 레이어가 확실하게 수신되도록 하려면, 재송신되어야 할 확장 레이어인 우선 확장 레이어를 설정하는 우선 확장 레이어 설정부를 더 구비하고, 상기 프레임 검출부가, 상기 베이스 레이어 수신 완료 시점과 우선 확장 레이어가 갖추어진 시점인 우선 확장 레이어 수신 완료 시점을 검출하도록 구성되어 있으며, 상기 타이머부가 상기 베이스 레이어 수신 완료 시점과 상기 우선 확장 레이어 수신 완료 시점 중 느린 쪽 시점에서부터 타임아웃 시간이 경과된 경우에 상기 수신 완료 처리부에 타임아웃 시간이 경과된 것을 통지하도록 구성되어 있으면 된다. 이러한 것이라면, 베이스 레이어와 우선 확장 레이어에 대해서는 재송신 처리에 의해 보호되어 상기 수신장치에 수신됨과 동시에 타임아웃 시간 경과시에 수신되지 않은 확장 레이어에 대해서는 재송신 처리를 중단하여 회선의 상황에 맞춘 동영상 재생이 가능해진다.
송신장치로부터 특별한 데이터를 송신받지 않아도 수신장치의 구성만으로 베이스 레이어나 우선 확장 레이어가 수신 완료되었는지 여부를 검출할 수 있도록 하려면, 상기 프레임 검출부가 상기 수신부에서 수신된 송신 영상 패킷을 이용하여 베이스 레이어 또는 우선 확장 레이어의 임시 디코딩을 실시하고 임시 디코딩이 성공한 시점을 상기 베이스 레이어 수신 완료 시점 또는 상기 우선 확장 레이어 도달 시점으로 하도록 구성되어 있으면 된다.
상기 송신장치에서 송신 영상 패킷의 상세한 리스트 등이 수신장치에 송신되지 않아도 수신장치만의 간단한 구성으로 베이스 레이어 및 우선 확장 레이어 이외의 데이터에 대해 재송신 처리를 중단할 수 있게 하려면, 상기 수신 완료 처리부가 상기 베이스 레이어 수신 완료 시점 또는 상기 우선 확장 레이어 수신 완료 시점 중 느린 쪽 시점에서, 수신되는 송신 영상 패킷의 시퀀스 번호 중 가장 큰 번호보다 작은 시퀀스 번호를 가진 미수신된 송신 영상 패킷에 대해 수신 완료 패킷을 상기 송신장치에 송신하도록 구성되어 있으면 된다.
기존의 수신장치에 대해 본 발명의 수신장치로서의 기능을 부가하여 동영상 재생시에 best effort형 결과를 얻을 수 있도록 하려면, 적어도 상기 수신부에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 상기 송신장치에 송신하는 수신 완료 처리부와, 상기 수신부에서 수신된 송신 영상 패킷의 레이어를 레이어 데이터에 근거하여 식별하는 레이어 식별부와, 상기 수신부에서 수신된 송신 영상 패킷에 의해 재생 대상 프레임의 베이스 레이어가 갖추어진 시점인 베이스 레이어 수신 완료 시점을 검출하는 프레임 검출부와, 상기 프레임 검출부에서 재생 대상 프레임의 베이스 레이어가 갖추어진 시점에서부터 미리 정해진 타임아웃 시간이 경과된 경우에 상기 수신 완료 처리부에 타임아웃 시간이 경과된 것을 통지하는 타이머부를 구비하고, 상기 수신 완료 처리부가 상기 타이머부로부터 타임아웃 시간이 경과된 것이 통지된 경우에 미수신된 송신 영상 패킷에 대해 수신 완료 패킷을 상기 송신장치에 송신하도록 구성되어 있는 것을 특징으로 하는 수신장치용 프로그램을 기존의 수신장치에 인스톨하면 된다.
이와 같이 본 발명의 데이터 전송 시스템 등에 의하면, TCP에 의한 스트림형 데이터 전송이어도 회선 상태가 나쁜 경우에는 원하는 확장 레이어만을 확실하게 수신장치에 도달하도록 하여 회선 상태에 따른 품질의 동영상 재생이 가능해진다. 또 우선 확장 레이어가 영상 데이터에 기록되어 있는 컨텐츠 영상의 내용에 따라 정해져 있기 때문에 best effort형 영상 데이터 전송을 가능하게 함과 동시에 실시간성을 확보하면서 동영상 데이터가 기록되어 있는 컨텐츠 영상의 특성에 적합한 고품질의 동영상 재생을 가능해진다.
도 1은 본 발명의 제1 실시형태에 관한 데이터 전송 시스템의 모식적 기기 구성도이다.
도 2는 동 실시형태에서의 데이터 전송 시스템의 기능 블럭도이다.
도 3은 동 실시형태에서의 송신 처리부 및 수신 처리부의 상세에 대해 도시한 기능 블럭도이다.
도 4는 동 실시형태에서의 타이머부의 동작에 대해 도시한 그래프이다.
도 5는 동 실시형태의 수신장치의 동작을 도시한 흐름도이다.
도 6은 스케일러블 부호화된 영상 데이터의 데이터 구조를 도시한 모식도이디.
본 발명의 제1 실시형태에 대해 도면을 참조하여 설명하기로 한다.
본 실시형태의 수신장치(100)는, 송신장치(101)와 쌍을 이루어 영상 데이터를 스트림형 전송하기 위한 데이터 전송 시스템을 구성하는 것이다.
상기 송신장치(101) 및 상기 수신장치(100)는, 도 1에 도시한 바와 같이 CPU(11), 메모리(12), HDD나 플래쉬 메모리(14), 통신 인터페이스(15), 입출력 기기(16) 등을 구비한 이른바 컴퓨터로서, 메모리(12)에 저장되어 있는 프로그램을 CPU(11)가 실행함으로써 각종 기능을 발휘하는 것이다. 또 상기 송신장치(101)와 상기 수신장치(100)는 인터넷 등의 네트워크에 의해 정보를 교환하고 네트워크상에서의 전송 프로토콜로서는 RTP가 아닌 TCP가 이용되고 있다.
상기 송신장치(101)는 상기 열거한 것 이외에 촬영용 카메라(13)을 더 구비하고 있으며, 촬영된 영상 데이터를 스케일러블 부호화한 후에 상기 수신장치(100)에 송신하도록 구성되어 있다. 그리고 상기 송신장치(101)는, 도 2의 기능 블럭도에 도시한 바와 같이 적어도 영상 부호화부(3), 부호화 제어부(2), 영상 데이터 기억부(4), 송신 처리부(7)로서의 기능을 발휘하도록 구성되어 있다.
한편 상기 수신장치(100)는 상기 송신장치(101)에서 송신된 송신 영상 패킷 중 해당 수신장치(100)에 정상적으로 도달하지 않았거나 혹은 오류가 있는 것에 대해 재송신시킬지를 판단하여 필요한 것에 대해서는 재송신시킨 후 스케일러블 부호화된 영상 데이터를 디코딩(복호)하여 동영상을 재생하는 것이다. 즉, 상기 수신장치(100)는 도 2에 도시한 바와 같이 적어도 영상 특성 특정부(5), 우선 확장 레이어 설정부(6), 수신 처리부(8), 영상 복호부(9)로서의 기능을 발휘하도록 구성되어 있다.
다음으로 상술한 각 부의 구성 및 영상 데이터의 스케일러블 부호화, 패킷 송수신시의 동작 등에 대해 상술하기로 한다.
우선, 상기 송신장치(101)에 대해 설명하기로 한다.
상기 영상 부호화부(3)는, 예를 들면 H.264 비디오 코덱 규격내에 있는 SVC에 의해 상기 카메라(13)에 의해 촬상된 영상 데이터를 스케일러블 부호화하도록 구성되어 있다. 보다 구체적으로는, 상기 영상 부호화부(3)는 영상 데이터를 필요 최소한의 동영상 요소로 구성되는 베이스 레이어와, 상기 베이스 레이어와 조합함으로써 영상 품질을 향상시킬 수 있는 확장 레이어로 이루어진 부호화 영상 데이터로 하는 것이다.
상기 부호화 제어부(2)는 어느 레이어를 어느 정도의 계층으로 분할하여 상기 영상 부호화부(3)가 영상 데이터의 스케일러블 부호화를 실시할지를 제어하는 것이다. 본 실시형태에서는, 확장 레이어는 3개의 계층으로 분할하도록 더 제어하고, 확장 레이어는 화상의 고정밀화에 기여하는 공간 레이어와 화상의 프레임 레이트 향상에 기여하는 시간 레이어와, 화상의 S/N비 향상에 기여하는 S/N비 레이어로 구성된다. 베이스 레이어와 이들 확장 레이어를 적절히 조합한 후 디코딩함으로써 원하는 품질 형태의 동영상 재생이 실현된다.
상기 영상 데이터 기억부(4)는 상기 영상 부호화부(3)에서 부호화된 베이스 레이어와 확장 레이어로 이루어진 부호화 영상 데이터 및 부호화 영상 데이터의 레이어를 나타내는 레이어 데이터를 대상으로 하여 기억하는 것이다.
상기 송신 처리부(7)는, 부호화 영상 데이터를 상기 수신장치(100)에 패킷 송신하는 것임과 동시에, 원칙적으로는 상기 수신장치(100)에서 송신되는 수신 완료 패킷이 수신되지 않은 송신 영상 패킷을 모두 재송신하도록 구성되어 있는 것이다.
보다 구체적으로는, 상기 송신 처리부(7)는 도 3에 도시한 바와 같이 레이어 인식부(71), 송출부(72), 재송신 처리부(73)로 구성되어 있다.
상기 레이어 인식부(71)는, 상기 영상 데이터 기억부(4)로부터 취득한 부호화 영상 데이터와 그 레이어를 나타내는 레이어 데이터를 받고, 받은 부호화 영상 데이터가 어느 레이어의 데이터인지를 레이어 데이터에 근거하여 인식하는 것이다.
상기 송출부(72)는, 상기 레이어 식별부(82)에서 인식된 부호화 영상 데이터와 대응하는 레이어 데이터를 모두 저장한 송신 영상 패킷을 생성하여 상기 수신장치(100)로 패킷 송신하도록 구성되어 있다. 그리고 상기 레이어 인식부(71)에서의 레이어 인식에 기초하여 패킷 송신시에 시퀀스의 어느 부분이 베이스 레이어, 시간 레이어, 공간 레이어, S/N비 레이어를 포함한 송신 영상 패킷인지에 대한 시퀀스 정보를 상기 재송신 처리부(73)에 기억시킨다.
상기 재송신 처리부(73)는, 상기 수신장치(100)에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 해당 수신장치(100)로부터 수신하는 것으로서, 상기 송출부(72)가 송신 영상 패킷을 송신한 후 소정 시간내에 수신 완료 패킷을 상기 수신장치(100)로부터 수신하지 않는 송신 영상 패킷을 상기 송출부(72)에 재송신시키도록 구성되어 있다.
보다 구체적으로는 상기 송신장치(101)는, 후술하는 수신 완료 처리부(8)에서 수신 완료 패킷을 수신하지 않는 송신 영상 패킷에 대해서는 모두 재송신 처리를 하도록 구성되어 있다. 즉, 상기 송신장치(101)에는 베이스 레이어 및 우선 확장 레이어 이외의 확장 레이어에 대해 재송신 처리를 중단하는 등의 기능은 없다.
다음으로 상기 수신장치(100)에 대해 설명하기로 한다. 상기 수신장치(100)는, 도 2에 도시한 바와 같이 영상 특성 특정부(5), 우선 확장 레이어 설정부(6), 수신 처리부(8), 영상 복호부(9)로 이루어진다.
상기 영상 특성 특정부(5)는, 상기 영상 부호화부(3)에서 영상 데이터가 스케일러블 부호화될 때의 움직임 벡터 정보에 근거하여 영상 데이터에 기록되어 있는 컨텐츠 영상 움직임의 격렬함을 특정하여 구성 영상 데이터의 영상 특성을 특정하는 것이다. 또 이 영상 특성 특정부(5)는 영상 데이터의 메타 데이터에 저장되어 있는 컨텐츠 영상의 장르 등에도 기초하여 영상 특성을 특정한다. 예를 들면, 장르가 스포츠 등이면 컨텐츠 영상의 움직임이 격렬한 것으로 특정한다. 또한 이 영상 특성 특정부(5)는, 영상 데이터가 스케일러블 부호화될 때에 고주파 성분이 소정치 이상 발생하는 경우에는, 컨텐츠 영상에 섬세한 묘사가 많이 포함되어 있는 것으로 특정한다.
상기 우선 확장 레이어 설정부(6)는, 상기 영상 특성 특정부(5)에서 특정된 컨텐츠 영상 움직임의 격렬함, 노이즈 성분의 양, 해상도 등에 기초하여 시간 레이어, 공간 레이어, S/N비 레이어 중 어느 하나를 우선 확장 레이어로 하거나, 혹은 어느 것을 우선적으로 각 확장 레이어에 대해 재송신 처리나 후술하는 FEC처리가 이루어지도록 할지에 대해 설정하는 것이다. 예를 들면 전술한 것처럼 영상 컨텐츠의 장르가 스포츠 등 움직임이 격렬한 것으로 특정되어 있는 경우에는, 상기 우선 확장 레이어 설정부(6)는, 동영상 재생시의 프레임 레이트가 소정치 이상으로 유지되도록 시간 레이어를 우선 확장 레이어로서 설정한다. 또 기타 장르의 동영상으로서 움직임이 그리 격렬하지 않고 섬세한 묘사가 많이 포함되어 있는 고해상도의 컨텐츠 영상의 경우에는, 상기 우선 확장 레이어 설정부(6)는 공간 레이어를 우선 확장 레이어로서 설정한다. 또한 노이즈 성분이 많은 컨텐츠 영상의 경우에는 S/N비 레이어를 우선 확장 레이어로서 설정한다.
상기 수신 처리부(8)는, 도 3에 도시한 바와 같이 수신부(81), 레이어 식별부(82), FEC부(83), 수신 완료 처리부(84), 프레임 검출부(85), 타이머부(86)로 이루어진 것으로서, 상기 송신장치(101)에서 송신된 송신 영상 패킷을 받아들여 회선 상태 등에 따라 도달하지 않은 송신 영상 패킷이나 망가져 수복 불가능한 송신 영상 패킷 중 베이스 레이어와 우선 확장 레이어에 설정된 확장 레이어의 송신 영상 패킷만을 재송신시키도록 구성되어 있다. 또 상기 영상 복호부(9)에서는, 상기 수신 처리부(8)에서 수신된 송신 영상 패킷 및 상기 FEC부(83)에서 수복된 송신 영상 패킷에 근거하여 사용할 수 있는 레이어를 모두 이용하여 디코딩한다. 상기 수신부(81)에서 수신되는 데이터는 적어도 베이스 레이어와 우선 확장 레이어를 포함한 것으로서, 이들을 조합하여 디코딩한다. 예를 들면 회선 상황이 좋은 경우 등에는 상기 영상 복호부(9)에서는 우선 확장 레이어 이외의 확장 레이어의 데이터도 조합하여 디코딩이 이루어져 더욱 고품질의 동영상 재생을 하도록 구성되어 있다.
상기 수신부(81)는, 상기 송출부(72)로부터 시퀀스 번호와 함께 각 송신 영상 패킷을 수신하는 것이다.
상기 레이어 인식부(71)는, 상기 수신부(81)에서 수신된 송신 영상 패킷에 저장되어 있는 부호화 영상 데이터의 레이어를 레이어 데이터에 근거하여 식별하는 것이다. 이 레이어 인식부(71)에서 수신한 송신 영상 패킷의 손상이나 누락이 있다는 것을 안 경우에는, 상기 FEC부(83)에서 FEC처리가 시도된다. 여기서, 수복된 부호화 영상 데이터는 상기 영상 복호부(9)에 보내져 동영상 재생을 위해 이용된다.
상기 수신 완료 처리부(84)는, 상기 수신부(81)에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 상기 송신장치(101)에 송신하여 재송신 처리부(73)가 재송신 처리를 개시하지 않도록 하는 것이다. 또 상기 수신 완료 처리부(84)는, 수신된 송신 영상 패킷 중 상기 FEC부(83)에서 오류 정정할 수 없었던 송신 영상 패킷에 대해서는 재송신 처리가 개시되도록 수신 완료 패킷을 상기 송신장치(101)에 송신하지 않는다. 또한 이 수신 완료 처리부(84)는, 후술하는 프레임 검출부(85) 및 타이머부(86)의 동작에 맞춰 미수신된 송신 영상 패킷에 대해 재송신 처리가 중단되도록 더미의 수신 완료 패킷을 송신장치(101)에 대해 송신하도록 구성하였다. 또다른 상세한 동작에 대해서는 후술하기로 한다.
상기 프레임 검출부(85)는, 어느 재생 대상 프레임의 재생 타이밍보다 전의 시점에서 상기 수신부(81)에서 수신된 송신 영상 패킷에 의해 재생 대상 프레임의 베이스 레이어가 갖추어진 시점인 베이스 레이어 수신 완료 시점과, 우선 확장 레이어가 갖추어진 시점인 우선 확장 레이어 수신 완료 시점을 검출하는 것이다.
보다 구체적으로는 상기 프레임 검출부(85)는, 상기 수신부(81)에 수신된 복수의 송신 영상 패킷에 의해 베이스 레이어 및 우선 확장 레이어의 임시 디코딩을 하고, 임시 디코딩이 성공한 시점을 가지고 베이스 레이어 수신 완료 시점 및 우선 확장 레이어 수신 완료 시점을 검출하도록 구성되어 있다.
상기 타이머부(86)는, 상기 베이스 레이어 수신 완료 시점과 상기 우선 확장 레이어 수신 완료 시점 중 느린 쪽 시점에서부터 타임아웃 시간이 경과된 경우에 상기 수신 완료 처리부에 타임아웃 시간이 경과된 것을 통지하도록 구성되어 있다.
그리고 상기 수신 완료 처리부(84)는, 상기 타이머부(86)로부터 타임아웃 시간이 경과된 것이 통지된 경우에, 미수신된 송신 영상 패킷에 대해 송신장치(101)에서의 재송신 처리가 중단되도록 더미(dummy)의 수신 완료 패킷을 송신하도록 구성되어 있다. 이 때, 상기 수신 완료 처리부(84)는 수신되는 송신 영상 패킷의 시퀀스 번호 중 가장 큰 번호보다 작은 시퀀스 번호를 가진 미수신된 송신 영상 패킷에 대해 수신 완료 패킷을 상기 송신장치(101)에 송신하도록 구성되어 있다.
이와 같이 하여 베이스 레이어와 우선 확장 레이어 이외의 확장 레이어 중 재생 대상 프레임의 재생 타이밍까지 수신할 수 없었던 것에 대해서는, 재송신 처리를 중단함으로써 동영상 재생의 실시간성을 유지하도록 되어 있다. 또 상기 수신 완료 처리부(84)가 상기 프레임 검출부(85) 및 상기 타이머부(86)의 동작에 맞춰 재송신 처리를 중단하도록 되어 있기 때문에 보호되는 베이스 레이어와 우선 확장 레이어에 대해서는 반드시 수신하여 동영상 재생에 이용할 수 있다. 또한 상기 베이스 레이어 수신 완료 시점 또는 상기 우선 확장 레이어 수신 완료 시점 중 느린 쪽부터 타임아웃 시간까지의 동안에는 다른 확장 레이어에 대해서도 수신 완료 패킷이 송신되지 않기 때문에 송신장치(101)에 재송신 처리를 계속시킬 수 있다. 따라서 회선 상황에 따라서는 다른 확장 레이어도 갖추어져 동영상 재생에 사용할 수 있는 경우도 있고, 타임아웃 시간까지 송신 영상 패킷이 갖추어지지 않아 재송신 처리가 중단됨으로써 다른 확장 레이어에 대해서는 동영상 재생에 사용되지 않는 경우도 있다. 즉, 보호되는 베이스 레이어와 우선 확장 레이어에 의해 사용자의 취향이나 동영상 특성에 있던 최소한의 영상 품질은 유지 가능함과 동시에 다른 확장 레이어에 대해서는 회선 상황에 따라 사용되는지 여부를 변화시킨 best effort형 서비스로 할 수 있다.
다음으로 이와 같이 구성된 수신장치(100)가 있는 재생 대상 프레임에 대해 송신 영상 패킷을 수신할 때의 동작에 대해 설명하기로 한다.
우선, 도 4(a)에 도시한 바와 같이 어느 재생 대상 프레임에서 재생 타이밍까지 최초로 베이스 프레임이 갖추어지고, 그 후 우선 확장 레이어가 갖추어지는 경우에 대해 설명하기로 한다. 아울러 도 4(a)에서 재생 타이밍 전에 있는 타임아웃 시간이 경과될 때까지는 상기 수신 처리부(84)는 실제로 수신된 송신 영상 패킷의 수신 완료 패킷만을 송신장치(101)에 송신하도록 구성되어 있기 때문에 타임아웃 시간 경과까지 수신되지 않은 것에 대해서는 상기 송신장치(101)로부터 자동적으로 재송신 처리가 이루어진다.
도 5의 흐름도에 도시한 바와 같이, 상기 수신부(81)에서 재생 대상 프레임의 송신 영상 패킷의 수신이 개시되면(단계 S1), 상기 프레임 검출부(85)는 이미 수신하고 있으며, 상기 레이어 식별부(82)에서 베이스 레이어로 식별되는 송신 영상 패킷을 모두 이용하여 임시 인코딩이 성공하는지 시도한다(단계 S2).
수신부(81)에서 이미 수신된 송신 영상 패킷에 의해 베이스 레이어의 임시 인코딩이 성공한 경우에는, 상기 프레임 검출부(85)는 그 시점을 베이스 레이어 수신 완료 시점으로서 검출한다.
또한 상기 프레임 검출부(85)는, 상기 수신부(81)에서 이미 수신되고 있으며 상기 레이어 식별부(82)에서 우선 확장 레이어로 식별되는 송신 영상 패킷을 모두 이용하여 우선 확장 레이어의 임시 디코딩을 시도한다(단계 S3).
여기서 임시 디코딩이 성공하지 않는 경우에는, 상기 프레임 검출부(85)는 재송신 처리 등에 의해 새로 수신되는 송신 영상 패킷을 더해 우선 확장 레이어의 임시 디코딩이 성공할 때까지 반복한다(단계 S4).
우선 확장 레이어의 임시 디코딩이 성공한 시점을 상기 프레임 검출부(85)는 우선 확장 레이어 수신 완료 시점으로서 검출하고, 이 시점에서부터 상기 타이머부(86)는 카운트를 개시한다(단계 S5).
상기 타이머부(86)는, 우선 확장 레이어 수신 완료 시점에서부터 타임아웃 시간이 경과된 경우에 상기 수신 완료 처리부에 그것을 통지하고(단계 S6), 상기 수신 완료 처리부는, 그 통지를 가지고 미수신된 송신 영상 패킷 중 수신되는 시퀀스 번호 중 가장 큰 번호보다 작은 시퀀스 번호를 갖는 것에 대해 더미의 수신 완료 패킷을 송신장치(101)에 송신한다(단계 S7).
다음으로 도 4(b)에 도시한 바와 같이 재생 타이밍까지의 동안에 우선 확장 레이어가 먼저 갖추어지고, 그 후에 베이스 레이어가 갖추어지는 경우에 대해 설명하기로 한다.
도 5의 흐름도의 왼쪽에 도시한 바와 같이 수신부(81)에서 이미 수신된 송신 영상 패킷에 의해 우선 확장 레이어의 임시 인코딩이 성공한 경우에는, 상기 프레임 검출부(85)는 그 시점을 우선 확장 레이어 수신 완료 시점으로서 검출한다(단계 S8). 아울러 베이스 레이어 및 우선 확장 레이어 모두 임시 인코딩이 성공하지 않은 경우에는 새로 수신부(81)에서 수신된 송신 영상 패킷을 더하여 상기 프레임 검출부(85)는 각 레이어의 임시 인코딩을 더 시도한다(단계 S9).
또한 상기 프레임 검출부(85)는, 상기 수신부(81)에서 이미 수신되고 있으며 상기 레이어 식별부(82)에서 베이스 레이어로 식별되는 송신 영상 패킷을 모두 이용하여 베이스 레이어의 임시 디코딩을 시도한다(단계 S10).
여기서 임시 디코딩이 성공하지 않는 경우에는, 상기 프레임 검출부(85)는 재송신 처리 등에 의해 새로 수신되는 송신 영상 패킷을 더해 베이스 레이어의 임시 디코딩이 성공할 때까지 반복한다(단계 S11).
베이스 레이어의 임시 디코딩이 성공한 시점을 상기 프레임 검출부(85)는 베이스 레이어 수신 완료 시점으로서 검출하고, 이 시점에서부터 상기 타이머부(86)는 카운트를 개시한다(단계 S5).
상기 타이머부(86)는, 베이스 레이어 수신 완료 시점에서부터 타임아웃 시간이 경과된 경우에 상기 수신 완료 처리부에 그것을 통지하고(단계 S6), 상기 수신 완료 처리부는 그 통지를 가지고 미수신된 송신 영상 패킷 중 수신되는 시퀀스 번호 중 가장 큰 번호보다 작은 시퀀스 번호를 가진 것에 대해 더미의 수신 완료 패킷을 송신장치(101)에 송신한다(단계 S7).
이와 같이 수신장치(100)가 동작함으로써 수신 완료의 순서에 상관 없이 적어도 베이스 레이어 및 우선 확장 레이어가 갖추어진 상태에서 미수신된 확장 레이어에 대해 더미의 수신 완료 패킷이 송신되게 된다. 즉, 더미의 수신 완료 패킷에 의해 상기 송신장치(101)에 의한 재송신 처리가 강제로 중단되어도, 베이스 레이어와 우선 확장 레이어는 항상 확보된 상태가 되어 원하는 영상 품질을 확보하면서 실시간성을 손상시키지 않는다.
또 기타 확장 레이어에 대해서도 타임아웃 시간까지는 재송신 처리가 계속되므로 회선 상태에 따라서는 재생 타이밍까지 갖추어지기도 하여 회선 상황에 따라 새로운 영상 품질의 향상도 기대할 수 있다.
바꾸어 말하면, 이와 같이 본 실시형태의 수신장치(100)는 회선 상태가 좋은 경우에는 모든 확장 레이어가 갖추어진 고품질의 동영상 재생이 가능한 반면, 회선 상태가 나쁜 경우에는 일부 확장 레이어는 누락되어 품질은 저하되지만 베이스 레이어와 우선 확장 레이어를 확보하면서 실시간성은 확보된 동영상 재생이 가능해진다. 즉, TCP와 같은 재송신 처리가 전제가 된 전송 프로토콜과 스케일러블 부호화의 조합이어도, 회선 상황에 따른 화질의 동영상 재생이 가능해져 best effort형 서비스를 제공할 수 있다.
또한 상기 수신장치(100)가, 영상 데이터의 영상 특성을 특정하는 영상 특성 특정부(5)와, 상기 영상 특성 특정부(5)에 의해 특정된 영상 특성에 근거하여 재송신되어야 할 확장 레이어인 우선 확장 레이어를 설정하는 우선 확장 레이어 설정부(6)를 구비하고 있기 때문에 영상 데이터의 영상 특성에 대응한 확장 레이어를 재송신할 수 있어 회선 상황에 의하지 않고 항상 컨텐츠 영상에 있던 확장 레이어와 베이스 레이어를 조합한 동영상을 재생할 수 있다.
즉, 회선 상태가 아닌 우선 컨텐츠 영상의 특성에 맞추어 우선하는 확장 레이어가 설정되므로, 항상 영상 데이터마다 적합한 확장 레이어의 송신을 보호할 수 있어 동영상 재생시의 품질을 종래보다 높일 수 있다.
다음으로 본 발명의 제2 실시형태에 대해 설명하기로 한다.
제1 실시형태에서는, 상기 수신 완료 처리부(84)는 베이스 레이어와 우선 확장 레이어 모두가 갖추어진 시점에서부터 타임아웃 시간을 경과한 경우에 재송신 처리를 중단하도록 구성되어 있는데, 제2 실시형태에서는, 우선 확장 레이어가 갖추어졌는지에 상관 없이 베이스 레이어가 갖추어진 시점인 베이스 레이어 수신 완료 시점에서부터 타임아웃 시간 경과후에는 미수신된 송신 영상 패킷에 대한 더미의 수신 완료 패킷을 송신하도록 구성되어 있다.
보다 구체적으로는, 상기 프레임 검출부(85)는 베이스 프레임에 대해서만 임시 인코딩이 성공하는지 시행하도록 구성되어 있고, 상기 타이머부(86)는 베이스 레이어 수신 완료 시점에서부터 항상 카운트를 개시하여 상기 수신 완료 처리부(84)에 타임아웃 시간 경과를 통지하도록 구성되어 있다.
이러한 제2 실시형태라면, 베이스 프레임에 대해서는 보호할 수 있어 최소한의 영상 품질로 실시간성은 확보할 수 있다. 또한 타임아웃 시간이 경과될 때까지는 확장 레이어의 재송신 처리를 상기 송신장치(101)는 계속하므로, 회선 상황에 따라서는 확장 레이어가 갖추어질 가능성도 높일 수 있다. 즉, 회선 상황과 영상 품질을 연동시킨 best effort형의 결과를 제2 실시형태의 수신장치(100)에서도 얻을 수 있다.
기타 실시형태에 대해 설명하기로 한다.
상기 실시형태에서는, 상기 우선 확장 레이어 설정부는 1개의 확장 레이어만을 우선 확장 레이어로 설정하였으나, 예를 들면 복수의 확장 레이어를 우선 확장 레이어로 설정하는 것이어도 좋다. 또 해당 우선 확장 레이어 설정부가 특정된 동영상 특성에 따라 각 확장 레이어의 우선도에 대해 우선시하도록 구성해도 좋다.
상기 실시형태에서는, 카메라로부터 촬상된 영상 데이터를 상기 영상 부호화부에서 순서대로 스케일러블 부호화하였으나, 미리 스케일러블 부호화된 부호화 데이터를 영상 데이터 기억부에 기억해 둔 것을 수신장치로 송신하도록 해도 좋다.
또 수신 단말의 수신 능력, 예를 들어 해상도 등 원래 수신 단말이 VGA(640x480)레벨의 표시 해상도 능력의 디스플레이를 가진 단말인 경우에는, 비록 송신 영상 소스 해상도가 풀HD(1920×1080) 해상도인 공간 확장 레이어 데이터를 송신해도 기능을 충분히 살릴 수 없다. 아울러 수신기가 가진 디코더의 디코딩 능력이 720P(1280×720)까지만 서포트함에도 불구하고 풀HD(1920×1080) 해상도의 공간 확장 레이어 데이터를 송신해도 충분히 기능을 살릴 수 없기 때문에 미리 수신 단말과 송신 단말의 협상에 의해 수신 단말의 최대 해상도나 비트레이트 등의 능력을 교환해 놓고, 송신 단말은 그 능력 이하의 영상이 되도록 미리 확장 레이어 데이터를 솎아내어 송신해도 좋다. 지금까지 설명한 수법은 본 제한을 더한 경우에도 그 기능을 충분히 살릴 수 있다.
또 상술한 각 부를 기존의 송신장치 및 수신장치에 새로운 프로그램으로서 인스톨하여 본 발명의 기능을 실현하도록 해도 좋다. 상기 영상 부호화부에서의 스케일러블 부호화는 상기 실시형태에 나타낸 것으로 한정되지 않는다. 예를 들면 확장 레이어의 계층을 다수로 더 분할해도 좋다.
기타 본 발명의 취지에 반하지 않는 한 다양한 변형이나 실시형태의 조합을 실시해도 좋다.
200: 데이터 전송 시스템
100: 수신장치
101: 송신장치
2: 부호화 제어부
3: 영상 부호화부
4: 영상 데이터 기억부
5: 영상 특성 특정부
6: 우선 확장 레이어 설정부
7: 송신 처리부
8: 수신 처리부
9: 영상 복호부
71: 레이어 인식부
72: 송출부
73: 재송신 처리부
81: 수신부
82: 레이어 식별부
83: FEC부
84: 수신 완료 처리부
85: 프레임 검출부
86: 타이머부

Claims (15)

  1. 송신 영상 패킷을 수신하는 수신장치에 있어서,
    수신된 송신 영상 패킷에 의해 재생 대상 프레임의 베이스 레이어가 갖추어진 시점인 베이스 레이어 수신 완료 시점을 검출하는 프레임 검출부
    상기 프레임 검출부에서 재생 대상 프레임의 베이스 레이어가 갖추어진 시점에서부터 미리 정해진 타임아웃 시간이 경과된 경우에 타임아웃 시간이 경과된 것을 통지하는 타이머부;
    상기 타이머부로부터 타임아웃 시간이 경과된 것이 통지된 경우에 미수신된 송신 영상 패킷에 대해 수신 완료 패킷을 송신장치에 송신하는 수신 완료 처리부를 구비하며,
    상기 타임아웃 시간 경과 까지 동안 송신장치로부터 확장 레이어의 일부분이 수신되며,
    상기 미수신된 송신 영상 패킷은 상기 타이머부에 의해 통지된 타임아웃 시간이 경과된 후 수신되지 않은 상기 확장 레이어의 다른 부분임을 특징으로 하는 수신장치.
  2. 제1항에 있어서, 상기 송신 장치로부터 상기 송신 영상 패킷과 시퀀스 번호를 수신하는 수신부;
    상기 수신부에서 수신된 송신 영상 패킷의 레이어를 레이어 데이터에 근거하여 식별하는 레이어 식별부;
    상기 레이어 식별부에서 수신한 송신 영상 패킷의 손상이나 누락이 있다는 것을 안 경우에는 FEC 처리하는 FEC부를 더 구비하는 수신 장치.
  3. 제1항에 있어서, 상기 타임아웃 시간이, 재생 대상 프레임의 재생 타이밍보다 전에 종료하도록 구성되어 있는 수신장치.
  4. 제1항에 있어서, 재송신되어야 할 확장 레이어인 우선 확장 레이어를 설정하는 우선 확장 레이어 설정부를 더 구비하고,
    상기 프레임 검출부가, 상기 베이스 레이어 수신 완료 시점과 우선 확장 레이어가 갖추어진 시점인 우선 확장 레이어 수신 완료 시점을 검출하도록 구성되어 있고,
    상기 타이머부가, 상기 베이스 레이어 수신 완료 시점과 상기 우선 확장 레이어 수신 완료 시점 중 느린 쪽 시점에서부터 타임아웃 시간이 경과된 경우에 상기 수신 완료 처리부에 타임아웃 시간이 경과된 것을 통지하도록 구성되어 있는 수신장치.
  5. 제1항에 있어서, 상기 프레임 검출부가, 수신부에서 수신된 송신 영상 패킷을 이용하여 베이스 레이어 또는 우선 확장 레이어의 임시 디코딩을 하고 임시 디코딩이 성공한 시점을 상기 베이스 레이어 수신 완료 시점 또는 상기 우선 확장 레이어 도달 시점으로 하는 수신장치.
  6. 제1항에 있어서, 상기 수신 완료 처리부가, 상기 타이머부로부터 타임아웃 시간이 경과된 것이 통지된 경우에, 미수신된 송신 영상 패킷에 대해 송신장치에서의 재송신 처리가 중단되도록 더미의 수신 완료 패킷을 송신하도록 구성되어 있는 수신장치.
  7. 제4항에 있어서, 상기 수신 완료 처리부가, 상기 베이스 레이어 수신 완료 시점 또는 상기 우선 확장 레이어 수신 완료 시점 중 느린 쪽 시점에서, 수신되는 송신 영상 패킷의 시퀀스 번호 중 가장 큰 번호보다 작은 시퀀스 번호를 가진 미수신된 송신 영상 패킷에 대해 수신 완료 패킷을 상기 송신장치에 송신하도록 구성되어 있는 수신장치.
  8. 제4항에 있어서, 영상 데이터의 영상 특성을 특정하는 영상 특성 특정부를 더 구비하고,
    상기 우선 확장 레이어 설정부가, 상기 영상 특성 특정부에 의해 특정된 영상 특성에 근거하여 재송신되어야 할 확장 레이어인 우선 확장 레이어를 설정하도록 구성된 수신장치.
  9. 영상 데이터를 스트림형 데이터 전송하는 데이터 전송 시스템에서, 송신장치에서 송신되는 송신 영상 패킷을 수신하는 수신장치로서,
    상기 송신장치가 베이스 레이어와 확장 레이어로 이루어진 부호화 영상 데이터 및 부호화 영상 데이터의 레이어를 나타내는 레이어 데이터를 대상으로 하여 기억하는 영상 데이터 기억부와, 부호화 영상 데이터와 대응하는 레이어 데이터를 함께 저장한 송신 영상 패킷을 생성하여 상기 수신장치로 패킷을 송신하는 송출부와, 상기 수신장치에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 해당 수신장치로부터 수신하는 것으로서, 수신 완료 패킷을 상기 수신장치로부터 수신하지 않는 송신 영상 패킷을 상기 송출부에 재송신시키는 재송신 처리부를 구비한 것으로서,
    상기 수신장치가,
    적어도 수신부에서 수신된 송신 영상 패킷을 나타내는 수신 완료 패킷을 상기 송신장치에 송신하는 수신 완료 처리부,
    수신부에서 수신된 송신 영상 패킷의 레이어를 레이어 데이터에 근거하여 식별하는 레이어 식별부,
    수신부에서 수신된 송신 영상 패킷에 의해 재생 대상 프레임의 베이스 레이어가 갖추어진 시점인 베이스 레이어 수신 완료 시점을 검출하는 프레임 검출부,
    상기 베이스 레이어 수신 완료 시점에서 미리 정해진 타임아웃 시간이 경과된 경우에 상기 수신 완료 처리부에 타임아웃 시간이 경과된 것을 통지하는 타이머부를 구비하고,
    상기 수신 완료 처리부가 상기 타이머부에서 타임아웃 시간이 경과된 것이 통지된 경우에 미수신된 송신 영상 패킷에 대해 수신 완료 패킷을 상기 송신장치에 송신하도록 구성되어 있는 것을 특징으로 하며,
    상기 타임아웃 시간 경과 까지 동안 송신장치로부터 확장 레이어의 일부분이 수신되며,
    상기 미수신된 송신 영상 패킷은 상기 타이머부에 의해 통지된 타임아웃 시간이 경과된 후 수신되지 않은 상기 확장 레이어의 다른 부분임을 특징으로 하는 수신장치.
  10. 제9항에 있어서, 상기 타임아웃 시간이, 재생 대상 프레임의 재생 타이밍보다 전에 종료하도록 구성되어 있는 수신장치.
  11. 제9항에 있어서, 재송신되어야 할 확장 레이어인 우선 확장 레이어를 설정하는 우선 확장 레이어 설정부를 더 구비하고,
    상기 프레임 검출부가, 상기 베이스 레이어 수신 완료 시점과 우선 확장 레이어가 갖추어진 시점인 우선 확장 레이어 수신 완료 시점을 검출하도록 구성되어 있고,
    상기 타이머부가, 상기 베이스 레이어 수신 완료 시점과 상기 우선 확장 레이어 수신 완료 시점 중 느린 쪽 시점에서부터 타임아웃 시간이 경과된 경우에 상기 수신 완료 처리부에 타임아웃 시간이 경과된 것을 통지하도록 구성되어 있는 수신장치.
  12. 제9항에 있어서, 상기 프레임 검출부가, 상기 수신부에서 수신된 송신 영상 패킷을 이용하여 베이스 레이어 또는 우선 확장 레이어의 임시 디코딩을 하고 임시 디코딩이 성공한 시점을 상기 베이스 레이어 수신 완료 시점 또는 상기 우선 확장 레이어 도달 시점으로 하는 수신장치.
  13. 제11항에 있어서, 상기 수신 완료 처리부가, 상기 베이스 레이어 수신 완료 시점 또는 상기 우선 확장 레이어 수신 완료 시점 중 느린 쪽 시점에서, 수신되는 송신 영상 패킷의 시퀀스 번호 중 가장 큰 번호보다 작은 시퀀스 번호를 가진 미수신된 송신 영상 패킷에 대해 수신 완료 패킷을 상기 송신장치에 송신하도록 구성되어 있는 수신장치.
  14. 제11항에 있어서, 영상 데이터의 영상 특성을 특정하는 영상 특성 특정부를 더 구비하고,
    상기 우선 확장 레이어 설정부가, 상기 영상 특성 특정부에 의해 특정된 영상 특성에 근거하여 재송신되어야 할 확장 레이어인 우선 확장 레이어를 설정하도록 구성된 수신장치.

  15. 삭제
KR1020130059933A 2012-06-15 2013-05-27 수신장치 및 수신장치용 프로그램 KR102104495B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/918,355 US9191696B2 (en) 2012-06-15 2013-06-14 Reception device and program for reception device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012135813A JP5947631B2 (ja) 2012-06-15 2012-06-15 受信装置及び受信装置用プログラム
JPJP-P-2012-135813 2012-06-15

Publications (2)

Publication Number Publication Date
KR20130141368A KR20130141368A (ko) 2013-12-26
KR102104495B1 true KR102104495B1 (ko) 2020-05-29

Family

ID=49985518

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130059933A KR102104495B1 (ko) 2012-06-15 2013-05-27 수신장치 및 수신장치용 프로그램

Country Status (2)

Country Link
JP (1) JP5947631B2 (ko)
KR (1) KR102104495B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102397651B1 (ko) * 2021-12-28 2022-05-16 주식회사 꾼미디어 사용자 맞춤형 광고 방법 및 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6819041B2 (ja) * 2015-09-10 2021-01-27 ソニー株式会社 サーバシステムおよびサーバ

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179580A (ja) 2001-12-12 2003-06-27 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
US20030179825A1 (en) * 2001-04-09 2003-09-25 Shunchi Sekiguchi Image encoding method and apparatus, image decoding method and apparatus, and image processing system
US20080130658A1 (en) * 2005-07-20 2008-06-05 Jacob Chakareski System and method for low-delay, interactive communication using multiple tcp connections and scalable coding
JP2012504352A (ja) 2009-11-24 2012-02-16 スキルアップジャパン株式会社 再送回数を動的に適合させる方法及び装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007520950A (ja) * 2004-01-21 2007-07-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 空間及びｓｎｒファイングラニュラースケーラブルビデオ符号化及び伝送の方法
JP2007143113A (ja) * 2005-10-19 2007-06-07 Matsushita Electric Ind Co Ltd 送受信システム、送信装置、および送信方法
JP4479650B2 (ja) * 2005-11-29 2010-06-09 ソニー株式会社 コミュニケーションシステム、端末装置及びコンピュータプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030179825A1 (en) * 2001-04-09 2003-09-25 Shunchi Sekiguchi Image encoding method and apparatus, image decoding method and apparatus, and image processing system
JP2003179580A (ja) 2001-12-12 2003-06-27 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
US20080130658A1 (en) * 2005-07-20 2008-06-05 Jacob Chakareski System and method for low-delay, interactive communication using multiple tcp connections and scalable coding
JP2012504352A (ja) 2009-11-24 2012-02-16 スキルアップジャパン株式会社 再送回数を動的に適合させる方法及び装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102397651B1 (ko) * 2021-12-28 2022-05-16 주식회사 꾼미디어 사용자 맞춤형 광고 방법 및 시스템

Also Published As

Publication number Publication date
JP2014003371A (ja) 2014-01-09
KR20130141368A (ko) 2013-12-26
JP5947631B2 (ja) 2016-07-06

Similar Documents

Publication Publication Date Title
US20090103635A1 (en) System and method of unequal error protection with hybrid arq/fec for video streaming over wireless local area networks
US8233539B2 (en) Method and apparatus for transmitting packet-based image frame
US8971415B2 (en) Video communication system, device and method based on feedback reference frames
US10652580B2 (en) Video data processing method and apparatus
US7747921B2 (en) Systems and methods for transmitting data over lossy networks
US9246630B2 (en) Method, device, and system for forward error correction
US8929443B2 (en) Recovering from dropped frames in real-time transmission of video over IP networks
EP2912845B1 (en) Enhanced video streaming with application layer forward error correction
US9344218B1 (en) Error resilience for interactive real-time multimedia applications
JP2011523806A (ja) 放送チャネル上の高速チャネルザッピングおよび高品質ストリーム保護
US9525874B2 (en) Transmitting apparatus and transmission method
JP2010154547A (ja) パケット化データのビットレートの適合化とデータパケットの再送信との間の連携
CA2599803A1 (en) System and method for generating trick mode streams
US9191696B2 (en) Reception device and program for reception device
US20160134672A1 (en) Delivering partially received segments of streamed media data
KR102104495B1 (ko) 수신장치 및 수신장치용 프로그램
JP2007502585A (ja) データ技術領域を送信する装置、システムおよび方法
US20130339482A1 (en) Data transmitting system, and transmitting apparatus and receiving apparatus and program in data transmitting system
CN1863311B (zh) 传输视频数据的方法
KR20130141356A (ko) 영상 데이터를 스트림형 데이터 전송하기 위해 이용되는 데이터 전송 시스템 및 데이터 전송 시스템에 이용되는 송신 장치, 수신 장치 및 프로그램
US20160173898A1 (en) Methods, Decoder and Encoder for Selection of Reference Pictures to be Used During Encoding
KR101429398B1 (ko) 스케일러블 코딩 기반의 데이터 처리 방법
CN114554198B (zh) 基于纠删码的视频关键帧冗余传输方法和系统
WO2022228037A1 (zh) 一种流媒体数据传输的方法及相关设备
JP5262536B2 (ja) コンテンツ配信システム、配信装置、再生装置、配信方法、再生方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant