KR20150079367A - 영상 데이터 통신 방법 및 영상 데이터 통신 장치 - Google Patents

영상 데이터 통신 방법 및 영상 데이터 통신 장치 Download PDF

Info

Publication number
KR20150079367A
KR20150079367A KR1020140051262A KR20140051262A KR20150079367A KR 20150079367 A KR20150079367 A KR 20150079367A KR 1020140051262 A KR1020140051262 A KR 1020140051262A KR 20140051262 A KR20140051262 A KR 20140051262A KR 20150079367 A KR20150079367 A KR 20150079367A
Authority
KR
South Korea
Prior art keywords
data
recovery
packet
packets
piece
Prior art date
Application number
KR1020140051262A
Other languages
English (en)
Other versions
KR101760018B1 (ko
Inventor
구기종
김도영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/577,537 priority Critical patent/US20150189331A1/en
Publication of KR20150079367A publication Critical patent/KR20150079367A/ko
Application granted granted Critical
Publication of KR101760018B1 publication Critical patent/KR101760018B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

본 발명은 영상 데이터 통신 방법에 관한 것이다. 본 발명의 영상 데이터 통신 방법은, 영상 데이터를 인코딩하여 인코딩 데이터를 생성하는 단계, 인코딩 데이터를 이용하여 복구 데이터를 생성하는 단계, 인코딩 데이터 및 복구 데이터를 패킷화하여 패킷들을 생성하는 단계, 그리고 생성된 패킷들을 전송하는 단계로 구성된다. 복구 데이터를 생성하는 단계는, 인코딩 데이터를 복수의 조각 데이터들로 분할하는 단계, 그리고 복수의 조각 데이터들 중 적어도 두 개의 조각 데이터들에 대해 배타적 논리합 연산을 수행하여, 복구 데이터를 생성하는 단계로 구성된다.

Description

영상 데이터 통신 방법 및 영상 데이터 통신 장치{IMAGE DATA COMMUNICATION METHOD AND IMAGE DATA COMMUNICATION DEVICE}
본 발명은 통신 장치에 관한 것으로, 더 상세하게는 영상 데이터 통신 방법 및 영상 데이터 통신 장치에 관한 것이다.
영상 처리 기술 및 데이터 통신 기술이 발전하면서, 영상 회의와 같이 실시간 영상 데이터 통신을 필요로 하는 기술이 연구되고 있다. 영상 회의 시스템의 품질을 결정하는 주요 요인들 중 하나는 패킷 손실이다. 패킷이 손실되면 손실된 패킷에 해당하는 영상이 손실되므로, 영상 회의 시스템을 통해 재생되는 영상의 품질이 감소한다.
기존의 영상 회의 시스템 중 일 예로, 전용망을 이용한 영상 회의 시스템이 있다. 전용망은 관리가 용이하고, 다른 사용자 또는 환경에 의한 간섭이 적다. 따라서, 전용망을 이용한 영상 회의 시스템에서, 패킷 손실은 영상 회의에 적합한 레벨 이하로 관리될 수 있다. 그러나, 전용망을 이용한 영상 회의 시스템은 구축 비용이 고가라는 단점이 있다.
공중망을 이용한 영상 회의 시스템을 구축하기 위한 하나의 시도로, 스트리밍 기술을 이용한 영상 회의 시스템이 제안되고 있다. 스트리밍 기술이 적용되면, 영상 데이터는 버퍼링된 후에 재생된다. 버퍼링이 수행되는 동안, 손실된 패킷의 재전송이 수행될 수 있으며, 따라서 재생되는 영상의 품질이 향상될 수 있다. 그러나, 실시간 영상 회의 시스템에서 버퍼링 시간은 영상 재생의 지연을 초래하며, 영상 회의 시스템의 품질을 저하시킬 수 있다.
영상 회의 시스템은 무선 환경에 적용될 수 있다. 무선 환경은 유선 환경보다 많은 잡음을 경험하며, 따라서, 무선 환경의 패킷 손실률은 유선 환경의 패킷 손실률보다 높다.
따라서, 공중망 및 무선 환경과 같이 패킷 손실률이 높은 환경에서 실시간 영상 데이터 통신을 구현하는 영상 데이터 통신 기술이 요구되고 있다.
본 발명의 목적은, 향상된 신뢰성 및 속도를 갖는 영상 데이터 통신 방법 및 영상 데이터 통신 장치를 제공하는 데에 있다.
영상 데이터를 통신하는 본 발명의 실시 예에 따른 영상 데이터 통신 방법은, 영상 데이터를 인코딩하여 인코딩 데이터를 생성하는 단계; 상기 인코딩 데이터를 이용하여 복구 데이터를 생성하는 단계; 상기 인코딩 데이터 및 상기 복구 데이터를 패킷화하여 패킷들을 생성하는 단계; 그리고 상기 생성된 패킷들을 전송하는 단계를 포함하고, 상기 복구 데이터를 생성하는 단계는, 상기 인코딩 데이터를 복수의 조각 데이터들로 분할하는 단계; 그리고 상기 복수의 조각 데이터들 중 적어도 두 개의 조각 데이터들에 대해 배타적 논리합 연산을 수행하여, 상기 복구 데이터를 생성하는 단계를 포함한다.
실시 예로서, 상기 복구 데이터를 생성하는 단계는, 상기 복수의 조각 데이터들 중 홀수 번째 조각 데이터들에 대해 배타적 논리합 연산을 수행하는 단계를 포함한다.
실시 예로서, 상기 복구 데이터를 생성하는 단계는, 상기 복수의 조각 데이터들 중 짝수 번째 조각 데이터들에 대해 배타적 논리합 연산을 수행하는 단계를 포함한다.
실시 예로서, 상기 복수의 조각 데이터들은 복수의 그룹들로 분할되고, 상기 복구 데이터를 생성하는 단계는, 상기 복수의 그룹들 중 선택된 그룹의 조각 데이터들에 대해 배타적 논리합 연산을 수행하는 단계를 포함한다.
실시 예로서, 상기 복구 데이터를 생성하는 단계는, 상기 복수의 조각 데이터들 중 적어도 두 개의 제2 조각 데이터들에 대해 배타적 논리합 연산을 수행하여, 제2 복구 데이터를 생성하는 단계를 더 포함하고, 상기 패킷들을 생성하는 단계에서, 상기 제2 복구 데이터는 상기 인코딩 데이터 및 상기 복구 데이터와 함께 패킷화된다.
실시 예로서, 상기 적어도 두 개의 제2 조각 데이터들은 상기 적어도 두 개의 조각 데이터들과 중복되는 조각 데이터를 갖지 않는다.
실시 예로서, 상기 적어도 두 개의 제2 조각 데이터는 상기 적어도 두 개의 조각 데이터들 중 적어도 하나의 조각 데이터와 중복되는 조각 데이터를 갖는다.
실시 예로서, 상기 패킷들을 생성하는 단계에서, 상기 제2 복구 데이터 및 상기 복구 데이터는 서로 다른 패킷들로 패킷화된다.
실시 예로서, 상기 패킷들을 생성하는 단계는, 상기 복수의 조각 데이터들을 각각 복수의 제1 패킷들로 패킷화하는 단계; 그리고 상기 복구 데이터를 제2 패킷으로 패킷화하는 단계를 포함한다.
실시 예로서, 상기 제2 패킷은 RTP (Real-time Transport Protocol) 헤더 및 상기 복구 데이터를 포함하는 RTP 페이로드(payload)를 포함하고, 상 RTP 헤더는 상기 RTP 페이로드의 타입, 상기 RTP 페이로드의 순서를 가리키는 시퀀스 넘버, 그리고 상기 RTP 페이로드가 샘플링된 시간을 가리키는 타임 스탬프의 정보를 포함한다.
실시 예로서, 상기 RTP 페이로드는 PLR 헤더 및 상기 복구 데이터를 포함하는 PLR 페이로드를 포함하고, 상기 PLR 헤더는 상기 적어도 두 개의 조각 데이터들을 가리키는 PLR 지시자, 상기 복수의 조각 데이터들의 수를 가리키는 패킷 수, 상기 복수의 조각 데이터들 중 마지막 조각 데이터의 사이즈에 대한 정보를 포함한다.
실시 예로서, 상기 복구 데이터가 둘 이상의 패킷들로 패킷화되는 경우, 상기 PLR 헤더는 상기 둘 이상의 패킷들의 번호에 대한 정보를 더 포함한다.
실시 예로서, 상기 제1 패킷들 각각은 RTP (Real-time Transport Protocol) 헤더 및 상기 복수의 조각 데이터들 중 대응하는 조각 데이터를 포함하는 RTP 페이로드(payload)를 포함하고, 상 RTP 헤더는 상기 RTP 페이로드의 타입, 상기 RTP 페이로드의 순서를 가리키는 시퀀스 넘버, 그리고 상기 RTP 페이로드가 샘플링된 시간을 가리키는 타임 스탬프의 정보를 포함한다.
실시 예로서, 상기 RTP 페이로드는 FU (Fragmentation Unit) 지시자, FU 헤더, 그리고 상기 대응하는 조각 데이터를 포함하는 FU 페이로드를 포함하고, 상기 FU 지시자는 에러 여부를 가리키는 고정 비트, 상기 FU 페이로드에 대응하는 영상 데이터가 참조용으로 사용되는지의 여부를 가리키는 참조 지시자, 그리고 상기 FU 페이로드의 타입에 대한 정보를 포함하고, 상기 FU 헤더는 상기 복수의 조각 데이터들의 시작을 가리키는 시작 비트, 상기 복수의 조각 데이터들의 종료를 가리키는 종료 비트, 그리고 상기 FU 페이로드의 타입에 대한 정보를 포함한다.
영상 데이터를 통신하는 본 발명의 다른 실시 예에 따른 영상 데이터 통신 방법은, 복수의 패킷들 및 적어도 하나의 복구 패킷을 수신하는 단계; 상기 복수의 패킷들로부터 손실된 패킷이 존재하는지 판별하는 단계; 상기 손실된 패킷이 존재하면 상기 복수의 패킷들 및 상기 적어도 하나의 복구 패킷을 이용하여 손실 패킷 복구를 수행하고, 상기 손실 패킷 복구의 결과에 대해 디코딩을 수행하여 상기 영상 데이터를 복원하는 단계; 그리고 상기 손실된 패킷이 존재하지 않으면, 상기 복수의 패킷들에 대해 디코딩을 수행하여 상기 영상 데이터를 복원하는 단계를 포함하고, 상기 손실 패킷 복구는, 상기 복수의 패킷들 중 적어도 하나의 패킷과 상기 복구 패킷의 배타적 논리곱을 이용하여 수행된다.
실시 예로서, 상기 손실 패킷 복구는, 상기 적어도 하나의 복구 패킷으로부터, 상기 복구 패킷과 연관된 제1 패킷들을 검출하는 단계; 상기 손실된 패킷 및 상기 제1 패킷들에 기반하여, 상기 손실된 패킷이 복구 대상인지 판별하는 단계; 상기 손실된 패킷이 상기 복구 대상이면, 상기 적어도 하나의 복구 패킷 및 상기 제2 패킷들에 기반하여 상기 손실된 패킷을 복구하는 단계; 그리고 상기 손실된 패킷이 상기 복구 대상이 아니면, 상기 손실 패킷 복구를 종료하는 단계에 의해 수행된다.
실시 예로서, 상기 손실된 패킷이 상기 복구 대상인지 판별하는 단계는, 상기 손실된 패킷이 상기 제1 패킷들 중 하나일 때, 상기 손실된 패킷은 상기 복구 대상으로 판별된다.
실시 예로서, 상기 손실된 패킷을 복구하는 단계는, 상기 제1 패킷들 중 상기 손실된 패킷을 제외한 나머지 패킷들과 상기 복구 패킷을 배타적 논리곱 연산하여, 상기 손실된 패킷을 복구하는 단계를 포함한다.
실시 예로서, 상기 손실된 패킷은 제1 및 제2 손실된 패킷들을 포함하고, 상기 손실 패킷 복구는, 상기 적어도 하나의 복구 패킷 중 제1 복구 패킷과 연관된 제1 패킷들을 검출하는 단계; 상기 적어도 하나의 복구 패킷 중 제2 복구 패킷과 연관된 제2 패킷들을 검출하는 단계; 상기 복수의 손실된 패킷들, 상기 제1 패킷들 및 상기 제2 패킷들에 기반하여, 상기 제1 복구 패킷 및 상기 제2 복구 패킷 중 1순위 복구 패킷을 선택하는 단계; 상기 1순위 복구 패킷 및 상기 1순위 복구 패킷과 연관된 패킷들을 이용하여 상기 제1 및 제2 손실된 패킷들 중 하나의 손실 패킷을 복구하는 단계; 그리고 상기 제1 복구 패킷 및 상기 제2 복구 패킷 중 2순위 복구 패킷 및 상기 2순위 복구 패킷과 연관된 패킷들을 이용하여 상기 제1 및 제2 손실된 패킷들 중 나머지 하나의 손실 패킷을 복구하는 단계에 의해 수행된다.
본 발명의 실시 예에 따른 영상 데이터 통신 장치는, 영상 신호를 인코딩하여 제1 다운 신호로 출력하고, 제1 업 신호를 수신하고, 상기 제1 업 신호를 디코딩하여 상기 영상 신호를 복원하도록 구성되는 제1 인코딩 및 디코딩부; 상기 제1 다운 신호를 수신하고, 상기 제1 다운 신호에 패킷 손실 복구 인코딩을 수행하여 제2 다운 신호로 출력하고, 제2 업 신호를 수신하고, 상기 제2 업 신호에 패킷 손실 복구 디코딩을 수행하여 상기 제1 업 신호로 출력하도록 구성되는 제2 인코딩 및 디코딩부; 상기 제2 다운 신호를 수신하고, 상기 제2 다운 신호를 패킷화하여 제3 다운 신호로 출력하고, 제3 업 신호를 수신하고, 상기 제3 업 신호를 역패킷화하여 상기 제2 업 신호로 출력하도록 구성되는 패킷화 및 역패킷화부; 그리고 상기 제3 다운 신호를 수신하여 외부 장치로 전송하고, 상기 외부 장치로부터 상기 제3 업 신호를 수신하여 출력하도록 구성되는 송수신부를 포함하고, 상기 패킷 손실 복구 인코딩은, 상기 제1 다운 신호를 복수의 제1 조각 데이터들로 분할하고, 상기 복수의 제1 조각 데이터들 중 적어도 두 개의 조각 데이터들에 대해 배타적 논리곱을 수행하여 제1 복구 데이터를 생성하고, 상기 복수의 제1 조각 데이터들 및 상기 제1 복구 데이터를 상기 제2 다운 신호로 출력하는 동작을 포함하고, 상기 패킷 손실 복구 디코딩은, 상기 제2 업 신호의 복수의 제2 조각 데이터들 및 제2 복구 데이터를 이용하여 손실 데이터를 복구하고, 상기 복수의 제2 조각 데이터 및 상기 복구된 데이터를 상기 제1 업 신호로 출력하는 동작을 포함한다.
본 발명의 실시 예들에 따르면, 영상 데이터의 송신단에서, 영상 데이터 패킷들로부터 복구 패킷들이 생성된다. 영상 데이터의 수신단에서, 영상 데이터 패킷들 및 복구 패킷들을 이용하여, 손실 패킷들이 복원될 수 있다. 따라서, 향상된 신뢰성을 갖는 영상 데이터 통신 방법 및 영상 데이터 통신 장치가 제공된다. 또한, 손실 패킷의 재전송에 필요하지 않으므로, 향상된 속도를 갖는 영상 데이터 통신 방법 및 영상 데이터 통신 장치가 제공된다.
도 1은 본 발명의 실시 예에 따른 영상 회의 시스템을 보여주는 개념도이다.
도 2는 본 발명의 실시 예에 따른 영상 데이터 통신 장치를 보여주는 블록도이다.
도 3은 본 발명의 실시 예에 따른 영상 데이터 통신 장치가 영상 데이터를 송신하는 방법을 보여주는 순서도이다.
도 4는 본 발명의 실시 예에 따른 영상 데이터 통신 장치가 영상 데이터를 인코딩하는 방법을 보여주는 순서도이다.
도 5는 영상 데이터 통신 장치에 의해 생성되는 NAL 유닛의 예를 보여준다.
도 6은 본 발명의 실시 예에 따른 영상 데이터 통신 장치가 손실 패킷 복구 디코딩 및 패킷화를 수행하여 전송하는 방법을 보여주는 순서도이다.
도 7은 NAL 유닛의 RBSP의 각 조각 데이터가 패킷화되는 예를 보여준다.
도 8은 조각 데이터가 포함된 RTP 페이로드의 예를 보여준다.
도 9는 영상 데이터 통신 장치가 선택된 조각 데이터를 홀수 데이터 또는 짝수 데이터와 연산하는 예를 보여주는 순서도이다.
도 10은 복구 데이터가 생성되는 예를 보여준다.
도 11은 복구 데이터를 포함하는 RTP 페이로드의 예를 보여준다.
도 12는 본 발명의 실시 예에 따른 영상 데이터 통신 장치가 RTP 패킷들을 수신하여 처리하는 예를 보여주는 순서도이다.
도 13은 영상 데이터 통신 장치가 손실 패킷이 존재하는지 판별하는 방법의 예를 보여주는 순서도이다.
도 14는 영상 데이터 통신 장치가 손실 패킷이 존재하는지 판별하는 방법의 다른 예를 보여주는 순서도이다.
도 15는 본 발명의 실시 예에 따른 영상 데이터 통신 장치가 손실 패킷 복구를 수행하는 방법을 보여주는 순서도이다.
도 16은 손실 패킷 복구가 수행되는 일 예를 보여준다.
도 17은 손실 패킷 복구가 수행되는 다른 예를 보여준다.
이하에서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 영상 회의 시스템(10)을 보여주는 개념도이다. 도 1을 참조하면, 영상 회의 시스템(10)은 공용 네트워크(11), 그리고 영상 데이터 통신 장치들(12, 13, 14)을 포함한다.
공용 네트워크(11)는 복수의 통신 장치들에 의해 접속되는 네트워크일 수 있다. 공용 네트워크(11)는 인터넷, 무선 통신 채널 등을 포함할 수 있다.
영상 데이터 통신 장치들(12, 13, 14)는 영상 및 음성을 캡처하여 영상 데이터 및 음성 데이터를 생성할 수 있다. 영상 데이터 통신 장치들(12, 13, 14)은 생성된 영상 데이터 및 음성 데이터를 공용 네트워크(11)로 전송할 수 있다. 영상 데이터 통신 장치들(12, 13, 14)은 공용 네트워크(11)로부터 영상 데이터 및 음성 데이터를 수신할 수 있다. 영상 데이터 통신 장치들(11, 12, 13)은 수신된 영상 데이터 및 음성 데이터를 이용하여 영상 및 음성을 재생할 수 있다. 영상 데이터 통신 장치들(12, 13, 14)은 실시간 영상 회의를 지원하는 장치들일 수 있다.
이하에서, 간결한 설명을 위하여, 영상 데이터 통신 장치들(12, 13, 14)은 영상 및 영상 데이터를 처리하는 것으로 설명된다. 그러나, 영상 데이터 통신 장치들(12, 13, 14)은 영상 및 영상 데이터 뿐 아니라 음성 및 음성 데이터도 처리할 수 있다.
도 2는 본 발명의 실시 예에 따른 영상 데이터 통신 장치(100)를 보여주는 블록도이다. 도 2를 참조하면, 영상 데이터 통신 장치(100)는 입력 및 출력부(110), 제1 인코딩 및 디코딩부(120), 제2 인코딩 및 디코딩부(130), 패킷화 및 역패킷화부(140), 그리고 송수신부(150)를 포함한다.
영상 데이터 통신 장치(100)는 영상 데이터를 처리하여 외부 장치로 전송하는 다운 링크(D) 및 외부 장치로부터 전송된 신호를 이용하여 영상 데이터를 복원하는 업 링크(U)를 포함할 수 있다. 이하에서, 영상 데이터 통신 장치(100)의 다운 링크와 연관된 설명이 제공된 후에, 영상 데이터 통신 장치(100)의 업 링크와 연관된 설명이 제공된다.
입력 및 출력부(110)는 사용자로부터 신호를 수신하거나 사용자에게 신호를 출력할 수 있다. 입력 및 출력부(110)는 영상을 캡처하는 카메라, 음성을 캡처하는 마이크 등과 같은 사용자 입력 수단을 포함할 수 있다. 입력 및 출력부(110)는 영상을 캡처하여 영상 데이터를 생성하고, 생성된 영상 데이터를 제1 인코딩 및 디코딩부(120)로 출력할 수 있다.
제1 인코딩 및 디코딩부(120)는 영상 데이터의 인코딩 및 디코딩을 수행할 수 있다. 제1 인코딩 및 디코딩부(120)는 입력 및 출력부(110)로부터 영상 데이터를 수신하고, 수신된 영상 데이터를 인코딩할 수 있다. 예를 들어, 제1 인코딩 및 디코딩부(120)는 H.264/AVC, HEVC 등과 같은 표준에 기반하여 영상 데이터를 인코딩할 수 있다. 제1 인코딩 및 디코딩부(120)는 인코딩된 데이터를 제1 다운 신호(D1)로서 제2 인코딩 및 디코딩부(130)로 출력할 수 있다.
제2 인코딩 및 디코딩부(130)는 제1 인코딩 및 디코딩부(120)로부터 제1 다운 신호(D1)를 수신한다. 제2 인코딩 및 디코딩부(130)는 제1 다운 신호(D1)에 대해 패킷 손실 복구 디코딩을 수행할 수 있다. 패킷 손실 복구 디코딩이 수행되면, 제1 다운 신호(D1)와 연관된 복구 데이터가 생성된다. 제2 인코딩 및 디코딩부(130)는 제1 다운 신호(D1) 및 복구 데이터를 제2 다운 신호(D2)로서 패킷화 및 역패킷화부로 전송할 수 있다.
패킷화 및 역패킷화부(140)는 제2 인코딩 및 디코딩부(130)로부터 제2 다운 신호(D2)를 수신한다. 패킷화 및 역패킷화부(140)는 제2 다운 신호(D2)를 패킷화하여 패킷들을 생성할 수 있다. 패킷화 및 역패킷화부(140)는 생성된 패킷들을 제3 다운 신호(D3)로서 송수신부(150)로 전송할 수 있다.
송수신부(150)는 패킷화 및 역패킷화부(140)로부터 제3 다운 신호(D3)를 수신한다. 송수신부(150)는 제2 다운 신호(D3)를 공용 네트워크(11, 도 1 참조)로 송신할 수 있다.
송수신부(150)는 공용 네트워크(11)로부터 신호를 수신할 수 있다. 송수신부(150)는 공용 네트워크(11)로부터 수신된 신호를 제3 업 신호(U3)로서 패킷화 및 역패킷화부(140)로 전송할 수 있다.
패킷화 및 역패킷화부(140)는 송수신부(150)로부터 제3 업 신호(U3)를 수신한다. 패킷화 및 역패킷화부(140)는 제3 업 신호(U3)에 대해 역패킷화를 수행할 수 있다. 패킷화 및 역패킷화부(140)는 역패킷화가 수행된 결과를 제2 업 신호(U2)로서 제2 인코딩 및 디코딩부(130)로 전송할 수 있다.
제2 인코딩 및 디코딩부(130)는 패킷화 및 역패킷화부(140)로부터 제2 업 신호(U2)를 수신한다. 예시적으로, 제2 업 신호(U2)는 외부의 영상 데이터 통신 장치로부터 전송된 데이터 및 복구 데이터를 포함할 수 있다. 제2 인코딩 및 디코딩부(130)는 데이터 및 복구 데이터를 이용하여 패킷 손실 복구 디코딩을 수행할 수 있다. 예를 들어, 패킷 손실 복구 디코딩은, 공용 네트워크(11)에서 전달되는 동안 손실된 패킷을 복구하는 동작일 수 있다. 제2 인코딩 및 디코딩부(130)는 데이터 및 복구 데이터를 이용하여, 재전송 요청 없이, 손실된 패킷에 대응하는 손실된 데이터를 복구할 수 있다. 제2 인코딩 및 디코딩부(130)는 데이터 및 복구된 데이터를 제1 업 신호(U1)로서 제1 인코딩 및 디코딩부(120)로 전송한다.
제1 인코딩 및 디코딩부(120)는 제2 인코딩 및 디코딩부(130)로부터 제1 업 신호(U1)를 수신한다. 제1 인코딩 및 디코딩부(120)는 제1 업 신호(U1)를 디코딩할 수 있다. 예를 들어, 제1 인코딩 및 디코딩부(120)는 H.264/AVC, HEVC 등과 같은 표준에 기반하여 제1 업 신호(U1)를 디코딩할 수 있다. 디코딩이 수행되면, 영상 데이터가 복원된다. 제1 인코딩 및 디코딩부(120)는 복원된 영상 데이터를 입력 및 출력부(110)로 전송한다.
입력 및 출력부(110)는 영상을 출력하는 표시 장치, 음성을 출력하는 스피커 등과 같은 사용자 출력 수단을 포함할 수 있다. 입력 및 출력부(110)는 제1 인코딩 및 디코딩부(120)로부터 영상 데이터를 수신하고, 수신된 영상 데이터를 이용하여 영상을 재생할 수 있다.
도 3은 본 발명의 실시 예에 따른 영상 데이터 통신 장치(100)가 영상 데이터를 송신하는 방법을 보여주는 순서도이다. 도 2 및 도 3을 참조하면, S110 단계에서, 영상 데이터 통신 장치(100)는 영상을 캡처하여 영상 데이터를 생성한다. 예를 들어, 입력 및 출력부(110)는 영상을 캡처하여 영상 데이터를 생성할 수 있다.
S120 단계에서, 영상 데이터 통신 장치(100)는 영상 데이터를 인코딩하여 인코딩된 데이터를 생성한다. 예를 들어, 제1 인코딩 및 디코딩부(120)는 영상 데이터를 인코딩하여 인코딩 데이터를 생성할 수 있다.
S130 단계에서, 영상 데이터 장치(100)는 인코딩된 데이터로부터 복구 데이터가 생성된다. 예를 들어, 제2 인코딩 및 디코딩부(130)는 인코딩 데이터로부터 복구 데이터를 생성할 수 있다.
S140 단계에서, 영상 데이터 통신 장치(100)는 인코딩된 데이터 및 복구 데이터를 패킷화하여 패킷들을 생성한다. 예를 들어, 패킷화 및 역패킷화부(140)는 인코딩된 데이터 및 복구 데이터를 패킷화하여 패킷들을 생성할 수 있다.
S150 단계에서, 영상 데이터 통신 장치(100)는 생성된 패킷들을 전송한다. 예를 들어, 송수신부(160)는 생성된 패킷들을 전송할 수 있다.
도 4는 본 발명의 실시 예에 따른 영상 데이터 통신 장치(100)가 영상 데이터를 인코딩하는 방법(S120 단계)을 보여주는 순서도이다. 도 2 및 도 4를 참조하면, S210 단계에서, 영상 데이터 통신 장치(100)는 영상 데이터를 압축하여 순수 동영상 압축 데이터(RBSP, Raw Byte Sequence Payload)를 생성한다.
S220 단계에서, 영상 데이터 통신 장치(100)는 RBSP 데이터에 NAL (Network Abstraction Layer) 헤더 및 패딩을 추가하여, NAL 유닛을 생성한다.
예시적으로, 도 4의 인코딩 방법은 영상 데이터 통신 장치(100)에 의해 처리되는 영상의 매 픽처(또는 프레임)마다 수행될 수 있다. 즉, 영상 데이터 통신 장치(100)는 하나의 픽처(또는 프레임)으로부터 하나의 NAL 유닛을 생성할 수 있다.
도 5는 영상 데이터 통신 장치(100)에 의해 생성되는 NAL 유닛의 예를 보여준다. 도 5를 참조하면, 영상 데이터 통신 장치(100)는 GOP (Group Of Pictures)의 단위로 영상을 관리(또는 처리)할 수 있다. GOP는 복수의 픽처들(또는 프레임들)을 포함할 수 있다. 예시적으로, GOP는 '30픽처들/1초'의 크기를 가질 수 있다. GOP는 하나의 I-픽처 및 복수의 P-픽처들을 포함할 수 있다. I-픽처는 GOP의 시작 픽처이고, P-픽처는 I-픽처 또는 이전의 P-픽처를 참조하는 픽처일 수 있다.
I-픽처 및 P-픽처들 각각은 동일한 구조를 가질 수 있다. 각 픽처는 NAL 헤더, RBSP, 그리고 패딩(P)을 포함할 수 있다.
NAL 헤더는 8비트(또는 1바이트)로 구성될 수 있다. NAL 헤더의 첫 번째 비트는 고정 비트(F)일 수 있다. 고정 비트(F)는 에러 또는 문법 오류가 있는지를 가리킬 수 있다. 예를 들어, 에러 또는 문법 오류가 존재하는 경우, 고정 비트(F)는 '1'일 수 있다. 에러 또는 문법 오류가 존재하지 않는 경우, 고정 비트(F)는 '0'일 수 있다.
NAL 헤더의 두 번째 및 세 번째 비트들은 참조 지시자(reference indicator)일 수 있다. NAL 유닛이 참조용으로 사용되지 않는 경우, 참조 지시자는 '00'일 수 있다. NAL 유닛이 참조용으로 사용되는 경우, 참조 지시자는 '01', '10', 또는 '11'일 수 있다.
NAL 헤더의 나머지 비트들은 타입 지시자로서, NAL 유닛의 페이로드의 타입을 가리킬 수 있다. 예를 들어, 타입 지시자의 값에 따른 NAL 유닛의 종류 및 페이로드의 구조는 표 1로 정의될 수 있다.
타입 지시자 종류 페이로드 구조
0 없음
1-23 NAL 유닛 하나의 NAL 유닛이 하나의 패킷을 형성
24 STAP-A 복수의 NAL 유닛들이 하나의 패킷들을 형성
25 STAP-B 복수의 NAL 유닛들이 하나의 패킷들을 형성
26 MTAP16 복수의 NAL 유닛들이 복수의 패킷들을 형성
27 MTAP24 복수의 NAL 유닛들이 복수의 패킷들을 형성
28 FU-A 하나의 NAL 유닛이 복수의 패킷들을 형성
29 FU-B 하나의 NAL 유닛이 복수의 패킷들을 형성
30-31 없음
예시적으로, NAL 헤더의 타입 지시자는, NAL 유닛의 페이로드의 사이즈 및 공용 네트워크(11, 도 1 참조)의 최대 전송 유닛(MTU, Maximum Transfer Unit)에 따라 결정될 수 있다. MTU는 공용 네트워크(11)가 한 번에, 예를 들어 하나의 패킷으로 전송할 수 있는 데이터의 최대 사이즈일 수 있다. MTU는 영상 데이터 통신 장치들(12, 13, 14) 및 공용 네트워크(11)가 통신할 때에 사용하는 프로토콜의 종류에 따라 결정될 수 있다.
영상 회의 시스템(10)이 HD 영상을 사용하는 경우, 하나의 NAL 유닛의 페이로드(즉, 하나의 픽처)의 사이즈는 수천 내지 수만 바이트일 수 있다. 공용 네트워크(11)가 IP (Internet Protocol)을 사용하는 경우, 공용 네트워크(11)의 MTU는 1500바이트 이하일 수 있다. 즉, HD 영상 및 IP를 사용하는 영상 회의 시스템에서, NAL 유닛의 페이로드의 사이즈는 MTU의 수배 내지 수십배일 수 있다. 따라서, HD 영상 및 IP를 사용하는 영상 회의 시스템에서, NAL 유닛의 페이로드는 FU-A 또는 FU-B로 설정될 수 있다.
예시적으로, I-픽처는 참조하는 픽처가 존재하지 않고, P-픽처는 I-픽처 또는 선행하는 P-픽처를 참조한다. 따라서, I-픽처의 페이로드의 사이즈는 P-픽처의 페이로드의 사이즈의 수배 내지 수십배일 수 있다.
도 6은 본 발명의 실시 예에 따른 영상 데이터 통신 장치(100)가 손실 패킷 복구 디코딩 및 패킷화를 수행하여 전송하는 방법을 보여주는 순서도이다. 예시적으로, 영상 데이터 통신 장치(100)가 하나의 NAL 유닛에 대해 손실 패킷 복구 디코딩 및 패킷화를 수행하여 전송하는 방법이 도 6에 도시된다.
도 2 및 도 6을 참조하면, S305 단계에서, 영상 데이터 통신 장치(100)는 RBSP를 MTU에 기반하여 조각화하고, 조각 데이터들을 기준값에 따라 그룹화한다. 예를 들어, 제2 인코딩 및 디코딩부(130)는 각 조각 데이터의 사이즈가 MTU보다 적도록, RBSP를 복수의 조각 데이터들로 분할할 수 있다. 예를 들어, 패킷화 및 역패킷화부(140)에 의해 각 조각 데이터에 추가되는 데이터와 각 조각 데이터의 전체 사이즈가 MTU와 같거나 그보다 작아지도록, RBSP가 조각화될 수 있다. 예를 들어, 공용 네트워크(11, 도 1 참조)의 MTU는 1500바이트이고, 각 조각 데이터의 사이즈는 1400바이트 이하로 설정될 수 있다.
예를 들어, 제2 인코딩 및 디코딩부(130)는 분할된 복수의 조각 데이터들을 기준값에 따라 그룹화할 수 있다. 예를 들어, 기준값이 I인 경우, 복수의 조각 데이터들은 첫 번째 조각 데이터 내지 I 번째 조각 데이터가 첫 번째 그룹으로 그룹화될 수 있다. I+1 번째 조각 데이터 내지 2I 번째 조각 데이터가 두 번째 그룹으로 그룹화될 수 있다. 동일한 방법으로, 복수의 조각 데이터들 각각은 대응하는 그룹을 갖도록 그룹화될 수 있다.
예시적으로, 기준값은 제2 인코딩 및 디코딩부(130)에 미리 설정된 값일 수 있다. 기준값은 영상 데이터 통신 장치(100)의 사용자에 의해, 영상 데이터 통신 장치(100)가 처리하는 영상 데이터의 특성(예를 들어, 해상도, 초당 프레임수 등)에 따라, 또는 공용 네트워크(11)의 통신 환경에 따라 조절되는 값일 수 있다.
S310 단계에서, 영상 데이터 통신 장치(100)는 홀수 데이터(O), 짝수 데이터(E), 그리고 그룹 데이터들(G[K])를 초기화한다. 홀수 데이터(O), 짝수 데이터(E), 그리고 그룹 데이터들(G[K])은 제2 인코딩 및 디코딩부(130)가 복구 데이터를 생성할 때 사용하는 데이터일 수 있다. 그룹 데이터들(G[K])의 수(N)는, 복수의 조각 데이터들의 그룹들의 수와 동일할 수 있다. 홀수 데이터(O), 짝수 데이터(E), 그리고 그룹 데이터들(G[K]) 각각은 각 조각 데이터와 동일한 사이즈를 가질 수 있다. 홀수 데이터(O), 짝수 데이터(E), 그리고 그룹 데이터들(G[K]) 각각은 '0'으로 구성된 비트스트림으로 초기화될 수 있다. 예시적으로, S305 단계 및 S310 단계는 동시에 또는 역순으로 수행될 수 있다.
S315 단계에서, 영상 데이터 통신 장치(100)는 복수의 조각 데이터들 중 첫 번째 조각 데이터를 선택한다. 예를 들어, 제2 인코딩 및 디코딩부(130)는 분할된 복수의 조각 데이터들 중 첫 번째 조각 데이터를 선택할 수 있다.
S320 단계에서, 영상 데이터 통신 장치(100)는 선택된 조각 데이터를 짝수 데이터(E) 또는 홀수 데이터(O)와 연산하여, 짝수 데이터(E) 또는 홀수 데이터(O)를 갱신할 수 있다. 예를 들어, 선택된 조각 데이터가 첫 번째 조각 데이터, 세 번째 조각 데이터와 같은 홀수 번째 조각 데이터인 경우, 제2 인코딩 및 디코딩부(130)는 선택된 조각 데이터와 홀수 데이터(O)에 대해 배타적 논리곱(XOR) 연산을 수행할 수 있다. 선택된 조각 데이터의 각 비트 및 홀수 데이터(O)의 대응하는 비트에 대해 배타적 논리곱(XOR) 연산이 수행되고, 홀수(O) 데이터의 각 비트는 연산 결과 비트로 대체될 수 있다.
예를 들어, 선택된 조각 데이터가 두 번째 조각 데이터, 네 번째 조각 데이터와 같은 짝수 번째 조각 데이터인 경우, 제2 인코딩 및 디코딩부(130)는 선택된 조각 데이터와 짝수 데이터(E)에 대해 배타적 논리곱(XOR) 연산을 수행할 수 있다. 선택된 조각 데이터의 각 비트 및 짝수 데이터(E)의 대응하는 비트에 대해 배타적 논리곱(XOR) 연산이 수행되고, 짝수(E) 데이터의 각 비트는 연산 결과 비트로 대체될 수 있다.
S325 단계에서, 영상 데이터 통신 장치(100)는 선택된 조각 데이터를 대응하는 그룹 데이터(G[K])와 연산하여, 대응하는 그룹 데이터(G[K])를 갱신할 수 있다. 예를 들어, 선택된 조각 데이터가 제1 그룹(K=1)에 속하는 경우, 제2 인코딩 및 디코딩부(130)는 선택된 조각 데이터와 제1 그룹 데이터(G[1])에 대해 배타적 논리곱(XOR) 연산을 수행할 수 있다. 선택된 조각 데이터의 각 비트 및 제1 그룹 데이터(G[1])의 대응하는 비트에 대해 배타적 논리곱 연산이 수행되고, 제1 그룹 데이터(G[1])의 각 비트는 연산 결과 비트로 대체될 수 있다.
예를 들어, 선택된 조각 데이터가 제2 그룹(K=2)에 속하는 경우, 제2 인코딩 및 디코딩부(130)는 선택된 조각 데이터와 제2 그룹 데이터(G[2])에 대해 배타적 논리곱(XOR) 연산을 수행할 수 있다. 선택된 조각 데이터의 각 비트 및 제2 그룹 데이터(G[2])의 대응하는 비트에 대해 배타적 논리곱 연산이 수행되고, 제2 그룹 데이터(G[2])의 각 비트는 연산 결과 비트로 대체될 수 있다.
S330 단계에서, 영상 데이터 통신 장치(100)는 선택된 조각 데이터를 RTP (Real-time Transport Protocol) 패킷으로 패킷화한다. 예를 들어, 패킷화 및 역패킷화부(140)는 선택된 조각 데이터를 RTP 패킷으로 패킷화할 수 있다.
S335 단계에서, 영상 데이터 통신 장치(100)는 RTP 패킷을 전송한다. 예를 들어, 송수신부(150)는 RTP 패킷을 공용 네트워크(11)로 전송할 수 있다.
S340 단계에서, 영상 데이터 통신 장치(100)는 선택된 조각 데이터가 NAL 유닛의 마지막 조각 데이터인지 판별된다. 선택된 조각 데이터가 마지막 조각 데이터가 아니면, S345 단계에서, 영상 데이터 통신 장치(100)는 다음 조각 데이터를 선택한다. 이후에, 영상 데이터 통신 장치(100)는 다음 조각 데이터를 이용하여 S320 단계 내지 S340 단계를 다시 수행할 수 있다. 선택된 조각 데이터가 마지막 조각 데이터이면, 영상 데이터 통신 장치(100)는 S350 단계를 수행한다.
S350 단계에서, 영상 데이터 통신 장치(100)는 홀수 데이터(O), 짝수 데이터(E), 그리고 그룹 데이터들(G[K])을 RTP 패킷들로 그룹화하여 전송한다. 즉, NAL 유닛의 모든 조각 데이터들에 대한 배타적 논리곱(XOR) 연산이 종료되면, 홀수 데이터(O), 짝수 데이터(E), 그리고 그룹 데이터들(G[K])은 복구 데이터들로 사용될 수 있다.
상술된 바와 같이, 영상 데이터 통신 장치(100)는 하나의 픽처(또는 프레임)의 데이터를 복수의 조각 데이터들로 분할하고, 적어도 두 개의 조각 데이터들에 대해 배타적 논리곱(XOR) 연산을 수행하여 복구 데이터를 생성한다. 홀수, 짝수, 그룹들과 같은 서로 다른 범위의 조각 데이터들로부터, 서로 다른 복구 데이터들이 생성될 수 있다. 영상 데이터 통신 장치(100)는 조각 데이터들에 대응하는 패킷들을 전송한 후, 복구 데이터들에 대응하는 패킷들을 전송할 수 있다. 즉, 하나의 NAL 유닛이 전송될 때, 영상 데이터 통신 장치(100)는 픽처(또는 프레임)의 데이터 뿐 아니라, 배타적 논리곱 연산(XOR)을 이용하여 생성되는 프레임을 추가로 전송할 수 있다.
도 6의 순서도를 참조하여 하나의 NAL 유닛이 전송되는 예가 구체적으로 설명되었다. 그러나, 본 발명의 기술적 사상은 도 6에 기재된 실시 예에 한정되지 않는다. 예를 들어, 영상 데이터 통신 장치(100)는 S320 단계, S325 단계, 340 단계 및 S345 단계를 이용하여 홀수 데이터(O), 짝수 데이터(E), 그리고 그룹 데이터들(G[K])을 생성할 수 있다. 이후에, 영상 데이터 통신 장치(100)는 조각 데이터들, 홀수 데이터(O), 짝수 데이터(E), 그리고 그룹 데이터들(G[K])을 RTP 패킷들로 패킷화하여 전송할 수 있다.
예를 들어, 영상 데이터 통신 장치(100)는 S320 단계 및 S325 단계에 따라 홀수 데이터(O), 짝수 데이터(E), 그리고 그룹 데이터들(G[K])을 생성함과 동시에, S330 단계 및 S335 단계에 따라 패킷화 및 전송을 수행할 수 있다.
도 7은 NAL 유닛의 RBSP의 각 조각 데이터가 패킷화되는 예를 보여준다. 예시적으로, RBSP의 제1 내지 제8 조각 데이터들(F1~F8) 중 제3 조각 데이터(F3)가 RTP 패킷으로 패킷화된 예가 도 7에 도시된다. 그러나, 도 7을 참조하여 설명되는 패킷화는 제1 내지 제8 조각 데이터들(F1~F8)에 동일하게 적용될 수 있다.
도 2 및 도 7을 참조하면, 패킷화 및 역패킷화부(140)는 RBSP의 각 조각을 이용하여 RTP 패킷을 생성한다. RTP 패킷은 RTP 헤더 및 RTP 페이로드를 포함한다. RBSP의 각 조각 데이터는 RTP 페이로드에 포함될 수 있다.
RTP 헤더는 페이로드 타입(PT), 시퀀스 넘버(SN), 그리고 타임스탬프(TS)의 정보를 포함한다. 페이로드 타입(PT)은 7개의 비트들을 포함할 수 있다. 페이로드 타입(PT)은 RTP 페이로드에 포함된 조각 데이터의 종류를 가리킨다. 예를 들어, RTP 페이로드에 포함된 조각 데이터가 HD 영상의 데이터인 경우, 페이로드 타입(PT)은 '121'의 값을 가질 수 있다. RTP 페이로드에 포함된 조각 데이터가 QCIF 영상의 데이터인 경우, 페이로드 타입(PT)은 '120'의 값을 가질 수 있다.
시퀀스 넘버(SN)는 16개의 비트들을 포함할 수 있다. 시퀀스 넘버(SN)는 RTP 패킷의 순서에 대한 정보를 포함할 수 있다. 예를 들어, 시퀀스 넘버(SN)는 하나의 NAL 유닛 내에서의 RTP 패킷의 순서를 가리킬 수 있다. 다른 예로서, 시퀀스 넘버(SN)는 복수의 NAL 유닛들 내에서의 RTP 패킷의 순서를 가리킬 수 있다.
타임스탬프(TS)는 32개의 비트들을 포함할 수 있다. 타임스탬프(TS)는 RTP 페이로드에 포함된 조각 데이터가 샘플링(sampling)된 때의 시간에 대한 정보를 포함한다. 예를 들어, 타임스탬프(TS)는 RTP 페이로드에 포함된 조각 데이터의 첫 번째 바이트가 샘플링된 때의 시간에 대한 정보를 포함할 수 있다. 타임스탬프(TS)의 시간 정보는 90KHz의 클럭에 따라 결정될 수 있다.
도 8은 조각 데이터가 포함된 RTP 페이로드의 예를 보여준다. 예시적으로, FU-A 타입의 구조를 갖는 RTP 페이로드의 예가 도 8에 도시된다. 그러나, 본 발명의 기술적 사상은 FU-A 타입으로 한정되지 않는다.
도 8을 참조하면, RTP 페이로드는 FU 지시자(indicator), FU 헤더, 그리고 FU 페이로드를 포함한다. 조각 데이터는 FU 페이로드에 포함될 수 있다.
FU 지시자는 고정 비트(F), 참조 지시자(NRI), 그리고 타입 지시자(TYPE)를 포함할 수 있다. FU 지시자는 도 5를 참조하여 설명된 NAL 헤더와 동일한 정보를 포함할 수 있다.
FU 헤더는 시작 비트(S), 종료 비트(E), 예비 비트(R), 그리고 타입 지시자(TYPR)를 포함한다. 시작 비트(S)는 RTP 페이로드가 NAL 유닛의 조각 데이터들 중 첫 번째 조각 데이터를 포함하는지를 가리킨다. 종료 비트(E)는 RTP 페이로드가 NAL 유닛의 조각 데이터들 중 마지막 조각 데이터를 포함하는지를 가리킨다. 타입 지시자(TYPE)는 NAL 유닛이 I-픽처에 대응하는지 P-픽처에 대응하는지를 가리킨다. NAL 유닛이 I-픽처에 대응하는 경우, 타입 지시자(TYPE)는 '00101'로 설정될 수 있다. NAL 유닛이 P-픽처에 대응하는 경우, 타입 지시자(TYPE)는 '00001'로 설정될 수 있다.
도 9는 영상 데이터 통신 장치(100)가 선택된 조각 데이터를 홀수 데이터(O) 또는 짝수 데이터(E)와 연산(S320 단계)하는 예를 보여주는 순서도이다. 도 9를 참조하면, S410 단계에서, 선택된 조각 데이터가 홀수 번째 조각 데이터인지 판별된다. 선택된 조각 데이터가 홀수 번째 조각 데이터이면, S420 단계에서, 홀수 데이터(O)가 홀수 데이터(O)와 선택된 조각 데이터의 배타적 논리곱(XOR)의 연산 결과에 따라 갱신된다.
S430 단계에서, 선택된 조각 데이터가 짝수 번째 조각 데이터인지 판별된다. 선택된 조각 데이터가 짝수 번째 조각 데이터이면, S440 단계에서, 짝수 데이터(E)가 짝수 데이터(E)와 선택된 조각 데이터의 배타적 논리곱(XOR)의 연산 결과에 따라 갱신된다.
도 10은 복구 데이터가 생성되는 예를 보여준다. 도 10을 참조하면, NAL 유닛의 RBSP는 제1 내지 제8 조각 데이터들(F1~F8)로 분할되는 것으로 가정된다. 이 중, 제1 내지 제4 조각 데이터들(F1~F4)은 제1 그룹으로 그룹화되고, 제5 내지 제8 조각 데이터들(F5~F8)은 제2 그룹으로 그룹화되는 것으로 가정된다.
제1 연산자(OP1)는 홀수 데이터(O)가 생성되는 알고리즘을 가리킨다. 제1 연산자(OP1)는 제1 내지 제8 조각 데이터들(F1~F8) 중 홀수인 제1, 제3, 제5 그리고 제7 조각 데이터들(F1, F3, F5, F7)에 대해 배타적 논리곱(XOR) 연산을 수행할 수 있다. 제1 연산자(OP1)에 의해 연산된 홀수 데이터(O)는 복구 데이터로 사용될 수 있다.
제2 연산자(OP2)는 짝수 데이터(E)가 생성되는 알고리즘을 가리킨다. 제2 연산자(OP2)는 제1 내지 제8 조각 데이터들(F1~F8) 중 짝수인 제2, 제4, 제6 그리고 제8 조각 데이터들(F2, F4, F6, F8)에 대해 배타적 논리곱(XOR) 연산을 수행할 수 있다. 제2 연산자(OP2)에 의해 연산된 짝수 데이터(E)는 복구 데이터로 사용될 수 있다.
제3 연산자(OP3)는 제1 그룹 데이터(G[1])가 생성되는 알고리즘을 가리킨다. 제3 연산자(OP3)는 제1 내지 제8 조각 데이터들(F1~F8) 중 제1 그룹에 속한 제1 내지 제4 조각 데이터들(F1~F4)에 대해 배타적 논리곱(XOR) 연산을 수행할 수 있다. 제3 연산자(OP3)에 의해 연산된 제1 그룹 데이터(G[1])는 복구 데이터로 사용될 수 있다.
제4 연산자(OP4)는 제2 그룹 데이터(G[2])가 생성되는 알고리즘을 가리킨다. 제4 연산자(OP4)는 제1 내지 제8 조각 데이터들(F1~F8) 중 제2 그룹에 속한 제5 내지 제8 조각 데이터들(F5~F8)에 대해 배타적 논리곱(XOR) 연산을 수행할 수 있다. 제4 연산자(OP4)에 의해 연산된 제2 그룹 데이터(G[2])는 복구 데이터들로 사용될 수 있다.
홀수 데이터(O), 짝수 데이터(E), 제1 그룹 데이터(G[1]), 그리고 제2 그룹 데이터(G[2])를 포함하는 복구 데이터들 각각은 RTP 패킷으로 패킷화될 수 있다. 복구 데이터들 각각은 RTP 패킷의 RTP 페이로드에 포함될 수 있다.
상술된 바와 같이, 복구 데이터는 조각 데이터와의 배타적 논리곱 연산(XOR)을 통해 생성된다. 따라서, 복구 데이터의 사이즈는 조각 데이터의 사이즈와 동일할 수 있다.
각 복구 데이터는 NAL 유닛의 복수의 조각 데이터들 중 미리 정해진 범위의 조각 데이터들에 대응할 수 있다. 홀수 데이터(O)는 NAL 유닛의 복수의 조각 데이터들 중 홀수 번째의 조각 데이터들과 연관된다. 짝수 데이터(E)는 NAL 유닛의 복수의 조각 데이터들 중 짝수 번째의 조각 데이터들과 연관된다. 제1 그룹 데이터(G[1])는 NAL 유닛의 복수의 조각 데이터들 중 제1 그룹의 조각 데이터들과 연관된다. 제2 그룹 데이터(G[2])는 NAL 유닛의 복수의 조각 데이터들 중 제2 그룹의 조각 데이터들과 연관된다.
복구 데이터들의 범위들은 서로 중복될 수 있으나, 일치하지는 않는다. 예를 들어, 홀수 데이터(O)와 연관된 조각 데이터들 중 제1 및 제3 조각 데이터들(F1, F3)은 제1 그룹(G[1])에도 포함된다. 홀수 데이터(O)와 연관된 조각 데이터들 중 제5 및 제7 조각 데이터들(F5, F7)은 제2 그룹(G[2])에도 포함된다. 그러나, 홀수 데이터(O)와 일치하는 다른 복구 데이터는 존재하지 않는다.
도 11은 복구 데이터를 포함하는 RTP 페이로드의 예를 보여준다. 도 11을 참조하면, RTP 페이로드는 PLR (Packet Loss Recovery) 헤더 및 PLR 페이로드를 포함한다. 복구 데이터는 PLR 페이로드에 포함될 수 있다.
PLR 헤더는 4바이트로 구성될 수 있다. PLR 헤더는 PLR 지시자, 패킷수(NP), 제1 사이즈(MS1), 그리고 제2 사이즈(MS2)의 정보를 포함한다.
PLR 지시자는 1바이트로 구성될 수 있다. PLR 지시자는 예비 비트들, 제1 타입 지시자(TYPE1), 그리고 제2 타입 지시자(TYPE2)를 포함한다. 예비 비트들은 4비트들일 수 있다. 제1 타입 지시자(TYPE1)는 NAL 유닛에 포함된 페이로드의 종류에 대한 정보를 포함할 수 있다. 예를 들어, NAL 유닛에 포함된 페이로드가 HD 픽처에 대응할 때, 제1 타입 지시자(TYPE1)는 '01'로 설정될 수 있다. NAL 유닛에 포함된 페이로드가 QCIF 픽처에 대응할 때, 제1 타입 지시자(TYPE)는 '00'으로 설정될 수 있다. 제2 타입 지시자(TYPE2)는 PLR 페이로드에 포함된 복구 데이터의 종류에 대한 정보를 포함한다. PLR 페이로드에 포함된 복구 데이터가 홀수 데이터(O)일 때, 제2 타입 지시자(TYPE2)는 '00'으로 설정될 수 있다. PLR 페이로드에 포함된 복구 데이터가 짝수 데이터(E)일 때, 제2 타입 지시자(TYPE2)는 '01'로 설정될 수 있다. PLR 페이로드에 포함된 복구 데이터가 그룹 데이터(G[K])일 때, 제2 타입 지시자(TYPE2)는 '10'으로 설정될 수 있다.
패킷수(NP)는 1바이트를 가질 수 있다. 패킷수(NP)는 NAL 유닛 내의 조각 데이터들의 수를 가리킨다. 즉, 패킷수(NP)는 영상 데이터 통신 장치(100)가 하나의 픽처(또는 프레임)에 대응하는 하나의 NAL 유닛을 전송할 때, 복구 데이터를 갖는 RTP 패킷들이 아닌 영상 데이터를 갖는 RTP 패킷들의 수를 가리킬 수 있다.
제1 사이즈(MS1)는 11개의 비트들을 가질 수 있다. 제1 사이즈(MS1)는 하나의 NAL 유닛의 조각 데이터들로부터 생성되는 RTP 패킷들 중 마지막 RTP 패킷의 사이즈를 가리킨다. 예를 들어, 제1 사이즈(MS1)는 도 8의 FU 헤더의 종료 비트(E)가 설정된 RTP 패킷의 사이즈를 가리킬 수 있다.
제2 사이즈(MS2)는 그룹 데이터(G[K])의 번호(K)를 가리킨다.
도 12는 본 발명의 실시 예에 따른 영상 데이터 통신 장치(100)가 RTP 패킷들을 수신하여 처리하는 예를 보여주는 순서도이다. 도 2 및 도 12를 참조하면, S510 단계에서, 영상 데이터 통신 장치(100)는 RTP 패킷들을 수신하고, 수신된 RTP 패킷들로부터 조각 데이터들 및 복구 데이터를 추출한다. 예를 들어, 송수신부(150)는 RTP 패킷들을 수신하고, 패킷화 및 역패킷화부(140)는 RTP 패킷들로부터 조각 데이터들 및 복구 데이터를 추출할 수 있다.
S520 단계에서, 영상 데이터 통신 장치(100)는 손실 패킷이 존재하는지 판별한다. 예를 들어, 패킷화 및 역패킷화부(140)는 RTP 패킷들의 RTP 헤더들의 시퀀스 넘버(SN, 도 7 참조)를 참조하여, 손실 패킷이 존재하는지 판별할 수 있다. 예를 들어, 수신된 RTP 패킷들의 시퀀스 넘버들(SN)이 순차적으로 증가하는 경우, 손실 패킷이 존재하지 않는 것으로 판별될 수 있다. 수신된 RTP 패킷들의 시퀀스 넘버들(SN)이 순차적으로 증가하지 않고, 비어 있는 시퀀스 넘버(SN)가 존재하는 경우, 손실 패킷이 존재하는 것으로 판별될 수 있다. 예를 들어, 비어 있는 시퀀스 넘버(SN)에 해당하는 RTP 패킷이 손실 패킷으로 판별될 수 있다.
손실 패킷이 존재하면, S530 단계에서, 영상 데이터 통신 장치(100)는 조각 데이터들 및 복구 데이터를 이용하여 손실 패킷 복구를 수행할 수 있다. 예를 들어, 제2 인코딩 및 디코딩부(130)는 조각 데이터들 및 복구 데이터를 이용하여, 손실 패킷에 대응하는 조각 데이터의 복구를 시도할 수 있다. 손실 패킷에 대응하는 조각 데이터의 복구가 성공 또는 실패하면, 손실 패킷 복구는 종료된다.
손실 패킷이 존재하지 않으면, 또는 손실 패킷 복구가 종료되면, S540 단계에서, 영상 데이터 통신 장치(100)는 디코딩을 수행하여 영상 데이터를 복원한다. 예를 들어, 제1 인코딩 및 디코딩부(120)는 조각 데이터들을 디코딩하여 영상 데이터를 복원할 수 있다.
도 13은 영상 데이터 통신 장치(100)가 손실 패킷이 존재하는지 판별(S520)하는 방법의 예를 보여주는 순서도이다. 예시적으로, 홀수 데이터(O) 또는 짝수 데이터(E)와 연관된 RTP 패킷들에 손실 패킷이 존재하는지 판별하는 방법이 도 13에 도시되어 있다.
도 2 및 도 13을 참조하면, S610 단계에서, 시퀀스 변수(S)가 '1'로 초기화된다. 홀수 카운트(CO) 및 짝수 카운트(CE)는 '0'으로 초기화된다.
시퀀스 변수(S)는 영상 데이터 통신 장치(100)에 수신되어야 하는 RTP 패킷의 시퀀스 넘버(SN)를 가리킨다. 초기 상태에서, NAL 유닛의 첫 번째 RTP 패킷은 '1'의 시퀀스 넘버(SN)를 갖는다. 따라서, 초기 상태에서, 시퀀스 변수(S)는 '1'로 초기화된다. 시퀀스 변수(S)는 손실 패킷을 판별하는 데에 사용된다. 시퀀스 변수(S) 및 그와 연관된 알고리즘은 동일한 효과를 갖는 다양한 알고리즘들로 응용될 수 있다. 홀수 카운트(CO)는 홀수 데이터(O)와 연관된 RTP 패킷들에서 발생한 손실 패킷들의 수를 가리킨다. 짝수 카운트(CE)는 짝수 데이터(E)와 연관된 RTP 패킷들에서 발생한 손실 패킷들의 수를 가리킨다.
S620 단계에서, 패킷화 및 역패킷화부(140)가 RTP 패킷을 수신한다. 예를 들어, 패킷화 및 역패킷화부(140)는 송수신부(150)로부터 RTP 패킷을 수신하거나, 또는 송수신부(150)로부터 가장 오래 전에 수신된 RTP 패킷을 선택할 수 있다.
S630 단계에서, 패킷화 및 역패킷화부(140)는 수신된 RTP 패킷이 PLR 패킷인지 판별한다. 예를 들어, 수신된 RTP 패킷의 RTP 페이로드가 PLR 헤더 및 PLR 페이로드를 포함하면, 수신된 RTP 패킷은 PLR 패킷으로 판별될 수 있다. 수신된 RTP 패킷이 PLR 패킷이면, 조각 데이터들과 연관된 RTP 패킷들은 모두 수신된 상태이다. 따라서, 손실 패킷의 카운트는 종료된다. 수신된 RTP 패킷이 PLR 패킷이 아니면, S640 단계가 수행된다.
S640 단계에서, 수신된 RTP 패킷의 시퀀스 넘버(SN, 도 7 참조)가 시퀀스 변수(S)와 일치하는지 판별된다. 수신된 RTP 패킷의 시퀀스 넘버(SN)가 시퀀스 변수(S)와 일치하면, 이전에 수신된 RTP 패킷과 현재 수신된 RTP 패킷 사이에 손실 패킷이 존재하지 않는다. 따라서, S650 단계에서, 시퀀스 변수(S)가 '1' 만큼 증가되고, S620 단계가 다시 수행된다.
수신된 RTP 패킷의 시퀀스 넘버(SN)가 시퀀스 변수(S)와 일치하지 않으면, 이전에 수신된 RTP 패킷과 현재 수신된 RTP 패킷 사이에 손실 패킷이 존재한다. 손실 패킷이 존재하면, S660 단계가 수행된다.
S660 단계에서, 패킷화 및 역패킷화부(140)는 손실 패킷에 해당하는 시퀀스 변수(S)를 저장한다.
S670 단계에서, 시퀀스 변수(S)가 홀수인지 판별된다. 시퀀스 변수(S)가 홀수가 아니면, 짝수 번째 패킷이 손실된 것으로 판별된다. 따라서, S680 단계에서, 짝수 카운트(CE)가 '1'만큼 증가된다. 시퀀스 변수(S)가 홀수이면, 짝수 번째 패킷이 손실된 것으로 판별된다. 따라서, S690 단계에서, 홀수 카운트(CO)가 '1' 만큼 증가된다. 홀수 카운트(CO) 또는 짝수 카운트(CE)가 증가된 후에, S640 단계가 다시 수행된다.
도 14는 영상 데이터 통신 장치(100)가 손실 패킷이 존재하는지 판별(S520)하는 방법의 다른 예를 보여주는 순서도이다. 예시적으로, 그룹 데이터들(G[K])과 연관된 RTP 패킷들에 손실 패킷이 존재하는지 판별하는 방법이 도 14에 도시되어 있다.
도 2 및 도 14를 참조하면, S710 단계에서, 시퀀스 변수(S) 및 그룹 시퀀스 변수(SG)가 '1'로 초기화된다. 그룹 카운트들(CG[K])은 '0'으로 초기화된다. 그룹 변수(K)는 '1'로 초기화된다.
시퀀스 변수(S)는 영상 데이터 통신 장치(100)에 수신되어야 하는 RTP 패킷의 시퀀스 넘버(SN)를 가리킨다. 초기 상태에서, NAL 유닛의 첫 번째 RTP 패킷은 '1'의 시퀀스 넘버(SN)를 갖는다. 따라서, 초기 상태에서, 시퀀스 변수(S)는 '1'로 초기화된다. 시퀀스 변수(S)는 손실 패킷을 판별하는 데에 사용된다. 시퀀스 변수(S) 및 그와 연관된 알고리즘은 동일한 효과를 갖는 다양한 알고리즘들로 응용될 수 있다.
그룹 시퀀스 변수(SG)는 영상 데이터 통신 장치(100)에 수신되어야 하는 RTP 패킷의 그룹 내의 순서를 가리킨다. 초기 상태에서, NAL 유닛의 첫 번째 RTP 패킷은 '1'의 시퀀스 넘버(SN)를 갖는다. 따라서, 초기 상태에서, 그룹 시퀀스 변수(GS)는 '1'로 초기화된다. 그룹 시퀀스 변수(SG)는 수신되는 RTP 패킷이 어느 그룹에 속하는지 판별하는 데에 사용된다. 그룹 시퀀스 변수(SG) 및 그와 연관된 알고리즘은 동일한 효과를 갖는 다양한 알고리즘들로 응용될 수 있다.
그룹 카운트들(CG[K])은 그룹 데이터들(G[K])과 연관된 RTP 패킷들에서 발생한 손실 패킷들의 수를 가리킨다. 그룹 변수(K)는 RTP 패킷들(또는 조각 데이터들)이 속한 그룹을 가리킨다.
S715 단계에서, 패킷화 및 역패킷화부(140)가 RTP 패킷을 수신한다. 예를 들어, 패킷화 및 역패킷화부(140)는 송수신부(150)로부터 RTP 패킷을 수신하거나, 또는 송수신부(150)로부터 가장 오래 전에 수신된 RTP 패킷을 선택할 수 있다.
S720 단계에서, 패킷화 및 역패킷화부(140)는 수신된 RTP 패킷이 PLR 패킷인지 판별한다. 예를 들어, 수신된 RTP 패킷의 RTP 페이로드가 PLR 헤더 및 PLR 페이로드를 포함하면, 수신된 RTP 패킷은 PLR 패킷으로 판별될 수 있다. 수신된 RTP 패킷이 PLR 패킷이면, 조각 데이터들과 연관된 RTP 패킷들은 모두 수신된 상태이다. 따라서, 손실 패킷의 카운트는 종료된다. 수신된 RTP 패킷이 PLR 패킷이 아니면, S725 단계가 수행된다
S725 단계에서, 수신된 RTP 패킷의 시퀀스 넘버(SN, 도 7 참조)가 시퀀스 변수(S)와 일치하는지 판별된다. 수신된 RTP 패킷의 시퀀스 넘버(SN)가 시퀀스 변수(S)와 일치하면, 이전에 수신된 RTP 패킷과 현재 수신된 RTP 패킷 사이에 손실 패킷이 존재하지 않는다. 손실 패킷이 존재하지 않으면, S730 단계가 수행된다. 수신된 RTP 패킷의 시퀀스 넘버(SN)가 시퀀스 변수(S)와 일치하지 않으면, 이전에 수신된 RTP 패킷과 현재 수신된 RTP 패킷 사이에 손실 패킷이 존재한다. 손실 패킷이 존재하면, S745 단계가 수행된다.
손실 패킷이 존재하지 않으면, S730 단계에서, 그룹 시퀀스 변수(SG)가 그룹 사이즈를 가리키는 기준값에 도달했는지 판별된다. 그룹 시퀀스 변수(SG)가 기준값에 도달하면, S735 단계에서, 그룹 시퀀스 변수(SG)가 '1'로 초기화되고, 시퀀스 변수(S)가 '1'만큼 증가되고, 그룹 변수(K)가 '1'만큼 증가된 후 S715 단계가 수행된다. 즉, 손실 패킷의 체크는 다음 그룹에서 수행된다. 그룹 시퀀스 변수(SG)가 기준값에 도달하지 않았으면, S740 단계에서 그룹 시퀀스 변수(SG)가 '1'만큼 증가되고, 시퀀스 변수(S)가 '1'만큼 증가된 후 S715 단계가 수행된다. 죽, 손실 패킷의 체크는 동일 그룹의 다음 RTP 패킷에서 수행된다.
손실 패킷이 존재하면, S745 단계에서 시퀀스 변수(S)가 저장되고, S750 단계에서, 그룹 카운트(CG[K])가 '1'만큼 증가된다. 이후에, S755 단계가 수행된다.
S755 단계에서, 그룹 시퀀스 변수(SG)가 그룹 사이즈를 가리키는 기준값에 도달했는지 판별된다. 그룹 시퀀스 변수(SG)가 기준값에 도달하면, S760 단계에서, 그룹 시퀀스 변수(SG)가 '1'로 초기화되고, 시퀀스 변수(S)가 '1'만큼 증가되고, 그룹 변수(K)가 '1'만큼 증가된 후 S725 단계가 수행된다. 즉, 손실 패킷의 체크는 다음 그룹에서 수행된다. 그룹 시퀀스 변수(SG)가 기준값에 도달하지 않았으면, S765 단계에서 그룹 시퀀스 변수(SG)가 '1'만큼 증가되고, 시퀀스 변수(S)가 '1'만큼 증가된 후 S725 단계가 수행된다. 죽, 손실 패킷의 체크는 동일 그룹의 다음 RTP 패킷에서 수행된다.
예시적으로, 도 13의 손실 패킷 체크와 도 14의 손실 패킷 체크는 병렬적으로 수행될 수행될 수 있다. 도 13 및 도 14의 손실 패킷 체크가 수행되면, 손실 패킷들의 수를 가리키는 홀수 카운트(CO), 짝수 카운트(CE), 그리고 그룹 카운트들(CG[K])이 산출된다. 또한, 손실 패킷들에 대응하는 시퀀스 변수들(S)이 획득된다. 즉, 송신단에서 생성된 복구 데이터들 각각에 대응하는 손실 패킷들의 수, 그리고 손실 패킷들의 위치들이 획득된다.
예시적으로, 도 13 및 도 14의 방법은 패킷화 및 역패킷화부(140)에 의해 역패킷화와 병렬적으로 수행될 수 있다. 패킷화 및 역패킷화부(140)는 역패킷화된 조각 데이터들 및 복구 데이터들, 그리고 홀수 카운트(CO), 짝수 카운트(CE), 그룹 카운트들(CG[K]) 및 손실 패킷들에 대응하는 시퀀스 변수들(S)을 제2 인코딩 및 디코딩부(130)로 전달할 수 있다.
다른 예로서, 패킷화 및 역패킷화부(140)는 역패킷화를 수행할 수 있다. 패킷화 및 역패킷화부(140)는 조각 데이터들 및 복구 데이터들과 함께, 시퀀스 넘버들(SN)과 같은 손실 패킷 체크에 필요한 파라미터들을 제2 인코딩 및 디코딩부(130)로 전달할 수 있다. 제2 인코딩 및 디코딩부(130)는 조각 데이터들 및 조각 데이터들과 연관된 파리미터들을 이용하여, 도 13 및 도 14를 참조하여 설명된 손실 패킷 체크를 수행할 수 있다.
도 15는 본 발명의 실시 예에 따른 영상 데이터 통신 장치(100)가 손실 패킷 복구를 수행하는 방법을 보여주는 순서도이다. 예시적으로, 손실 패킷이 발생한 경우에 손실 패킷 복구가 수행되는 예가 도 15에 도시된다. 예시적으로, 도 15의 손실 패킷 복구는 도 2의 제2 인코딩 및 디코딩부(130)에 의해 수행될 수 있다.
도 15를 참조하면, S810 단계에서, 홀수 카운트(CO), 짝수 카운트(CE), 그리고 그룹 카운트들(CG[K]) 중 '1'의 값을 갖는 카운트가 존재하는지 판별된다. '1'의 값을 갖는 카운트가 존재하지 않으면, S870 단계에서, 손실 패킷 복구가 실패한 것으로 판별되고, 손실 패킷 복구가 종료된다. '1'의 값을 갖는 카운트가 존재하면, S820 단계가 수행된다.
S820 단계에서, '1'의 값을 갖는 카운트가 선택된다.
S830 단계에서, 선택된 카운트에 대응하는 복구 데이터를 이용하여, 손실 패킷에 대응하는 손실된 조각 데이터가 복구된다. 예를 들어, 선택된 복구 데이터 및 선택된 복구 데이터에 대응하는 수신된 조각 데이터들에 대해 배타적 논리곱(XOR) 연산이 수행될 수 있다. 배타적 논리곱(XOR)의 연산 결과는, 손실된 조각 데이터일 수 있다. 미리 저장된 시퀀스 변수(S)를 이용하여, 복구된 조각 데이터가 시퀀스 변수(S)에 대응하는 위치에 삽입될 수 있다.
S840 단계에서, 복구된 조각 데이터에 해당하는 카운트가 감소된다.
S850 단계에서, 홀수 카운트(CO), 짝수 카운트(CE), 그리고 그룹 카운트들(CG[K]) 중 '0'이 아닌 카운트가 존재하는지 판별된다. 즉, 아직 복구되지 않은 손실 패킷이 존재하는지 판별된다. 아직 복구되지 않은 손실 패킷이 존재하면, S810 단계가 다시 수행된다. 아직 복구되지 않은 손실 패킷이 존재하지 않으면, S860 단계에서 손실 패킷 복구가 성공한 것으로 판별되고, 손실 패킷 복구가 종료된다.
도 16은 손실 패킷 복구가 수행되는 일 예를 보여준다. 도 1 및 도 16을 참조하면, 영상 데이터 통신 장치(12)는 영상 데이터를 송신하는 송신자이고, 영상 데이터 통신 장치(13)는 영상 데이터를 수신하는 수신자일 수 있다.
영상 데이터 통신 장치(12)는 하나의 NAL 유닛에 대응하는 제1 내지 제8 조각 데이터들(F1~F8)을 RTP 패킷들로 패킷화하여 공용 네트워크(11)로 전송할 수 있다. 영상 데이터 통신 장치(12)는 제1 내지 제8 조각 데이터들(F1~F8)로부터 생성된 홀수 데이터(O), 짝수 데이터(E) 및 그룹 데이터들(G[1], G[2])을 포함하는 복구 데이터들을 RTP 패킷들로 패킷화하여 공용 네트워크(11)로 전송할 수 있다.
공용 네트워크(11)를 통해 RTP 패킷들이 전송되는 동안, 제2 및 제3 조각 데이터들(F2, F3)에 대응하는 RTP 패킷들이 손실될 수 있다. 즉, 영상 데이터 통신 장치(130)는 제1, 그리고 제4 내지 제8 조각 데이터들(F1, F4~F8), 홀수 데이터(O), 짝수 데이터(E), 그리고 그룹 데이터들(G[1], G[2])에 대응하는 RTP 패킷들을 수신할 수 있다.
영상 데이터 통신 장치(13)는 제2 및 제3 조각 데이터들(F2, F3)에 대응하는 RTP 패킷들이 손실되었음을 검출하고, 제2 및 제3 조각 데이터들(F2, F3)에 대해 손실 패킷 복구를 수행할 수 있다.
제2 및 제3 조각 데이터들(F2, F3)이 손실된 경우, 홀수 카운트(CO)는 '1'이고, 짝수 카운트(CE)는 '1'이고, 제1 그룹 카운트(CG[1])는 '2'이고, 제2 그룹 카운트(CG[2])는 '0' 이다. 영상 데이터 통신 장치(13)는 '1'의 값을 갖는 홀수 카운트(CO) 또는 짝수 카운트(CE)를 이용하여 손실 패킷 복구를 수행할 수 있다.
예시적으로, 영상 데이터 통신 장치(13)는 짝수 카운트(CE)를 이용하여 손실 패킷 복구를 수행하는 것으로 가정된다. 짝수 카운트(CE)와 연관된 짝수 데이터(E)는 제2, 제4, 제6 및 제8 조각 데이터들(F2, F4, F6, F8)의 배타적 논리곱의 결과이다. 따라서, 제2 조각 데이터(F2)는 제4, 제6, 제8 조각 데이터들(F4, F6, F8) 및 짝수 데이터(E)의 배타적 논리곱(XOR)을 통해 계산될 수 있다.
제2 조각 데이터(F2)가 복구되면, 홀수 카운트(CO) 및 제1 그룹 카운트(CG[1])는 '1'이고, 짝수 카운트(CE) 및 제2 그룹 카운트(CG[2])는 '0'의 값을 갖는다. 영상 데이터 통신 장치(100)는 '1'의 값을 갖는 홀수 카운트(C0) 또는 제1 그룹 카운트(CG[1])를 이용하여 손실 패킷 복구를 수행할 수 있다.
홀수 카운트(CO)와 연관된 홀수 데이터(O)는 제1, 제3, 제5 및 제7 조각 데이터들(F1, F3, F5, F7)의 배타적 논리곱(XOR)의 결과이다. 따라서, 제3 조각 데이터(F3)는 제1, 제5 및 제7 조각 데이터들(F1, F5, F7)과 홀수 데이터(CO)의 배타적 논리곱(XOR)을 통해 계산될 수 있다.
제1 그룹 카운트(CG[1])와 연관된 제1 그룹 데이터(G[1])는 제1 내지 제4 조각 데이터들(F1~F4)의 배타적 논리곱(XOR)의 결과이다. 따라서, 제3 조각 데이터(F3)는 제1, 제2 및 제4 조각 데이터들(F1, F2, F3)과 제1 그룹 데이터(G[1])의 배타적 논리곱(XOR)을 통해 계산될 수 있다.
도 17은 손실 패킷 복구가 수행되는 다른 예를 보여준다. 도 1 및 도 17을 참조하면, 영상 데이터 통신 장치(12)는 영상 데이터를 송신하는 송신자이고, 영상 데이터 통신 장치(13)는 영상 데이터를 수신하는 수신자일 수 있다.
영상 데이터 통신 장치(12)는 하나의 NAL 유닛에 대응하는 제1 내지 제8 조각 데이터들(F1~F8)을 RTP 패킷들로 패킷화하여 공용 네트워크(11)로 전송할 수 있다. 영상 데이터 통신 장치(12)는 제1 내지 제8 조각 데이터들(F1~F8)로부터 생성된 홀수 데이터(O), 짝수 데이터(E) 및 그룹 데이터들(G[1], G[2])을 포함하는 복구 데이터들을 RTP 패킷들로 패킷화하여 공용 네트워크(11)로 전송할 수 있다.
공용 네트워크(11)를 통해 RTP 패킷들이 전송되는 동안, 제2, 제3 및 제8 조각 데이터들(F2, F3, F8)에 대응하는 RTP 패킷들이 손실될 수 있다. 즉, 영상 데이터 통신 장치(130)는 제1, 그리고 제4 내지 제7 조각 데이터들(F1, F4~F7), 홀수 데이터(O), 짝수 데이터(E), 그리고 그룹 데이터들(G[1], G[2])에 대응하는 RTP 패킷들을 수신할 수 있다.
영상 데이터 통신 장치(13)는 제2, 제3 및 제8 조각 데이터들(F2, F3, F8)에 대응하는 RTP 패킷들이 손실되었음을 검출하고, 제2, 제3 및 제8 조각 데이터들(F2, F3, F8)에 대해 손실 패킷 복구를 수행할 수 있다.
제2, 제3 및 제8 조각 데이터들(F2, F3, F8)이 손실된 경우, 홀수 카운트(CO)는 '1'이고, 짝수 카운트(CE)는 '2'이고, 제1 그룹 카운트(CG[1])는 '2'이고, 제2 그룹 카운트(CG[2])는 '1' 이다. 영상 데이터 통신 장치(13)는 '1'의 값을 갖는 홀수 카운트(CO) 또는 짝수 카운트(CE)를 이용하여 손실 패킷 복구를 수행할 수 있다.
예시적으로, 영상 데이터 통신 장치(13)는 제2 그룹 카운트(G[2])를 이용하여 손실 패킷 복구를 수행하는 것으로 가정된다. 제2 그룹 카운트(G[2])와 연관된 제2 그룹 데이터(G[2])는 제5 내지 제8 조각 데이터들(F5~F8)의 배타적 논리곱의 결과이다. 따라서, 제8 조각 데이터(F8)는 제5 내지 제7 조각 데이터들(F5~F7) 및 제2 그룹 데이터(G[2])의 배타적 논리곱(XOR)을 통해 계산될 수 있다.
이후에, 도 16을 참조하여 설명된 것과 동일한 방법으로, 제2 및 제3 조각 데이터들(F2, F3)이 복구될 수 있다.
상술된 실시 예들에서, 홀수 데이터(O), 짝수 데이터(E) 및 그룹 데이터들(G[K])이 복구 데이터들로 사용되는 것으로 설명되었다. 그러나, 홀수 데이터(O), 짝수 데이터(E) 및 그룹 데이터들(G[K]) 중 적어도 하나가 복구 데이터로 사용될 수 있다.
상술된 실시 예들에서, 홀수 데이터(O) 및 짝수 데이터(E)는 하나의 NAL 유닛의 모든 조각 데이터들로부터 계산되는 것으로 설명되었다. 그러나, 하나의 NAL 유닛들이 복수의 그룹들로 분할되고, 각 그룹마다 홀수 데이터(O) 및 짝수 데이터(E)가 계산될 수 있다. 홀수 데이터(O) 및 짝수 데이터(E)와 연관된 그룹들은 그룹 데이터(G[K])와 연관된 그룹들과 동일하거나 또는 다를 수 있다.
본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 발명의 범위와 기술적 사상에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 상술한 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 한다.
10; 영상 회의 시스템
11; 공용 네트워크
12, 13, 14; 영상 데이터 통신 장치들
100; 영상 데이터 통신 장치
110; 입력 및 출력부
120; 제1 인코딩 및 디코딩부
130; 제2 인코딩 및 디코딩부
140; 패킷화 및 역패킷화부
150; 송수신부

Claims (20)

  1. 영상 데이터를 통신하는 영상 데이터 통신 방법에 있어서:
    영상 데이터를 인코딩하여 인코딩 데이터를 생성하는 단계;
    상기 인코딩 데이터를 이용하여 복구 데이터를 생성하는 단계;
    상기 인코딩 데이터 및 상기 복구 데이터를 패킷화하여 패킷들을 생성하는 단계; 그리고
    상기 생성된 패킷들을 전송하는 단계를 포함하고,
    상기 복구 데이터를 생성하는 단계는,
    상기 인코딩 데이터를 복수의 조각 데이터들로 분할하는 단계; 그리고
    상기 복수의 조각 데이터들 중 적어도 두 개의 조각 데이터들에 대해 배타적 논리합 연산을 수행하여, 상기 복구 데이터를 생성하는 단계를 포함하는 영상 데이터 통신 방법.
  2. 제1 항에 있어서,
    상기 복구 데이터를 생성하는 단계는,
    상기 복수의 조각 데이터들 중 홀수 번째 조각 데이터들에 대해 배타적 논리합 연산을 수행하는 단계를 포함하는 영상 데이터 통신 방법.
  3. 제1 항에 있어서,
    상기 복구 데이터를 생성하는 단계는,
    상기 복수의 조각 데이터들 중 짝수 번째 조각 데이터들에 대해 배타적 논리합 연산을 수행하는 단계를 포함하는 영상 데이터 통신 방법.
  4. 제1 항에 있어서,
    상기 복수의 조각 데이터들은 복수의 그룹들로 분할되고,
    상기 복구 데이터를 생성하는 단계는,
    상기 복수의 그룹들 중 선택된 그룹의 조각 데이터들에 대해 배타적 논리합 연산을 수행하는 단계를 포함하는 영상 데이터 통신 방법.
  5. 제1 항에 있어서,
    상기 복구 데이터를 생성하는 단계는,
    상기 복수의 조각 데이터들 중 적어도 두 개의 제2 조각 데이터들에 대해 배타적 논리합 연산을 수행하여, 제2 복구 데이터를 생성하는 단계를 더 포함하고,
    상기 패킷들을 생성하는 단계에서, 상기 제2 복구 데이터는 상기 인코딩 데이터 및 상기 복구 데이터와 함께 패킷화되는 영상 데이터 통신 방법.
  6. 제5 항에 있어서,
    상기 적어도 두 개의 제2 조각 데이터들은 상기 적어도 두 개의 조각 데이터들과 중복되는 조각 데이터를 갖지 않는 영상 데이터 통신 방법.
  7. 제5 항에 있어서,
    상기 적어도 두 개의 제2 조각 데이터는 상기 적어도 두 개의 조각 데이터들 중 적어도 하나의 조각 데이터와 중복되는 조각 데이터를 갖는 영상 데이터 통신 방법.
  8. 제5 항에 있어서,
    상기 패킷들을 생성하는 단계에서, 상기 제2 복구 데이터 및 상기 복구 데이터는 서로 다른 패킷들로 패킷화되는 영상 데이터 통신 방법.
  9. 제1 항에 있어서,
    상기 패킷들을 생성하는 단계는,
    상기 복수의 조각 데이터들을 각각 복수의 제1 패킷들로 패킷화하는 단계; 그리고
    상기 복구 데이터를 제2 패킷으로 패킷화하는 단계를 포함하는 영상 데이터 통신 방법.
  10. 제9 항에 있어서,
    상기 제2 패킷은 RTP (Real-time Transport Protocol) 헤더 및 상기 복구 데이터를 포함하는 RTP 페이로드(payload)를 포함하고,
    상 RTP 헤더는 상기 RTP 페이로드의 타입, 상기 RTP 페이로드의 순서를 가리키는 시퀀스 넘버, 그리고 상기 RTP 페이로드가 샘플링된 시간을 가리키는 타임 스탬프의 정보를 포함하는 영상 데이터 통신 방법.
  11. 제10 항에 있어서,
    상기 RTP 페이로드는 PLR 헤더 및 상기 복구 데이터를 포함하는 PLR 페이로드를 포함하고,
    상기 PLR 헤더는 상기 적어도 두 개의 조각 데이터들을 가리키는 PLR 지시자, 상기 복수의 조각 데이터들의 수를 가리키는 패킷 수, 상기 복수의 조각 데이터들 중 마지막 조각 데이터의 사이즈에 대한 정보를 포함하는 영상 데이터 통신 방법.
  12. 제11 항에 있어서,
    상기 복구 데이터가 둘 이상의 패킷들로 패킷화되는 경우, 상기 PLR 헤더는 상기 둘 이상의 패킷들의 번호에 대한 정보를 더 포함하는 영상 데이터 통신 방법.
  13. 제9 항에 있어서,
    상기 제1 패킷들 각각은 RTP (Real-time Transport Protocol) 헤더 및 상기 복수의 조각 데이터들 중 대응하는 조각 데이터를 포함하는 RTP 페이로드(payload)를 포함하고,
    상 RTP 헤더는 상기 RTP 페이로드의 타입, 상기 RTP 페이로드의 순서를 가리키는 시퀀스 넘버, 그리고 상기 RTP 페이로드가 샘플링된 시간을 가리키는 타임 스탬프의 정보를 포함하는 영상 데이터 통신 방법.
  14. 제9 항에 있어서,
    상기 RTP 페이로드는 FU (Fragmentation Unit) 지시자, FU 헤더, 그리고 상기 대응하는 조각 데이터를 포함하는 FU 페이로드를 포함하고,
    상기 FU 지시자는 에러 여부를 가리키는 고정 비트, 상기 FU 페이로드에 대응하는 영상 데이터가 참조용으로 사용되는지의 여부를 가리키는 참조 지시자, 그리고 상기 FU 페이로드의 타입에 대한 정보를 포함하고,
    상기 FU 헤더는 상기 복수의 조각 데이터들의 시작을 가리키는 시작 비트, 상기 복수의 조각 데이터들의 종료를 가리키는 종료 비트, 그리고 상기 FU 페이로드의 타입에 대한 정보를 포함하는 영상 데이터 통신 방법.
  15. 영상 데이터를 통신하는 영상 데이터 통신 방법에 있어서:
    복수의 패킷들 및 적어도 하나의 복구 패킷을 수신하는 단계;
    상기 복수의 패킷들로부터 손실된 패킷이 존재하는지 판별하는 단계;
    상기 손실된 패킷이 존재하면 상기 복수의 패킷들 및 상기 적어도 하나의 복구 패킷을 이용하여 손실 패킷 복구를 수행하고, 상기 손실 패킷 복구의 결과에 대해 디코딩을 수행하여 상기 영상 데이터를 복원하는 단계; 그리고
    상기 손실된 패킷이 존재하지 않으면, 상기 복수의 패킷들에 대해 디코딩을 수행하여 상기 영상 데이터를 복원하는 단계를 포함하고,
    상기 손실 패킷 복구는, 상기 복수의 패킷들 중 적어도 하나의 패킷과 상기 복구 패킷의 배타적 논리곱을 이용하여 수행되는 영상 데이터 통신 방법.
  16. 제15 항에 있어서,
    상기 손실 패킷 복구는,
    상기 적어도 하나의 복구 패킷으로부터, 상기 복구 패킷과 연관된 제1 패킷들을 검출하는 단계;
    상기 손실된 패킷 및 상기 제1 패킷들에 기반하여, 상기 손실된 패킷이 복구 대상인지 판별하는 단계;
    상기 손실된 패킷이 상기 복구 대상이면, 상기 적어도 하나의 복구 패킷 및 상기 제2 패킷들에 기반하여 상기 손실된 패킷을 복구하는 단계; 그리고
    상기 손실된 패킷이 상기 복구 대상이 아니면, 상기 손실 패킷 복구를 종료하는 단계에 의해 수행되는 영상 데이터 통신 방법.
  17. 제16 항에 있어서,
    상기 손실된 패킷이 상기 복구 대상인지 판별하는 단계는,
    상기 손실된 패킷이 상기 제1 패킷들 중 하나일 때, 상기 손실된 패킷은 상기 복구 대상으로 판별되는 영상 데이터 통신 방법.
  18. 제17 항에 있어서,
    상기 손실된 패킷을 복구하는 단계는,
    상기 제1 패킷들 중 상기 손실된 패킷을 제외한 나머지 패킷들과 상기 복구 패킷을 배타적 논리곱 연산하여, 상기 손실된 패킷을 복구하는 단계를 포함하는 영상 데이터 통신 방법.
  19. 제15 항에 있어서,
    상기 손실된 패킷은 제1 및 제2 손실된 패킷들을 포함하고,
    상기 손실 패킷 복구는,
    상기 적어도 하나의 복구 패킷 중 제1 복구 패킷과 연관된 제1 패킷들을 검출하는 단계;
    상기 적어도 하나의 복구 패킷 중 제2 복구 패킷과 연관된 제2 패킷들을 검출하는 단계;
    상기 복수의 손실된 패킷들, 상기 제1 패킷들 및 상기 제2 패킷들에 기반하여, 상기 제1 복구 패킷 및 상기 제2 복구 패킷 중 1순위 복구 패킷을 선택하는 단계;
    상기 1순위 복구 패킷 및 상기 1순위 복구 패킷과 연관된 패킷들을 이용하여 상기 제1 및 제2 손실된 패킷들 중 하나의 손실 패킷을 복구하는 단계; 그리고
    상기 제1 복구 패킷 및 상기 제2 복구 패킷 중 2순위 복구 패킷 및 상기 2순위 복구 패킷과 연관된 패킷들을 이용하여 상기 제1 및 제2 손실된 패킷들 중 나머지 하나의 손실 패킷을 복구하는 단계에 의해 수행되는 영상 데이터 통신 방법.
  20. 영상 신호를 인코딩하여 제1 다운 신호로 출력하고, 제1 업 신호를 수신하고, 상기 제1 업 신호를 디코딩하여 상기 영상 신호를 복원하도록 구성되는 제1 인코딩 및 디코딩부;
    상기 제1 다운 신호를 수신하고, 상기 제1 다운 신호에 패킷 손실 복구 인코딩을 수행하여 제2 다운 신호로 출력하고, 제2 업 신호를 수신하고, 상기 제2 업 신호에 패킷 손실 복구 디코딩을 수행하여 상기 제1 업 신호로 출력하도록 구성되는 제2 인코딩 및 디코딩부;
    상기 제2 다운 신호를 수신하고, 상기 제2 다운 신호를 패킷화하여 제3 다운 신호로 출력하고, 제3 업 신호를 수신하고, 상기 제3 업 신호를 역패킷화하여 상기 제2 업 신호로 출력하도록 구성되는 패킷화 및 역패킷화부; 그리고
    상기 제3 다운 신호를 수신하여 외부 장치로 전송하고, 상기 외부 장치로부터 상기 제3 업 신호를 수신하여 출력하도록 구성되는 송수신부를 포함하고,
    상기 패킷 손실 복구 인코딩은, 상기 제1 다운 신호를 복수의 제1 조각 데이터들로 분할하고, 상기 복수의 제1 조각 데이터들 중 적어도 두 개의 조각 데이터들에 대해 배타적 논리곱을 수행하여 제1 복구 데이터를 생성하고, 상기 복수의 제1 조각 데이터들 및 상기 제1 복구 데이터를 상기 제2 다운 신호로 출력하는 동작을 포함하고,
    상기 패킷 손실 복구 디코딩은, 상기 제2 업 신호의 복수의 제2 조각 데이터들 및 제2 복구 데이터를 이용하여 손실 데이터를 복구하고, 상기 복수의 제2 조각 데이터 및 상기 복구된 데이터를 상기 제1 업 신호로 출력하는 동작을 포함하는 영상 데이터 통신 장치.
KR1020140051262A 2013-12-27 2014-04-29 영상 데이터 통신 방법 및 영상 데이터 통신 장치 KR101760018B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/577,537 US20150189331A1 (en) 2013-12-27 2014-12-19 Image data communication method and image data communication device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130165362 2013-12-27
KR1020130165362 2013-12-27

Publications (2)

Publication Number Publication Date
KR20150079367A true KR20150079367A (ko) 2015-07-08
KR101760018B1 KR101760018B1 (ko) 2017-07-24

Family

ID=53791736

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140051262A KR101760018B1 (ko) 2013-12-27 2014-04-29 영상 데이터 통신 방법 및 영상 데이터 통신 장치

Country Status (1)

Country Link
KR (1) KR101760018B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017126767A1 (ko) * 2016-01-20 2017-07-27 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 방법
WO2023022578A1 (ko) * 2021-08-20 2023-02-23 엘지전자 주식회사 영상 신호 처리 방법 및 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190033771A (ko) * 2017-09-22 2019-04-01 삼성전자주식회사 영상 인코딩 장치, 영상 디코딩 장치, 영상 인코딩 방법 및 영상 디코딩 방법
KR101877927B1 (ko) * 2018-02-01 2018-07-12 유니마이크로텍 주식회사 영상과 데이터를 동기화한 패킷 구조, 패킷 무선 송신장치 및 패킷 무선 수신장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017126767A1 (ko) * 2016-01-20 2017-07-27 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 방법
US10963208B2 (en) 2016-01-20 2021-03-30 Samsung Electronics Co., Ltd. Electronic device and method for operating electronic device
WO2023022578A1 (ko) * 2021-08-20 2023-02-23 엘지전자 주식회사 영상 신호 처리 방법 및 장치

Also Published As

Publication number Publication date
KR101760018B1 (ko) 2017-07-24

Similar Documents

Publication Publication Date Title
KR101292851B1 (ko) 가변적 ｆｅｃ 오버헤드 및 보호 구간을 이용하는 스트리밍및 버퍼링
US9246630B2 (en) Method, device, and system for forward error correction
JP2010226258A (ja) 情報取得システム、送信装置、データ捕捉装置、送信方法及びデータ捕捉方法
WO2011079763A1 (zh) 一种fec数据的处理方法、装置及系统
KR101760018B1 (ko) 영상 데이터 통신 방법 및 영상 데이터 통신 장치
TW201001967A (en) Communication transmitter, communication receiver, packet redundancy method and packet recovery method
US20150189331A1 (en) Image data communication method and image data communication device
KR20130140938A (ko) 방송 및 통신 시스템에서 패킷 송수신 장치 및 방법
US9398256B2 (en) Telecommunication end-point device data transmission controller
WO2015015879A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2007028241A (ja) 映像符号化・送信装置，映像符号化・送信方法，映像符号化・送信プログラムおよびその記録媒体
US20060215711A1 (en) Apparatus for receiving packet stream
US9667384B2 (en) Apparatus and method for transmitting and receiving forward error correction packet
JP6451629B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR101953580B1 (ko) 영상회의 시스템에서 데이터 송수신 장치 및 방법
KR101879194B1 (ko) 패킷의 손실을 복구하기 위한 장치 및 그 방법
WO2013098812A1 (en) Transport over udp system and method
KR101401746B1 (ko) 멀티미디어 데이터 다중화 장치 및 방법
JP4876427B2 (ja) 通信システム、送信装置、送信方法、受信装置、受信方法、およびプログラム
US10687067B2 (en) Transmitter, transmission method, and communication system
KR101696191B1 (ko) Mpeg ts 전송프레임에서 가변 비트율 다중화 데이터 처리 방법 및 그 장치
JP2012239123A (ja) 映像データ送信装置及び受信装置
JP6614145B2 (ja) 受信装置、受信方法およびコンピュータプログラム
JP2006054562A (ja) パケット伝送システム
KR20150079399A (ko) 데이터 전송 디바이스 및 그 전송 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right