KR102145285B1 - 실시간 영상과 고품질 영상을 함께 제공하기 위한 송수신장치 - Google Patents

실시간 영상과 고품질 영상을 함께 제공하기 위한 송수신장치 Download PDF

Info

Publication number
KR102145285B1
KR102145285B1 KR1020180172817A KR20180172817A KR102145285B1 KR 102145285 B1 KR102145285 B1 KR 102145285B1 KR 1020180172817 A KR1020180172817 A KR 1020180172817A KR 20180172817 A KR20180172817 A KR 20180172817A KR 102145285 B1 KR102145285 B1 KR 102145285B1
Authority
KR
South Korea
Prior art keywords
packet
image
time
real
source
Prior art date
Application number
KR1020180172817A
Other languages
English (en)
Other versions
KR20200082332A (ko
Inventor
남재권
최호진
이선민
강신혁
류찬혁
조지현
Original Assignee
오픈스택 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오픈스택 주식회사 filed Critical 오픈스택 주식회사
Priority to KR1020180172817A priority Critical patent/KR102145285B1/ko
Publication of KR20200082332A publication Critical patent/KR20200082332A/ko
Application granted granted Critical
Publication of KR102145285B1 publication Critical patent/KR102145285B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 화질손상이 발생할 수 있지만 지연시간이 없는 실시간 영상 및 시간지연이 발생할 수 있지만 실시간 영상보다 화질이 같거나 향상된 고품질 영상을 함께 제공하고, 동일한 소스패킷을 사용하여 실시간 영상과 고품질 영상을 생성하는 송수신장치를 개시한다.

Description

실시간 영상과 고품질 영상을 함께 제공하기 위한 송수신장치{TRANSMITTING AND RECEIVING APPARATUS FOR PROVIDING A REAL-TIME IMAGE AND A HIGH-QUALITY IMAGE}
본 발명은 영상 송수신을 위한 장치에 관한 것으로서, 더욱 상세하게는 화질손상이 발생할 수 있지만 지연시간이 없는 실시간 영상 및 시간지연이 발생할 수 있지만 실시간 영상보다 화질이 같거나 향상된 고품질 영상을 함께 제공하고, 동일한 소스패킷을 사용하여 실시간 영상과 고품질 영상을 생성하는 송수신장치에 관한 것이다.
종래에는 비특허문헌 1과 같이 송신장치에서 수신장치로 데이터를 전송할 때 데이터의 일부가 손상 또는 손실이 발생하면 수신장치 측에서 손상 또는 손실된 데이터의 재전송을 송신장치 측으로 요청하는 ARQ(Automatic Repeat reQuest) 방식을 사용하였으나, ARQ 방식을 실시간 방송 또는 실시간 영상 전송에 적용하기 어려운 문제점이 있다.
최근에는 전송 도중에 원 데이터의 손상 또는 손실이 발생하더라도 이를 복구할 수 있는 복구 데이터가 포함된 데이터를 송신장치 측에서 생성하여 전송하고, 수신장치 측에서 수신한 데이터 일부에 손상 또는 손실이 발생하더라도 복구 데이터가 포함된 수신 데이터로부터 원 데이터를 복원할 수 있는 응용계층 순방향 에러 정정(AL-FEC: Application Layer Forward Error Correction) 부호화 방식을 사용한다.
AL-FEC 부호화 기술은 비특허문헌 2와 같이 비구조적 부호(non-systematic code) 특성을 갖거나, 비특허문헌 3과 같이 구조적 부호(systematic code) 특성을 갖는다.
비구조적 부호 특성을 갖는 AL-FEC 부호화 기술은, 예를 들어 LDPC(Low Density Parity Check) 기술로서 네트워크의 평균 손실률을 참조하여 원 데이터 100개당 10% 정도의 복구 데이터가 필요하다고 가정하면, 송신장치 측에서 A1, A2, …, A100의 원 데이터를 기반으로 총 110개 분량의 완전히 새로운 데이터 B1, B2, …, B110을 생성하여 수신장치 측으로 전송한다. 수신장치는 B1, B2, …, B110 데이터 중 어느 것이라도 100개 이상 수신되면 이로부터 A1, A2, …, A100 전체를 복원할 수 있다. 그러나 수신장치는 총 110개의 데이터 중 100개 미만으로 수신하면 A1, A2, …, A100의 데이터 중 어느 하나도 복원하지 못한다.
구조적 부호 특성을 갖는 AL-FEC 부호화 기술은, 예를 들어 랩터Q 응용 계층 순방향 에러 정정(RaptorQ AL-FEC) 기술로서 A1, A2, …, A100의 원 데이터를 기반으로 총 110개 분량의 데이터를 생성하되, 이 중 100개인 A1, A2, …, A100의 원 데이터를 그대로 사용하고, B101, B102, …, B110만을 생성하여 A1, A2, …, A100, B101, B102, …, B110의 총 110개 데이터를 수신장치 측에 전송한다. 여기서 A1, A2, …, A100는 소스패킷이고, B101, B102, …, B110은 복구패킷이다. 수신장치는 총 110개의 데이터 중 100개 미만으로 수신하여 A1, A2, …, A100의 원 데이터 전체를 복원하지 못하더라도, A1, A2, …, A100에서 수신된 데이터를 그 상태 그대로 유효하게 사용할 수 있다. 또한 수신장치는 총 110개의 데이터 중 100개 이상 수신하면 A1, A2, …, A100 중에 수신하지 못한 데이터가 발생하여도 원 데이터 전체를 복원할 수 있다. 단 수신장치는 100개 이상의 데이터를 수신하여도 데이터 복원에 실패할 수 있다. 예를 들어 100개를 수신하면 실패 확률이 1/100이고, 101개를 수신하면 실패 확률이 1/10000로 현저히 줄어든다.
구조적 부호 특성을 갖는 AL-FEC 부호화 기술은 네트워크 평균 손실률과 허용복원실패율을 감안하여 복구 데이터의 양을 설정하여 목표하는 복원 신뢰도를 확보할 수 있다.
종래의 비구조적 부호 특성 또는 구조적 부호 특성을 갖는 AL-FEC 부호화 기술은, 송신장치 측에서 소스패킷인 A1, A2, …, A100를 모아둔 다음에 복구패킷을 생성하고, 한 번에 소스패킷과 복구패킷을 함께 전송하기 때문에 송신에 따른 시간지연이 발생할 수 있고, 실시간 영상 전송에 적용하기 어려운 문제점이 있다.
상기 문제점을 해결하기 위하여 본 발명은 구조적 부호 특성을 갖는 AL-FEC로 부호화된 데이터의 특성을 이용하고, 송신장치 측에서 소스패킷이 생성되는 대로 수신장치로 전송하며, 설정된 시기에 복구패킷을 송신함으로써, 송신에 따른 시간지연을 최소화하는 송수신장치를 제공한다.
본 발명은 화질손상이 발생할 수 있지만 지연시간이 없는 실시간 영상 및 시간지연이 발생할 수 있지만 실시간 영상보다 화질이 같거나 향상된 고품질 영상을 함께 제공하고, 동일한 소스패킷을 사용하여 실시간 영상과 고품질 영상을 생성하는 송수신장치를 제공한다.
상기의 해결하고자 하는 과제를 위한 본 발명의 실시예에 따른 실시간 영상과 고품질 영상을 함께 제공하기 위한 송수신장치는, 송신장치 및 수신장치를 포함하고, 상기 수신장치는 소스패킷을 실시간으로 송신장치로부터 수신하고, 설정된 시기에 복구패킷을 수신하는 수신부; 구조적 부호 특성을 갖는 응용계층 순방향 에러 정정(AL-FEC: Application Layer Forward Error Correction) 부호의 특성을 이용하여 각 소스패킷이 도착하는 즉각 상기 소스패킷을 복호화하여 실시간 영상을 생성하는 제1 복호화부 및 상기 복구패킷을 이용하여 실시간 영상과 화질이 같거나 향상된 고품질 영상을 생성하는 제2 복호화부를 포함하며, 상기 제1 복호화부와 제2 복호화부는 동일한 소스패킷을 사용하는 것을 특징으로 할 수 있다.
상기 수신장치는, 상기 수신부로부터 소스패킷과 복구패킷을 전달받아 임시 저장하고, 소스패킷을 전달받는 대로 제1 복호화부로 제공하며, 설정된 데이터 크기로 구성된 제N 그룹의 소스패킷과 복구패킷을 임시 저장하면 제N 그룹의 소스패킷과 복구패킷을 제2 복호화부로 제공하는 버퍼를 더 포함하는 것을 특징으로 할 수 있다.
상기 송신장치는, 촬상장치부터 소스영상을 수신하여 소스패킷을 생성하는 소스패킷 생성부; 상기 소스패킷을 설정된 데이터 크기로 모아둔 다음에 모아둔 소스패킷에 기반하여 복구패킷을 생성하는 복구패킷 생성부 및 상기 소스패킷을 생성되는 대로 수신장치에게 송신하고, 설정된 시기에 복구패킷을 송신하는 송신부를 포함하는 것을 특징으로 할 수 있다.
상기 설정된 시기는 제N 그룹의 복구패킷을 제N+1 그룹의 소스패킷들 사이사이에 끼워 송신하는 시기인 것을 특징으로 할 수 있다.
본 발명은 지연시간이 없는 실시간 영상 및 시간지연이 발생할 수 있지만 실시간 영상보다 화질이 같거나 향상된 고품질 영상을 함께 제공할 수 있고, 실시간 영상을 이동체를 조종하는데 활용할 수 있으며, 고품질의 영상을 정찰 영상 또는 중계 영상으로 활용할 수 있다.
도 1은 본 발명의 실시예에 따른 송수신장치를 도시한 블록도이다.
도 2는 도 1의 송신장치가 설치된 이동체를 도시한 블록도이다.
도 3은 도 1의 송신장치를 상세하게 도시한 블록도이다.
도 4는 한 개의 표시장치와 연결된 도 1의 수신장치를 상세하게 도시한 블록도이다.
도 5는 두 개의 표시장치와 연결된 도 1의 수신장치를 상세하게 도시한 블록도이다.
도 6은 표시장치의 화면을 도시한 예이다.
도 7 내지 도 9는 도 1의 송수신장치를 상세하게 도시한 예이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 실시예에 따른 송수신장치를 도시한 블록도로서, 실시간 패킷 전송을 위한 송수신장치(10)는 송신장치(100) 및 수신장치(200)를 포함한다. 송신장치(100)는 소스영상을 인코딩하여 소스패킷과 복구패킷을 생성하고, 소스패킷과 복구패킷을 수신장치(200)로 송신한다. 수신장치(200)는 소스패킷과 복구패킷을 수신하여 디코딩하여 영상을 생성한다.
도 2는 도 1의 송신장치가 설치된 이동체를 도시한 블록도로서, 송신장치(100)는 이동체(400)에 장착된다. 이동체는 자율주행차 또는 드론일 수 있고, 이에 한정하지 않는다.
이동체(400)는 송신장치(100)에게 소스영상을 제공하는 촬상장치(300)가 더 설치되고, 실시간 운전 조종을 위한 제어수단(410)을 포함하며, 실시간 운전 조종에 대한 정보를 송신장치(100) 또는 별도의 통신수단(미도시)을 통해 수신 가능하다. 실시간 영상은 이동체의 실시간 운전 조종을 위한 영상으로 활용될 수 있다.
도 3은 도 1의 송신장치를 상세하게 도시한 블록도로서, 송신장치(100)는 소스패킷 생성부(110), 복구패킷 생성부(120) 및 송신부(130)를 포함한다. 소스패킷 생성부(110)는 촬상장치(300)로부터 소스영상을 수신하고, 소스영상을 인코딩하여 소스패킷을 생성한다. 복구패킷 생성부(120)는 소스패킷에 기반하여 복구패킷을 생성한다. 더욱 상세하게는 복구패킷 생성부(120)는 소스패킷을 설정된 데이터 크기로 모아둔 다음에 모아둔 소스패킷에 기반하여 복구패킷을 생성한다.
복구패킷 생성부(120)는 복구패킷의 송신이 완료되면 모아둔 소스패킷과 복구패킷을 삭제한다. 예를 들어 복구패킷 생성부(120)는 송신장치(100)가 경량화된 드론과 같은 이동체(400)에 장착되기 때문에 저용량의 메모리를 포함하고, 메모리의 가용성을 고려하여 복구패킷의 송신이 완료되면 모아둔 소스패킷과 복구패킷을 삭제한다.
복구패킷 생성부(120)는 구조적 부호(systematic code) 및 파운틴 코드(fountain code) 특성을 갖는 응용 계층 순방향 에러 정정(AL-FEC: Application Layer Forward Error Correction) 부호화를 수행하여 소스 패킷의 복원을 위한 복구 패킷을 생성한다. 예를 들어 복구 패킷 생성부(120)는 랩터Q 응용 계층 순방향 에러 정정(RaptorQ AL-FEC: Application Layer Forward Error Correction) 부호화를 수행하여 소스 패킷의 복원을 위한 복구 패킷을 생성할 수 있다.
송신부(130)는 소스패킷이 생성되는 대로 수신장치에게 송신하고, 설정된 시기에 복구패킷을 송신한다. 설정된 시기는 송신장치(100)에서 순차적으로 소스패킷을 생성 즉시 수신장치 측으로 전송하되, 이를 기억해두었다가 미리 정한 소스패킷 개수만큼 모여 제N 그룹의 소스패킷 생성이 모두 완료되면 그때부터 복구패킷을 생성하여 수신장치 측으로 전송하는 시기일 수 있다. 또한 소스패킷 하나의 크기, 미리 정한 개수 또는 송신장치(100)의 연산능력에 따라 다를 수 있다.
송신부(130)는 설정된 데이터 크기로 구성된 제N 그룹의 소스패킷을 송신한 다음에 제N 그룹의 복구패킷을 송신할 수 있다. 더욱 상세하게는 송신부(130)는 수신장치(200)에 패킷의 수신시간을 보장하기 위한 버퍼(220)가 포함되어 제N 그룹의 복구패킷을 제N+1 그룹의 소스패킷 사이에 송신할 수 있다.
본 발명은 실시간으로 송신된 소스패킷을 통해 실시간 영상을 생성하여 이동체의 실시간 운전 조종을 위한 영상으로 활용할 수 있고, 복구패킷을 통해 고품질 영상을 생성하여 정찰 영상 또는 중계 영상으로 활용할 수 있다. 또한 본 발명은 제N 그룹의 복구패킷을 제N+1 그룹의 소스패킷들 사이사이에 끼워 송신함으로써, 수신장치(200) 측에서 실시간으로 재생되어야 하는 제N+1 그룹의 소스패킷 전송을 방해하지 않을 뿐만 아니라 네트워크 에러로 여러 개의 복구패킷이 한꺼번에 손실되는 위험을 줄일 수 있다.
송신장치(100)는 모든 소스패킷의 전송이 완료된 이후에 복구패킷을 수신장치(200)로 전송할 수 있다. 예를 들어 드론에 장착된 송신장치(100)는 소스패킷의 실시간 전송에 대한 안정성을 향상시키기 위해 별도의 메모리(미도시)를 구비하여 복구패킷을 메모리에 저장하고, 드론의 주행이 완료되면 수신장치(200)와 유선 또는 무선으로 연결되어 메모리에 저장된 복구패킷을 수신장치(200)로 전송할 수 있다.
소스패킷 생성부(110)와 복구패킷 생성부(120) 각각은 인코딩 모듈과 패킷화 모듈을 포함할 수 있다. 송신장치(100)에서 소스패킷 생성부(110)와 복구패킷 생성부(120)로 구분하는 이유는, 수신장치(200)에서 품질저하 발생 가능한 실시간 영상과 시간지연이 있는 고품질 영상을 함께 제공하기 위해서이다. 또한 소스패킷으로만 복호화된 실시간 영상의 시간지연을 제거하기 위해서이다.
도 4는 한 개의 표시장치와 연결된 도 1의 수신장치를 상세하게 도시한 블록도이고, 도 5는 두 개의 표시장치와 연결된 도 1의 수신장치를 상세하게 도시한 블록도로서, 수신장치(200)는 수신부(210), 버퍼(220), 제1 복호화부(230) 및 제2 복호화부(230)를 포함한다. 수신장치(200)는 이동체(400)와 함께 구성되는 리모트 컨트롤러, 이동단말기 또는 원격서버에 설치될 수 있다.
수신부(210)는 실시간으로 소스패킷을 송신장치로부터 수신하고, 제1 복호화부(230)는 소스패킷을 복호화하여 실시간 영상을 생성한다. 수신부(210)는 설정된 시기에 복구패킷을 수신하고, 제2 복호화부(240)는 소스패킷과 복구패킷을 통해 고품질 영상을 생성한다. 실시간 영상은 화질손상이 발생할 수 있지만, 종래보다 송신에 따른 시간지연이 감소된 영상이다. 고품질 영상은 실시간 영상보다 시간지연이 발생할 수 있지만, 실시간 영상보다 화질손상이 같거나 감소된 영상이다. 또한 고품질 영상은 소스영상의 원본급 품질에 준하는 영상이다. 제1 복호화부(230)와 제2 복호화부(240)는 서로 동일한 소스패킷을 사용한다.
제2 복호화부(240)는 도 4에 도시된 바와 같이 고품질 영상을 표시장치(500)로 제공할 수 있고, 도 5에 도시된 바와 같이 고품질 영상을 제2 표시장치(520)로 제공할 수 있다. 제2 표시장치(520)는 영상을 저장하는 기능을 포함할 수 있다.
버퍼(220)는 수신부(210)로부터 소스패킷과 복구패킷을 전달받아 임시 저장하고, 소스패킷을 전달받는 대로 제1 복호화부(230)로 제공하며, 설정된 데이터 크기로 구성된 제N 그룹의 소스패킷과 복구패킷을 임시 저장하고, 제N 그룹의 소스패킷과 복구패킷을 제2 복호화부(240)로 제공한다. 버퍼(220)는 수신장치(200)에 패킷의 수신시간을 보장한다.
버퍼(220)는 제N 그룹의 소스패킷과 복구패킷을 제2 복호화부로 제공하면 제N 그룹의 소스패킷과 복구패킷을 삭제할 수 있다. 예를 들어 버퍼(220)는 이동체(400)와 한 세트인 소형의 리모트 컨트롤러이면 저용량의 메모리를 포함하고, 메모리의 가용성을 고려하여 제N 그룹의 소스패킷과 복구패킷을 제2 복호화부로 제공하면 제N 그룹의 소스패킷과 복구패킷을 삭제한다.
도 6은 표시장치의 화면을 도시한 예로서, 도 6(a)와 도 6(b)는 도 4의 표시장치(500)에 적용될 수 있고, 도 6(c)는 도 5의 제1 표시장치(510)와 제2 표시장치(520)에 적용될 수 있다.
본 발명은 하나의 표시장치(500)로 제1 영상과 제2 영상을 분할하는 half-half 방식을 제공할 수 있고, 하나의 표시장치(500)로 제2 영상의 일부 영역에 제1 영상을 표출하는 pip(picture-in-picture) 방식을 제공할 수 있으며, 2개의 표시장치(510, 520) 각각에 제1 영상과 제2 영상을 표출할 수 있다.
종래의 비구조적 부호 특성을 갖는 AL-FEC를 이용하여 영상을 전송하려면, 송신장치 측에서 순차적으로 생성되는 원 데이터 A1, A2, …, A100가 모두 생성되기를 기다렸다가 그때부터 이를 기반으로 B1, B2, …, B110을 생성하여 수신장치 측에 전송을 시작하고, 수신장치 측에서도 B1, B2, …, B110 중 최소 100개가 도달하기를 기다렸다가 그때부터 A1, A2, …, A100를 복호화하기 때문에 송신과 수신에 따른 시간지연이 발생하고, 실시간 영상 전송에 적용하기 어려운 문제점이 있다.
본 발명은 구조적 부호 특성을 갖는 AL-FEC를 이용하고, 송신장치(100) 측에서 A1, A2, …, A100 각각이 생성되는 대로 즉각적으로 수신장치(200) 측으로 전송하고, 이를 기억해 두었다가 후에 B101, B102, …, B110만 생성하여 추가로 보내며, 수신장치(200) 측에서 A1, A2, …, A100가 완전하게 도착하는지에 관계없이 각각이 도착하는 즉각 이를 이용해서 실시간 영상을 재생하여 시간지연을 최소화할 수 있고, A1, A2, …, A100 중에서 도달에 실패한 데이터가 있다면 후에 도착한 B101, B102, …, B110으로 이를 복구하여 고품질 영상도 함께 제공할 수 있다. 본 발명은 이와 같은 방법으로 화질손상이 발생할 가능성이 있지만 시간지연을 최소화한 실시간 영상 및 시간지연이 발생할 수 있지만 송신영상을 완전히 복구한 고품질 영상을 함께 제공할 수 있고, 동일한 소스패킷을 사용하여 실시간 영상과 고품질 영상을 생성할 수 있다.
영상을 통한 이동체 조종에서는 영상에 다소 손상이 있더라도 지연시간이 없는 실시간 영상이 유리하다. 또한 정찰 영상 또는 중계 영상은 신뢰성이 있는 정보를 제공하기 위해 시간지연이 다소 있더라도 화질손상에서 복구된 고품질 영상이어야 한다.
본 발명은 실시간 영상을 이동체를 조종하는데 활용할 수 있고, 고품질의 영상을 정찰 영상 또는 중계 영상으로 활용할 수 있다. 예를 들어 고품질 영상은 군사적 정찰 영상, 다큐멘터리 영상 또는 스포츠 중계 영상의 용도 등 다양한 정보로 활용될 수 있다.
도 7 내지 도 9는 도 1의 송수신장치를 상세하게 도시한 예로서, 송신장치(100)에서 비디오 인코더(110a)는 소스패킷 생성부(110)에 대응되고, AL-FEC 인코더(120a)는 복구패킷 생성부(120)에 대응된다. 수신장치(200)에서 수신부(210)는 버퍼(220)의 기능을 대신하여 수행 가능하고, 제1 비디오 디코더(230a)는 제1 복호화부(230)에 대응되며, AL-FEC 디코더(240a)는 제2 복호화부(240)에 대응된다. 제2 복호화부(240)는 제2 비디오 디코더(240b)를 더 포함할 수 있다.
AL-FEC 디코더(240a)는 도 7에 도시된 바와 같이 복구과정을 거친 소스패킷을 생성하여 제1 비디오 디코더(230a)로 제공할 수 있다. 이 경우 제1 비디오 디코더(230a)는 사용자의 선택에 따라 실시간 영상을 제공하거나, 실시간 영상을 복원한 고품질 영상을 제공할 수 있다. 즉 제1 비디오 디코더(230a)는 실시간 영상과 고품질 영상의 생성을 선택적으로 수행할 수 있다.
AL-FEC 디코더(240a)는 도 8에 도시된 바와 같이 복구과정을 거친 소스패킷을 제2 비디오 디코더(240b)로 제공할 수 있고, 제2 비디오 디코더(240b)는 복구과정을 거친 소스패킷을 이용하여 화질손상이 감소된 고품질 영상을 생성하고, 고품질 영상을 표시장치(500)로 제공할 수 있다. 또한 제2 비디오 디코더(240b)는 도 9에 도시된 바와 같이 고품질 영상을 제2 표시장치(520)로 제공할 수 있다.
10: 송수신장치 100: 송신장치
200: 수신장치 300: 촬상장치
400: 이동체 500: 표시장치

Claims (4)

  1. 송신장치 및 수신장치를 포함하는 실시간 영상과 고품질 영상을 함께 제공하기 위한 송수신장치에 있어서,
    상기 수신장치는,
    소스패킷을 실시간으로 송신장치로부터 수신하고, 설정된 시기에 복구패킷을 수신하는 수신부;
    구조적 부호 특성을 갖는 응용계층 순방향 에러 정정(AL-FEC: Application Layer Forward Error Correction) 부호의 특성을 이용하여 각 소스패킷이 도착하는 즉각 상기 소스패킷을 복호화하여 실시간 영상을 생성하는 제1 복호화부 및
    상기 복구패킷을 이용하여 실시간 영상과 화질이 같거나 향상된 고품질 영상을 생성하는 제2 복호화부를 포함하며,
    상기 제1 복호화부와 제2 복호화부는 동일한 소스패킷을 사용하는 것을 특징으로 하는 실시간 영상과 고품질 영상을 함께 제공하기 위한 송수신장치.
  2. 제1항에 있어서,
    상기 수신장치는,
    상기 수신부로부터 소스패킷과 복구패킷을 전달받아 임시 저장하고, 소스패킷을 전달받는 대로 제1 복호화부로 제공하며, 설정된 데이터 크기로 구성된 제N 그룹의 소스패킷과 복구패킷을 임시 저장하면 제N 그룹의 소스패킷과 복구패킷을 제2 복호화부로 제공하는 버퍼를 더 포함하는 것을 특징으로 하는 실시간 영상과 고품질 영상을 함께 제공하기 위한 송수신장치.
  3. 제1항에 있어서,
    상기 송신장치는,
    촬상장치부터 소스영상을 수신하여 소스패킷을 생성하는 소스패킷 생성부;
    상기 소스패킷을 설정된 데이터 크기로 모아둔 다음에 모아둔 소스패킷에 기반하여 복구패킷을 생성하는 복구패킷 생성부 및
    상기 소스패킷을 생성되는 대로 수신장치에게 송신하고, 설정된 시기에 복구패킷을 송신하는 송신부를 포함하는 것을 특징으로 하는 실시간 영상과 고품질 영상을 함께 제공하기 위한 송수신장치.
  4. 제1항에 있어서,
    상기 설정된 시기는 제N 그룹의 복구패킷을 제N+1 그룹의 소스패킷들 사이사이에 끼워 송신하는 시기인 것을 특징으로 하는 실시간 영상과 고품질 영상을 함께 제공하기 위한 송수신장치.
KR1020180172817A 2018-12-28 2018-12-28 실시간 영상과 고품질 영상을 함께 제공하기 위한 송수신장치 KR102145285B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180172817A KR102145285B1 (ko) 2018-12-28 2018-12-28 실시간 영상과 고품질 영상을 함께 제공하기 위한 송수신장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180172817A KR102145285B1 (ko) 2018-12-28 2018-12-28 실시간 영상과 고품질 영상을 함께 제공하기 위한 송수신장치

Publications (2)

Publication Number Publication Date
KR20200082332A KR20200082332A (ko) 2020-07-08
KR102145285B1 true KR102145285B1 (ko) 2020-08-18

Family

ID=71600445

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180172817A KR102145285B1 (ko) 2018-12-28 2018-12-28 실시간 영상과 고품질 영상을 함께 제공하기 위한 송수신장치

Country Status (1)

Country Link
KR (1) KR102145285B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101870750B1 (ko) * 2017-12-28 2018-06-26 오픈스택 주식회사 패킷 전송 순서 재배열을 이용한 영상 인코딩 장치 및 그 동작 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101953580B1 (ko) * 2014-11-25 2019-03-04 한국전자통신연구원 영상회의 시스템에서 데이터 송수신 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101870750B1 (ko) * 2017-12-28 2018-06-26 오픈스택 주식회사 패킷 전송 순서 재배열을 이용한 영상 인코딩 장치 및 그 동작 방법

Also Published As

Publication number Publication date
KR20200082332A (ko) 2020-07-08

Similar Documents

Publication Publication Date Title
US7320099B2 (en) Method and apparatus for generating error correction data, and a computer-readable recording medium recording an error correction data generating program thereon
US7636298B2 (en) Apparatus and method for packet error correction
US7584404B2 (en) Method and apparatus for multimedia communication over packet channels
US6532562B1 (en) Receiver-driven layered error correction multicast over heterogeneous packet networks
CN107257270B (zh) 基于混合自动重传请求的数据传输方法及系统
US7877660B2 (en) Transmitting additional forward error correction (FEC) upon request
US8004963B2 (en) Apparatus and method for packet redundancy and recovery
US20050204242A1 (en) Receiver-driven layered error correction multicast over heterogeneous packet networks
US20120272124A1 (en) Method and System for Recovering Lost Media Data Packets
US20100125768A1 (en) Error resilience in video communication by retransmission of packets of designated reference frames
JPH11136220A (ja) 符号伝送方法、送信装置、受信装置および通信システム
US20150103885A1 (en) Real time ip video transmission with high resilience to network errors
JP2002190793A (ja) 通信方式、通信装置、およびこの通信装置を用いた通信システム
CN102484561A (zh) 发送设备、接收设备和通信系统
CN112350803B (zh) 数据包的传输方法、装置、系统、电子设备及存储介质
JP2006262288A (ja) 映像データの配信サーバおよび映像データ配信方法
US20020180756A1 (en) Foveation-based error resilience algorithm
US10484148B2 (en) Method and device for transmitting and receiving multimedia data
JP6511472B2 (ja) ブロードキャスティング及び／又は通信システムにおけるパケットの生成及び復元のための方法及び装置
CN112804028B (zh) 一种数据包的传输方法、设备及存储介质
KR102145285B1 (ko) 실시간 영상과 고품질 영상을 함께 제공하기 위한 송수신장치
WO2020248267A1 (zh) 数据传输系统、方法、发送端和计算机可读介质
JP2011211616A (ja) 動画像伝送装置、動画像伝送システム、動画像伝送方法およびプログラム
US20070019566A1 (en) Receiver apparatus and data distribution method
CN112954405A (zh) 数据包恢复方法、装置和系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant