KR101536747B1 - 자유 시점 영상 전송을 위한 패킷구조형 송신장치 및 송신방법 - Google Patents

자유 시점 영상 전송을 위한 패킷구조형 송신장치 및 송신방법 Download PDF

Info

Publication number
KR101536747B1
KR101536747B1 KR1020140025272A KR20140025272A KR101536747B1 KR 101536747 B1 KR101536747 B1 KR 101536747B1 KR 1020140025272 A KR1020140025272 A KR 1020140025272A KR 20140025272 A KR20140025272 A KR 20140025272A KR 101536747 B1 KR101536747 B1 KR 101536747B1
Authority
KR
South Korea
Prior art keywords
packet
data
transmission
pes
unit
Prior art date
Application number
KR1020140025272A
Other languages
English (en)
Inventor
김동호
장정엽
김재진
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020140025272A priority Critical patent/KR101536747B1/ko
Application granted granted Critical
Publication of KR101536747B1 publication Critical patent/KR101536747B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/86—Arrangements characterised by the broadcast information itself
    • H04H20/88—Stereophonic broadcast systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에서는 종래 입체영상시스템을 통해 입체영상(자유시점영상)을 전송함에 있어서 다중 시점에서 획득된 복수의 데이터에 대한 패킷화 과정을 수행할 경우에, 각 시점별 영상 깊이 맵, 시점별 영상간의 위치 정보 등 부가적인 데이터를 구성해야 하므로, 연산량이 많아져서 시스템 과부하로 인해 전송속도가 현저히 떨어지는 문제점과, 다양한 고효율 압축화 기법을 고려하더라고 전송 데이터가 과도하게 늘어나는 문제점을 개선하고자, 송수신기 사이에 데이터부호화생성모듈(100), PES(Packetized Elementary Stream)패킷생성모듈(200), 스마트전송패킷모듈(300)이 구성됨으로서, 다중시점에서 획득된 복수의 영상, 음향, 공간 데이터에 대한 데이터 패킷화 과정을 수행시킬 수 있고, 입체 영상 및 음향을 사용자가 원하는 시점에서 자유롭게 시청할 수 있는 전송시스템을 제공할 수 있으며, PES패킷과 스마트전송패킷을 통해 데이터크기를 줄일 수 있고, 시스템복잡도를 기존보다 70% 낮출 수 있어, 시스템 과부하없이 연산속도와 전송속도를 높일 수 있고, 영상, 음향, 공간데이터를 부가정보와 믹싱시켜 저장시킨 후, 패킷화하여 사용자의 요청에 따라 선택적으로 입체영상서비스를 실시간으로 전송시킬 수 있는 자유 시점 영상 전송을 위한 패킷구조형 송신장치 및 송신방법을 제공하는데 그 목적이 있다.

Description

자유 시점 영상 전송을 위한 패킷구조형 송신장치 및 송신방법{The designs of packet structure and method of transmission for free viewpoint video}
본 발명에서는 다시점 카메라를 통해 획득한 다시점영상(=입체영상)에 관한 영상, 음향, 공간데이터를 부호화해서 부가정보와 믹싱시켜 저장시킨 후, 패킷화하여 사용자의 요청에 따라 선택적으로 입체영상서비스를 실시간으로 전송시킬 수 있는 자유 시점 영상 전송을 위한 패킷구조형 송신장치 및 송신방법에 관한 것이다.
최근 기존의 2DTV나 스테레오 영상을 통한 3DTV와는 다르게 사용자가 원하는 자유 시점에서 시청 가능한 컨텐츠를 제공하는 서비스가 요구되고 있고, 이에 따라 입체 영상(자유시점영상) 및 음원 표출 기법에 대해 국내외의 많은 연구소 및 대학에서 연구를 수행하고 있다.
입체영상 시스템에서 다수의 카메라와 음향 장비로부터 획득된 정보 데이터는 이용자가 원하는 시점에서 재구성되며, 이를 위해 참조할 영상은 선택된 시점에 근접한 최소 2개 시점 이상의 카메라로부터 획득된 데이터가 요구된다.
또한 영상을 입체적으로 표출하기 위해서 각 카메라로부터 촬영된 화면의 기본적인 픽셀정보와 함께 인접영상 간의 깊이정보 및 위치정보의 데이터가 입체 영상 및 음향을 재구성하는데 있어서 필수적인 정보이다.
현재의 방송표준의 플랫폼과 전송 시스템 기반으로 입체 영상 및 음향서비스를 사용자가 원하는 시점에서 자유롭게 시청할 수 있는 시스템을 적용하는데 어려움이 있다.
기존의 방송 시스템에서는 단일 시점에서 획득된 단일 영상과 음향신호의 데이터를 패킷화 및 전송 스트림을 구성하여 지상파, 위성 또는 유선망을 통해 단일 망으로 전송을 한다.
하지만, 입체영상을 전송함에 있어서 다중 시점에서 획득된 복수의 데이터에 대한 패킷화 과정을 수행해야 하며, 이때 각 시점별 영상 깊이 맵, 시점별 영상간의 위치 정보 등 부가적인 데이터를 구성해야 하므로, 연산량이 많아져서 시스템 과부하로 인해 전송속도가 현저히 떨어지는 문제점이 있었다.
또한 다양한 고효율 압축화 기법을 고려하더라고 전송 데이터가 과도하게 늘어나는 문제점이 발생하였다.
국내공개특허공보 제10-2012-0024385호
상기의 목적을 달성하기 위해 본 발명에서는 다중시점에서 획득된 복수의 영상, 음향, 공간 데이터에 대한 데이터 패킷화 과정을 수행시킬 수 있고, 입체 영상 및 음향을 사용자가 원하는 시점에서 자유롭게 시청할 수 있는 전송시스템을 제공할 수 있으며, PES패킷과 스마트전송패킷을 통해 데이터크기를 줄일 수 있고, 시스템 과부하없이 연산속도와 전송속도를 높일 수 있으며, 영상, 음향, 공간데이터를 부가정보와 저장시킨 후, 패킷화하여 사용자의 요청에 따라 선택적으로 입체영상서비스를 실시간으로 전송시킬 수 있는 자유 시점 영상 전송을 위한 패킷구조형 송신장치 및 송신방법을 제공하는데 그 목적이 있다.
상기의 목적들 달성하기 위해 본 발명에 따른 자유 시점 영상 전송을 위한 패킷구조형 송신장치는
다중시점에서 획득된 복수의 영상데이터, 음향데이터, 공간 데이터를 독립적 또는 종속적으로 부호화해서 생성시키는 데이터부호화생성모듈(100)과,
데이터부호화생성모듈을 통해 부호화된 영상데이터, 음향데이터, 공간 데이터를 복호하고 출력할 때 필요한 정보를 헤더에 추가하고 데이터를 기준치로 분할한 패킷포맷을 생성시키는 PES(Packetized Elementary Stream)패킷생성모듈(200)과,
PES(Packetized Elementary Stream)패킷생성모듈을 통해 생성된 PES패킷을 기준치 크기로 나누어 분할한 후, 전송헤드를 삽입하고 재배열시켜 모든 시점을 포함하는 전송패킷으로 이루어진 단일스트림 전송패킷 또는 시점별 독립적 전송패킷으로 이루어진 다중 스트림 전송패킷 중 어느 하나를 선택해서 전송패킷을 생성시키는 스마트전송패킷모듈(300)로 구성됨으로서 달성된다.
이상에서 설명한 바와 같이, 본 발명에서는 입체 영상 및 음향을 사용자가 원하는 시점에서 자유롭게 시청할 수 있는 지능형 방송 컨텐츠(스포츠 중계, 스튜디오 방송)를 제공할 수 있고, PES패킷과 스마트전송패킷을 통해 데이터크기를 줄일 수 있고, 시스템복잡도를 기존보다 70% 낮출 수 있어, 시스템 과부하없이 연산속도와 전송속도를 높일 수 있고, 영상, 음향, 공간데이터를 부가정보와 저장시킨 후, 패킷화하여 사용자의 요청에 따라 선택적으로 입체영상서비스를 실시간으로 전송시킬 수 있는 좋은 효과가 있다.
도 1은 본 발명에 따른 자유 시점 영상 전송을 위한 패킷구조형 송신장치(1)의 구성요소를 도시한 구성도,
도 2는 본 발명에 따른 데이터부호화생성모듈 중 독립적부호화생성부의 구성요소를 도시한 구성도,
도 3은 본 발명에 따른 데이터부호화생성모듈 중 종속적부호화생성부의 구성요소를 도시한 구성도,
도 4는 본 발명에 따른 MVC(Multi Video Coding)소스코딩부(120a)의 동작과정을 도시한 일실시예도,
도 5는 본 발명에 따른 PES(Packetized Elementary Stream)패킷생성모듈 중 다중PES패킷생성부의 구성요소를 도시한 구성도,
도 6은 본 발명에 따른 PES(Packetized Elementary Stream)패킷생성모듈 중 단일PES패킷생성부의 구성요소를 도시한 구성도,
도 7은 본 발명에 따른 스마트전송패킷모듈 중 단일스트림전송패킷부의 구성요소를 도시한 구성도,
도 8은 본 발명에 따른 스마트전송패킷모듈 중 독립다중스트림전송패킷부의 구성요소를 도시한 구성도,
도 9는 본 발명에 따른 독립다중스트림전송패킷부의 전송모드 구성을 도시한 블럭도,
도 10은 본 발명에 따른 독립다중스트림전송패킷부의 제1 전송모드를 통해 추가적인 대역이 확보된 지상파망으로 전송시키는 것을 도시한 일실시예도,
도 11은 본 발명에 따른 자유 시점 영상 전송을 위한 패킷구조형 송신장치(1)가 자유시점영상시스템의 구성 중 송신기와 수신기 사이에 구성된 것을 도시한 일실시예도,
도 12는 본 발명에 따른 자유 시점 영상 전송을 위한 패킷구조형 송신방법을 도시한 순서도.
이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.
도 1은 본 발명에 따른 자유 시점 영상 전송을 위한 패킷구조형 송신장치(1)의 구성요소를 도시한 구성도에 관한 것으로, 이는 데이터부호화생성모듈(100), PES(Packetized Elementary Stream)패킷생성모듈(200), 스마트전송패킷모듈(300)로 구성된다.
먼저, 본 발명에 따른 데이터부호화생성모듈(100)에 관해 설명한다.
상기 데이터부호화생성모듈(100)은 다중시점에서 획득된 복수의 영상데이터, 음향데이터, 공간 데이터를 독립적 또는 종속적으로 부호화해서 생성시키는 역할을 한다.
이는 독립적부호화생성부(110), 종속적부호화생성부(120)로 구성된다.
상기 독립적부호화생성부(110)는 다중시점에서 획득된 복수의 영상데이터, 음향데이터, 공간 데이터를 각 시점별로 독립적으로 부호화시키는 역할을 한다.
이는 도 2에서 도시한 바와 같이, 각 시점별로 부호화과정을 거치고 각 시점별 스트림이 구성된다.
그리고, 종속적부호화생성부에 비해 시스템 전체의 데이터 크기가 크지만, 다중망을 통해 전송할 수 있는 스트림을 구성할 수 있는 특징을 가진다.
상기 독립적부호화생성부는 영상데이터를 부호화시키는 제1 영상 부호화기와, 음성 데이터를 부호화시키는 제1 음성 부호화기와, 공간데이터를 부호화시키는 제1 공간 부호화기로 구성된다.
상기 종속적부호화생성부(120)는 도 3에서 도시한 바와 같이, 다중시점에서 획득된 복수의 영상데이터, 음향데이터, 공간 데이터를 모든 시점별로 MVC(Multi Video Coding)소스코딩을 적용시켜 종속적으로 부호화시키는 역할을 한다.
이는 MVC(Multi Video Coding)소스코딩부(120a)가 포함되어 구성된다.
상기 MVC(Multi Video Coding)소스코딩부(120a)는 도 4에서 도시한 바와 같이, 다중시점에서 획득한 영상과 깊이 맵을 일정한 개수의 이미지 그룹으로 묶어 시간적, 공간적 차이값을 I, P, B 픽처 형태로 코딩시키는 것으로, 이는 시간적으로 유사한 특징을 갖는 영상의 특징과, 공간적으로 유사한 영상을 획득하는 FTV 시스템의 카메라 배치 특성상 가장 적합하고 높을 효율을 보이는 특성을 가진다.
상기 종속적부호화생성부(120)는 MVC(Multi Video Coding)소스코딩을 통해 모든 시간적 및 공간적 상관성에 따른 데이터 값만 추출하여 부호화하고 스트림을 구성하기 때문에 시스템 전체의 데이터 크기를 줄일 수 있는 장점을 가진다.
상기 종속적부호화생성부(120)는 영상데이터를 부호화시키는 제2 영상 부호화기와, 음성 데이터를 부호화시키는 제2 음성 부호화기와, 공간데이터를 부호화시키는 제2 공간 부호화기로 구성된다.
다음으로, 본 발명에 따른 PES(Packetized Elementary Stream)패킷생성모듈(200)에 관해 설명한다.
상기 PES(Packetized Elementary Stream)패킷생성모듈(200)은 데이터부호화생성모듈을 통해 부호화된 영상데이터, 음향데이터, 공간 데이터를 복호하고 출력할 때 필요한 정보를 헤더에 추가하고 데이터를 기준치로 분할한 패킷포맷을 생성시키는 역할을 한다.
이는 다중PES패킷생성부(210), 단일PES패킷생성부(220)로 구성된다.
첫째, 본 발명에 따른 다중PES패킷생성부(210)에 관해 설명한다.
상기 다중PES패킷생성부(210)는 독립적부호화생성부를 통해 각 시점별로 독립적으로 부호화된 경우에 시점별 독립적인 다중PES패킷을 생성시키는 역할을 한다.
이는 도 5에 도시한 바와 같이, 제1 PES패킷헤더부(211), 제1 PES패킷데이터부(212)로 이루어져, 시점별로 각각의 데이터를 구성해서 필요한 시점의 정보만 수신했을 경우에도 복호화가 되도록 구성된다.
상기 제1 PES패킷헤더부(211)은 제1 PES패킷데이터부에 있는 데이터의 특성, 전체 스트림을 구성하는 데이터와의 관계를 나타내는 정보, 시간정보, 데이터부의 길이정보를 설정시키는 역할을 한다.
이는 도 5에서 도시한 바와 같이, 제1 STC(System Time Clock)부(211a), 제1 GDS(Geometric Depth Stamp)(211b), 제1 CD(Control Data)부(211c)로 구성된다.
상기 제1 STC(System Time Clock)부(211a)는 송수신기 간에 설정된 클럭신호를 기반으로 영상정보, 음향정보, 공간정보를 복호화 한 후, 영상 표출시 동기화를 수행시킨다. 이는 입체영상을 표출하는 과정에서 공간정보 설정이 되는 핵심요소이며, 필수적으로 요구되는 구성요소이다.
상기 제1 GDS(Geometric Depth Stamp)(211b)는 시스템의 낮은 복잡도와 고속의 공간정보를 설정시킨다.
상기 제1 CD(Control Data)부(211c)는 영상 및 음향의 포맷정보와, 해상도, 화면의 프레임 속도, 특정 픽셀이 요구 PSNR(Peak Signal to noise Ratio) 이하 일 때 참조할 다른 뷰(View)의 위치 정보, 시청할 수 있는 시야각의 정보, MVC 부호화 여부를 제어데이터를 저장시킨다.
상기 제1 PES패킷데이터부(212)는 영상데이터, 음향데이터, 공간데이터로 이루어진 다중화 구조로 형성시키는 역할을 한다.
둘째, 본 발명에 따른 단일PES패킷생성부(220)에 관해 설명한다.
상기 단일PES패킷생성부(220)는 종속적부호화생성부를 통해 모든 시점별로 종속적으로 부호화된 경우에 모든 시점별 종속적인 단일PES패킷을 생성시키는 역할을 한다.
이는 도 6에서 도시한 바와 같이, 제2 PES패킷헤더부(221), 제2 PES패킷데이터부(222)로 이루어져, 모든 시점의 데이터가 하나의 데이터로 구성된다.
상기 제2 PES패킷헤더부(221)은 제2 PES패킷데이터부에 있는 데이터의 특성, 전체 스트림을 구성하는 데이터와의 관계를 나타내는 정보, 시간정보, 데이터부의 길이정보를 설정시키는 역할을 한다.
이는 도 6에서 도시한 바와 같이, 제2 STC(System Time Clock)부(221a), 제2 GDS(Geometric Depth Stamp)(221b), 제2 CD(Control Data)부(221c)로 구성된다.
상기 제2 STC(System Time Clock)부(221a)는 송수신기 간에 설정된 클럭신호를 기반으로 영상정보, 음향정보, 공간정보를 복호화 한 후, 영상 표출시 동기화를 수행시킨다.
상기 제2 GDS(Geometric Depth Stamp)(221b)는 시스템의 낮은 복잡도와 고속의 공간정보를 설정시킨다.
상기 제2 CD(Control Data)부(221c)는 영상 및 음향의 포맷정보와, 해상도, 화면의 프레임 속도, 특정 픽셀이 요구 PSNR(Peak Signal to noise Ratio) 이하 일 때 참조할 다른 뷰(View)의 위치 정보, 시청할 수 있는 시야각의 정보, MVC 부호화 여부를 제어데이터를 저장시킨다.
상기 제2 PES패킷데이터부(222)는 영상데이터, 음향데이터, 공간데이터로 이루어진 다중화 구조로 형성시키는 역할을 한다.
다음으로, 본 발명에 따른 스마트전송패킷모듈(300)에 관해 설명한다.
상기 스마트전송패킷모듈(300)은 PES(Packetized Elementary Stream)패킷생성모듈을 통해 생성된 PES패킷을 기준치 크기로 나누어 분할한 후, 전송헤드를 삽입하고 재배열시켜 모든 시점을 포함하는 전송패킷으로 이루어진 단일스트림 전송패킷 또는 시점별 독립적 전송패킷으로 이루어진 다중 스트림 전송패킷 중 어느 하나를 선택해서 전송패킷을 생성시키는 역할을 한다.
이는 단일스트림전송패킷부(310), 독립다중스트림전송패킷부(320)로 구성된다.
첫째, 본 발명에 따른 단일스트림전송패킷부(310)에 관해 설명한다.
상기 단일스트림전송패킷부(310)는 MVC(Multi Video Coding) 부호화 방식을 적용시켜서 생성된 단일 스트림 구조를 단일망을 통해 모든 시점별로 전송시키는 역할을 한다.
이는 도 7에 도시한 바와 같이, 제1 트라스 헤더(Tras Header)부(311), 제1 페이로드(Pay load)부(312)로 구성된다.
상기 제1 트라스 헤더(Tras Header)부(311)는 전송패킷의 싱크정보와 부가정보를 입력시키는 역할을 한다.
이는 제1 싱크정보설정부(311a), 제1 부가정보설정부(311b)로 구성된다.
상기 제1 싱크정보설정부(311a)는 각 프레임의 동기화를 시키고, BPSK(Binary Phase Shift Keying)방식으로 변조되며, 앞뒤로 보호구간이 삽입된 구조로 구성되어 시간 및 주파수 동기화를 설정시키는 역할을 한다. 여기서, BPSK(Binary Phase Shift Keying)은 PSK의 일종으로 디지털신호 0과 1에 따라 2 종류의 위상을 가지는 변조방식을 말한다.
상기 제1 부가정보설정부(311b)는 전송망의 종류, 프레임의 크기 정보, FFT 사이즈, 변조 정보로 설정시키는 역할을 한다.
상기 제1 페이로드(Pay load)부(312)는 영상데이터, 음향데이터, 공간 데이터가 믹싱된 모든 뷰를 저장시키는 역할을 한다.
둘째, 본 발명에 따른 독립다중스트림전송패킷부(320)에 관해 설명한다.
상기 독립다중스트림전송패킷부(320)는 독립적 방식을 적용시켜서 생성된 독립적 다중 스트림 구조를 이종망을 통해 각 시점별로 독립적으로 전송시키는 역할을 한다.
이는 도 8에 도시한 바와 같이, 제2 트라스 헤더(Tras Header)부(321), 제2 페이로드(Pay load)부(322)로 구성된다.
상기 제2 트라스 헤더(Tras Header)부(321)는 전송패킷의 싱크정보와 부가정보를 입력시키는 역할을 한다.
이는 제2 싱크정보설정부(321a), 제2 부가정보설정부(321b), 추가정보설정부(321c)로 구성된다.
상기 제2 싱크정보설정부(321a)는 각 프레임의 동기화를 시키고, BPSK(Binary Phase Shift Keying)방식으로 변조되며, 앞뒤로 보호구간이 삽입된 구조로 구성되어 시간 및 주파수 동기화를 설정시키는 역할을 한다. 여기서, BPSK(Binary Phase Shift Keying)은 PSK의 일종으로 디지털신호 0과 1에 따라 2 종류의 위상을 가지는 변조방식을 말한다.
상기 제2 부가정보설정부(321b)는 전송망의 종류, 프레임의 크기 정보, FFT 사이즈, 변조 정보로 설정시키는 역할을 한다.
상기 추가정보설정부(321c)는 카메라 정보에 대한 데이터를 설정시키고, 이종망 간의 신호 스캔과 각 신호를 판별하고, 초기화 단계에서 필요한 송신 파라미터를 설정시키며, 이종망 간에 지연응답의 동기문제를 해결시키는 파라미터를 설정시키는 역할을 한다.
상기 제2 페이로드(Pay load)부(322)는 영상데이터, 음향데이터, 공간 데이터가 믹싱된 모든 뷰를 저장시키는 역할을 한다.
이처럼, 단일스트림전송패킷부(310), 독립다중스트림전송패킷부(320)로 이루어진 스마트전송패킷모듈(300)은 전송 패킷화된 전송스트림에 종속적 부호화 방식을 적용한 경우에는 단일 전송망을 통해 전송시키고, 독립적 부호화 방식을 적용한 경우에는 데이터를 분산적으로 전송시키도록 구성된다.
그리고, 본 발명에 따른 독립다중스트림전송패킷부(320)는 도 9에 도시한 바와 같이, 제1 전송모드(320a), 제2 전송모드(320b) 중 어느 하나가 선택되어 구성된다.
상기 제1 전송모드(320a)는 추가적인 대역이 확보된 지상파망으로 전송시킨다.
이는 도 10에 도시한 바와 같이, 지상파 방송망으로 전송할 경우에 전송 스트림을 재구성할 필요 없이, 제2 트라스헤더부에 주파수 대역으로 나누어 설정시켜서 바로 전송시키도록 구성된다.
상기 제2 전송모드(320b)는 유선 또는 위성망으로 이루어진 소규모 기지국 및, IP 네트워크로 연결된 CDN(Contents Delivery Network) 서버로 전송시킨다.
이는 유선, 위성망, IP네트워크와 호환시키는 전송스트림을 제2 트라스헤더부에 설정시켜서 전송시키도록 구성된다.
이하, 본 발명에 따른 자유 시점 영상 전송을 위한 패킷구조형 송신방법의 구체적인 동작과정에 관해 설명한다.
본 발명에 따른 자유시점영상전송을 위한 패킷구조형 송신장치는 도 11에 도시한 바와 같이, 자유시점영상시스템의 구성요소 중 송신기와 수신기 사이에 설치되어 구성된다.
먼저, 도 12에 도시한 바와 같이, 데이터부호화생성모듈(100)를 통해 다중시점에서 획득된 복수의 영상데이터, 음향데이터, 공간 데이터를 독립적 또는 종속적으로 부호화해서 생성시킨다.
이는 독립적부호화생성부(110)를 통해 다중시점에서 획득된 복수의 영상데이터, 음향데이터, 공간 데이터를 각 시점별로 독립적으로 부호화시키거나 또는, 종속적부호화생성부(120)를 통해 다중시점에서 획득된 복수의 영상데이터, 음향데이터, 공간 데이터를 모든 시점별로 MVC(Multi Video Coding)소스코딩을 적용시켜 종속적으로 부호화시킨다.
다음으로, PES(Packetized Elementary Stream)패킷생성모듈(200)에서 데이터부호화생성모듈을 통해 부호화된 영상데이터, 음향데이터, 공간 데이터를 복호하고 출력할 때 필요한 정보를 헤더에 추가하고 데이터를 기준치로 분할한 패킷포맷을 생성시킨다.
이는 다중PES패킷생성부(210)에서 독립적부호화생성부를 통해 각 시점별로 독립적으로 부호화된 경우에 시점별 독립적인 다중PES패킷을 생성시키고,
단일PES패킷생성부(220)에서 종속적부호화생성부를 통해 모든 시점별로 종속적으로 부호화된 경우에 모든 시점별 종속적인 단일PES패킷을 생성시킨다.
끝으로, 스마트전송패킷모듈(300)에서 PES(Packetized Elementary Stream)패킷생성모듈을 통해 생성된 PES패킷을 기준치 크기로 나누어 분할한 후, 전송헤드를 삽입하고 재배열시켜 모든 시점을 포함하는 전송패킷으로 이루어진 단일스트림 전송패킷 또는 시점별 독립적 전송패킷으로 이루어진 다중 스트림 전송패킷 중 어느 하나를 선택해서 전송패킷을 생성시킨다.
이는 단일스트림전송패킷부(310)를 통해 MVC(Multi Video Coding) 부호화 방식을 적용시켜서 생성된 단일 스트림 구조를 단일망을 통해 모든 시점별로 전송시키거나, 또는 독립다중스트림전송패킷부(320)를 통해 독립적 방식을 적용시켜서 생성된 독립적 다중 스트림 구조를 이종망을 통해 각 시점별로 독립적으로 전송시킨다.
1 : 패킷구조형 송신장치 100 : 데이터부호화생성모듈
110 : 독립적부호화생성부 120 : 종속적부호화생성부
200 : PES패킷생성모듈 210 : 다중PES패킷생성부
220 : 단일PES패킷생성부 300 : 스마트전송패킷모듈

Claims (10)

  1. 다중시점에서 획득된 복수의 영상데이터, 음향데이터, 공간 데이터를 독립적 또는 종속적으로 부호화해서 생성시키는 데이터부호화생성모듈(100)과,
    데이터부호화생성모듈을 통해 부호화된 영상데이터, 음향데이터, 공간 데이터를 복호하고 출력할 때 필요한 정보를 헤더에 추가하고 데이터를 기준치로 분할한 패킷포맷을 생성시키는 PES(Packetized Elementary Stream)패킷생성모듈(200)과,
    PES(Packetized Elementary Stream)패킷생성모듈을 통해 생성된 PES패킷을 기준치 크기로 나누어 분할한 후, 전송헤드를 삽입하고 재배열시켜 모든 시점을 포함하는 전송패킷으로 이루어진 단일스트림 전송패킷 또는 시점별 독립적 전송패킷으로 이루어진 다중 스트림 전송패킷 중 어느 하나를 선택해서 전송패킷을 생성시키는 스마트전송패킷모듈(300)로 구성되는 것을 특징으로 하는 자유 시점 영상 전송을 위한 패킷구조형 송신장치.
  2. 제1항에 있어서, 상기 데이터부호화생성모듈(100)은
    다중시점에서 획득된 복수의 영상데이터, 음향데이터, 공간 데이터를 각 시점별로 독립적으로 부호화시키는 독립적부호화생성부(110)와,
    다중시점에서 획득된 복수의 영상데이터, 음향데이터, 공간 데이터를 모든 시점별로 MVC(Multi Video Coding)소스코딩을 적용시켜 종속적으로 부호화시키는 종속적부호화생성부(120)로 구성되는 것을 특징으로 하는 자유 시점 영상 전송을 위한 패킷구조형 송신장치.
  3. 제1항에 있어서, 상기 PES(Packetized Elementary Stream)패킷생성모듈(200)은
    독립적부호화생성부를 통해 각 시점별로 독립적으로 부호화된 경우에 시점별 독립적인 다중PES패킷을 생성시키는 다중PES패킷생성부(210)와,
    종속적부호화생성부를 통해 모든 시점별로 종속적으로 부호화된 경우에 모든 시점별 종속적인 단일PES패킷을 생성시키는 단일PES패킷생성부(220)로 구성되는 것을 특징으로 하는 자유 시점 영상 전송을 위한 패킷구조형 송신장치.
  4. 제3항에 있어서, 상기 다중PES패킷생성부(210)는
    제1 PES패킷데이터부에 있는 데이터의 특성, 전체 스트림을 구성하는 데이터와의 관계를 나타내는 정보, 시간정보, 데이터부의 길이정보를 설정시키는 제1 PES패킷헤더부(211)와,
    영상데이터, 음향데이터, 공간데이터로 이루어진 다중화 구조로 형성시키는 제1 PES패킷데이터부(212)로 구성되는 것을 특징으로 하는 자유 시점 영상 전송을 위한 패킷구조형 송신장치.
  5. 삭제
  6. 제1항에 있어서, 상기 스마트전송패킷모듈(300)은
    MVC(Multi Video Coding) 부호화 방식을 적용시켜서 생성된 단일 스트림 구조를 단일망을 통해 모든 시점별로 전송시키는 단일스트림전송패킷부(310)와,
    독립적 방식을 적용시켜서 생성된 독립적 다중 스트림 구조를 이종망을 통해 각 시점별로 독립적으로 전송시키는 독립다중스트림전송패킷부(320)로 구성되는 것을 특징으로 하는 자유 시점 영상 전송을 위한 패킷구조형 송신장치.
  7. 제6항에 있어서, 상기 단일스트림전송패킷부(310)는
    전송패킷의 싱크정보와 부가정보를 입력시키는 제1 트라스 헤더(Tras Header)부(311)와,
    영상데이터, 음향데이터, 공간 데이터가 믹싱된 모든 뷰를 저장시키는 제1 페이로드(Pay load)부(312)로 구성되는 것을 특징으로 하는 자유 시점 영상 전송을 위한 패킷구조형 송신장치.
  8. 제6항에 있어서, 상기 독립다중스트림전송패킷부(320)는
    전송패킷의 싱크정보와 부가정보를 입력시키는 제2 트라스 헤더(Tras Header)부(321)와,
    영상데이터, 음향데이터, 공간 데이터가 믹싱된 모든 뷰를 저장시키는 제2 페이로드(Pay load)부(322)로 구성되는 것을 특징으로 하는 자유 시점 영상 전송을 위한 패킷구조형 송신장치.
  9. 제6항에 있어서, 상기 독립다중스트림전송패킷부(320)는
    추가적인 대역이 확보된 지상파망으로 전송시키는 제1 전송모드(320a)와,
    유선 또는 위성망으로 이루어진 소규모 기지국 및, IP 네트워크로 연결된 CDN(Contents Delivery Network) 서버로 전송시키는 제2 전송모드(320b) 중 어느 하나가 선택되어 구성되는 것을 특징으로 하는 자유 시점 영상 전송을 위한 패킷구조형 송신장치.
  10. 데이터부호화생성모듈(100)를 통해 다중시점에서 획득된 복수의 영상데이터, 음향데이터, 공간 데이터를 독립적 또는 종속적으로 부호화해서 생성시키는 단계와,
    PES(Packetized Elementary Stream)패킷생성모듈(200)에서 데이터부호화생성모듈을 통해 부호화된 영상데이터, 음향데이터, 공간 데이터를 복호하고 출력할 때 필요한 정보를 헤더에 추가하고 데이터를 기준치로 분할한 패킷포맷을 생성시키는 단계와,
    스마트전송패킷모듈(300)에서 PES(Packetized Elementary Stream)패킷생성모듈을 통해 생성된 PES패킷을 기준치 크기로 나누어 분할한 후, 전송헤드를 삽입하고 재배열시켜 모든 시점을 포함하는 전송패킷으로 이루어진 단일스트림 전송패킷 또는 시점별 독립적 전송패킷으로 이루어진 다중 스트림 전송패킷 중 어느 하나를 선택해서 전송패킷을 생성시키는 단계로 이루어지는 것을 특징으로 하는 자유 시점 영상 전송을 위한 패킷구조형 송신방법.
KR1020140025272A 2014-03-04 2014-03-04 자유 시점 영상 전송을 위한 패킷구조형 송신장치 및 송신방법 KR101536747B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140025272A KR101536747B1 (ko) 2014-03-04 2014-03-04 자유 시점 영상 전송을 위한 패킷구조형 송신장치 및 송신방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140025272A KR101536747B1 (ko) 2014-03-04 2014-03-04 자유 시점 영상 전송을 위한 패킷구조형 송신장치 및 송신방법

Publications (1)

Publication Number Publication Date
KR101536747B1 true KR101536747B1 (ko) 2015-07-23

Family

ID=53875498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140025272A KR101536747B1 (ko) 2014-03-04 2014-03-04 자유 시점 영상 전송을 위한 패킷구조형 송신장치 및 송신방법

Country Status (1)

Country Link
KR (1) KR101536747B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101966632B1 (ko) * 2017-12-28 2019-04-09 서울과학기술대학교 산학협력단 자유선택시점 영상 스트리밍 서비스 실시간 전송장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070056602A (ko) * 2005-11-30 2007-06-04 주식회사 문화방송 이미지 전송 장치 및 이미지 수신 장치
KR20100006300A (ko) * 2008-07-09 2010-01-19 한국전자통신연구원 자유시점 ａｖ 서비스에 따른 파일 생성 방법
KR20120062551A (ko) * 2010-12-06 2012-06-14 한국전자통신연구원 디지털 비디오 송신 장치 및 방법, 디지털 비디오 수신 장치 및 방법, 디지털 비디오 송수신 시스템
KR20120131137A (ko) * 2012-10-22 2012-12-04 세종대학교산학협력단 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070056602A (ko) * 2005-11-30 2007-06-04 주식회사 문화방송 이미지 전송 장치 및 이미지 수신 장치
KR20100006300A (ko) * 2008-07-09 2010-01-19 한국전자통신연구원 자유시점 ａｖ 서비스에 따른 파일 생성 방법
KR20120062551A (ko) * 2010-12-06 2012-06-14 한국전자통신연구원 디지털 비디오 송신 장치 및 방법, 디지털 비디오 수신 장치 및 방법, 디지털 비디오 송수신 시스템
KR20120131137A (ko) * 2012-10-22 2012-12-04 세종대학교산학협력단 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101966632B1 (ko) * 2017-12-28 2019-04-09 서울과학기술대학교 산학협력단 자유선택시점 영상 스트리밍 서비스 실시간 전송장치 및 방법

Similar Documents

Publication Publication Date Title
US11284055B2 (en) Method and an apparatus and a computer program product for video encoding and decoding
KR100397511B1 (ko) 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
Chen et al. Overview of the MVC+ D 3D video coding standard
KR100556826B1 (ko) Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
US20120224025A1 (en) Transport stream structure including image data and apparatus and method for transmitting and receiving image data
US20060279750A1 (en) Apparatus and method for converting image display mode
KR100703715B1 (ko) 다시점 3차원 동영상 송수신 시스템
WO2009065325A1 (en) A video encoding/decoding method and a video encoder/decoder
KR20070060951A (ko) Ｄｍｂ 기반의 3차원 입체영상 서비스 제공 방법과, ｄｍｂ기반의 3차원 입체영상 서비스를 위한 복호화 장치 및 그방법
WO2011126586A1 (en) Video content distribution
US20230319371A1 (en) Distribution of Multiple Signals of Video Content Independently over a Network
KR20180009725A (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
KR100874226B1 (ko) 다시점 화상 및 3차원 오디오 송수신 장치 및 이를 이용한송수신 방법
US9204123B2 (en) Video content generation
US20140165125A1 (en) Broadcasting system and broadcasting method of providing multi-picture
US20140055561A1 (en) Transmitting apparatus, transmitting method, receiving apparatus and receiving method
KR20170075349A (ko) 멀티 뷰를 가진 다중영상 송수신 장치 및 다중영상 다중화 방법
KR101536747B1 (ko) 자유 시점 영상 전송을 위한 패킷구조형 송신장치 및 송신방법
KR20170130883A (ko) 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치
KR101233161B1 (ko) 3차원 동영상을 다중화 방송 서비스로 송수신하는 시스템및 방법
JP2012134760A (ja) 立体映像伝送システム
Jung et al. Depth-preserving DIBR based on disparity map over T-DMB
CA2824708C (en) Video content generation
KR101565488B1 (ko) 자유 시점 영상용 스마트 송수신 프로토콜모듈을 통한 맞춤형 서비스 시나리오 제공장치 및 방법
Gagnon et al. 3D MPEG-2 video transmission over broadband network and broadcast channels

Legal Events

Date Code Title Description
GRNT Written decision to grant