KR102094848B1 - (초)다시점 미디어의 라이브 스트리밍 방법 및 장치 - Google Patents

(초)다시점 미디어의 라이브 스트리밍 방법 및 장치 Download PDF

Info

Publication number
KR102094848B1
KR102094848B1 KR1020180109189A KR20180109189A KR102094848B1 KR 102094848 B1 KR102094848 B1 KR 102094848B1 KR 1020180109189 A KR1020180109189 A KR 1020180109189A KR 20180109189 A KR20180109189 A KR 20180109189A KR 102094848 B1 KR102094848 B1 KR 102094848B1
Authority
KR
South Korea
Prior art keywords
images
media
background removal
background
view
Prior art date
Application number
KR1020180109189A
Other languages
English (en)
Other versions
KR20190045053A (ko
Inventor
윤재관
장종현
한미경
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20190045053A publication Critical patent/KR20190045053A/ko
Application granted granted Critical
Publication of KR102094848B1 publication Critical patent/KR102094848B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

(초)다시점 미디어의 라이브 스트리밍 방법 및 장치가 제공된다. 라이브 스트리밍을 위한 송신 장치에서, 영상 획득부가, N개의 카메라로부터 제공되는 영상을 토대로 서로 다른 시점의 N개의 영상을 획득하고, 배경 제거부가 상기 N개의 영상에 대해 배경 제거를 수행하여 N개의 배경 제거 영상을 획득하며, 송신부가, 상기 N개의 영상과 N개의 배경 제거 영상을 인코딩하고, 인코딩된 영상을 쓰레드별로 처리하여 패킷화하고, 패킷화된 N개의 영상과 N개의 배경 제거 영상을 각각 송신한다.

Description

(초)다시점 미디어의 라이브 스트리밍 방법 및 장치{Method and apparatus for live streaming of (super) multi-view media}
본 발명은 라이브 스트리밍(live streaming)에 관한 것으로, 더욱 상세하게 말하자며, (초)다시점 미디어의 라이브 스트리밍 방법 및 장치에 관한 것이다.
　(초)다시점 미디어 기술은 기존 좌우영상을 이용한 안경식 3D(three-dimension) 기술보다 자연스러운 실재감을 제공하는 차세대 3D 기술로써, 기존의 3D 미디어보다 많게는 30배가 넘는 시점 정보를 포함하고 있다. 안경식 3D 기술이 좌우영상을 사용한다면, (초)다시점 미디어는 60시점, 80시점, 108시점 이상 등의 시점 정보를 한번에 디스플레이함으로써, 무안경식의 입체 영상을 표현할 수 있다. (초)다시점 미디어는 기존 3D 미디어에 비해 더욱 많은 시점의 영상을 이용하며, 임의 시점의 영상을 합성했을 때 영상이 부드럽게 이어지고 눈의 피로감을 감소시키는 등 화질이 더욱 향상되는 장점을 가지고 있다.
그러나 시점 정보가 늘어남에 따라 (초)다시점 미디어의 용량이 기존의 3D 미디어에 비해 늘어난다는 단점이 있다.
또한, (초)다시점 미디어는 N개의 카메라를 이용하여 동시에 획득한 영상을 네트워크를 통해 전송하기 때문에, 시점별로 모든 영상을 보내는 기존의 방식으로는 라이브 스트리밍을 하기 어려운 단점이 있다.
관련 선행 기술로는 대한민국 특허출원 공개번호 제2016-0081031호에 개시된 "초다시점 영상 송신 장치 및 방법"이 있다.
본 발명이 해결하고자 하는 과제는 (초)다시점 미디어를 네트워크를 통하여 용이하게 라이브 스트리밍할 수 있는 방법 및 장치를 제공하는 것이다.
본 발명의 특징에 따른 장치는, (초)다시점 미디어의 라이브 스트리밍을 위한 송신 장치로서, N개의 카메라로부터 제공되는 영상을 토대로 서로 다른 시점의 N개의 영상을 획득하는 영상 획득부; 상기 N개의 영상에 대해 배경 제거를 수행하여 N개의 배경 제거 영상을 획득하는 배경 제거부; 상기 N개의 영상과 N개의 배경 제거 영상을 인코딩하고, 인코딩된 영상을 쓰레드별로 처리하여 패킷화하고, 패킷화된 N개의 영상과 N개의 배경 제거 영상을 각각 송신하는 송신부를 포함한다.
본 발명의 실시 예에 따르면, (초)다시점 미디어의 실시간 스트리밍을 위해 N개의 카메라로 구성된 (초)다시점 미디어 카메라로부터 N개의 카메라 영상과 N개의 배경 제거 영상을 송신하고, 수신측에서 이를 수신한 후 (초)다시점 미디어 렌더링을 통해 다양한 시점의 디스플레이로 출력한다. 이에 따라, 대용량의 (초)다시점 미디어를 획득하는 시점에서부터 용량을 줄임으로써 라이브 스트리밍이 가능하게 된다.
또한, 영상 획득 단계에서부터 시점의 개수를 줄여서 영상을 전송하고 수신측에서 시점 개수를 재생산하는 방식을 사용함으로써 라이브 스트리밍이 가능하다. 또한, 획득 단계에서 배경을 제거하여 송신함으로써, 깊이맵, 중간 시점 생성 단계에서의 연산량이 감소된다.
수십 혹은 수백 개의 시점 영상을 효과적으로 강인하게 다중화하여 송신할 수 있으므로, 시각적인 피로 없이 자연스러운 무안경 입체 영상을 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 본 발명의 실시 예에 따른 (초)다시점 미디어의 라이브 스트리밍의 과정을 나타낸 도이다.
도 2는 본 발명의 실시 예에 따른 다시점 미디어 라이브 스트리밍 장치를 나타낸 도이다.
도 3은 본 발명의 실시 예에 따른 미디어 송신 장치의 구조를 나타낸 도이다.
도 4는 본 발명의 실시 예에 따른 미디어 수신 장치의 구조를 나타낸 도이다.
도 5는 본 발명의 실시 예에 따른 다시점 미디어 라이브 스트리밍 방법의 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.
이하, 본 발명의 실시 예에 따른 (초)다시점 미디어의 라이브 스트리밍 방법 및 장치에 대하여 설명한다.
도 1은 본 발명의 실시 예에 따른 본 발명의 실시 예에 따른 (초)다시점 미디어의 라이브 스트리밍의 과정을 나타낸 도이다.
(초)다시점 미디어는 두 대 이상의 카메라를 통해 여러 방향의 시점 영상을 획득하고, 획득된 시점 영상들을 부호화하여 저장한 미디어를 나타낸다. 예를 들어, 80개이상의 시점을 가지는 (초)다시점 미디어가 있다. 이하에서는 설명의 편의를 위해, (초)다시점를 "다시점"으로 명명하며, 본 발명의 실시 예에서, "다시점"은 다시점 또는 초다시점을 포함한다.
본 발명의 실시 예에서, 첨부한 도 1에서와 같이, 다시점 미디어를 생성하기 위해서, N(N은 양의 정수)개의 카메라를 이용하여 N개의 영상을 획득한 후, N개의 영상 각각에 대하여 배경 분리(Background Subtraction)를 수행하여 배경을 제거한다. 설명의 편의상, 배경 분리가 수행된 영상을 "배경 제거 영상"이라고 명명한다.
다음, N개의 영상과 N개의 배경 제거 영상을 이용하여 깊이맵(Depthmap)을 생성하고, 깊이맵을 이용하여 카메라와 카메라 사이의 촬영되지 않은 중간시점을 만들어 낸 후 이를 다시점 디스플레이에 출력한다.
본 발명의 실시 예에서는, N개의 카메라로부터 N개의 영상을 획득하고 동시에 N개의 영상에 대해 배경 분리를 수행하여, 원본 영상인 N개의 영상과 배경이 제거된 영상을 각각 송신한다. 그리고 수신측에서 N개의 영상과 배경이 제거된 영상을 이용하여 깊이맵을 생성하고, 깊이맵을 토대로 중간 시점 영상을 생성한다. 이러한 과정을 통해 전송 단계에서의 네트워크 사용량을 줄이고 깊이맵 및 중간시점 생성 시의 연산량을 감소시킴으로써, 다시점 미디어의 라이브 스트리밍이 수행된다.
이러한 본 발명의 실시 예에 따른 다시점 미디어 라이브 스트리밍을 위한 장치는 다음과 같은 구조로 이루어질 수 있다.
도 2는 본 발명의 실시 예에 따른 다시점 미디어 라이브 스트리밍 장치를 나타낸 도이다.
첨부한 도 2에서와 같이, 본 발명의 실시 예에 따른 다시점 미디어 라이브 스트리밍 장치(1)는, 다시점 미디어 송신 장치(10) 및 다시점 미디어 수신 장치(20)를 포함한다.
다시점 미디어 송신 장치(10)(이하, 설명의 편의를 위해, "미디어 송신 장치"라고 명명함)는 다시점 영상 획득 서버라고도 명명될 수 있다.
다시점 미디어 수신 장치(20)(이하, 설명의 편의를 위해, "미디어 수신 장치"라고 명명함)는 다시점 렌더링(rendering) 서버라고도 명명될 수 있다.
도 3은 본 발명의 실시 예에 따른 미디어 송신 장치의 구조를 나타낸 도이다.
본 발명의 실시 예에 따른 미디어 송신 장치(10)는 영상 획득부(11), 배경 제거부(12) 및 송신부(13)를 포함한다.
구체적으로, 영상 획득부(11)는 N개의 카메라부(111), 영상 획득 처리기(112), 음성 획득 처리기(113), 시간 기록 처리기(114), 동기화 처리기(115)를 포함한다. 송신부(13)는 미디어 인코더(131), 버퍼 관리기(132), 멀티 쓰레드(multi-thread) 관리기(133), 미디어 패킷라이저(packetizer)(134), 미디어 패킷 송출기(135)를 포함한다.
영상 획득부(11)의 N개의 카메라부(111)는 다시점 영상을 획득하기 위한 N개의 카메라를 포함하며, N개의 카메라는 각각 촬영되는 영상을 영상 획득 처리기(112)로 제공한다.
영상 획득 처리기(112)는 N개의 카메라로부터 제공되는 영상을 토대로 서로 다른 시점의 N개의 영상을 획득한다. 이때, N개의 영상은 FPS(Frame Per Second)에 맞게 획득된다.
음성 획득 처리기(113)는 N개의 카메라의 촬영시 획득되는 음성을 처리하여 음성 데이터를 획득한다. 각각의 영상과 음성이 획득되는 시간은 시간 기록 처리기(114)에 저장 및 관리된다.
동기화 처리기(115)는 N개의 영상을 배경 제거부(12)로 제공하기 위하여, 영상 획득 처리기(112)로부터 제공되는 N개의 영상을 순서대로 배열하여 저장한다. 이 과정에서 N개가 입력되지 못한 프레임은 드랍(Drop)된다. 동기화 처리기(115)는 N개의 영상이 모이면, N개의 영상을 배경 제거부(12)로 제공한다.
배경 제거부(12)는 입력되는 N개의 영상에 대해 배경 제거를 수행한다. 배경 제거 기술은 촬영이 시작되기 전 배경을 먼저 촬영하고 사람이나 사물이 배경에 추가되었을 경우 배경만 제거하여 사람이나 사물을 추출해 내는 기술이다. 이를 위해, 카메라부(111)를 통한 촬영 전에, 먼저, 배경 영상을 획득한다. 예를 들어, N개의 카메라를 이용하여 배경을 촬영하여 N개의 배경 영상을 미리 획득한다. 이후, 미리 획득한 N개의 배경 영상을 토대로, 카메라부(111)를 통한 정식 촬영을 통해 획득되는 N개의 영상에서 각각 배경을 제거한다. 배경 제거가 완료되면 N개의 카메라 영상과 N개의 배경 제거 영상이 획득된다.
한편, 송신부(13)의 미디어 인코더(131)는 N개의 영상과 N개의 배경 제거 영상을 인코딩한다.
버퍼 관리기(132)는 인코딩된 N개의 영상과 N개의 배경 제거 영상을 버퍼에 저장한다. 버퍼는 큐(Queue)로 관리될 수 있다. 버퍼 관리기(132)는 N개의 영상을 저장하는 제1 버퍼와, N개의 배경 제거 영상을 저장하는 제2 버퍼를 포함할 수 있다.
멀티 쓰레드 관리기(133)는 영상의 분할 전송을 위해, 버퍼 관리기(132)로부터 제공되는 영상을 쓰레드별로 관리한다. 멀티 쓰레드 관리기(133)는 2개 이상의 쓰레드를 관리하며, 버퍼 관리기(132)에 저장된 영상의 프레임들은 쓰레드별로 처리된다. 예를 들어, 멀티 쓰레드 관리기(133)는 제1 쓰레드와 제2 쓰레드를 포함하며, 제1 쓰레드는 버퍼 관리기(132)에 저장된 N개의 영상의 프레임들을 처리하여 미디어 패킷라이저(134)로 전달하는데 사용되고, 제2 쓰레드는 버퍼 관리기(132)에 저장된 N개의 배경 제거 영상의 프레임들을 처리하여 미디어 패킷라이저(134)로 전달하는데 사용된다.
미디어 패킷라이저(134)는 영상의 프레임들을 패킷 단위로 분할한다. 미디어 패킷라이저(134)는 쓰레드 단위로 처리되어 전달되는 N개의 영상의 프레임들과, N개의 배경 제거 영상의 프레임들을 패킷화하여 미디어 패킷 송출기(135)로 전달한다.
미디어 패킷 송출기(135)는 패킷화된 N개의 영상과 N개의 배경 제거 영상을 각각 송신한다. 이러한 처리를 통해, N개의 영상과 N개의 배경 제거 영상은 분할되어 각각 네트워크를 통해 송신된다. 여기서, 네트워크 환경은 유선 혹은 무선 환경이다. 여기서, 영상은 압축되어 송신될 수 있으며, 또는 무압축되어 송신될 수 있다.
도 4는 본 발명의 실시 예에 따른 미디어 수신 장치의 구조를 나타낸 도이다.
본 발명의 실시 예에 따른 미디어 수신 장치(20)는 영상 수신부(21), 깊이맵 생성 처리부(22), 중간 시점 생성 처리부(23), 디스플레이 처리부 (24)를 포함한다.
구체적으로, 영상 수신부(21)는 미디어 패킷 수신기(211), 미디어 디패킷라이저(depacketizer)(212), 오류 복구 처리기(213), 디코더(214)를 포함한다.
디스플레이 처리부(24)는 영상 래스터화(Rasterization) 처리기(241), 동기화 처리기(242), 렌더링 처리기(243)를 포함한다.
영상 수신부(21)는 네트워크를 통해 송신된 다시점 미디어(N개의 영상과 N개의 배경 제거 영상을 포함)를 수신하여 처리한다.
영상 수신부(210)의 미디어 패킷 수신기(211)는 미디어 송신 장치(10)로부터 송신된 패킷을 수신하여 미디어 디패킷라이저(212)로 전달한다.
미디어 디패킷라이저(212)는 전달된 패킷들을 원래의 프레임으로 복구한다.
오류 복구 처리기(213)는 이러한 패킷의 수신 및 복구 과정에서, 네트워크 환경의 오류나 전송 지연에 의해 제시간에 수신되지 못한 프레임들에 대한 재전송 요청을 미디어 송신 장치(10)로 송신하여, 해당 프레임들이 다시 수신되도록 할 수 있다. 재전송되어 프레임이 완성되었다 하더라도 정해진 프레임레이트(Framerate)에 디스플레이되지 못하는 프레임은 드랍된다.
디코더(214)는 원래대로 복구된 프레임에 대하여 디코딩을 수행한다. 디코더(214)는 디코딩을 수행하여 영상 데이터와 음성 데이터를 획득하며, 영상 데이터를 저장하는 영상 버퍼와 음성 데이터를 저장하는 음성 버퍼를 포함할 수 있다. 디코딩된 영상 데이터는 N개의 영상과 N개의 배경 제거 영상을 포함한다. N개의 영상과 N개의 배경 제거 영상은 프레임의 순서대로 깊이맵 생성 처리부(22)로 전달된다.
깊이맵 생성 처리부(22)는 N개의 영상과 N개의 배경 제거 영상을 이용하여 깊이맵을 생성하고, 중간시점 생성 처리부(23)는 깊이맵을 토대로 중간 시점 영상을 생성한다.
깊이맵은 2개 혹은 그 이상의 영상으로부터 추출된 입체감에 대한 영상으로, 이 깊이맵과 2개의 영상을 이용하면 두 개의 영상 사이의 새로운 영상을 추출할 수 있다. 이것을 중간 시점이라고 한다. 중간 시점은 설정에 따라 여러개로 생성될 수 있다. 중간 시점을 생성하는 이유는 물리적으로 2개의 카메라 간격을 좁히기 힘들 때 2개의 카메라 영상과 깊이맵을 이용하여 2개의 카메라 사이의 영상을 추출해 내기 위한 것이다.
깊이맵 생성 처리부(22)는 N개의 영상과 N개의 배경 제거 영상을 이용하여 N개의 깊이맵을 생성한다. 중간시점 생성 처리부(23)는 N개의 영상과 N개의 깊이맵을 통해 필요한 시점만큼의 중간 시점을 생성한다. 중간 시점은 최종 출력되는 (초)다시점 디스플레이의 시점 수 혹은 그 이상으로 생성될 수 있다.
예를 들어, 7개의 카메라를 이용하여 영상을 촬영하면, 7개의 카메라 영상에 대해 배경 제거를 수행하여 7개의 배경 제거 영상을 생성한다. 7개의 카메라 영상과 7개의 배경 제거 영상을 이용하여 7개의 깊이맵을 생성하고, 7개의 카메라 영상과 7개의 깊이맵을 이용하여 다수 시점 예를 들어, 60, 80, 108 시점을 각각 생성한다. 이러한 과정에서 중간 시점은 7개의 시점을 제외한 나머지 53, 73, 101개의 시점이 된다.
디스플레이 처리부(24)는 깊이맵과 중간시점을 토대로 래스터화(Rasterization)를 통해 영상을 디스플레이한다. 이때, 음성은 바로 재생되기 때문에 영상과 음성간의 동기화가 필요하다.
영상 래스터화 처리기(241)는 생성된 중간 시점(60, 80, 108 시점들)의 영상들을 하나의 출력으로 겹쳐낸다. 3D 영상은 좌안과 우안의 영상을 겹친 후 3D 안경을 통해 입체감을 느끼게 되는데, (초)다시점 영상은 시점별 영상을 하나의 장면으로 겹친 후 사용자의 시선 이동을 통해 입체감을 느끼게 된다. 즉, 3D 영상은 정면에서 볼 경우 입체감만 느껴지지만, (초)다시점 영상은 사람이 영상의 좌, 우로 시점을 이동하면서 입체감을 느낄 수 있다.
동기화 처리기(242)는 렌더링 단계에서 영상과 음성의 갭(Gap)을 줄이기 위하여, 영상과 음성의 동기를 맞추어 렌더링 처리기(243)로 전달한다. 동기화 처리기(242)는 영상과 음성을 최대한의 오차 시간으로 보정할 수 있다.
렌더링 처리기(243)는 동기화된 영상은 (초)다시점 디스플레이 장치로 출력하고, 음성은 스피커 등 음성 장치로 출력한다.
도 5는 본 발명의 실시 예에 따른 다시점 미디어 라이브 스트리밍 방법의 흐름도이다.
첨부한 도 5에서와 같이, 미디어 송신 장치(10)는 N개의 카메라로부터 제공되는 영상을 토대로 서로 다른 시점의 N개의 영상을 획득한다. 이때, N개의 카메라의 촬영시 획득되는 음성을 처리하여 음성 데이터를 획득한다(S100).
다음에, N개의 영상에 대해 배경 제거를 수행하여 N개의 배경 제거 영상을 획득한다(S110).
N개의 영상과 N개의 배경 제거 영상을 인코딩하고(S120), 영상의 분할 전송을 인코딩된 영상을 쓰레드별로 관리 및 처리한다. 그리고 영상의 프레임들을 패킷화하고(S130), 패킷화된 N개의 영상과 N개의 배경 제거 영상을 각각 송신한다(S140).
이러한 처리를 통해, N개의 영상과 N개의 배경 제거 영상은 분할되어 각각 네트워크를 통해 송신된다.
한편, 미디어 수신 장치(20)는 네트워크를 통해 송신된 다시점 미디어(N개의 영상과 N개의 배경 제거 영상을 포함)를 수신한다(S150).
송신된 패킷을 수신하여 원래의 프레임으로 복구한다. 이때, 오류 복구 처리가 이루어질 수 있다(S160).
원래대로 복구된 프레임에 대하여 디코딩을 수행하여 영상 데이터와 음성 데이터를 획득한다. 디코딩된 영상 데이터는 N개의 영상과 N개의 배경 제거 영상을 포함한다(S170).
다음에, 미디어 수신 장치(20)는, N개의 영상과 N개의 배경 제거 영상을 이용하여 깊이맵을 생성하고(S180), N개의 영상과 N개의 깊이맵을 통해 필요한 시점만큼의 중간 시점의 영사들을 생성한다(S190).
생성된 중간 시점의 영상이 하나의 출력으로 출력되며, 음성과 동기화되어 출력된다(S200).
이러한 본 발명의 실시 예에 따르면, 송신측에서 다시점 미디어 카메라로부터 획득된 N개의 영상과 N개의 배경 제거 영상을 송신하고, 수신측에서 이를 수신한 후 다시점 미디어 렌더링을 통해 다양한 시점의 영상을 생성하여 출력한다. 이와 같이, 영상 획득 단계에서 시점 개수를 줄여서 영상을 송신하고 수신측에서 시점 개수를 재생산함으로써, 라이브 스트리밍이 가능하다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 사업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims (10)

  1. 다시점 미디어의 라이브 스트리밍을 위한 송신 장치로서,
    N개의 카메라로부터 제공되는 영상을 토대로 서로 다른 시점의 N개의 영상을 획득하도록 구성되는 영상 획득부;
    상기 N개의 영상에 대해 이전에 촬영된 N개의 배경 영상을 이용한 배경 제거를 수행하여, 상기 이전에 촬영된 N개의 배경 영상과 상기 N개의 영상 사이의 차이에 대응하는 N개의 배경 제거 영상을 획득하도록 구성되는 배경 제거부; 및
    상기 N개의 영상과 상기 N개의 배경 제거 영상을 송신 처리하여 패킷화하고, 패킷화된 N개의 영상과 N개의 배경 제거 영상을 각각 송신하도록 구성되는 송신부
    를 포함하며,
    상기 송신부는 상기 N개의 영상과 상기 N개의 배경 제거 영상을 각각 쓰레드(thread)별로 처리하고, 상기 N개의 영상과 상기 N개의 배경 제거 영상을 쓰레드 단위로 각각 패킷화하여 송신하는, 송신 장치.
  2. 제1항에 있어서,
    상기 배경 제거부는
    상기 영상 획득부를 통하여, 상기 N개의 카메라를 이용하여 배경을 촬영하는 것에 의해 획득된 N개의 배경 영상을 미리 획득하고, 상기 N개의 배경 영상을 이용하여 상기 N개의 영상에서 배경 제거를 수행하여, 상기 N개의 배경 제거 영상을 획득하도록 구성되는, 송신 장치.
  3. 제1항에 있어서,
    상기 영상 획득부는,
    다시점 영상을 획득하기 위한 N개의 카메라를 포함하는 카메라부;
    상기 N개의 카메라로부터 제공되는 영상을 토대로 서로 다른 시점의 N개의 영상을 획득하도록 구성된 영상 획득 처리기; 및
    상기 영상 획득 처리기로부터 제공되는 N개의 영상을 순서대로 배열하여 저장하고, N개의 영상이 모이면, 상기 N개의 영상을 상기 배경 제거부로 제공하도록 구성된 동기화 처리기
    를 포함하는, 송신 장치.
  4. 제1항에 있어서,
    상기 송신부는,
    상기 N개의 영상과 상기 N개의 배경 제거 영상을 인코딩하도록 구성된 미디어 인코더;
    상기 인코딩된 N개의 영상과 상기 인코딩된 N개의 배경 제거 영상을 쓰레드(thread)별로 처리하도록 구성된 멀티 쓰레드 관리기;
    상기 쓰레드별로 처리된 영상의 프레임들을 패킷 단위로 분할하여 패킷화하도록 구성된 미디어 패킷라이저; 및
    상기 패킷화된 N개의 영상과 N개의 배경 제거 영상을 각각 송신하도록 구성된 미디어 패킷 송출기
    를 포함하는, 송신 장치.
  5. 제4항에 있어서,
    상기 송신부는 상기 인코딩된 N개의 영상과 상기 인코딩된 N개의 배경 제거 영상을 버퍼에 저장하는 버퍼 관리기
    를 더 포함하고,
    상기 멀티 쓰레드 관리기는 상기 버퍼 관리기에 저장된 상기 인코딩된 N개의 영상의 프레임들을 처리하여 상기 미디어 패킷라이저로 전달하데 사용되는 제1 쓰레드, 그리고 상기 버퍼 관리기에 저장된 상기 인코딩된 N개의 배경 제거 영상의 프레임들을 처리하여 상기 미디어 패킷라이저로 전달하는데 사용되는 제2 쓰레드를 포함하는, 송신 장치.
  6. 라이브 스트리밍되는 다시점 미디어를 수신하는 수신 장치로서,
    네트워크를 통해 송신되는 다시점 미디어 - 상기 다시점 미디어는 N개의 영상과 N개의 배경 제거 영상을 포함하며, 상기 N개의 배경 제거 영상은 이전에 촬영된 N개의 배경 영상과 상기 N개의 영상 사이의 차이에 대응하는 영상임 - 을 수신하여, 상기 N개의 영상과 상기 N개의 배경 제거 영상을 획득하도록 구성된 영상 수신부;
    상기 N개의 영상과 상기 N개의 배경 제거 영상을 이용하여 N개의 깊이맵을 생성하도록 구성된 깊이맵 생성 처리부;
    상기 N개의 영상과 상기 N개의 깊이맵을 이용하여 중간 시점의 영상들을 생성하도록 구성된 중간시점 생성 처리부; 및
    상기 중간 시점의 영상들을 하나의 출력으로 처리하여 출력하도록 구성된 디스플레이 처리부
    를 포함하는 수신 장치.
  7. 삭제
  8. 제6항에 있어서,
    상기 중간시점 생성 처리부는 추가적으로, 상기 N개의 깊이맵과 상기 N개의 영상을 이용하여 요구되는 시점만큼의 중간 시점의 영상들을 생성하도록 구성되는, 수신 장치.
  9. 제6항에 있어서,
    상기 영상 수신부는
    상기 네트워크를 통해 송신되는 패킷화된 상기 다시점 미디어를 수신하도록 구성된 미디어 패킷 수신기;
    상기 미디어 패킷 수신기로부터 전달되는 패킷들을 원래의 프레임으로 복구하도록 구성된 미디어 디패킷라이저;
    상기 복구된 프레임에서의 오류 복구를 수행하도록 구성된 오류 복구 처리기; 및
    상기 오류 복구된 프레임을 디코딩하여 상기 N개의 영상과 상기 N개의 배경 제거 영상을 획득하도록 구성된 디코더
    를 포함하는, 수신 장치.
  10. 제6항에 있어서,
    상기 디스플레이 처리부는,
    상기 생성된 중간 시점의 영상들을 하나의 출력으로 겹쳐내도록 구성된 영상 래스터화 처리기;
    상기 영상 래스터화 처리기에 의해 출력되는 영상과 상기 다시점 미디어에 포함된 음성 데이터의 동기를 맞추는 동기화 처리기; 및
    상기 동기화된 영상과 음성을 디스플레이 장치로 출력하도록 구성된 렌더링 처리기
    를 포함하는, 수신 장치.
KR1020180109189A 2017-10-23 2018-09-12 (초)다시점 미디어의 라이브 스트리밍 방법 및 장치 KR102094848B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170137307 2017-10-23
KR1020170137307 2017-10-23

Publications (2)

Publication Number Publication Date
KR20190045053A KR20190045053A (ko) 2019-05-02
KR102094848B1 true KR102094848B1 (ko) 2020-03-30

Family

ID=66581772

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180109189A KR102094848B1 (ko) 2017-10-23 2018-09-12 (초)다시점 미디어의 라이브 스트리밍 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102094848B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101329057B1 (ko) * 2010-03-29 2013-11-14 한국전자통신연구원 다시점 입체 동영상 송신 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100924170B1 (ko) * 2006-12-04 2009-10-28 한국전자통신연구원 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신시스템 및 그 방법
KR101271460B1 (ko) * 2009-12-02 2013-06-05 한국전자통신연구원 영상 복원 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101329057B1 (ko) * 2010-03-29 2013-11-14 한국전자통신연구원 다시점 입체 동영상 송신 장치 및 방법

Also Published As

Publication number Publication date
KR20190045053A (ko) 2019-05-02

Similar Documents

Publication Publication Date Title
KR101185870B1 (ko) 3ｄ 입체 영상 처리 장치 및 방법
CN101453662B (zh) 立体视频通信终端、系统及方法
KR101626486B1 (ko) 방송 수신기 및 비디오 데이터 처리 방법
US8390674B2 (en) Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
US7027659B1 (en) Method and apparatus for generating video images
US8218855B2 (en) Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
CN101651841B (zh) 一种立体视频通讯的实现方法、系统和设备
US20150358539A1 (en) Mobile Virtual Reality Camera, Method, And System
JP5299111B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR100375708B1 (ko) 3차원 입체영상을 위한 다시점 비디오 시스템 및영상제조방법
WO2009092233A1 (zh) 多视角摄像及图像处理装置、系统及方法与解码处理方法
WO2009052730A1 (en) Video encoding decoding method and device and video codec
EP2713614A2 (en) Apparatus and method for stereoscopic video with motion sensors
JP2006128818A (ja) 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
KR100424401B1 (ko) 검색기능을 포함한 3차원 입체영상을 위한 다시점영상통신 시스템
JP2018509113A (ja) 独立符号化バックグラウンド更新に基づく映像伝送
TW201143355A (en) Apparatus and method for video processing
US10037335B1 (en) Detection of 3-D videos
JP2006128816A (ja) 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
KR100566100B1 (ko) 3차원 다시점 멀티미디어 처리용 적응형 다중화/역다중화장치 및 그 방법
KR102094848B1 (ko) (초)다시점 미디어의 라이브 스트리밍 방법 및 장치
EP2852149A1 (en) Method and apparatus for generation, processing and delivery of 3D video
JP5863356B2 (ja) ステレオ動画像の撮像装置、撮像方法、ステレオ動画像の表示装置、表示方法及びプログラム
KR101306439B1 (ko) 스테레오스코픽 3ｄ 콘텐츠 프로젝터를 구비한 디지털 단말 장치 및 그 제어 방법
JP5742886B2 (ja) 立体映像符号化装置、立体映像復号装置及び立体映像符号化システム、並びに、立体映像符号化プログラム及び立体映像復号プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant