KR101966632B1 - 자유선택시점 영상 스트리밍 서비스 실시간 전송장치 및 방법 - Google Patents

자유선택시점 영상 스트리밍 서비스 실시간 전송장치 및 방법 Download PDF

Info

Publication number
KR101966632B1
KR101966632B1 KR1020170181990A KR20170181990A KR101966632B1 KR 101966632 B1 KR101966632 B1 KR 101966632B1 KR 1020170181990 A KR1020170181990 A KR 1020170181990A KR 20170181990 A KR20170181990 A KR 20170181990A KR 101966632 B1 KR101966632 B1 KR 101966632B1
Authority
KR
South Korea
Prior art keywords
unit
view
user
image
free
Prior art date
Application number
KR1020170181990A
Other languages
English (en)
Inventor
박구만
남진솔
양지희
황동호
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020170181990A priority Critical patent/KR101966632B1/ko
Application granted granted Critical
Publication of KR101966632B1 publication Critical patent/KR101966632B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N5/23206—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명에서는 기존의 사용자가 선택한 시점에서 시점을 이동하며 자유선택시점 영상을 시청할 경우에, 많은 자유선택시점 영상을 전송함에 있어 전송망에 트래픽이 많아지는 문제점과, 자유선택시점 영상 서비스의 전송품질이 많이 떨어지는 문제점을 개선하고자, 다채널 카메라부(100), 사용자선택시점 센싱부(200), 전송패킷플랫폼부(300), 스마트 제어부(400)로 구성됨으로서, 사용자가 선택한 시점 인근의 영상을 함께 전송할 수 있어, 자유선택시점 영상 서비스의 전송품질을 기존에 비해 2배~4배 향상시킬 수가 있고, 사용자가 선택한 영상을 기준으로 인접한 시점의 영상만을 함꼐 전송하여 전송의 부담을 70% 줄일 수 있어, 시청자가 원하는 시점을 선택할 때 버퍼링을 최소화하여 자유선택시점 영상을 시청할 때 실감성을 기존에 비해 80% 향상시킬 수가 있으며, 자연스러운 시점의 이동이 가능한 자유선택시점 영상을 실시간으로 사용자에게 제공할 수 있어, 사용자로 하여금 자유선택시점 영상표출에 흥미와 관심을 기존에 비해 90% 향상시킬 수 있는 자유선택시점 영상 스트리밍 서비스 실시간 전송장치 및 방법을 제공하는데 그 목적이 있다.

Description

자유선택시점 영상 스트리밍 서비스 실시간 전송장치 및 방법{THE APPARATUS AND METHOD FOR FREE VIEW POINT VIDEO STREAMING SERVICE}
본 발명에서는 자유선택시점 영상에서 사용자에게 인접한 시점의 영상을 미리 전송함으로써 사용자가 시점을 이동할 때 영상의 끊어짐을 최소화하여 자연스러운 시점의 이동이 가능한 자유선택시점 영상을 실시간으로 사용자에게 제공할 수 있는 자유선택시점 영상 스트리밍 서비스 실시간 전송장치 및 방법에 관한 것이다.
자유시점 영상 및 음향 데이터를 자유선택시점으로 사용자에게 전송하기 위해서는 전송망의 부담이 상당하다.
따라서, 이를 효율적으로 전송하는 방법이 필요하다.
모든 시점에 대한 영상을 항상 전송하게 되면 전송이 불안정하여 자유선택시점 영상의 서비스가 불완전하게 된다.
자유선택시점에서는 최소 20개의 시점의 영상을 전송한다.
사용자는 선택한 시점에서 시점을 이동하며 자유선택시점 영상을 시청한다.
이로 인해, 많은 자유선택시점 영상을 전송함에 있어 전송망에 트래픽이 많아지는 문제점이 있었다.
또한, 자유선택시점 영상 서비스의 전송품질이 많이 떨어지는 문제점이 있었다.
국내등록특허공보 제10-1538947호
상기의 문제점을 해결하기 위해 본 발명에서는 사용자가 선택한 시점 인근의 영상을 함께 전송할 수 있고, 사용자가 선택한 영상을 기준으로 인접한 시점의 영상만을 함꼐 전송하여 전송의 부담을 줄일 수 있으며, 자연스러운 시점의 이동이 가능한 자유선택시점 영상을 실시간으로 사용자에게 제공할 수 있어, 사용자로 하여금 자유선택시점 영상표출에 흥미와 관심을 향상시킬 수 있는 자유선택시점 영상 스트리밍 서비스 실시간 전송장치 및 방법을 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위해 본 발명에 따른 자유선택시점 영상 스트리밍 서비스 실시간 전송장치는
스마트제어부의 제어신호에 따라 구동되어, 360도 전반적인 영상을 촬영시켜 자유시점 영상을 획득시킨 후, 스마트제어부로 전달시키는 다채널 카메라부(100)와,
사용자 디스플레이부 일측에 위치되어, 디스플레이 화면상에 사용자가 원하는 시점을 센싱하여, 스마트제어부로 전송시키는 사용자선택시점 센싱부(200)와,
사용자가 선택한 시점의 영상과 인접한 시점의 영상을 독립적 다중 스트림 구조로 PES 패킷화한 후, 이종 망을 통해 사용자 디스플레이부로 전송시키는 전송패킷플랫폼부(300)와,
다채널카메라부로부터 자유시점영상이 전달되면, 자유시점영상 중 사용자가 선택한 시점의 영상에다가, 사용자가 선택한 시점의 영상을 기준으로 인접한 시점의 영상인 x축의 시점과, y축의 시간에 해당하는 인접한 시점의 영상과 함께 전송패킷플랫폼부로 실시간 전송시키도록 제어하는 스마트 제어부(400)으로 구성됨으로서 달성된다.
또한, 본 발명에 따른 자유선택시점 영상 실시간 전송방법은
다채널 카메라부에서 스마트제어부의 제어신호에 따라 구동되어, 360도 전반적인 영상을 촬영시켜 자유시점 영상을 획득시킨 후, 스마트제어부로 전달시키는 단계(S10),
사용자선택시점 센싱부를 통해, 사용자 디스플레이부 화면상에 사용자가 원하는 시점을 센싱하여, 스마트제어부로 전송시키는 단계(S20),
스마트 제어부에서, 다채널카메라부로부터 자유시점영상이 전달되면, 자유시점영상 중 사용자가 선택한 시점의 영상에다가, 사용자가 선택한 시점의 영상을 기준으로 인접한 시점의 영상인 x축의 시점과, y축의 시간에 해당하는 인접한 시점의 영상과 함께 전송패킷플랫폼부로 실시간 전송시키는 단계(S30),
전송패킷플랫폼부에서 스마트제어부의 제어신호에 따라 구동되어, 사용자가 선택한 시점의 영상과 인접한 시점의 영상을 독립적 다중 스트림 구조로 PES 패킷화한 후, 이종 망을 통해 사용자 디스플레이부로 전송시키는 단계(S40)로 이루어짐으로서 달성된다.
이상에서 설명한 바와 같이, 본 발명에서는
첫째, 사용자가 선택한 시점 인근의 영상을 함께 전송할 수 있어, 자유선택시점 영상 서비스의 전송품질을 기존에 비해 2배~4배 향상시킬 수가 있다.
둘째, 사용자가 선택한 영상을 기준으로 인접한 시점의 영상만을 함꼐 전송하여 전송의 부담을 70% 줄일 수 있어, 시청자가 원하는 시점을 선택할 때 버퍼링을 최소화하여 자유선택시점 영상을 시청할 때 실감성을 기존에 비해 80% 향상시킬 수가 있다.
셋째, 자연스러운 시점의 이동이 가능한 자유선택시점 영상을 실시간으로 사용자에게 제공할 수 있어, 사용자로 하여금 자유선택시점 영상표출에 흥미와 관심을 기존에 비해 90% 향상시킬 수 있다.
도 1은 본 발명에 따른 자유선택시점 영상 스트리밍 서비스 실시간 전송장치(1)의 구성요소를 도시한 블럭도,
도 2는 본 발명에 따른 자유선택시점 영상 스트리밍 서비스 실시간 전송장치(1)의 구성요소를 도시한 구성도,
도 3은 본 발명에 따른 다채널 카메라부의 구성요소를 도시한 블럭도,
도 4는 본 발명에 따른 사용자선택시점 센싱부의 구성요소를 도시한 블럭도,
도 5는 본 발명에 따른 전송패킷플랫폼부의 구성요소를 도시한 블럭도,
도 6은 본 발명에 따른 전송패킷플랫폼부가 독립적 다중 스트림구조로 구성되어, 기본적으로 동일하게 싱크정보와 부가정보 데이터가 포함되며, 추가적으로 카메라 정보의 대한 데이터가 삽입되는 것을 도시한 일실시예도,
도 7은 본 발명에 따른 스마트 제어부의 구성요소를 도시한 블럭도,
도 8은 본 발명에 따른 레이 스페이스(Ray-Space) 형성부가 카메라와 피사체의 방향정보, 촬영된 피사체의 픽셀 정보를 (x, y, z, θ, φ)의 형태로 형성시키는 것을 도시한 일실시예도,
도 9는 본 발명에 따른 전송패킷플랫폼부를 통해 자유선택시점 영상에서 사용자가 선택한 시점의 영상의 인접한 영상을 함께 전송시키는 것을 도시한 일실시예도,
도 10은 본 발명에서는 실제 자유선택시점 영상을 표현한 3차원 전송패킷플랫폼부를 도시한 일실시예도,
도 11은 본 발명에 따른 자유선택시점 영상 실시간 전송 방법을 도시한 순서도.
이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.
도 1은 본 발명에 따른 자유선택시점 영상 스트리밍 서비스 실시간 전송장치(1)의 구성요소를 도시한 블럭도에 관한 것이고, 도 2는 본 발명에 따른 자유선택시점 영상 스트리밍 서비스 실시간 전송장치(1)의 구성요소를 도시한 구성도에 관한 것으로, 이는 다채널 카메라부(100), 사용자선택시점 센싱부(200), 전송패킷플랫폼부(300), 스마트 제어부(400)로 구성된다.
먼저, 본 발명에 따른 다채널 카메라부(100)에 관해 설명한다.
상기 다채널 카메라부(100)는 스마트제어부의 제어신호에 따라 구동되어, 360도 전반적인 영상을 촬영시켜 자유시점 영상을 획득시킨 후, 스마트제어부로 전달시키는 역할을 한다.
이는 N개의 360도 PTZ카메라(110)로 구성된다.
N개의 360도 PTZ카메라의 배치 형태에 따라 직렬배치(Linear), 구형배치(Circular), 다층배치(Array) 등의 타입으로 구성된다.
이러한 카메라 인덱스와 카메라 배치타입은 이용자가 원하는 시점에서의 영상을 재구성하기 위해 필요한 데이터를 Broadcasting 또는 Uni-casting 방식으로 전송할 때 최소한의 데이터만 선별하여 전송하도록 하는 중요 파라미터가 된다.
상기 360도 PTZ카메라(110)는 도 3에 도시한 바와 같이, 카메라본체(111), 카메라식별ID설정부(112), 초광각렌즈부(113), 팬틸트모터부(114), 구동드라이버부(115)로 구성된다.
상기 카메라본체(111)는 직사각형 박스로 이루어져, 외압으로부터 각 기기를 보호하고 지지하는 역할을 한다.
이는 헤드 선단부에 초광각렌즈부가 형성되고, 내부공간에 카메라식별ID설정부, 팬틸트모터부, 구동드라이버부가 포함되어 구성된다.
상기 카메라식별ID설정부(112)는 카메라본체에 고유의 식별ID를 부여해서 설정시키는 역할을 한다.
이는 숫자와 영문으로 이루어진 식별ID로 구성된다.
상기 초광각렌즈부(113)는 카메라본체의 선단 헤드부에 위치되어, 120도~170도의 화각을 갖으면서, 촬영대상물을 촬영시키는 역할을 한다.
이는 줌 기능이 없는 고정형, 수동 줌, 전동 줌 중 어느 하나가 선택되어 구성된다.
본 발명에서는 전동 줌으로 구성된다.
상기 전동 줌의 경우 마이컴부로부터 전송된 줌 명령에 따라 작은 스텝모터로 초광각렌즈부를 해당 배율이 되도록 움직인다.
이때 촬영대상물 객체의 거리에 따라 초점이 맞지 않을 수 있으므로 초점조절형 구동 모터로 초광각 렌즈부를 움직여 초점을 조절하는 오토 포커스(Auto Focus)기능이 부가되어 구성된다.
상기 팬틸트모터부(114)는 초광각렌즈부 후단 일측에 연결되어 초광각렌즈부를 움직여 원하는 팬 및 틸트 각도로 구동시키는 역할을 한다.
이는 스텝(Step) 모터, AC모터, BLDC 모터 중 어느 하나가 선택되어 구성된다.
상기 구동드라이버부(115)는 마이컴부의 제어신호에 따라 구동되어, 카메라본체의 전기적 팬(Pan : 수평방향), 틸트(Tilt : 수직 방향), 줌(Zoom : 광학적 줌 배율)을 조정시키는 역할을 한다.
상기 데이터송신부(116)는 획득한 자유시점 영상을 스마트제어부로 전달시키는 역할을 한다.
다음으로, 본 발명에 따른 사용자선택시점 센싱부(200)에 관해 설명한다.
상기 사용자선택시점 센싱부(200)는 사용자 디스플레이부(2) 일측에 위치되어, 디스플레이 화면상에 사용자가 원하는 시점을 센싱하여, 스마트제어부로 전송시키는 역할을 한다.
이는 도 4에 도시한 바와 같이, 터치센서부(210), 캡쳐링부(220), 사용자선택시점센싱송신부(230)로 구성된다.
상기 터치센서부(210)는 디스플레이 화면상에 사용자가 원하는 시점을 터치신호를 통해 센싱시키는 역할을 한다.
상기 캡쳐링부(220)는 터치센서부를 통해 터치된 사용자가 원하는 시점을 캡쳐링시켜, 압축하여 사용자선택시점센싱송신부로 전달시키는 역할을 한다.
상기 사용자선택시점센싱송신부(230)는 캡쳐링부를 통해 캡쳐링된 사용자가 원하는 시점인 사용자선택시점을 스마트제어부로 전송시키는 역할을 한다.
이는 근거리무선통신모듈, WiFi통신모듈로 구성된다.
상기 근거리무선통신모듈은 근거리무선통신 프로토콜을 바탕으로 스마트제어부와 근거리무선통신을 수행시키는 역할을 한다.
이는 블루투스 통신부, 지그비통신부 중 어느 하나가 선택되어 구성된다.
상기 블루투스 통신부는 10미터 이내의 초단거리에서 저전력무선연결하여, 정보를 교환시키는 역할을 한다.
이는 ISM(Industrial Scientific and Medical) 주파수 대역인 2400~2483.5MHz를 사용한다. 이 중 위아래 주파수를 쓰는 다른 시스템들의 간섭을 막기 위해 2400MHz 이후 2MHz, 2483.5MHz 이전 3.5MHz까지의 범위를 제외한 2402~2480MHz, 총 79개 채널을 쓴다.
그리고, 시스템간 전파 간섭을 해소하기 위해, 주파수 호핑(Frequency Hopping) 방식으로 구성된다.
주파수 호핑은 많은 수의 채널을 특정 패턴에 따라 빠르게 이동하며 패킷(데이터)을 조금씩 전송하는 기법으로, 본 발명에 서는 79개 채널을 1초당 1600번 호핑하도록 구성된다.
상기 지그비통신부는 2.4GHz의 주파수 대역을 이용하여 근거리(10m~75m)에 위치한 스마트 디바이스쪽으로 250kbps의 데이터 전송률을 제공하는 역할을 한다.
상기 WiFi통신모듈은 무선기술을 접목한 것으로, 고성능 무선통신을 가능하게 하는 무선랜 기술로 구성된다.
상기 무선랜은 네트워크 구축시 유선을 사용하지 않고 전파나 빛등을 이용하여 네트워크를 구축하는 방식으로서, 2.4GHz의 주파수 대역을 사용한다.
다음으로, 본 발명에 따른 전송패킷플랫폼부(300)에 관해 설명한다.
상기 전송패킷플랫폼부(300)는 사용자가 선택한 시점의 영상과 인접한 시점의 영상을 독립적 다중 스트림 구조로 PES 패킷화한 후, 이종 망을 통해 사용자 디스플레이부(2)로 전송시키는 역할을 한다.
이는 도 5에 도시한 바와 같이, 패킷 헤더부(310)와 데이터부(320)로 구성된다.
상기 패킷 헤더부(310)는 독립적 다중 스트림 구조로 이루어져 싱크정보와 부가정보를 제공하는 역할을 수행한다.
상기 데이터부(320)는 사용자가 선택한 시점의 영상과 인접한 시점의 영상, 음향, 공간적 데이터의 다중화 된 구조로 형성시키는 역할을 수행한다.
그리고, PES 패킷은 전송 헤드를 삽입하고 재배열하는 과정을 수행한다.
상기 패킷 헤더부는 싱크 정보와 부가정보로 구성된다.
싱크정보는 각 프레임의 동기 문제를 해결 할 수 있으며, BPSK와 같은 낮은 레벨로 변조되고 앞뒤로 보호구간이 삽입된 구조로 구성되며, 시간 및 주파수 동기화를 가능하게 한다.
부가 정보에는 전송망의 종류, 프레임의 크기 정보, FFT size, 변조 정보 등으로 구성된다.
상기 전송패킷플랫폼부는 도 6에 도시한 바와 같이, 독립적 다중 스트림구조로 구성되어, 기본적으로 동일하게 싱크정보와 부가정보 데이터가 포함되며, 추가적으로 카메라 정보의 대한 데이터가 삽입된다.
이때 싱크 신호에서 추가적으로 이종 간의 신호 스캔과 각 신호를 판별하고, 초기화 단계에서 필요한 송신 파라미터를 포함하고 있다.
상기 전송패킷플랫폼부는 추가적인 대역이 확보된 지상파 망으로 전송하는 방법과 유선 또는 위성망으로 소규모 기지국 및 서버로 전송하는 방법으로 구분된다.
다음으로, 본 발명에 따른 스마트 제어부(400)에 관해 설명한다.
상기 스마트 제어부(400)는 다채널카메라부로부터 자유시점영상이 전달되면, 자유시점영상 중 사용자가 선택한 시점의 영상에다가, 사용자가 선택한 시점의 영상을 기준으로 인접한 시점의 영상인 x축의 시점과, y축의 시간에 해당하는 인접한 시점의 영상과 함께 전송패킷플랫폼부로 실시간 전송시키도록 제어하는 역할을 한다.
이는 도 7에 도시한 바와 같이, 레이 스페이스(Ray-Space) 형성부(410), 변위증분연산부(420), 사용자선택시점센싱수신부(430)로 구성된다.
다채널카메라부로부터 자유시점영상이 전달되면, 레이 스페이스(Ray-Space) 형성부(410)에서 이미지 및 색차신호의 보정처리와 함께 Ray-Space의 형태로 형성시킨다.
레이 스페이스(Ray-Space) 형성부(410)의 데이터는 카메라와 피사체의 방향정보, 촬영된 피사체의 픽셀 정보를 도 8에 도시한 바와 같이, (x, y, z, θ, φ)의 형태로 형성시킨다.
상기 레이 스페이스(Ray-Space) 형성부(410)는 사용자 디스플레이부에서 사용자가 원하는 시점으로의 입체영상 및 입체음향 재구성을 위한 필수 정보이고, 컨텐츠의 전송 스트림과 이용자의 화면전환 메시지에 삽입되도록 구성된다.
다채널카메라부로부터 전달된 자유시점영상에는 인접한 2대의 360도 PTZ카메라로부터 획득한 이미지의 픽셀단위의 차이를 이용하여 피사체의 깊이 정보를 나타내는 깊이 맵이 포함되어 생성된다.
여기서, 깊이 맵은 사용자가 선택한 시점에서 영상을 재구성을 함에 있어 필수 정보가 된다.
상기 사용자가 선택한 시점의 영상을 기준으로 인접한 시점의 영상인 x축의 시점과, y축의 시간에 해당하는 인접한 시점의 영상을 생성하기 위해서는 주어진 좌/우 깊이 영상의 깊이 정보의 변화당 변위정보의 변화값을 연산시키는 변위증분연산부(420)가 포함되어 구성된다.
변위와 깊이와의 수학식 1에서 보는 바와 같이 변위와 깊이와의 관계에서는 카메라 파라미터인 초점거리(f)와 두 카메라간의 거리(B)가 필요하다.
그러나 본 발명에서는 이런 파라미터들이 알려져 있지 않다고 가정하고,이 파라미터들은 사용하지 않는다.
수학식 1에 나타난 바와 같이, 깊이와 변위는 반비례의 관계를 갖는다.
따라서 두 변수 증 하나를 역수를 취하여 이 두 정보가 비례적인 관계를 갖게 할 수 있으며, 수학식 1과 같이 변위와 깊이의 비례식으로 변형할 수 있다.
Figure 112017130253523-pat00001
여기서, z′=k/z 이며, k=2n(n은 깊이값을 표현하는 비트 수)으로 설정하여, z′가 (0, 2n-1)의 값을 갖도록 구성된다.
그리고, z′는 역깊이값(inverse depth value)을 나타낸다.
좌/우 깊이영상이 보정되었다면 두 영상간 변위와 역깊이값은 선형적 관계를 갖는다.
또 구하고자 하는 인접한 시점의 영상과, 좌영상 또는 우영상 사이에도 변위와 역깊이값은 선형의 관계를 갖는다.
따라서, 수학식 2에서 카메라 파리미터인 B,f,s를 알면 좌/우 깊이영상의역깊이값으로부터 원하는 중간시점의 좌표와 해당 역깊이값을 쉽게 연산시킬 수 있다.
Figure 112017130253523-pat00002
여기서, z는 깊이값, B는 두 카메라간 거리, f는 카메라의 초점거리, d'는 스케일링된 변위 값, s는 스케일링 요소를 각각 나타낸다.
이어서, 측정된 변위값과 해당 역깊이값으로 깊이증분 당 변위증분을 수학식 3과 같이 계산한다.
Figure 112017130253523-pat00003
여기서, (
Figure 112017130253523-pat00004
,
Figure 112017130253523-pat00005
)은 선택한 상위 10%와 하위 10% 범위내에서 빈도수가 가장 높은 값 (zH, zL)을 변환한 역깊이값이며, (dH, dL)은 이 두 역깊이값에 해당하는 모든 화소들에 대해 두 영상간의 스테레오 정합을 수행한 변위값이다.
본 발명에서는 수학식 1의 변위증분을 찾기 위한 전처리 과정의 경우에, 사용자가 선택한 시점의 영상을 기준으로, 장면이 시작할 때 첫번째 프레임에 대해 한 번만 수행하고, 그 장면의 나머지 프레임에는 동일한 변위증분값을 사용하도록 구성된다.
상기 스마트제어부는 사용자선택시점센싱수신부(430)가 포함되어 구성된다.
상기 사용자선택시점센싱수신부(430)는 사용자선택시점 센싱부로부터 센싱한 사용자가 원하는 시점을 수신받는 역할을 한다.
이하, 본 발명에 따른 자유선택시점 영상 실시간 전송 방법의 구체적인 과정에 관해 설명한다.
먼저, 도 11에 도시한 바와 같이, 다채널 카메라부에서 스마트제어부의 제어신호에 따라 구동되어, 360도 전반적인 영상을 촬영시켜 자유시점 영상을 획득시킨 후, 스마트제어부로 전달시킨다(S10).
다음으로, 사용자선택시점 센싱부를 통해, 사용자 디스플레이부 화면상에 사용자가 원하는 시점을 센싱하여, 스마트제어부로 전송시킨다(S20).
다음으로, 스마트 제어부에서, 다채널카메라부로부터 자유시점영상이 전달되면, 자유시점영상 중 사용자가 선택한 시점의 영상에다가, 사용자가 선택한 시점의 영상을 기준으로 인접한 시점의 영상인 x축의 시점과, y축의 시간에 해당하는 인접한 시점의 영상과 함께 전송패킷플랫폼부로 실시간 전송시킨다(S30).
끝으로, 전송패킷플랫폼부에서 스마트제어부의 제어신호에 따라 구동되어, 사용자가 선택한 시점의 영상과 인접한 시점의 영상을 독립적 다중 스트림 구조로 PES 패킷화한 후, 이종 망을 통해 사용자 디스플레이부로 전송시킨다(S40).
즉, 도 9에 도시한 바와 같이, 본 발명에서는 자유선택시점 영상에서 사용자가 선택한 시점의 영상의 인접한 영상을 함께 전송한다.
도 9에서, x축은 영상의 뷰 앵글(View Angle)(시점), y축은 영상의 시간(time)을 나타낸다.
시간이 흘러가면서 영상은 계속 전송되는데 사용자가 시점을 이동하면서 그 시점에 맞는 영상이 표출됨을 나타낸다.
사용자가 선택한 시점 인근의 영상을 함께 전송함으로써 자유선택시점 영상 서비스의 전송품질을 향상시킬 수가 있다.
도 10은 본 발명에서는 실제 자유선택시점 영상을 표현한 3차원 전송패킷플랫폼부를 도시한 일실시예도에 관한 것으로, 여기서, x축은 영상의 가로 뷰 앵글(View Angle)(종단으로 이동하는 시점, 패닝), y축은 영상의 세로 뷰 앵글(View Angle)(횡단으로 이동하는 시점, 틸팅), z축은 영상의 시간(time)을 나타낸다.
이를 통해, 본 발명에 따른 전송패킷플랫폼부는 사용자가 선택한 시점의 영상과 인접한 시점의 영상을 독립적 다중 스트림 구조로 PES 패킷화한 후, 이종 망을 통해 사용자 디스플레이부로 전송시킬 수 있다.
1 : 자유선택시점 영상 스트리밍 서비스 실시간 전송장치 100 : 다채널 카메라부
200 : 사용자선택시점 센싱부 300 : 전송패킷플랫폼부
400 : 스마트 제어부

Claims (5)

  1. 스마트제어부의 제어신호에 따라 구동되어, 360도 전반적인 영상을 촬영시켜 자유시점 영상을 획득시킨 후, 스마트제어부로 전달시키는 다채널 카메라부(100)와,
    사용자 디스플레이부 일측에 위치되어, 디스플레이 화면상에 사용자가 원하는 시점을 센싱하여, 스마트제어부로 전송시키는 사용자선택시점 센싱부(200)와,
    사용자가 선택한 시점의 영상과 인접한 시점의 영상을 독립적 다중 스트림 구조로 PES 패킷화한 후, 이종 망을 통해 사용자 디스플레이부로 전송시키는 전송패킷플랫폼부(300)와,
    다채널카메라부로부터 자유시점영상이 전달되면, 자유시점영상 중 사용자가 선택한 시점의 영상에다가, 사용자가 선택한 시점의 영상을 기준으로 인접한 시점의 영상인 x축의 시점과, y축의 시간에 해당하는 인접한 시점의 영상과 함께 전송패킷플랫폼부로 실시간 전송시키도록 제어하는 스마트 제어부(400)으로 구성되는 자유선택시점 영상 스트리밍 서비스 실시간 전송장치에 있어서,
    상기 스마트 제어부(400)는
    다채널카메라부로부터 자유시점영상이 전달되면, 이미지 및 색차신호의 보정처리와 함께 Ray-Space의 형태로 형성시키는 레이 스페이스(Ray-Space) 형성부(410)가 포함되어 구성되는 것을 특징으로 하는 자유선택시점 영상 스트리밍 서비스 실시간 전송장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
KR1020170181990A 2017-12-28 2017-12-28 자유선택시점 영상 스트리밍 서비스 실시간 전송장치 및 방법 KR101966632B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170181990A KR101966632B1 (ko) 2017-12-28 2017-12-28 자유선택시점 영상 스트리밍 서비스 실시간 전송장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170181990A KR101966632B1 (ko) 2017-12-28 2017-12-28 자유선택시점 영상 스트리밍 서비스 실시간 전송장치 및 방법

Publications (1)

Publication Number Publication Date
KR101966632B1 true KR101966632B1 (ko) 2019-04-09

Family

ID=66167380

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170181990A KR101966632B1 (ko) 2017-12-28 2017-12-28 자유선택시점 영상 스트리밍 서비스 실시간 전송장치 및 방법

Country Status (1)

Country Link
KR (1) KR101966632B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110446056A (zh) * 2019-07-30 2019-11-12 咪咕文化科技有限公司 一种视频处理方法、设备、系统及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110049039A (ko) * 2009-11-04 2011-05-12 삼성전자주식회사 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
KR101536747B1 (ko) * 2014-03-04 2015-07-23 서울과학기술대학교 산학협력단 자유 시점 영상 전송을 위한 패킷구조형 송신장치 및 송신방법
KR101538947B1 (ko) 2014-03-03 2015-07-29 서울과학기술대학교 산학협력단 실감형 자유시점 영상 제공 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110049039A (ko) * 2009-11-04 2011-05-12 삼성전자주식회사 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
KR101538947B1 (ko) 2014-03-03 2015-07-29 서울과학기술대학교 산학협력단 실감형 자유시점 영상 제공 장치 및 방법
KR101536747B1 (ko) * 2014-03-04 2015-07-23 서울과학기술대학교 산학협력단 자유 시점 영상 전송을 위한 패킷구조형 송신장치 및 송신방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110446056A (zh) * 2019-07-30 2019-11-12 咪咕文化科技有限公司 一种视频处理方法、设备、系统及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US9965026B2 (en) Interactive video display method, device, and system
CN102342100B (zh) 用于在网络环境中提供三维成像的系统和方法
JP6432029B2 (ja) 低コストでテレビ番組を制作する方法及びシステム
US8077964B2 (en) Two dimensional/three dimensional digital information acquisition and display device
EP1734766A2 (en) Transport stream structure including image data and apparatus and method for transmitting and receiving image data
US20050207486A1 (en) Three dimensional acquisition and visualization system for personal electronic devices
JP2001094857A (ja) バーチャル・カメラの制御方法、カメラアレイ、及びカメラアレイの整合方法
CN104065951B (zh) 视频拍摄方法、视频播放方法及智能眼镜
KR101732991B1 (ko) 비디오 감시 방법, 장치 및 시스템
JP2009284452A (ja) ハイブリッドビデオカメラ撮像装置及びシステム
CN107333051B (zh) 一种室内全景视频生成方法及装置
US20180338093A1 (en) Eye-tracking-based image transmission method, device and system
US10404964B2 (en) Method for processing media content and technical equipment for the same
CN115668913A (zh) 现场演出的立体显示方法、装置、介质及系统
KR101966632B1 (ko) 자유선택시점 영상 스트리밍 서비스 실시간 전송장치 및 방법
CN111246184A (zh) 控制视频数据采集的方法、发射控制装置及无线传输系统
EP4033755A1 (en) System for broadcasting volumetric videoconferences in 3d animated virtual environment with audio information, and method for operating said system
JP5558862B2 (ja) 映像処理装置及びその制御方法
CN107431846B (zh) 基于多个摄像机的图像传输方法、设备和系统
CN116016950B (zh) 用于传输视频流的方法和系统
KR20190058040A (ko) Ip를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법
CN103748872A (zh) 立体图像的接收器侧调整
WO2017092369A1 (zh) 一种头戴设备、三维视频通话系统和三维视频通话实现方法
KR20180092411A (ko) 다원 방송 송출 방법 및 장치
KR101193129B1 (ko) 다자 동시 제어를 허용하는 실시간 원격 360도 전방향 영상 감시 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant