KR101964126B1 - 고화질 동영상의 스트리밍 전송 장치 및 방법 - Google Patents

고화질 동영상의 스트리밍 전송 장치 및 방법 Download PDF

Info

Publication number
KR101964126B1
KR101964126B1 KR1020170140418A KR20170140418A KR101964126B1 KR 101964126 B1 KR101964126 B1 KR 101964126B1 KR 1020170140418 A KR1020170140418 A KR 1020170140418A KR 20170140418 A KR20170140418 A KR 20170140418A KR 101964126 B1 KR101964126 B1 KR 101964126B1
Authority
KR
South Korea
Prior art keywords
image
unit
quality
streaming
region
Prior art date
Application number
KR1020170140418A
Other languages
English (en)
Inventor
신후랑
정창영
Original Assignee
주식회사 이누씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이누씨 filed Critical 주식회사 이누씨
Priority to KR1020170140418A priority Critical patent/KR101964126B1/ko
Application granted granted Critical
Publication of KR101964126B1 publication Critical patent/KR101964126B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

360도 VR 영상 스트리밍 장치를 개시한다.
360도 VR 영상을 기 설정된 시간 간격인 단위시간 길이의 적어도 하나의 단위영상으로 분할하고, 상기 단위영상으로부터 적어도 하나의 프레임을 추출하는 프레임추출부; 상기 프레임을 이용하여 고화질인 상기 VR 영상보다 저화질의 영상을 적어도 하나 생성하는 영상분할부; 상기 VR 영상 및 상기 저화질의 영상을 저장하고 검색할 수 있는 영상데이터베이스부; 고객의 단말기로부터 스트리밍할 영상정보를 포함하는 스트리밍요청을 수신하는 스트리밍요청 수신부; 및 상기 스트리밍요청에 대응하는 영상에 대한 고화질 및 저화질 단위영상을 상기 영상데이터베이스부에서 검색하여 고화질 및 적어도 하나의 저화질의 단위영상을 포함하는 영상을 생성하여 전송하는 것을 스트리밍 처리부를 포함하는 것을 특징으로 하는 360도 VR 영상 스트리밍 장치를 제공한다.

Description

고화질 동영상의 스트리밍 전송 장치 및 방법{The Apparatus And Method For Transferring High Definition Video}
본 실시예는 360도 VR 카메라로 촬영된 초고화질 동영상의 스트리밍 전송 장치 및 그 방법에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
최근 고성능 스마트폰의 보급으로 4K 해상도 촬영이 일반화 되었고, 8K, 10K 해상도 등의 초고화질 동영상 서비스를 제공하는 초대용량 시스템이 등장하게 되었다. 이와 같은 고화질 동영상 서비스는 5G와 같은 이동통신 기술의 발전으로 더욱 가속화되고 있다.
일반 미디어보다 8배 이상 데이터양이 많은 VR(Virtual Reality) 영상은 비디오서버 및 영상재생기(플레이어, Player) 플랫폼의 성능 향상이 요구되며, 5G와 같은 고도화된 네트워크 환경에서는 기존 이동통신에서 제한되었던 무선 전송 용량의 양적 증대와 함께 저지연, 고신뢰 기술이 등장하여 단순한 시청 위주의 비디오 서비스보다 다양한 형태의 서비스가 출현할 것으로 예상된다.
그러나 비록 5G와 같이 무선통신 기술이 비약적으로 발전한다 하더라도 4K 이상의 초대용량 미디어 파일의 전송이 다수 발생한다면 전체 네트워크의 부하는 급격하게 증가되어 원활한 서비스 제공은 곤란해 질 수밖에 없다는 문제가 발생할 수밖에 없으므로, 초대용량의 VR 영상에 대한 스트리밍 서비스를 위하여 네트워크 전송부하를 획기적으로 감소시키면서도 서비스의 품질은 그대로 유지될 수 있는 방안이 필요하다.
본 실시예는 360도 VR 카메라로 촬영된 4K 이상의 초고화질 360도 VR 영상을 스트리밍으로 전송하는 장치 및 방법을 제공하는 데 목적이 있다. 더욱 상세하게는 360도 VR 동영상 중 실제로 관찰자에게 보이는 부분은 고화질로 전송하나 그 외의 부분은 중간화질 또는 저화질로 전송함으로써 네트워크 전송 부하를 제어하는 장치 및 방법을 제공하는 것이다.
본 실시예의 일 측면에 의하면, 360도 VR 영상을 기 설정된 시간 간격인 단위시간 길이의 적어도 하나의 단위영상으로 분할하고, 상기 단위영상으로부터 적어도 하나의 프레임을 추출하는 프레임추출부; 상기 프레임을 이용하여 고화질인 상기 VR 영상보다 저화질의 영상을 적어도 하나 생성하는 영상분할부; 상기 VR 영상 및 상기 저화질의 영상을 저장하고 검색할 수 있는 영상데이터베이스부; 고객의 단말기로부터 스트리밍할 영상정보를 포함하는 스트리밍요청을 수신하는 스트리밍요청 수신부; 및 상기 스트리밍요청에 대응하는 영상에 대한 고화질 및 저화질 단위영상을 상기 영상데이터베이스부에서 검색하여 고화질 및 적어도 하나의 저화질의 단위영상을 포함하는 영상을 생성하여 전송하는 것을 스트리밍 처리부를 포함하는 것을 특징으로 하는 360도 VR 영상 스트리밍 장치를 제공한다.
본 실시예의 일 측면에 의하면, 360도 VR 영상의 스트리밍 방법에 있어서, 상기 VR 영상을 업로드 받는 과정; 상기 VR 영상을 기 설정된 일정한 시간간격인 단위시간 길이의 단위영상으로 분리하고, 상기 단위영상으로부터 프레임을 분리하는 과정; 상기 프레임을 기 설정된 일정한 크기의 단위영역으로 분할하는 과정; 상기 단위영역에 대하여 적어도 하나의 기 설정된 화질별 단위영상을 생성하는 과정; 및 상기 VR 영상 및 상기 화질별 단위영상을 저장하는 과정을 포함하고, 고객 단말기로부터 FOV 정보를 포함하는 스트리밍 요청을 수신하는 과정; 상기 FOV 정보에 대응하는 영역과 상기 FOV 정보 이외의 영역에 대한 각 단위영상을 검색하여 이를 이용하여 스트리밍 영상을 생성하는 과정; 상기 스트리밍 영상을 고객 단말기로 전송하는 과정을 포함하는 것을 특징으로 하는 360도 VR 영상을 스트리밍하는 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 360도 VR 카메라로 촬영된 초고화질의 영상을 네트워크를 통하여 스트리밍 전송하는 것은 네트워크 전체의 부하에 큰 영향을 미칠 수 있고, 이와 같은 초고화질의 영상에 대한 네트워크의 전송부하 제어의 필요로 360도 VR 영상 중 영상재생기의 화면에 재생되는 영역을 제외한 나머지 영역에 대한 영상은 저화질로 전송한다면, 네트워크 전송부하를 제어하는 것이 가능하게 되고, 영상재생기를 통해 화면에 표시되는 영역이 변경되더라도 끊김 없이 영상이 재생되도록 할 수도 있을 뿐 아니라 네트워크의 트래픽(Traffic) 상태에 따라서 화질을 달리한다면 네트워크의 전송 효율을 최대한 이용할 수 있게 될 것이다.
도 1은 360도 VR 카메라로 촬영된 영상의 스틸 이미지의 일 예이다.
도 2는 FOV를 설명하기 위한 예시도이다.
도 3은 본 실시예에 따른 360도 VR 영상 스트리밍 장치를 개략적으로 나타낸 블럭 구성도이다.
도 4는 본 실시예에 따른 영상데이터베이스부를 개략적으로 나타낸 블럭 구성도이다.
도 5는 본 실시예에 따른 영상의 분할 및 각 분할 영역의 화질별 스트리밍을 제공하는 과정을 개략적으로 설명하기 위한 흐름도이다.
도 6은 본 실시예에 따른 분할 영역별 영상품질을 제어하는 모습을 개략적으로 나타내는 프레임의 일 예이다.
도 7은 본 실시예에 따른 360도 VR 영상이 스트리밍되는 과정의 순서도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
360도 VR 카메라로 촬영된 360도 VR 영상과 일반 카메라로 촬영된 동영상과 비교했을 때 동일한 해상도로 촬영이 되더라도 360도 VR 영상이 크기가 일반 동영상의 크기보다 수 배 더 커질 수밖에 없다. 최근의 기술발전으로 인하여 일반 카메라에서 촬영된 동영상도 FHD(Full High Definition)를 넘어 4K, 8K 심지어 10K 해상도의 촬영이 이루어지고 있고 360 VR 영상에도 이러한 기술이 적용되고 있다. 초고화질 360도 VR 영상을 스트리밍 서비스로 제공하기 위해서는 무선인터넷 환경에서는 5G와 같이 무선 인터넷 기술이 비약적으로 발전하였다고 하더라도 그 전송부하는 전체 네트워크에 큰 부담으로 작용하지 않을 수 없다. 본 발명의 기술적 사상은 초고화질 360도 VR 동영상의 스트리밍 서비스 제공을 위하여 네트워크(Network) 전송부하를 최적화할 수 있는 장치 및 방법을 제공한다.
도 1은 360도 VR 카메라로 촬영된 영상의 스틸 이미지의 일 예이다.
도 1은 무대의 중앙에 설치된 360도 VR(Virtual Reality) 카메라로 촬영된 영상의 스틸 이미지이다. 360도 VR 카메라는 적어도 두 개의 카메라 렌즈가 구비되어 카메라 위치에서 360도 전체에 대한 사진 또는 동영상을 촬영할 수 있는 장치이고, 각 카메라에서 촬영된 동영상에 대하여 타이밍을 맞춰는 싱크 맞추기(Synchronization) 과정을 거쳐 각 카메라로 촬영된 영상의 프레임을 서로 연결하는 스티칭(Stitching) 과정을 거쳐 360도 VR 영상이 제작된다. 360도 VR 영상은 도 1의 예와 같이 영상의 특정한 위치를 기준으로 절단되어 펼쳐진 2차원 형태로 서비스될 수 있다.
도 2는 FOV를 설명하기 위한 예시도이다.
360도 VR 영상을 재생할 수 있는 영상재생기는 사용자가 지정하는 각도 혹은 뷰(View)의 일정한 영역을 화면에 표시한다. 사용자가 관찰하고자 하는 위치 혹은 각도에 의해 특정되는 일정한 영역을 FOV(Field Of View)라 한다. 도 2에서 도시하는 바와 같이 관찰자는 360도 화면 중 시선이 가고 있는 방향의 일정한 영역만을 인식할 수 있으므로, 영상재생기는 이 영역만을 화면에 표시하고 나머지 영상은 화면에 표시할 필요가 없다.
또한 관찰자의 시선이 상하 또는 좌우로 이동함에 따라 이동되는 각도에 대응하는 영상의 영역이 화면에 표시된다. 시선의 이동은 화면이 HMD(Head Mounted Display) 형태의 디스플레이인 경우 HMD가 이동한 거리와 각도를 측정한 값에 의해 결정될 수 있고, 2차원 화면에 영상이 재생되는 경우, 마우스, 터치 등의 디바이스(Device)로부터 이동되는 값을 입력받아 결정될 수도 있을 것이다.
도 3은 본 실시예에 따른 360도 VR 영상 스트리밍 장치를 개략적으로 나타낸 블럭 구성도이다.
360도 VR 영상 스트리밍 장치(100)는 프레임추출부(110), 영상분할부(120), 스트리밍 서버(130), 스트리밍요청 수신부(140), 스트리밍 처리부(150), 영상데이터베이스부(200)를 포함한다. 다만, 360도 VR 영상 스트리밍 장치(100)의 구성요소는 이에 한정되는 것은 아니며 다양한 구성요소를 더 포함할 수 있다.
360도 VR 영상 스트리밍 장치(100)는 하나의 물리적 장치에 모든 구성요소를 포함할 수 있도록 구성될 수 있고, 각 구성요소가 별개의 물리적 장치에 분리되거나 두 개 이상의 구성요소가 하나의 장치에 포함되어 구성될 수 있다.
360도 VR 영상은 360도 VR 카메라에 의해 촬영된 영상을 의미하는 것이나 반드시 360도 VR 카메라에 의해 촬영될 필요는 없으며, 적어도 하나의 카메라에 의해 카메라를 중심으로 360도 방향의 영상이 촬영되고, 각 촬영된 영상이 스티칭(Stitching)된 영상이라면 이에 해당한다.
360도 VR 영상 스트리밍 장치(100)는 360도 VR 카메라로 촬영된 동영상을 업로드(Upload) 받고, 유무선 인터넷을 통하여 고객의 단말기로 스트리밍(Streaming) 서비스를 제공하기 위한 장치이다. 360도 VR 영상 스트리밍 장치(100)는 업로드된 영상을 프레임추출부(110) 및 영상분할부(120)에서 처리하여 영상데이터베이스부(200)에 저장한다.
360도 VR 영상 스트리밍 장치(100)는 유무선 인터넷을 통하여 고객으로부터 360도 VR 영상의 스트리밍 요청을 받으면 영상데이터베이스부(200)에서 네트워크 전송부하를 최적화하기 위하여 FOV(Field Of View) 및 FOV 외의 영역에 따라 화질을 달리하여 스트리밍 서버(130)를 통하여 개인용 컴퓨터(Personal Computer), 스마트폰(Smart Phone), 태블릿(Tablet), HMD를 포함하는 단말기 중 어느 하나이고 영상을 재상할 수 있는 장치 내지 소프트웨어를 구비하고 있는 고객 단말기로 전송하고, 고객 단말기의 영상재생기가 스트리밍된 360도 VR 영상을 재생한다.
360도 VR 영상 스트리밍 장치(100)는 각기 (ⅰ) 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, (ⅱ) 각종 프로그램과 데이터를 저장하기 위한 메모리, (ⅲ) 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다. 적어도 일 실시예에 따르면, 메모리는 램(Random Access Memory: RAM), 롬(Read Only Memory: ROM), 플래시 메모리, 광 디스크, 자기 디스크, 솔리드 스테이트 디스크(Solid State Disk: SSD) 등의 컴퓨터로 판독 가능한 기록/저장매체일 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 명세서에 기재된 동작과 기능을 하나 이상 선택적으로 수행하도록 프로그램될 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 전체 또는 부분적으로 특정한 구성의 주문형반도체(Application Specific Integrated Circuit: ASIC) 등의 하드웨어로써 구현될 수 있다.
프레임추출부(110)는 360도 VR 영상이 업로드되면, 업로드된 동영상은 MPEG4, MPEG2, H.264, MJPEG를 포함하는 다양한 형태의 코덱(Codec) 중 어느 하나에 의해 압축되어 있으며 HD, FHD, 4K, 8K, 10K를 포함하는 다양한 해상도(Resolution) 중 어느 하나의 해상도를 되어 있으므로, 동영상에서 각 프레임(Frame)을 분리하여 기 설정된 일정한 크기에 따라 영상의 영역을 분할할 수 있으며, 각 분할된 영역을 단위영역이라 한다. 각 단위영역은 FOV의 크기에 따라 정해질 수 있다. 각 단위영역에 대응하는 부분의 영상의 화질을 원본영상의 초고화질 영상보다 저화질의 영상으로 변환하여 스트리밍한다면 네트워크 전송부하를 감소할 수 있는 효과가 있다.
프레임추출부(110)가 압축된 동영상에서 압축을 풀어 프레임별로 이미지를 생성할 때, 기 설정된 일정한 시간간격(이하 '단위시간'이라 한다)에 따라 프레임의 집합을 생성하고, 이후 처리 과정에서도 단위시간의 영상에 의해 처리될 수 있도록 할 수 있다. 본 발명의 기술적 사상에 의한 단위시간은 각 동영상의 포맷에 따른 GOP(Group Of Pictures)를 기준으로 설정될 수 있다. GOP는 키 프레임(Key Frame)인 I-Frame(Intra-coded Frame) 및 P-Frame(Predictive-Coded Frame), B-Frame(Bi-Directional Frame)을 포함할 수 있으며, 키 프레임과 키 프레임 사이의 시간을 단위시간으로 설정할 수 있다.
영상분할부(120)는 프레임추출부(110)에 의해 분할된 각 단위영역에 대한 화질을 다르게 하여 스트리밍 할 수 있도록 각 단위영역별 원본의 고화질 또는 저화질의 영상을 생성한다. 이하에서는 영상분할부(120)가 각 단위영역별에 대응되며 단위시간 길이의 영상을 '단위영상'이라 한다. 영상분할부(120)는 원본 영상 및 기 설정된 화질이 종류별로 단위영상을 생성한다. 영상분할부(120)가 위와 같이 단위영상을 생성함으로써 이하에서 설명할 스트리밍 처리부(150)가 스트리밍 영상을 생성할 때 단위영역별로 기 설정된 기준에 의해 다른 화질의 단위영상을 사용하여 스트리밍 영상을 생성할 수 있도록 할 수 있다.
영상분할부(120)는 프레임추출부(110)가 영상을 단위시간에 따라 분리한 프레임의 집합에서 각 프레임에 대하여 기 설정된 화질 종류별로 변환하고, 각 화질별 단위영상을 프레임의 집합을 이용하여 생성한다. 영상분할부(120)가 영상을 분할하는 방법에 관하여는 도 4에서 상세하게 설명하기로 한다.
영상분할부(120)가 변환하는 화질은 360도 VR 영상이 스트리밍되는 네트워크의 전송속도(예를 들어, 2G, 3G. 4G, 5G, Wi-Fi, 유선 인터넷 등)에 따라 달리 선택될 수 있다. 예를 들어 고객 단말기가 2G의 네트워크에 연결되어 있다면, 영상분할부(120)는 네트워크의 전송속도를 고려하여 FOV 영역은 중간화질의 그 외 영역은 최저화질의 영상으로 서비스될 수 있도록 중간화질 및 최저화질의 영상을 생성할 수 있다.
스트리밍 서버(130)는 초고화질 360도 VR 영상의 스트리밍 서비스 요청을 수신하고, 본 발명의 기술적 사상에 따라 영상을 단위영역의 크기에 따라 분할하고 각 분할 영역의 화질을 FOV와 각 단위영역 사이의 거리에 따라 조절하여 생성된 영상을 고객의 단말기로 전송한다. 스트리밍 서버(130)는 HTTP(Hyper Text Transfer Protocol) 서버, RTSP(Real-Time Streaming Protocol), RTMP(Real-Time Messaging Protocol)를 포함하는 다양한 형태의 동영상을 스트리밍할 수 있는 서버 중 어느 하나이다.
스트리밍요청 수신부(140)는 스트리밍 서버(130)에 연결되어 고객의 단말기로부터 360도 VR 영상 요청을 수신한다. 스트리밍요청 수신부(140)는 고객 단말기가 스트리밍 서버(130)에 연결되면 이벤트(Event)가 발생하고, 고객 접속을 제어하기 위한 이벤트 등록과 고객 단말기로부터 제공 받고자 하는 동영상을 특정하기 위한 정보, FOV에 관한 정보를 포함하는 동영상 서비스 제공에 필요한 정보를 수신할 수 있다. 고객은 고객 단말기 또는 고객 단말기의 영상재생기를 조작하여 FOV의 위치를 변경할 수 있고, 고객 단말기는 고객이 변경한 FOV에 관한 정보를 360도 VR 영상 스트리밍 장치(100)로 전송할 수 있다.
스트리밍 처리부(150)는 스트리밍요청 수신부(140)가 수신한 360도 VR 영상의 스트리밍 요청에 대하여, 영상데이터베이스부(200)에서 요청한 동영상을 검색하고, FOV의 위치에 따라 스트리밍으로 제공할 단위영상을 검색하여 스트리밍 영상을 생성하여 고객 단말기로 스트리밍 서버(130)를 거쳐 전송할 수 있다. 또한 스트리밍 처리부(150)는 360도 VR 영상에 대한 스트리밍 전송 중에 FOV의 위치가 변경되는 경우, FOV의 변경된 위치에 대응하는 고화질의 단위영상을 검색하고, 그 외의 영역에 대해서는 중간화질 또는 저화질의 단위영상을 검색하여 이를 스트리밍 영상으로 변환하고 이를 전송할 수 있다. FOV의 위치 변경이 없다면 동일한 위치의 FOV를 기준으로 한 단위시간이 경과한 단위영상을 검색하고 변환하여 전송할 수 있다.
스트리밍 처리부(150)는 FOV 영역의 화질은 원본 영상과 동일한 고화질의 영상을 사용하고, FOV에 근접한 영역은 이보다 낮은 화질의 영상을 사용하며, FOV에서 멀리 있는 영역은 더 낮은 화질의 영상을 사용할 수 있도록 한다. 이를 위하여 FOV 영역에 대해서는 원본 영상 내지 고화질 영상의 단위영상을, FOV 이외의 영역에 대해서는 이보다 낮은 저화질의 단위영상을 결합하여 스트리밍할 영상을 생성한다.
스트리밍 처리부(150)는 FOV 영역은 원본영상 내지 고화질의 단위영상을 검색하고, FOV 외의 영역은 FOV와 단위영역 사이의 거리에 근거하여 스트리밍할 영상의 화질을 판단하고, 판단결과에 대응하는 단위영상을 영상데이터베이스부(200)에서 검색한다. 스트리밍 처리부(150)는 전 영역의 단위영상을 검색한 후 이를 결합하여 스트리밍 영상을 생성한다. 본 실시예에 따른 스트리밍 영상은 고화질의 단위영상과 저화질의 단위영상이 적어도 하나 포함될 수 있다. 스트리밍 처리부(150)는 생성된 스트리밍 영상을 스트리밍 서버(130)를 통해 고객 단말기로 전송한다.
영상데이터베이스부(200)는 영상분할부(120)가 화질별로 생성한 단위영상을 데이터베이스(Database)에 저장한다. 데이터베이스는 파일시스템(File System)의 파일 형태, DBMS(Database Management System)를 포함하는 다양한 형태의 저장 형태 중 어느 하나이다. 영상데이터베이스부(200)의 구성요소에 관한 상세한 설명은 도 4에서 하기로 한다.
영상데이터베이스부(200)는 영상분할영역 저장부(210), 영상품질정보 저장부(220), 영상 저장부(230)를 포함한다. 다만 영상데이터베이스부(200)의 구성요소는 이에 한정되는 것은 아니며 다양한 형태의 구성요소를 더 포함할 수 있다.
영상데이터베이스부(200)는 단위영역의 크기에 따라 단위시간별로 영상의 영역을 분할하여 저장하므로 스트리밍 서비스를 제공하기 위해서는 고객이 스트리밍으로 제공받을 영상을 검색하고, 그 영상이 물리적으로 저장되어 있는 위치를 찾아 이를 스트리밍 처리부(150)로 전달할 수 있어야 한다. 이를 위하여 영상데이터베이스부(200)는 다양한 인덱스(Index) 구조를 포함할 수 있다.
다만, 종래의 영상 스트리밍을 위한 m3u8은 이러한 인덱스 구조 중 하나이며 본 실시예에 따른 동영상의 영역별 화질을 달리하여 제공하기 위해서는 동영상의 영역에 관한 정보를 포함하여 인덱스를 제공하여야 하나 종래의 m3u8은 이러한 기능을 제공하지 못하므로 m3u8에 동영상의 영역에 관한 정보를 포함할 수 있도록 변경되어야 할 것이다.
도 4는 본 실시예에 따른 영상데이터베이스부를 개략적으로 나타낸 블럭 구성도이다.
영상데이터베이스부(200)는 단위영역의 크기에 따라 단위시간별로 분할되는 단위영상이 물리적으로 저장되어 있는 위치까지 찾아가기 위한 인덱스 구조를 포함하고 있다. 이러한 인덱스 구조와 물리적인 저장장치는 영상분할영역 저장부(210), 영상품질정보 저장부(220) 및 영상 저장부(230)에 의해 구성될 수 있다.
영상분할영역 저장부(210)는 영상의 분할정보 및 단위영역에 대한 정보를 포함한다. 360도 VR 영상은 기 설정된 단위영역의 크기에 따라 일정한 크기로 분할될 수 있다. 단위영역은 FOV의 크기에 의해 정해 질 수 있고, FOV의 크기를 기준으로 영상이 분할되므로 영상의 해상도에 따라 화면이 분할되는 영역의 수는 달라질 수 있다. 예를 들어 4K 해상도인 360도 VR 영상의 경우 가로, 세로를 8×8로 정하여 총64개의 영역으로 분할할 수 있을 것이다.
영상분할영역 저장부(210)는 영상이 분할되는 각 영역과 단위시간에 관한 정보를 포함하고 있으며, 하위 레벨(Level)인 영상품질정보 저장부(220)에 관한 정보를 포함하고 있다. 각 영역에 관한 정보는 기준점 정보, 좌표 정보, 각도 정보 중 적어도 하나를 포함한다.
영상품질정보 저장부(220)는 360도 VR 영상을 원본화질 및 기 설정된 각 화질별로 변환하여 영상을 저장한다. 예를 들어, 영상품질정보 저장부(220)가 고화질, 중간화질, 저화질을 포함하는 3가지 품질의 화질을 저장하는 경우, 각 단위시간별 원본 내지 고화질의 영상, 중간화질의 영상, 저화질의 영상에 관한 정보를 포함하고 있으며, 하위 레벨(Level)인 영상 저장부(230)에 관한 정보를 포함하고 있다.
영상 저장부(230)는 360도 VR 영상이 단위영상으로 분리되어 저장되므로 각 단위영상이 실제로 저장되어 있는 위치정보를 포함하고 있다. 영상 저장부(230)는 단위시간으로 분할된 동영상이 파일의 형태로 저장되는 경우, 각 단위시간별 동영상 파일의 경로 정보를 포함한다.
도 5는 본 실시예에 따른 영상의 분할 및 각 분할 영역의 화질별 스트리밍을 제공하는 과정을 개략적으로 설명하는 흐름도이다.
360도 VR 카메라에 의해 촬영된 원본영상은 프레임추출부(110)에 의하여 기 설정된 단위시간별로 프레임의 집합으로 변환된다. 영상분할부(120)는 영상을 기 설정된 일정한 크기의 단위영역으로 분할하고, 각 분할된 단위영역에 대한 영상을 적어도 두 가지 이상의 화질별로 저장한다.
예를 들어 3가지 화질의 영상을 저장하는 경우, 저장될 수 있는 영상은 원본인 초고화질 내지 고화질의 영상, 중간화질의 영상, 저화질의 영상으로 저장될 수 있으며, 원본 영상이 가로 및 세로가 4×4로 분할되는 경우, 총48개(= 가로 4 × 세로 4 × 3가지 화질)의 영상이 단위시간에 따라 단위영상으로 생성된다.
스트리밍 처리부(150)는 고객 단말기 또는 영상재생기로부터 FOV 정보를 전송받아, FOV를 영상분할영역 저장부(210)를 검색하여 분할 영역 중 어느 위치에 해당하는지를 검색하고, FOV에 대응하는 영역은 고화질의 영상을 영상품질정보 저장부(220)를 참조하여 영상 저장부(230)로부터 단위시간으로 저장된 영상을 로딩(Loading)한다.
스트리밍 처리부(150)는 FOV 이외의 영역에 대해서는 FOV와 해당 영역 사이의 거리에 근거하여 스트리밍될 화질을 판단하고, 판단된 화질의 영상을 영상품질정보 저장부(220)를 참조하여 영상 저장부(230)로부터 단위시간별로 저장된 영상을 로딩한다.
스트리밍 처리부(150)는 FOV 영역에 대응하는 영상과 그 외 영역에 대하여 FOV와의 거리에 근거한 화질의 영상을 결합하여 스트리밍 서버(130)를 통해 고객의 단말기로 전송한다.
고객의 단말기에서 실행되는 영상재생기는 360도 VR 영상 스트리밍 장치(100)로부터 전송받은 스트리밍 영상을 FOV 영역의 초고화질 영상이 고객 단말기의 화면에 디스플레이되도록 재생한다. 영상이 재생되는 동안 고객이 FOV를 변경하는 경우, FOV 정보를 360도 VR 영상 스트리밍 장치(100)로 전송하고 변경된 FOV의 영상의 영상을 재생한다. 영상 재생기가 변경된 FOV의 고화질 영상을 전송받기 전까지 영상 재생기는 기 전송된 저화질의 영상을 재생하고, 고화질 영상을 전송받은 이후부터는 고화질 영상이 재생된다.
다만, 스트리밍 처리부(150)는 각 단위영역별로 본 발명의 기술적 사상에 따른 단위영상을 검색하여 로딩하고 결합하여 고객 단말기로 전송할 수 있으나, 단위영상을 결합하는 과정이 반드시 스트리밍 처리부(150)를 포함하는 서버에서 이루어질 필요는 없으며 이는 고객 단말기의 영상재생기에서 처리하는 것도 가능하다.
도 6은 본 실시예에 따른 분할 영역별 영상품질을 제어하는 모습을 개략적으로 나타내는 프레임의 일 예이다.
도 6은 306도 VR 영상을 64개의 영역으로 분할하고 각 분할 영역별로 FOV영상의 품질을 FOV와 각 영역의 거리에 따라 3가지 품질의 영상 중 어느 하나의 영상을 전송하고 이를 고객 단말기의 영상재생기에서 재상하는 모습을 나타낸 화면의 일 예이다. 도 6은 (A), (B), (C) 및 (D) 영역으로 구분되어 있고, (A) 영역은 FOV 영역으로 고화질의 영상이 전송되며, (B) 영역은 FOV 영역에 인접한 영역으로 중간화질의 영상이 전송되고, (C) 영역은 (B) 영역을 인접하여 둘러싸고 있는 영역으로 저화질의 영상이 전송된다. (D) 영역은 (A) 내지 (C) 영역을 제외한 나머지 영역으로 FOV와의 거리가 다른 영역보다 더 멀리 떨어져 있어 고객이 (D) 영역 부분의 영상을 재상시키기 위해서는 시간적 간격이 필요할 수 있다. (D) 영역의 위와 같은 특성에 따라 (D) 영역은 저화질의 영상이 제공되거나 (D) 영역과 같이 FOV 영역과 기 설정된 일정한 거리 이상의 단위 영역의 영상에 대해서는 네트워크 전송부하, 단말기의 성능, 스트리밍 서버의 부하 및 성능에 따라 전송하지 않을 수 있다.
다만 (A) 내지 (D)와 같은 영역의 분할은 FOV의 거리에 의해 결정되나 반드시 앞에서 설명한 FOV와의 거리에 한정되는 것은 아니며 각 영역을 구분하는 기준이되는 FOV와의 거리는 달리 정할 수 있다. 또한 분할되는 각 영역의 수가 위와 같이 (A) 내지 (D)의 4가지 형태로 한정되는 것은 아니며 네트워크 전송속도, 고객 단말기의 성능, 스트리밍 서버의 부하 및 성능에 따라 달리 정할 수 있다.
도 7는 본 실시예에 따른 360도 VR 영상이 스트리밍되는 과정의 순서도이다.
스트리밍 서버(130)가 고객 단말기로부터 360도 VR 영상에 대한 요청을 수신한다(S510). 고객 단말기는 단말기에서 스트리밍을 통하여 재생하고자 하는 영상에 대한 정보 및 FOV에 관한 정보를 스트리밍 서버(130)에 전송한다. FOV 정보는 360도 VR 카메라로 촬영된 영상에서 기 설정된 기준으로부터 각도, 좌표, 픽셀(Pixel), 거리 정보 중 적어도 하나를 포함한다.
스트리밍 요청을 수신한 스트리밍 서버(130)는 고객 단말기가 전송한 FOV 정보를 포함한 스트리밍을 제공하기 위한 정보를 스트리밍요청 수신부(140)로 전달한다(S520). 스트리밍요청 수신부(140)는 요청이 수신될 때마다 이벤트를 발생시켜 스트리밍 전송이 종료될 때까지 유지되도록 할 수 있다. 스트리밍 서버(130) 및 스트리밍요청 수신부(140)는 동시에 다수의 고객 단말기로부터 스트리밍 요청을 동시에 수신할 수 있다.
스트리밍요청 수신부(140)는 영상 정보, FOV 정보를 포함하는 스트리밍에 필요한 정보를 스트리밍 처리부(150)에 전달하고, 스트리밍 처리부(150)는 FOV에 대응하는 영상의 영역에 대한 고화질 영상을 영상데이터베이스부(200)에서 검색한다(S530). 또한 스트리밍 처리부(150)는 FOV 외의 영역에 대한 영상을 FOV와 해당하는 영역 사이의 거리에 근거하여 스트리밍 영상의 화질을 판단하고, 그 판단 결과에 근거하여 해당하는 영역의 단위영상을 영상데이터베이스부(200)에서 검색한다(S540).
스트리밍 처리부(150)는 검색한 FOV 및 FOV 이 외의 각 단위영역에 대응하는 각 단위영상을 결합하여 스트리밍 영상을 생성하고 이를 스트리밍 서버(130)를 통해 고객 단말기로 전송한다(S550). 스트리밍 처리부(140)는 위와 같은 과정을 통해 단위시간에 해당하는 네트워크 전송부하를 최적화한 동영상을 스트리밍한 후 동일한 과정으로 다음 순서의 단위영상을 생성하여 전송하는 과정을 반복한다.
전술한 바와 같이 도 6에 기재된 본 실시예에 따른 360도 VR 영상을 스트리밍하는 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 360도 VR 영상을 스트리밍하는 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 360도 VR 영상 스트리밍 장치
110 프레임추출부 120 영상분할부
130 스트리밍서버 140 스트리밍요청 수신부
150 스트리밍 처리부
200 영상데이터베이스부
210 영상분할영역 저장부 220 영상품질정보 저장부
230 영상저장부

Claims (11)

  1. 360도 VR 영상을 기 설정된 시간 간격인 단위시간 길이의 적어도 하나의 단위영상으로 분할하고, 상기 단위영상으로부터 적어도 하나의 프레임을 추출하는 프레임추출부;
    상기 프레임을 이용하여 고화질인 상기 VR 영상보다 저화질의 영상을 적어도 하나 생성하는 영상분할부;
    상기 VR 영상 및 상기 저화질의 영상을 저장하고 검색할 수 있는 영상데이터베이스부;
    고객의 단말기로부터 스트리밍할 영상정보를 포함하는 스트리밍요청을 수신하는 스트리밍요청 수신부; 및
    상기 스트리밍요청에 대응하는 영상에 대한 고화질 및 저화질 단위영상을 상기 영상데이터베이스부에서 검색하여 고화질 및 적어도 하나의 저화질의 단위영상을 포함하는 영상을 생성하여 전송하는 것을 스트리밍 처리부
    를 포함하되, 상기 스트리밍 처리부는 각 분할 영역별로 FOV영상의 품질을 FOV와 각 영역의 거리에 따라 고화질 영상, 중간화질 영상, 저화질 영상 중 어느 하나의 영상을 전송하되, 상기 단위영상 중 FOV 영역에 상기 고화질 영상을 전송하며, 상기 단위영상 중 상기 FOV 영역에 인접한 인접영역에 상기 중간화질 영상을 전송하고, 상기 인접영역을 인접하여 둘러싸고 있는 주변영역으로 상기 저화질 영상을 전송하며, 상기 단위영상 중 상기 FOV 영역, 상기 인접 영역, 상기 주변영역을 제외한 나머지 영역의 영상을 재상시키기 위한 시간적 간격을 가지며, 상기 나머지 영역에 상기 저화질 영상을 전송하거나 상기 나머지 영역 중 상기 FOV 영역과 기 설정된 일정한 거리 이상의 단위 영역에 대해서 네트워크 전송부하, 단말기의 성능, 스트리밍 부하 및 성능에 근거하여 영상을 미전송하는 것을 특징으로 하는 360도 VR 영상 스트리밍 장치.
  2. 제 1 항에 있어서,
    상기 영상분할부는,
    상기 프레임을 적어도 하나의 단위영역으로 분할하고, 각 단위영역별 단위영상을 생성하는 것을 특징으로 하는 360도 VR 영상 스트리밍 장치.
  3. 제 2 항에 있어서,
    상기 단위영역은 FOV(Field Of View)의 크기에 의해 정해지는 것을 특징으로하는 360도 VR 영상 스트리밍 장치.
  4. 제 1 항에 있어서,
    상기 영상데이터베이스부는,
    상기 VR 영상이 분할되는 단위영역의 수, 분할영역 정보를 저장하는 영상분할영역 저장부;
    각 화질별 영상의 수, 각 화질별 영상이 저장되는 영상화질 정보를 저장하는 영상품질정보 저장부; 및
    각 화질의 단위영상을 저장하는 영상 저장부
    를 포함하는 것을 특징으로 하는 360도 VR 영상 스트리밍 장치.
  5. 제 1 항에 있어서,
    상기 스트리밍할 영상정보는 FOV 정보를 포함하는 것을 특징으로 하는 360도 VR 영상 스트리밍 장치.
  6. 제 1 항에 있어서,
    상기 스트리밍 처리부는,
    상기 스트리밍요청에 대응하는 영상에 대하여 각 화질에서 단위영상을 검색하고 이를 결합한 영상을 생성하여 전송하는 것을 특징으로 하는 360도 VR 영상 스트리밍 장치.
  7. 제 1 항에 있어서,
    상기 스트리밍 처리부는,
    FOV 영역은 고화질 영상으로, FOV 이 외의 영역은 FOV 영역과 해당 영역 사이의 거리에 근거하여 화질을 달리하여 생성하는 것을 특징으로 하는 360도 VR 영상 스트리밍 장치.
  8. 제 7 항에 있어서,
    상기 스트리밍 처리부는
    상기 FOV 영역과 기 설정된 거리 이상의 단위 영역의 영상은 전송하지 않는 것을 특징으로 하는 360도 VR 영상 스트리밍 장치.
  9. 제 1 항에 있어서,
    상기 스트리밍 처리부는
    상기 고객 단말기와의 사이에 네트워크의 부하에 근거하여 전송되는 화질을 조절할 수 있는 것을 특징으로 하는 360도 VR 영상 스트리밍 장치.
  10. 제 1 항에 있어서,
    상기 고객 단말기와 사이에 상기 VR 영상 스트리밍을 위하여 HTTP 서버, RTSP, RTMP 중 어느 하나가 더 추가되는 것을 특징으로 하는 360도 VR 영상 스트리밍 장치.
  11. 360도 VR 영상의 스트리밍 방법에 있어서,
    상기 VR 영상을 업로드 받는 과정;
    상기 VR 영상을 기 설정된 일정한 시간간격인 단위시간 길이의 단위영상으로 분리하고, 상기 단위영상으로부터 프레임을 분리하는 과정;
    상기 프레임을 기 설정된 일정한 크기의 단위영역으로 분할하는 과정;
    상기 단위영역에 대하여 적어도 하나의 기 설정된 화질별 단위영상을 생성하는 과정; 및
    상기 VR 영상 및 상기 화질별 단위영상을 저장하는 과정
    고객 단말기로부터 FOV 정보를 포함하는 스트리밍 요청을 수신하는 과정;
    상기 FOV 정보에 대응하는 영역과 상기 FOV 정보 이외의 영역에 대한 각 단위영상을 검색하여 이를 이용하여 스트리밍 영상을 생성하는 과정;
    상기 스트리밍 영상을 고객 단말기로 전송하는 과정
    을 포함하되, 상기 스트리밍 영상을 고객 단말기로 전송할 때, 각 분할 영역별로 FOV영상의 품질을 FOV와 각 영역의 거리에 따라 고화질 영상, 중간화질 영상, 저화질 영상 중 어느 하나의 영상을 전송하되, 상기 단위영상 중 FOV 영역에 상기 고화질 영상을 전송하며, 상기 단위영상 중 상기 FOV 영역에 인접한 인접영역에 상기 중간화질 영상을 전송하고, 상기 인접영역을 인접하여 둘러싸고 있는 주변영역으로 상기 저화질 영상을 전송하며, 상기 단위영상 중 상기 FOV 영역, 상기 인접 영역, 상기 주변영역을 제외한 나머지 영역의 영상을 재상시키기 위한 시간적 간격을 가지며, 상기 나머지 영역에 상기 저화질 영상을 전송하거나 상기 나머지 영역 중 상기 FOV 영역과 기 설정된 일정한 거리 이상의 단위 영역에 대해서 네트워크 전송부하, 단말기의 성능, 스트리밍 부하 및 성능에 근거하여 영상을 미전송하는 것을 특징으로 하는 360도 VR 영상을 스트리밍하는 방법.
KR1020170140418A 2017-10-26 2017-10-26 고화질 동영상의 스트리밍 전송 장치 및 방법 KR101964126B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170140418A KR101964126B1 (ko) 2017-10-26 2017-10-26 고화질 동영상의 스트리밍 전송 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170140418A KR101964126B1 (ko) 2017-10-26 2017-10-26 고화질 동영상의 스트리밍 전송 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101964126B1 true KR101964126B1 (ko) 2019-04-01

Family

ID=66104629

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170140418A KR101964126B1 (ko) 2017-10-26 2017-10-26 고화질 동영상의 스트리밍 전송 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101964126B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102213618B1 (ko) * 2020-09-03 2021-02-09 주식회사 웨인힐스벤처스 인공지능을 이용하여 사용자의 음성 데이터에 적합한 멀티미디어를 자동으로 생성하는 멀티미디어 자동 생성 시스템
CN112565766A (zh) * 2020-11-11 2021-03-26 航天银山电气有限公司 视频传输方法、装置及存储介质
KR102321400B1 (ko) * 2021-04-23 2021-11-02 주식회사 아파트엔 사용자 가시권 체험 환경 시스템
KR20220146801A (ko) * 2021-04-26 2022-11-02 네이버 주식회사 싱글 스트림을 이용하여 관심 영역 고화질 영상을 제공하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
KR20230035780A (ko) * 2021-09-06 2023-03-14 주식회사 슈퍼빅 확장현실을 기반으로 하는 컨텐츠 동영상 제작 시스템
KR20230091285A (ko) 2021-12-16 2023-06-23 주식회사 랩241 동영상의 복수의 선택 영역 확대 시스템 및 방법
WO2024063253A1 (ko) * 2022-09-23 2024-03-28 삼성전자주식회사 카메라로부터 획득한 이미지 내에 포함된 복수의 영역들 각각의 해상도들을 제어하기 위한 전자 장치 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020070015A (ko) * 2001-02-28 2002-09-05 김남국 상하좌우 360도 파노라믹 또는 구면 동영상 압축 및전송을 위한 방법 및 장치
KR20140041256A (ko) * 2012-09-27 2014-04-04 배재대학교 산학협력단 Ｈｔｔｐ에 기초한 동적 적응적 스트리밍 시스템
JP2016105593A (ja) * 2014-11-26 2016-06-09 ソニー株式会社 ライブ選択的適応帯域幅

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020070015A (ko) * 2001-02-28 2002-09-05 김남국 상하좌우 360도 파노라믹 또는 구면 동영상 압축 및전송을 위한 방법 및 장치
KR20140041256A (ko) * 2012-09-27 2014-04-04 배재대학교 산학협력단 Ｈｔｔｐ에 기초한 동적 적응적 스트리밍 시스템
JP2016105593A (ja) * 2014-11-26 2016-06-09 ソニー株式会社 ライブ選択的適応帯域幅

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102213618B1 (ko) * 2020-09-03 2021-02-09 주식회사 웨인힐스벤처스 인공지능을 이용하여 사용자의 음성 데이터에 적합한 멀티미디어를 자동으로 생성하는 멀티미디어 자동 생성 시스템
WO2022050632A1 (ko) * 2020-09-03 2022-03-10 주식회사 웨인힐스벤처스 인공지능을 이용하여 사용자의 음성 데이터에 적합한 멀티미디어를 자동으로 생성하는 멀티미디어 자동 생성 시스템
CN112565766A (zh) * 2020-11-11 2021-03-26 航天银山电气有限公司 视频传输方法、装置及存储介质
KR102321400B1 (ko) * 2021-04-23 2021-11-02 주식회사 아파트엔 사용자 가시권 체험 환경 시스템
KR20220146801A (ko) * 2021-04-26 2022-11-02 네이버 주식회사 싱글 스트림을 이용하여 관심 영역 고화질 영상을 제공하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
WO2022231267A1 (ko) * 2021-04-26 2022-11-03 네이버 주식회사 싱글 스트림을 이용하여 관심 영역 고화질 영상을 제공하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
KR102516831B1 (ko) * 2021-04-26 2023-03-31 네이버 주식회사 싱글 스트림을 이용하여 관심 영역 고화질 영상을 제공하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
KR20230035780A (ko) * 2021-09-06 2023-03-14 주식회사 슈퍼빅 확장현실을 기반으로 하는 컨텐츠 동영상 제작 시스템
KR102587078B1 (ko) 2021-09-06 2023-10-10 주식회사 슈퍼빅 확장현실을 기반으로 하는 컨텐츠 동영상 제작 시스템
KR20230091285A (ko) 2021-12-16 2023-06-23 주식회사 랩241 동영상의 복수의 선택 영역 확대 시스템 및 방법
KR102571349B1 (ko) 2021-12-16 2023-08-29 주식회사 랩241 동영상의 복수의 선택 영역 확대 시스템 및 방법
WO2024063253A1 (ko) * 2022-09-23 2024-03-28 삼성전자주식회사 카메라로부터 획득한 이미지 내에 포함된 복수의 영역들 각각의 해상도들을 제어하기 위한 전자 장치 및 그 방법

Similar Documents

Publication Publication Date Title
KR101964126B1 (ko) 고화질 동영상의 스트리밍 전송 장치 및 방법
US11381739B2 (en) Panoramic virtual reality framework providing a dynamic user experience
EP3459252B1 (en) Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
CN109565580B (zh) 信息处理设备、图像生成方法、控制方法和程序
US20180204381A1 (en) Image processing apparatus for generating virtual viewpoint image and method therefor
US10567765B2 (en) Streaming multiple encodings with virtual stream identifiers
CN109565582B (zh) 控制装置及其控制方法和计算机可读存储介质
US12003887B2 (en) Image encoding method, image encoder and image transmission system
US20150208103A1 (en) System and Method for Enabling User Control of Live Video Stream(s)
CN113938579A (zh) 信息处理设备及其控制方法和计算机可读存储介质
WO2012039404A1 (ja) 映像ビットストリームの伝送システム
US20090290645A1 (en) System and Method for Using Coded Data From a Video Source to Compress a Media Signal
KR102511407B1 (ko) 영상 배포 장치, 영상 배포 시스템, 영상 배포 방법 및 영상 배포 프로그램
JPWO2013132828A1 (ja) 通信システムおよび中継装置
KR101528863B1 (ko) 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법
CA3057924A1 (en) System and method to optimize the size of a video recording or video transmission by identifying and recording a region of interest in a higher definition than the rest of the image that is saved or transmitted in a lower definition format
CN111542862A (zh) 用于处理和分发直播虚拟现实内容的方法和设备
KR102022421B1 (ko) Vr 영상 스트리밍 방법 및 장치
JP2017123503A (ja) 映像配信装置、映像配信方法及びコンピュータプログラム
JP2020524450A (ja) 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置
EP3192250B1 (en) Image processing apparatus and image processing method
US20230162435A1 (en) Information processing apparatus, information processing method, and storage medium
US10104142B2 (en) Data processing device, data processing method, program, recording medium, and data processing system
US11706375B2 (en) Apparatus and system for virtual camera configuration and selection
US20200234500A1 (en) Method, device and computer program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant