KR102178111B1 - 영상 스트리밍 서비스 제공 장치 및 방법 - Google Patents

영상 스트리밍 서비스 제공 장치 및 방법 Download PDF

Info

Publication number
KR102178111B1
KR102178111B1 KR1020190048343A KR20190048343A KR102178111B1 KR 102178111 B1 KR102178111 B1 KR 102178111B1 KR 1020190048343 A KR1020190048343 A KR 1020190048343A KR 20190048343 A KR20190048343 A KR 20190048343A KR 102178111 B1 KR102178111 B1 KR 102178111B1
Authority
KR
South Korea
Prior art keywords
viewport
resolution
tiles
image
tile
Prior art date
Application number
KR1020190048343A
Other languages
English (en)
Other versions
KR20200124906A (ko
Inventor
김철환
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020190048343A priority Critical patent/KR102178111B1/ko
Publication of KR20200124906A publication Critical patent/KR20200124906A/ko
Application granted granted Critical
Publication of KR102178111B1 publication Critical patent/KR102178111B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23103—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion using load balancing strategies, e.g. by placing or distributing content on different disks, different memories or different servers

Abstract

뷰포트(viewport)의 확대, 축소 및 이동에 따라 최적화된 고화질 영상을 전송할 수 있는 영상 스트리밍 서비스 제공 장치 및 방법에 관한 것으로, 영상 스트리밍 요청을 수신하는 통신부와, 다수의 타일로 분할된 영상을 화질별로 분류하여 저장하는 저장부와, 통신부 및 저장부를 제어하는 제어부를 포함하고, 제어부는, 영상 스트리밍 요청을 수신하면 제1 화질의 해상도를 갖는 영상을 전송하도록 통신부를 제어하고, 제1 화질의 해상도를 갖는 영상에 상응하는 뷰포트(viewport) 정보가 수신되면 뷰포트 정보로부터 뷰포트가 가변되는지를 판단하며, 뷰포트가 가변되면 가변된 뷰포트에 상응하는 영상 타일의 개수를 산출하고, 저장부로부터 제1 화질의 해상도보다 더 높은 제2 화질의 해상도를 갖는 영상의 타일들을 산출된 개수만큼 추출하며, 추출된 제2 화질의 해상도를 갖는 영상의 타일들이 뷰포트에 합성되도록 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송하도록 통신부를 제어할 수 있다.

Description

영상 스트리밍 서비스 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING VIDEO STREAMING SERVICE}
본 발명은 영상 스트리밍 서비스 제공 장치에 관한 것으로, 보다 상세하게는 뷰포트(viewport)의 확대, 축소 및 이동에 따라 최적화된 고화질 영상을 전송할 수 있는 영상 스트리밍 서비스 제공 장치 및 방법에 관한 것이다.
최근, 고성능 스마트폰의 보급으로 인하여 4K 해상도 촬영이 일반화 되었으며, 8K, 10K 해상도 등의 초고화질 동영상 서비스를 제공하는 초대용량 시스템이 등장하고 있다.
이러한, 고화질 동영상 서비스는, 5G와 같은 이동 통신 기술의 발전으로 더욱 가속화되고 있는 추세이다.
특히, 일반 미디어보다 8배 이상 데이터양이 많은 VR(Virtual Reality) 영상은, 비디오서버 및 영상재생기 플랫폼의 성능 향상이 요구되고 있다.
그리고, 5G와 같은 고도화된 네트워크 환경에서는, 기존 이동통신에서 제한되었던 무선 전송 용량의 양적 증대와 함께 저지연, 고신뢰 기술이 등장하여 단순한 시청 위주의 비디오 서비스보다 다양한 형태의 서비스가 출현할 것으로 예상된다.
하지만, 이처럼 5G와 같이 무선통신 기술이 비약적으로 발전한다 하더라도 4K 이상의 초대용량 미디어 파일의 전송이 다수 발생한다면, 전체 네트워크의 부하는, 급격하게 증가되어 원활한 서비스 제공이 어려운 문제가 발생할 수 있다.
또한, 4K 이상의 초대용량 미디어 파일이 전송되어도 저사양 단말에서는, 디코딩 및 랜더링이 불가하므로, 고화질 영상 서비스가 일부 고사양 단말에만 제한적으로 제공할 수 밖에 없는 문제가 있었다.
따라서, 4K 해상도 이상의 고화질 영상을 원할하게 전송하면서도 저사양 단말에서도 재생할 수 있는 최적화된 고화질 영상을 전송할 수 있는 영상 스트리밍 서비스 제공 장치의 개발이 요구되고 있다.
본 발명은, 뷰포트(viewport)의 확대, 축소 및 이동에 따라 화질별 영상의 타일을 조합하여 최적화된 고화질 영상을 전송함으로써, 고화질 영상의 전송이 원할하면서도 저사양 단말에서도 재생이 가능한 최적화된 고화질 영상을 전송할 수 있는 영상 스트리밍 서비스 제공 장치 및 방법에 관한 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 영상 스트리밍 서비스 제공 장치는, 영상 스트리밍 요청을 수신하는 통신부와, 다수의 타일로 분할된 영상을 화질별로 분류하여 저장하는 저장부와, 통신부 및 저장부를 제어하는 제어부를 포함하고, 제어부는, 영상 스트리밍 요청을 수신하면 제1 화질의 해상도를 갖는 영상을 전송하도록 통신부를 제어하고, 제1 화질의 해상도를 갖는 영상에 상응하는 뷰포트(viewport) 정보가 수신되면 뷰포트 정보로부터 뷰포트가 가변되는지를 판단하며, 뷰포트가 가변되면 가변된 뷰포트에 상응하는 영상 타일의 개수를 산출하고, 저장부로부터 제1 화질의 해상도보다 더 높은 제2 화질의 해상도를 갖는 영상의 타일들을 산출된 개수만큼 추출하며, 추출된 제2 화질의 해상도를 갖는 영상의 타일들이 뷰포트에 합성되도록 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송하도록 통신부를 제어할 수 있다.
한편, 본 발명의 일 실시예에 따른 영상 스트리밍 서비스 제공 장치의 영상 스트리밍 서비스 제공 방법은, 고객 단말로부터 영상 스트리밍 요청을 수신하는 단계와, 고객 단말로 영상 스트리밍 요청에 상응하는 제1 화질의 해상도를 갖는 영상을 전송하는 단계와, 고객 단말로부터 제1 화질의 해상도를 갖는 영상에 상응하는 뷰포트(viewport) 정보를 수신하는 단계와, 뷰포트 정보로부터 뷰포트가 가변되는지를 판단하는 단계와, 뷰포트가 가변되면 가변된 뷰포트에 상응하는 영상 타일의 개수를 산출하여 제1 화질의 해상도보다 더 높은 제2 화질의 해상도를 갖는 영상의 타일들을 산출된 개수만큼 추출하는 단계와, 고객 단말로 추출된 제2 화질의 해상도를 갖는 영상의 타일들이 뷰포트에 합성되도록 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송하는 단계를 포함할 수 있다.
한편, 본 발명의 일 실시예는, 상기 영상 스트리밍 서비스 제공 방법들 중 어느 하나의 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램 및 상기 프로그램이 기록된 기록매체를 더 제공할 수도 있다.
상기와 같이 구성되는 본 발명의 적어도 하나의 실시예에 관련된 영상 스트리밍 서비스 제공 장치 및 방법은, 뷰포트(viewport)의 확대, 축소 및 이동에 따라 화질별 영상의 타일을 조합하여 최적화된 고화질 영상을 전송함으로써, 고화질 영상의 전송이 원할하면서도 저사양 단말에서도 재생이 가능한 최적화된 고화질 영상을 전송할 수 있는 효과를 제공한다.
또한, 본 발명은, 고화질 영상의 특정 영역을 확대하여 시청하고자 할 경우, 화면에 보이는 영역과 화면 밖 보이지 않는 영역의 화질을 구분하여 스트리밍함으로써, 전체 전송 대역폭을 줄일 수 있는 효과를 제공한다.
그리고, 4K 이상의 고화질 컨텐츠는, 저사양 단말에서 디코딩/랜더링이 불가하지만, 본 발명은, 저 사양 단말에서도 단말 스크린 해상도에 맞는 최적화된 영상을 서버로부터 전송 받을 수 있으며, 고화질 컨텐츠를 전송하기 위한 네트워크 대역폭을 절감할 수 있는 효과를 제공한다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 영상 스트리밍 서비스 시스템을 개략적으로 보여주는 도면이다.
도 2는 본 발명에 따른 영상 스트리밍 서비스 제공 장치를 설명하기 위한 블럭 구성도이다.
도 3은 도 2의 제어부를 상세히 설명하기 위한 블럭 구성도이다.
도 4는 원본 영상을 다수의 타일로 분할하는 과정을 설명하기 위한 도면이다.
도 5는 타일 크기별로 영상을 분류하는 과정을 설명하기 위한 도면이다.
도 6은 타일 화질별로 영상을 분류하는 과정을 설명하기 위한 도면이다.
도 7은 뷰포트에 화질별로 타일을 조합하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명에 따른 영상 스트리밍 서비스 제공 방법을 설명하기 위한 흐름도이다.
이하, 본 발명의 실시예들이 적용되는 장치 및 다양한 방법들에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
실시예의 설명에 있어서, 각 구성 요소의 " 상(위) 또는 하(아래)", “전(앞) 또는 후(뒤)”에 형성되는 것으로 기재되는 경우에 있어, “상(위) 또는 하(아래)” 및“전(앞) 또는 후(뒤)”는 두 개의 구성 요소들이 서로 직접 접촉되거나 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 배치되어 형성되는 것을 모두 포함한다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성 요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
그리고 본 발명을 설명함에 있어서 관련된 공지기술에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도 1은 본 발명에 따른 영상 스트리밍 서비스 시스템을 개략적으로 보여주는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 영상 스트리밍 서비스 시스템은, 적어도 하나의 고객 단말(100)과, 고객 단말(100)에 네트워크를 통해 통신 연결되는 영상 스트리밍 서비스 제공 장치(200)를 포함할 수 있다.
여기서, 고객 단말(100)은, PC(Personal Computer), 네트워크 TV(Network TV), HBBTV(Hybrid Broadcast Broadband TV), 스마트 TV(Smart TV), IPTV(Internet Protocol TV) 등과 같은 고정형 디바이스(standing device)와, 스마트 폰(Smart Phone), 태블릿 PC(Tablet PC), 노트북(Notebook), PDA(Personal Digital Assistant) 등과 같은 모바일 디바이스(mobile device or handheld device)가 모두 포함될 수 있다.
그리고, 고객 단말(100)과 영상 스트리밍 서비스 제공 장치(200) 사이를 통신 연결하는 네트워크는, 유/무선 네트워크를 모두 포함하는데, 고객 단말(100)과 영상 스트리밍 서비스 제공 장치(200) 사이 또는 영상 스트리밍 서비스 제공 장치(200)와 외부 서버 사이에서 페어링 또는/및 데이터 송수신을 위해 다양한 통신 규격 내지 프로토콜을 지원하는 통신 네트워크를 통칭한다.
이러한 유/무선 네트워크는, 규격에 의해 현재 또는 향후 지원될 통신 네트워크를 모두 포함하며, 그를 위한 하나 또는 그 이상의 통신 프로토콜들을 모두 지원 가능하다.
이러한 유/무선 네트워크에는 예컨대, USB(Universal Serial Bus), CVBS(Composite Video Banking Sync), 컴포넌트(Component), S-비디오(아날로그), DVI(Digital Visual Interface), HDMI(High Definition Multimedia Interface), RGB, D-SUB와 같은 유선 연결을 위한 네트워크와 그를 위한 통신 규격 내지 프로토콜과, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA: infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), DLNA(Digital Living Network Alliance), WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), LTE/LTE-A(Long Term Evolution/LTE-Advanced), Wi-Fi 다이렉트(direct)와 같은 무선 연결을 위한 네트워크와 그를 위한 통신 규격 내지 프로토콜에 의하여 형성될 수 있다.
그리고, 영상 스트리밍 서비스 제공 장치(200)는, 서버로도 구현이 가능하며, 이하 본 발명에서 설명하는 모든 구성 요소들은, 서버에서 모두 구현이 가능하다.
여기서, 영상 스트리밍 서비스 제공 장치(200)는, 고객 단말(100)로부터 영상 스트리밍 요청을 수신하면 소정 해상도를 갖는 원본 영상을 전송할 수 있다.
이어, 영상 스트리밍 서비스 제공 장치(200)는, 고객 단말(100)로부터 원본 영상에 상응하는 뷰포트(viewport) 정보가 수신되면 뷰포트 정보로부터 뷰포트가 가변되는지를 판단하고, 뷰포트가 가변되면 가변된 뷰포트에 상응하는 영상 타일의 개수를 산출하여 원본 영상의 해상도보다 더 높은 고해상도를 갖는 영상의 타일들을 산출된 개수만큼 추출한 다음, 추출된 고해상도를 갖는 영상의 타일들이 뷰포트에 합성되도록 고화질의 영상 타일들이 조합된 영상 데이터를 고객 단말(100)로 전송할 수 있다.
따라서, 본 발명은, 뷰포트의 확대 및 축소 등과 같이 뷰포트의 변화에 따라 전송되는 고화질의 영상 타일의 개수가 실시간으로 가변될 수 있다.
일 예로, 영상 스트리밍 서비스 제공 장치(200)는, 고화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 가변된 뷰포트 영역 내부에 고화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 갖는 타일을 배치하고 가변된 뷰포트 영역의 경계에 제1 해상도를 갖는 타일 또는 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 배치하며 가변된 뷰포트 영역 주변에 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 배치하도록 조합한 다음, 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송할 수 있다.
고객 단말(100)은, 영상 데이터를 수신하면 각 타일의 식별 번호를 토대로 뷰포트 영역에 고화질 타일들을 합성하여 재생함으로써, 저화질로 전송된 원본 영상 위에 다양한 해상도를 갖는 고화질의 타일들을 뷰포트 영역에 합성하여 재생할 수 있다.
다른 예로, 영상 스트리밍 서비스 제공 장치(200)는, 고화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 뷰포트가 확대되면 확대된 뷰포트 영역 내부에 고화질의 해상도를 갖는 타일들 중 가장 큰 제1 크기를 갖는 타일을 배치하고 확대된 뷰포트 영역의 경계에 제1 크기를 갖는 타일 또는 제1 크기보다 더 작은 제2 크기를 갖는 타일을 배치하며 확대된 뷰포트 영역 주변에 상기 제1 크기보다 더 작은 제2 크기를 갖는 타일을 배치하도록 조합한 다음, 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송할 수도 있다.
또 다른 예로, 영상 스트리밍 서비스 제공 장치(200)는, 고화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 뷰포트가 축소되면 축소된 뷰포트 영역 내부에 고화질의 해상도를 갖는 타일들 중 가장 작은 제3 크기를 갖는 타일을 배치하고 축소된 뷰포트 영역의 경계에 위치하면 제3 크기를 갖는 타일 또는 제3 크기보다 더 큰 제4 크기를 갖는 타일을 배치하며 축소된 뷰포트 영역 주변에 상기 제3 크기보다 더 작은 제4 크기를 갖는 타일을 배치하도록 조합한 다음, 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송할 수도 있다.
또 다른 예로, 영상 스트리밍 서비스 제공 장치(200)는, 고화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 뷰포트가 주밍(zooming) 없이 이동되면 주밍 없이 이동된 뷰포트 영역 내부에 고화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 갖는 타일을 배치하고 주밍 없이 이동된 뷰포트 영역의 경계에 제1 해상도를 갖는 타일 또는 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 배치하며 주밍 없이 이동된 뷰포트 영역 주변에 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 배치하도록 조합한 다음, 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송할 수도 있다.
또 다른 예로, 영상 스트리밍 서비스 제공 장치(200)는, 고화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 뷰포트가 확대 및 이동되면 확대 및 이동된 뷰포트 영역 내부에 고화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 가지면서 동시에 가장 큰 제1 크기를 갖는 타일을 배치하고 확대 및 이동된 뷰포트 영역의 경계에 위치하면 제1 해상도를 가지면서 동시에 가장 큰 제1 크기를 갖는 타일 또는 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 제1 크기보다 더 작은 제2 크기를 갖는 타일을 배치하며 확대 및 이동된 뷰포트 영역 주변에 상기 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 상기 제1 크기보다 더 작은 제2 크기를 갖는 타일을 배치하도록 조합한 다음, 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송할 수도 있다.
또 다른 예로, 영상 스트리밍 서비스 제공 장치(200)는, 고화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 뷰포트가 축소 및 이동되면 축소 및 이동된 뷰포트 영역 내부에 고화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 가지면서 동시에 가장 작은 제3 크기를 갖는 타일을 배치하고 축소 및 이동된 뷰포트 영역의 경계에 위치하면 제1 해상도를 가지면서 동시에 가장 작은 제3 크기를 갖는 타일 또는 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 상기 제3 크기보다 더 큰 제4 크기를 갖는 타일을 배치하며 축소 및 이동된 뷰포트 영역 주변에 상기 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 상기 제3 크기보다 더 큰 제4 크기를 갖는 타일을 배치하도록 조합하도록 조합한 다음, 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송할 수도 있다.
또한, 영상 스트리밍 서비스 제공 장치(200)는, 고화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 영상 스트리밍 요청을 전송한 고객 단말(100)로부터 단말 사양 정보를 수신하면 수신한 단말 사양 정보로부터 고객 단말(100)의 해상도를 확인하고, 확인된 고객 단말의 해상도를 고려하여 고화질의 영상 타일들을 추출 및 조합할 수도 있다.
여기서, 영상 스트리밍 서비스 제공 장치(200)는, 고화질의 영상 타일들을 추출 및 조합할 때, 고객 단말의 최고 해상도 이하의 영상 타일들을 추출 및 조합할 수 있다.
그 이유는, 고객 단말의 해상도를 고려하여 고화질의 영상 타일들을 전송할 경우, 고객 단말의 사양에 최적화된 영상을 제공할 수 있을 뿐만 아니라 고화질 영상 전송을 위한 전송 대역폭을 줄일 수 있기 때문이다.
이처럼, 본 발명은, 뷰포트(viewport)의 확대, 축소 및 이동에 따라 화질별 영상의 타일을 조합하여 최적화된 고화질 영상을 전송함으로써, 고화질 영상의 전송이 원할하면서도 저사양 단말에서도 재생이 가능한 최적화된 고화질 영상을 전송할 수 있다.
또한, 본 발명은, 고화질 영상의 특정 영역을 확대하여 시청하고자 할 경우, 화면에 보이는 영역과 화면 밖 보이지 않는 영역의 화질을 구분하여 스트리밍함으로써, 전체 전송 대역폭을 줄일 수 있다.
또한, 본 발명은, 저사양 단말에서도 단말 스크린 해상도에 맞는 최적화된 영상을 제공할 수 있으며, 고화질 컨텐츠를 전송하기 위한 네트워크 대역폭을 절감할 수 있다.
도 2는 본 발명에 따른 영상 스트리밍 서비스 제공 장치를 설명하기 위한 블럭 구성도이다.
도 2에 도시된 바와 같이, 영상 스트리밍 서비스 제공 장치는, 영상 스트리밍 요청을 수신하는 통신부(210), 다수의 타일로 분할된 영상을 화질별로 분류하여 저장하는 저장부(220), 그리고 통신부(210) 및 저장부(220)를 제어하는 제어부(230)를 포함할 수 있다.
여기서, 제어부(230)는, 영상 스트리밍 요청을 수신하면 제1 화질의 해상도를 갖는 영상을 전송하도록 통신부(210)를 제어하고, 제1 화질의 해상도를 갖는 영상에 상응하는 뷰포트(viewport) 정보가 수신되면 뷰포트 정보로부터 뷰포트가 가변되는지를 판단하며, 뷰포트가 가변되면 가변된 뷰포트에 상응하는 영상 타일의 개수를 산출하고, 저장부(220)로부터 제1 화질의 해상도보다 더 높은 제2 화질의 해상도를 갖는 영상의 타일들을 산출된 개수만큼 추출하며, 추출된 제2 화질의 해상도를 갖는 영상의 타일들이 뷰포트에 합성되도록 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송하도록 통신부(210)를 제어할 수 있다.
따라서, 본 발명은, 뷰포트의 확대 및 축소 등과 같이 뷰포트의 변화에 따라 전송되는 고화질의 영상 타일의 개수가 실시간으로 가변될 수 있다.
그리고, 제어부(230)는, 카메라로부터 촬영된 원본 영상이 수신되면 수신된 원본 영상을 다수의 타일들로 분할하고, 다수의 타일들로 분할된 원본 영상을 토대로 서로 다른 화질의 해상도를 갖는 다수의 영상들을 생성하며, 생성된 다수의 영상들을 화질별로 저장하도록 저장부(220)를 제어할 수 있다.
여기서, 제어부(230)는, 수신된 원본 영상을 다수의 타일들로 분할할 때, 원본 영상을 미리 설정된 기본 크기를 갖는 다수의 타일들로 분할할 수 있다.
경우에 따라, 제어부(230)는, 수신된 원본 영상을 다수의 타일들로 분할할 때, 원본 영상을 미리 설정된 기본 크기를 갖는 다수의 타일들로 분할하여 기본 크기를 갖는 제1 타일들을 포함하는 제1 영상을 생성하고, 원본 영상을 기본 크기보다 더 작은 크기를 갖는 다수의 타일들로 분할하여 기본 크기보다 더 작은 크기를 갖는 제2 타일들을 포함하는 제2 영상을 생성할 수도 있다.
이때, 제2 영상의 제2 타일의 개수는, 제1 영상의 제1 타일의 개수보다 더 많을 수 있다.
다른 경우로서, 제어부(230)는, 수신된 원본 영상을 다수의 타일들로 분할할 때, 원본 영상을 미리 설정된 기본 크기를 갖는 다수의 타일들로 분할하여 기본 크기를 갖는 제1 타일들을 포함하는 제1 영상을 생성하고, 원본 영상을 기본 크기보다 더 큰 크기를 갖는 다수의 타일들로 분할하여 기본 크기보다 더 큰 크기를 갖는 제3 타일들을 포함하는 제3 영상을 생성할 수도 있다.
이때, 제3 영상의 제3 타일의 개수는, 제1 영상의 제1 타일의 개수보다 더 적을 수 있다.
또 다른 경우로서, 제어부(230)는, 수신된 원본 영상을 다수의 타일들로 분할할 때, 원본 영상을 미리 설정된 기본 크기를 갖는 다수의 타일들로 분할하여 기본 크기를 갖는 제1 타일들을 포함하는 제1 영상을 생성하고, 원본 영상을 기본 크기보다 더 작은 크기를 갖는 다수의 타일들로 분할하여 기본 크기보다 더 작은 크기를 갖는 제2 타일들을 포함하는 제2 영상을 생성하며, 원본 영상을 기본 크기보다 더 큰 크기를 갖는 다수의 타일들로 분할하여 기본 크기보다 더 큰 크기를 갖는 제3 타일들을 포함하는 제3 영상을 생성할 수 있다.
이때, 제2 영상의 제2 타일의 개수는, 제1 영상의 제1 타일의 개수보다 더 많고, 제3 영상의 제3 타일의 개수는, 제1 영상의 제1 타일의 개수보다 더 적을 수 있다.
또한, 제어부(230)는, 서로 다른 화질의 해상도를 갖는 다수의 영상들을 생성할 때, 원본 영상보다 해상도가 더 높은 타일들을 포함하는 고화질 영상과 원본 영상보다 해상도가 더 낮은 타일들을 포함하는 저화질 영상을 생성할 수 있다.
여기서, 제어부(230)는, 고화질 영상과 저화질 영상 사이의 해상도를 갖는 타일들을 포함하는 중간 화질 영상을 더 생성할 수도 있다.
일 예로, 중간 화질 영상은, 원본 영상의 해상도와 동일한 해상도를 가질 수 있는데, 이에 한정되지는 않는다.
이어, 제어부(230)는, 저장부(220)를 제어할 때, 영상의 타일 크기 및 해상도를 토대로 생성된 다수의 영상들을 분류하여 저장하도록 저장부(220)를 제어할 수 있다.
그리고, 제어부(230)는, 영상 스트리밍 요청을 수신할 때, 통신부(210)와 통신 연결되는 적어도 하나의 고객 단말로부터 수신할 수 있다.
또한, 제어부(230)는, 뷰포트(viewport) 정보를 수신할 때, 통신부(210)와 통신 연결되는 적어도 하나의 고객 단말로부터 수신할 수 있다.
여기서, 뷰포트 정보는, 고객 단말에서 재생되는 제1 화질의 해상도를 갖는 영상에 상응하는 뷰포트 정보일 수 있다.
일 예로, 뷰포트 정보는, 뷰포트의 주밍(zooming) 정보 및 위치 정보 중 적어도 어느 하나를 포함할 수 있는데, 이에 한정되지는 않는다.
다음, 제어부(230)는, 뷰포트 정보로부터 뷰포트가 가변되는지를 판단할 때, 뷰포트 정보로부터 뷰포트의 주밍(zooming) 정보 및 위치 정보를 추출하고, 추출된 뷰포트의 주밍 정보 및 위치 정보를 토대로 뷰포트의 주밍 및 위치 중 적어도 어느 하나가 가변되는지를 판단할 수 있다.
여기서, 뷰포트의 주밍 정보는, 뷰포트의 확대에 따른 뷰포트 크기 및 좌표 정보를 포함하는 줌-인(zoom-in) 정보와, 뷰포트의 축소에 따른 뷰포트 크기 및 좌표 정보를 포함하는 줌-아웃(zoom-out) 정보를 포함할 수 있다.
일 예로, 뷰포트의 위치 정보는, 뷰포트의 이동에 따른 뷰포트 좌표 정보를 포함할 수 있다.
그리고, 제어부(230)는, 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 가변된 뷰포트의 크기 및 좌표를 토대로 뷰포트 영역 및 그 주변에 위치하는 타일들 중 제2 화질의 해상도를 갖는 타일들을 추출할 수 있다.
여기서, 제어부(230)는, 제2 화질의 해상도를 갖는 타일들을 추출할 때, 추출하고자 하는 타일이 상기 뷰포트 영역 내부에 위치하면 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 갖는 타일을 추출하고, 추출하고자 하는 타일이 뷰포트 영역의 경계에 위치하면 제1 해상도를 갖는 타일 또는 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 추출할 수 있다.
또한, 제어부(230)는, 추출하고자 하는 타일이 뷰포트 영역 주변에 위치하면 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 추출할 수 있다.
경우에 따라, 제어부(230)는, 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 가변된 뷰포트가 뷰포트의 확대이면 확대된 뷰포트의 크기 및 좌표를 토대로 뷰포트 영역 및 그 주변에 위치하는 타일들 중 기본 크기보다 더 큰 크기를 갖는 타일들을 추출할 수 있다.
여기서, 제어부(230)는, 기본 크기보다 더 큰 크기를 갖는 타일들을 추출할 때, 추출하고자 하는 타일이 뷰포트 영역 내부에 위치하면 제2 화질의 해상도를 갖는 타일들 중 가장 큰 제1 크기를 갖는 타일을 추출하고, 추출하고자 하는 타일이 뷰포트 영역의 경계에 위치하면 제1 크기를 갖는 타일 또는 제1 크기보다 더 작은 제2 크기를 갖는 타일을 추출할 수 있다.
또한, 제어부(230)는, 추출하고자 하는 타일이 상기 뷰포트 영역 주변에 위치하면 제1 크기보다 더 작은 제2 크기를 갖는 타일을 추출할 수 있다.
다른 경우로서, 제어부(230)는, 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 가변된 뷰포트가 뷰포트의 축소이면 축소된 뷰포트의 크기 및 좌표를 토대로 뷰포트 영역 및 그 주변에 위치하는 타일들 중 기본 크기보다 더 작은 크기를 갖는 타일들을 추출할 수 있다.
여기서, 제어부(230)는, 기본 크기보다 더 작은 크기를 갖는 타일들을 추출할 때, 추출하고자 하는 타일이 뷰포트 영역 내부에 위치하면 제2 화질의 해상도를 갖는 타일들 중 가장 작은 제3 크기를 갖는 타일을 추출하고, 추출하고자 하는 타일이 뷰포트 영역의 경계에 위치하면 제3 크기를 갖는 타일 또는 제3 크기보다 더 큰 제4 크기를 갖는 타일을 추출할 수 있다.
또한, 제어부(230)는, 추출하고자 하는 타일이 뷰포트 영역 주변에 위치하면 제3 크기보다 더 작은 제4 크기를 갖는 타일을 추출할 수 있다.
또 다른 경우로서, 제어부(230)는, 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 가변된 뷰포트가 뷰포트의 주밍(zooming) 없이 이동이면 이동된 뷰포트의 크기 및 좌표를 토대로 뷰포트 영역 및 그 주변에 위치하는 타일들 중 제2 화질의 해상도를 갖는 타일들을 추출할 수 있다.
여기서, 제어부(230)는, 제2 화질의 해상도를 갖는 타일들을 추출할 때, 추출하고자 하는 타일이 뷰포트 영역 내부에 위치하면 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 갖는 타일을 추출하고, 추출하고자 하는 타일이 뷰포트 영역의 경계에 위치하면 제1 해상도를 갖는 타일 또는 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 추출할 수 있다.
또한, 제어부(230)는, 추출하고자 하는 타일이 뷰포트 영역 주변에 위치하면 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 추출할 수 있다.
또 다른 경우로서, 제어부(230)는, 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 가변된 뷰포트가 뷰포트의 확대 및 이동이면 이동 및 확대된 뷰포트의 크기 및 좌표를 토대로 뷰포트 영역 및 그 주변에 위치하는 타일들 중 제2 화질의 해상도를 가지면서 동시에 기본 크기보다 더 큰 크기를 갖는 타일들을 추출할 수 있다.
여기서, 제어부(230)는, 제2 화질의 해상도를 가지면서 동시에 기본 크기보다 더 큰 크기를 갖는 타일들을 추출할 때, 추출하고자 하는 타일이 뷰포트 영역 내부에 위치하면 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 가지면서 동시에 가장 큰 제1 크기를 갖는 타일을 추출하고, 추출하고자 하는 타일이 뷰포트 영역의 경계에 위치하면 제1 해상도를 가지면서 동시에 가장 큰 제1 크기를 갖는 타일 또는 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 제1 크기보다 더 작은 제2 크기를 갖는 타일을 추출할 수 있다.
또한, 제어부(230)는, 추출하고자 하는 타일이 상기 뷰포트 영역 주변에 위치하면 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 제1 크기보다 더 작은 제2 크기를 갖는 타일을 추출할 수 있다.
또 다른 경우로서, 제어부(230)는, 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 가변된 뷰포트가 상기 뷰포트의 축소 및 이동이면 이동 및 축소된 뷰포트의 크기 및 좌표를 토대로 뷰포트 영역 및 그 주변에 위치하는 타일들 중 제2 화질의 해상도를 가지면서 동시에 기본 크기보다 더 작은 크기를 갖는 타일들을 추출할 수 있다.
여기서, 제어부(230)는, 제2 화질의 해상도를 가지면서 동시에 기본 크기보다 더 작은 크기를 갖는 타일들을 추출할 때, 추출하고자 하는 타일이 뷰포트 영역 내부에 위치하면 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 가지면서 동시에 가장 작은 제3 크기를 갖는 타일을 추출하고, 추출하고자 하는 타일이 뷰포트 영역의 경계에 위치하면 제1 해상도를 가지면서 동시에 가장 작은 제3 크기를 갖는 타일 또는 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 제3 크기보다 더 큰 제4 크기를 갖는 타일을 추출할 수 있다.
또한, 제어부(230)는, 추출하고자 하는 타일이 뷰포트 영역 주변에 위치하면 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 제3 크기보다 더 큰 제4 크기를 갖는 타일을 추출할 수 있다.
다음, 제어부(230)는, 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 가변된 뷰포트 영역 내부에 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 갖는 타일을 배치하고 가변된 뷰포트 영역의 경계에 제1 해상도를 갖는 타일 또는 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 배치하도록 조합하며, 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송할 수 있다.
또한, 제어부(230)는, 가변된 뷰포트 영역 주변에 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 배치하도록 조합할 수 있다.
경우에 따라, 제어부(230)는, 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 가변된 뷰포트가 확대되면 확대된 뷰포트 영역 내부에 제2 화질의 해상도를 갖는 타일들 중 가장 큰 제1 크기를 갖는 타일을 배치하고 확대된 뷰포트 영역의 경계에 제1 크기를 갖는 타일 또는 제1 크기보다 더 작은 제2 크기를 갖는 타일을 배치하도록 조합하며, 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송할 수 있다.
또한, 제어부(230)는, 확대된 뷰포트 영역 주변에 제1 크기보다 더 작은 제2 크기를 갖는 타일을 배치하도록 조합할 수 있다.
다른 경우로서, 제어부(230)는, 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 가변된 뷰포트가 축소되면 축소된 뷰포트 영역 내부에 제2 화질의 해상도를 갖는 타일들 중 가장 작은 제3 크기를 갖는 타일을 배치하고 축소된 뷰포트 영역의 경계에 위치하면 제3 크기를 갖는 타일 또는 제3 크기보다 더 큰 제4 크기를 갖는 타일을 배치하도록 조합하며, 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송할 수 있다.
또한, 제어부(230)는, 축소된 뷰포트 영역 주변에 제3 크기보다 더 작은 제4 크기를 갖는 타일을 배치하도록 조합할 수 있다.
또 다른 경우로서, 제어부(230)는, 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 가변된 뷰포트가 주밍(zooming) 없이 이동되면 주밍 없이 이동된 뷰포트 영역 내부에 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 갖는 타일을 배치하고 주밍 없이 이동된 뷰포트 영역의 경계에 제1 해상도를 갖는 타일 또는 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 배치하도록 조합하며, 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송할 수 있다.
또한, 제어부(230)는, 주밍 없이 이동된 뷰포트 영역 주변에 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 배치하도록 조합할 수 있다.
또 다른 경우로서, 제어부(230)는, 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 가변된 뷰포트가 확대 및 이동되면 확대 및 이동된 뷰포트 영역 내부에 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 가지면서 동시에 가장 큰 제1 크기를 갖는 타일을 배치하고 확대 및 이동된 뷰포트 영역의 경계에 위치하면 제1 해상도를 가지면서 동시에 가장 큰 제1 크기를 갖는 타일 또는 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 제1 크기보다 더 작은 제2 크기를 갖는 타일을 배치하도록 조합하며, 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송할 수 있다.
또한, 제어부(230)는, 확대 및 이동된 뷰포트 영역 주변에 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 제1 크기보다 더 작은 제2 크기를 갖는 타일을 배치하도록 조합할 수 있다.
또 다른 경우로서, 제어부(230)는, 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 가변된 뷰포트가 축소 및 이동되면 축소 및 이동된 뷰포트 영역 내부에 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 가지면서 동시에 가장 작은 제3 크기를 갖는 타일을 배치하고 축소 및 이동된 뷰포트 영역의 경계에 위치하면 제1 해상도를 가지면서 동시에 가장 작은 제3 크기를 갖는 타일 또는 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 제3 크기보다 더 큰 제4 크기를 갖는 타일을 배치하도록 조합하며, 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송할 수 있다.
또한, 제어부(230)는, 축소 및 이동된 뷰포트 영역 주변에 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 제3 크기보다 더 큰 제4 크기를 갖는 타일을 배치하도록 조합할 수 있다.
또한, 제어부(230)는, 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 영상 스트리밍 요청을 전송한 고객 단말로부터 단말 사양 정보를 수신하면 수신한 단말 사양 정보로부터 고객 단말의 해상도를 확인하고, 확인된 고객 단말의 해상도를 고려하여 제2 화질의 영상 타일들을 추출 및 조합할 수도 있다.
여기서, 제어부(230)는, 제2 화질의 영상 타일들을 추출 및 조합할 때, 고객 단말의 최고 해상도 이하의 영상 타일들을 추출 및 조합할 수 있다.
이와 같이, 본 발명은, 뷰포트(viewport)의 확대, 축소 및 이동에 따라 화질별 영상의 타일을 조합하여 최적화된 고화질 영상을 전송함으로써, 고화질 영상의 전송이 원할하면서도 저사양 단말에서도 재생이 가능한 최적화된 고화질 영상을 전송할 수 있다.
또한, 본 발명은, 고화질 영상의 특정 영역을 확대하여 시청하고자 할 경우, 화면에 보이는 영역과 화면 밖 보이지 않는 영역의 화질을 구분하여 스트리밍함으로써, 전체 전송 대역폭을 줄일 수 있다.
그리고, 4K 이상의 고화질 컨텐츠는, 저사양 단말에서 디코딩/랜더링이 불가하지만, 본 발명은, 저 사양 단말에서도 단말 스크린 해상도에 맞는 최적화된 영상을 서버로부터 전송 받을 수 있으며, 고화질 컨텐츠를 전송하기 위한 네트워크 대역폭을 절감할 수 있다.
도 3은 도 2의 제어부를 상세히 설명하기 위한 블럭 구성도이다.
도 3에 도시된 바와 같이, 제어부(230)는, 판단부(232), 추출부(234), 그리고 뷰포트 영상 생성부(236)를 포함할 수 있다.
여기서, 판단부(232)는, 고객 단말로부터 제1 화질의 해상도를 갖는 영상에 상응하는 뷰포트(viewport) 정보가 수신되면 뷰포트 정보로부터 뷰포트가 가변되는지를 판단할 수 있다.
여기서, 뷰포트 정보는, 고객 단말에서 재생되는 제1 화질의 해상도를 갖는 영상에 상응하는 뷰포트 정보일 수 있다.
일 예로, 뷰포트 정보는, 뷰포트의 주밍(zooming) 정보 및 위치 정보 중 적어도 어느 하나를 포함할 수 있는데, 이에 한정되지는 않는다.
그리고, 판단부(232)는, 뷰포트 정보로부터 뷰포트가 가변되는지를 판단할 때, 뷰포트 정보로부터 뷰포트의 주밍(zooming) 정보 및 위치 정보를 추출하고, 추출된 뷰포트의 주밍 정보 및 위치 정보를 토대로 뷰포트의 주밍 및 위치 중 적어도 어느 하나가 가변되는지를 판단할 수 있다.
여기서, 뷰포트의 주밍 정보는, 뷰포트의 확대에 따른 뷰포트 크기 및 좌표 정보를 포함하는 줌-인(zoom-in) 정보와, 뷰포트의 축소에 따른 뷰포트 크기 및 좌표 정보를 포함하는 줌-아웃(zoom-out) 정보를 포함할 수 있다.
일 예로, 뷰포트의 위치 정보는, 뷰포트의 이동에 따른 뷰포트 좌표 정보를 포함할 수 있다.
다음, 추출부(234)는, 고객 단말로부터 영상 스트리밍 요청을 수신하면 제1 화질의 해상도를 갖는 영상을 추출하고, 뷰포트가 가변되면 가변된 뷰포트에 상응하는 영상 타일의 개수를 산출하여 제1 화질의 해상도보다 더 높은 제2 화질의 해상도를 갖는 영상의 타일들을 산출된 개수만큼 추출할 수 있다.
여기서, 추출부(234)는, 고객 단말로부터 영상 스트리밍 요청을 수신하면 소정 해상도를 갖는 원본 영상을 추출할 수 있다.
그리고, 추출부(234)는, 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 가변된 뷰포트의 크기 및 좌표를 토대로 뷰포트 영역 및 그 주변에 위치하는 타일들 중 제2 화질의 해상도를 갖는 타일들을 추출할 수 있다.
여기서, 추출부(234)는, 제2 화질의 해상도를 갖는 타일들을 추출할 때, 추출하고자 하는 타일이 뷰포트 영역 내부에 위치하면 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 갖는 타일을 추출하고, 추출하고자 하는 타일이 뷰포트 영역의 경계에 위치하면 제1 해상도를 갖는 타일 또는 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 추출하며, 추출하고자 하는 타일이 뷰포트 영역 주변에 위치하면 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 추출할 수 있다.
경우에 따라, 추출부(234)는, 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 가변된 뷰포트가 뷰포트의 확대이면 확대된 뷰포트의 크기 및 좌표를 토대로 뷰포트 영역 및 그 주변에 위치하는 타일들 중 기본 크기보다 더 큰 크기를 갖는 타일들을 추출할 수도 있다.
다른 경우로서, 추출부(234)는, 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 가변된 뷰포트가 뷰포트의 축소이면 축소된 뷰포트의 크기 및 좌표를 토대로 뷰포트 영역 및 그 주변에 위치하는 타일들 중 기본 크기보다 더 작은 크기를 갖는 타일들을 추출할 수도 있다.
또 다른 경우로서, 추출부(234)는, 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 가변된 뷰포트가 뷰포트의 주밍(zooming) 없이 이동이면 이동된 뷰포트의 크기 및 좌표를 토대로 뷰포트 영역 및 그 주변에 위치하는 타일들 중 제2 화질의 해상도를 갖는 타일들을 추출할 수도 있다.
또 다른 경우로서, 추출부(234)는, 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 가변된 뷰포트가 뷰포트의 확대 및 이동이면 이동 및 확대된 뷰포트의 크기 및 좌표를 토대로 뷰포트 영역 및 그 주변에 위치하는 타일들 중 제2 화질의 해상도를 가지면서 동시에 기본 크기보다 더 큰 크기를 갖는 타일들을 추출할 수도 있다.
또 다른 경우로서, 추출부(234)는, 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 가변된 뷰포트가 상기 뷰포트의 축소 및 이동이면 이동 및 축소된 뷰포트의 크기 및 좌표를 토대로 뷰포트 영역 및 그 주변에 위치하는 타일들 중 제2 화질의 해상도를 가지면서 동시에 기본 크기보다 더 작은 크기를 갖는 타일들을 추출할 수도 있다.
그리고, 뷰포트 영상 데이터 생성부(236)는, 추출된 제2 화질의 해상도를 갖는 영상의 타일들이 뷰포트에 합성되도록 제2 화질의 영상 타일들이 조합된 영상 데이터를 생성할 수 있다.
여기서, 뷰포트 영상 데이터 생성부(236)는, 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 가변된 뷰포트 영역 내부에 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 갖는 타일을 배치하고 가변된 뷰포트 영역의 경계에 제1 해상도를 갖는 타일 또는 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 배치하며 가변된 뷰포트 영역 주변에 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 배치하도록 조합하고, 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송할 수 있다.
경우에 따라, 뷰포트 영상 데이터 생성부(236)는, 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 가변된 뷰포트가 확대되면 확대된 뷰포트 영역 내부에 제2 화질의 해상도를 갖는 타일들 중 가장 큰 제1 크기를 갖는 타일을 배치하고 확대된 뷰포트 영역의 경계에 제1 크기를 갖는 타일 또는 제1 크기보다 더 작은 제2 크기를 갖는 타일을 배치하며 확대된 뷰포트 영역 주변에 제1 크기보다 더 작은 제2 크기를 갖는 타일을 배치하도록 조합하고, 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송할 수도 있다.
다른 경우로서, 뷰포트 영상 데이터 생성부(236)는, 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 가변된 뷰포트가 축소되면 축소된 뷰포트 영역 내부에 제2 화질의 해상도를 갖는 타일들 중 가장 작은 제3 크기를 갖는 타일을 배치하고 축소된 뷰포트 영역의 경계에 위치하면 제3 크기를 갖는 타일 또는 제3 크기보다 더 큰 제4 크기를 갖는 타일을 배치하며 축소된 뷰포트 영역 주변에 제3 크기보다 더 작은 제4 크기를 갖는 타일을 배치하도록 조합하고, 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송할 수도 있다.
또 다른 경우로서, 뷰포트 영상 데이터 생성부(236)는, 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 가변된 뷰포트가 주밍(zooming) 없이 이동되면 주밍 없이 이동된 뷰포트 영역 내부에 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 갖는 타일을 배치하고 주밍 없이 이동된 뷰포트 영역의 경계에 제1 해상도를 갖는 타일 또는 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 배치하도록 조합하며 주밍 없이 이동된 뷰포트 영역 주변에 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 배치하고, 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송할 수도 있다.
또 다른 경우로서, 뷰포트 영상 데이터 생성부(236)는, 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 가변된 뷰포트가 확대 및 이동되면 확대 및 이동된 뷰포트 영역 내부에 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 가지면서 동시에 가장 큰 제1 크기를 갖는 타일을 배치하고 확대 및 이동된 뷰포트 영역의 경계에 위치하면 제1 해상도를 가지면서 동시에 가장 큰 제1 크기를 갖는 타일 또는 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 제1 크기보다 더 작은 제2 크기를 갖는 타일을 배치하도록 조합하며 확대 및 이동된 뷰포트 영역 주변에 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 제1 크기보다 더 작은 제2 크기를 갖는 타일을 배치하고, 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송할 수도 있다.
또 다른 경우로서, 뷰포트 영상 데이터 생성부(236)는, 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 가변된 뷰포트가 축소 및 이동되면 축소 및 이동된 뷰포트 영역 내부에 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 가지면서 동시에 가장 작은 제3 크기를 갖는 타일을 배치하고 축소 및 이동된 뷰포트 영역의 경계에 위치하면 제1 해상도를 가지면서 동시에 가장 작은 제3 크기를 갖는 타일 또는 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 제3 크기보다 더 큰 제4 크기를 갖는 타일을 배치하도록 조합하며 축소 및 이동된 뷰포트 영역 주변에 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 제3 크기보다 더 큰 제4 크기를 갖는 타일을 배치하고, 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송할 수도 있다.
또한, 뷰포트 영상 데이터 생성부(236)는, 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 영상 스트리밍 요청을 전송한 고객 단말로부터 단말 사양 정보를 수신하면 수신한 단말 사양 정보로부터 고객 단말의 해상도를 확인하고, 확인된 고객 단말의 해상도를 고려하여 제2 화질의 영상 타일들을 추출 및 조합할 수도 있다.
여기서, 뷰포트 영상 데이터 생성부(236)는, 제2 화질의 영상 타일들을 추출 및 조합할 때, 고객 단말의 최고 해상도 이하의 영상 타일들을 추출 및 조합할 수 있다.
도 4는 원본 영상을 다수의 타일로 분할하는 과정을 설명하기 위한 도면이고, 도 5는 타일 크기별로 영상을 분류하는 과정을 설명하기 위한 도면이며, 도 6은 타일 화질별로 영상을 분류하는 과정을 설명하기 위한 도면이다.
도 4에 도시된 바와 같이, 본 발명은, 카메라로부터 촬영된 원본 영상(310)이 수신되면 수신된 원본 영상(310)을 다수의 타일(322)들로 분할할 수 있다.
여기서, 본 발명은, 수신된 원본 영상(310)을 다수의 타일(322)들로 분할할 때, 원본 영상(310)을 미리 설정된 기본 크기를 갖는 다수의 타일(322)들로 분할할 수 있다.
경우에 따라, 도 5에 도시된 바와 같이, 본 발명은, 수신된 원본 영상(310)을 다수의 타일(322)들로 분할할 때, 원본 영상(310)을 미리 설정된 기본 크기를 갖는 다수의 타일들로 분할하여 기본 크기를 갖는 제1 타일(412)들을 포함하는 제1 영상(410)을 생성하고, 원본 영상(310)을 기본 크기보다 더 작은 크기를 갖는 다수의 타일들로 분할하여 기본 크기보다 더 작은 크기를 갖는 제2 타일(432)들을 포함하는 제2 영상(430)을 생성할 수도 있다.
이때, 제2 영상(430)의 제2 타일(432)의 개수는, 제1 영상(410)의 제1 타일(412)의 개수보다 더 많을 수 있다.
다른 경우로서, 도 5에 도시된 바와 같이, 본 발명은, 수신된 원본 영상(310)을 다수의 타일들로 분할할 때, 원본 영상(310)을 미리 설정된 기본 크기를 갖는 다수의 타일들로 분할하여 기본 크기를 갖는 제1 타일(412)들을 포함하는 제1 영상(410)을 생성하고, 원본 영상(310)을 기본 크기보다 더 큰 크기를 갖는 다수의 타일들로 분할하여 기본 크기보다 더 큰 크기를 갖는 제3 타일(422)들을 포함하는 제3 영상(420)을 생성할 수도 있다.
이때, 제3 영상(420)의 제3 타일(422)의 개수는, 제1 영상(410)의 제1 타일(412)의 개수보다 더 적을 수 있다.
또 다른 경우로서, 도 5에 도시된 바와 같이, 본 발명은, 수신된 원본 영상(310)을 다수의 타일들로 분할할 때, 원본 영상을 미리 설정된 기본 크기를 갖는 다수의 타일들로 분할하여 기본 크기를 갖는 제1 타일(412)들을 포함하는 제1 영상(410)을 생성하고, 원본 영상(310)을 기본 크기보다 더 작은 크기를 갖는 다수의 타일들로 분할하여 기본 크기보다 더 작은 크기를 갖는 제2 타일(432)들을 포함하는 제2 영상(430)을 생성하며, 원본 영상(310)을 기본 크기보다 더 큰 크기를 갖는 다수의 타일들로 분할하여 기본 크기보다 더 큰 크기를 갖는 제3 타일(422)들을 포함하는 제3 영상(420)을 생성할 수 있다.
이때, 제2 영상(430)의 제2 타일(432)의 개수는, 제1 영상(410)의 제1 타일(412)의 개수보다 더 많고, 제3 영상(420)의 제3 타일(422)의 개수는, 제1 영상(410)의 제1 타일(412)의 개수보다 더 적을 수 있다.
또한, 도 6에 도시된 바와 같이, 본 발명은, 서로 다른 화질의 해상도를 갖는 다수의 영상들을 생성할 때, 원본 영상(310)보다 해상도가 더 높은 타일들을 포함하는 고화질 영상(510)과 원본 영상(310)보다 해상도가 더 낮은 타일들을 포함하는 저화질 영상(520) 생성할 수 있다.
여기서, 본 발명은, 고화질 영상(510)과 저화질 영상(520) 사이의 해상도를 갖는 타일들을 포함하는 중간 화질 영상(530)을 더 생성할 수도 있다.
일 예로, 중간 화질 영상(530)은, 원본 영상(310)의 해상도와 동일한 해상도를 가질 수 있는데, 이에 한정되지는 않는다.
이처럼, 본 발명은, 원본 영상을 다수의 타일들로 분할하여 저장할 수 있는데, 다수의 타일로 분할된 원본 영상은, 타일의 크기별로 분류되어 저장될 수 있다.
그리고, 타일의 크기별로 분류된 각 원본 영상은, 서로 다른 화질의 해상도를 갖는 다수의 영상들로 분류되어 저장될 수 있다.
즉, 본 발명은, 다수의 타일들로 분할된 원본 영상을 토대로 서로 다른 화질의 해상도를 갖는 다수의 영상들을 생성하고, 생성된 다수의 영상들을 화질별로 저장할 수 있다.
도 7은 뷰포트에 화질별로 타일을 조합하는 과정을 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 본 발명은, 가변된 뷰포트(500) 영역 내부에 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 갖는 타일(510)을 배치하고 가변된 뷰포트(500) 영역의 경계에 제1 해상도를 갖는 타일(510) 또는 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일(520)을 배치하며 가변된 뷰포트(500) 영역 주변에 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일(520)을 배치하도록 조합할 수 있다.
또한, 본 발명은, 가변된 뷰포트(500)가 주밍(zooming) 없이 이동되면 주밍 없이 이동된 뷰포트(500) 영역 내부에 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 갖는 타일(510)을 배치하고 주밍 없이 이동된 뷰포트 영역의 경계에 제1 해상도를 갖는 타일(510) 또는 제1 해상도보다 더 낮은 제2 해상도(520)를 갖는 타일을 배치하도록 조합하며 주밍 없이 이동된 뷰포트 영역 주변에 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일(520)을 배치하도록 조합할 수 있다.
경우에 따라, 본 발명은, 가변된 뷰포트(500)가 확대되면 확대된 뷰포트(500) 영역 내부에 제2 화질의 해상도를 갖는 타일들 중 가장 큰 제1 크기를 갖는 타일을 배치하고 확대된 뷰포트(500) 영역의 경계에 제1 크기를 갖는 타일 또는 제1 크기보다 더 작은 제2 크기를 갖는 타일을 배치하며 확대된 뷰포트(500) 영역 주변에 제1 크기보다 더 작은 제2 크기를 갖는 타일을 배치하도록 조합할 수도 있다.
다른 경우로서, 본 발명은, 가변된 뷰포트(500)가 축소되면 축소된 뷰포트(500) 영역 내부에 제2 화질의 해상도를 갖는 타일들 중 가장 작은 제3 크기를 갖는 타일을 배치하고 축소된 뷰포트(500) 영역의 경계에 위치하면 제3 크기를 갖는 타일 또는 제3 크기보다 더 큰 제4 크기를 갖는 타일을 배치하며 축소된 뷰포트(500) 영역 주변에 제3 크기보다 더 작은 제4 크기를 갖는 타일을 배치하도록 조합할 수도 있다.
또 다른 경우로서, 본 발명은, 가변된 뷰포트(500)가 확대 및 이동되면 확대 및 이동된 뷰포트(500) 영역 내부에 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 가지면서 동시에 가장 큰 제1 크기를 갖는 타일을 배치하고 확대 및 이동된 뷰포트(500) 영역의 경계에 위치하면 제1 해상도를 가지면서 동시에 가장 큰 제1 크기를 갖는 타일 또는 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 제1 크기보다 더 작은 제2 크기를 갖는 타일을 배치하도록 조합하며 확대 및 이동된 뷰포트(500) 영역 주변에 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 제1 크기보다 더 작은 제2 크기를 갖는 타일을 배치하도록 조합할 수도 있다.
또 다른 경우로서, 본 발명은, 가변된 뷰포트(500)가 축소 및 이동되면 축소 및 이동된 뷰포트(500) 영역 내부에 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 가지면서 동시에 가장 작은 제3 크기를 갖는 타일을 배치하고 축소 및 이동된 뷰포트(500) 영역의 경계에 위치하면 제1 해상도를 가지면서 동시에 가장 작은 제3 크기를 갖는 타일 또는 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 제3 크기보다 더 큰 제4 크기를 갖는 타일을 배치하도록 조합하며 축소 및 이동된 뷰포트(500) 영역 주변에 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 제3 크기보다 더 큰 제4 크기를 갖는 타일을 배치하도록 조합할 수도 있다.
도 8은 본 발명에 따른 영상 스트리밍 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 8에 도시된 바와 같이, 본 발명은, 고객 단말로부터 영상 스트리밍 요청을 수신한다(S10).
여기서, 본 발명은, 고객 단말로부터 영상 스트리밍 요청을 수신하는 단계 이전에, 카메라로부터 촬영된 원본 영상을 수신하는 단계, 수신된 원본 영상을 다수의 타일들로 분할하는 단계, 다수의 타일들로 분할된 원본 영상을 토대로 서로 다른 화질의 해상도를 갖는 다수의 영상들을 생성하는 단계, 그리고 생성된 다수의 영상들을 화질별로 저장하는 단계를 포함할 수 있다.
일 예로, 본 발명은, 수신된 원본 영상을 다수의 타일들로 분할할 때, 원본 영상을 미리 설정된 기본 크기를 갖는 다수의 타일들로 분할할 수 있다.
경우에 따라, 본 발명은, 수신된 원본 영상을 다수의 타일들로 분할할 때, 원본 영상을 미리 설정된 기본 크기를 갖는 다수의 타일들로 분할하여 기본 크기를 갖는 제1 타일들을 포함하는 제1 영상을 생성하고, 원본 영상을 기본 크기보다 더 작은 크기를 갖는 다수의 타일들로 분할하여 기본 크기보다 더 작은 크기를 갖는 제2 타일들을 포함하는 제2 영상을 생성할 수도 있다.
다른 경우로서, 본 발명은, 수신된 원본 영상을 다수의 타일들로 분할할 때, 원본 영상을 미리 설정된 기본 크기를 갖는 다수의 타일들로 분할하여 기본 크기를 갖는 제1 타일들을 포함하는 제1 영상을 생성하고, 원본 영상을 기본 크기보다 더 큰 크기를 갖는 다수의 타일들로 분할하여 기본 크기보다 더 큰 크기를 갖는 제3 타일들을 포함하는 제3 영상을 생성할 수도 있다.
또 다른 경우로서, 본 발명은, 수신된 원본 영상을 다수의 타일들로 분할할 때, 원본 영상을 미리 설정된 기본 크기를 갖는 다수의 타일들로 분할하여 기본 크기를 갖는 제1 타일들을 포함하는 제1 영상을 생성하고, 원본 영상을 기본 크기보다 더 작은 크기를 갖는 다수의 타일들로 분할하여 기본 크기보다 더 작은 크기를 갖는 제2 타일들을 포함하는 제2 영상을 생성하며, 원본 영상을 기본 크기보다 더 큰 크기를 갖는 다수의 타일들로 분할하여 기본 크기보다 더 큰 크기를 갖는 제3 타일들을 포함하는 제3 영상을 생성할 수도 있다.
그리고, 본 발명은, 서로 다른 화질의 해상도를 갖는 다수의 영상들을 생성할 때, 원본 영상보다 해상도가 더 높은 타일들을 포함하는 고화질 영상과 원본 영상보다 해상도가 더 낮은 타일들을 포함하는 저화질 영상 및 고화질 영상과 저화질 영상 사이의 해상도를 갖는 타일들을 포함하는 중간 화질 영상을 생성할 수 있다.
또한, 본 발명은, 생성된 다수의 영상들을 화질별로 저장할 때, 영상의 타일 크기 및 해상도를 토대로 생성된 다수의 영상들을 분류하여 저장할 수 있다.
이어, 본 발명은, 고객 단말로 영상 스트리밍 요청에 상응하는 제1 화질의 해상도를 갖는 영상을 전송한다(S20).
다음, 본 발명은, 고객 단말로부터 제1 화질의 해상도를 갖는 영상에 상응하는 뷰포트(viewport) 정보를 수신한다(S30).
여기서, 뷰포트 정보는, 고객 단말에서 재생되는 제1 화질의 해상도를 갖는 영상에 상응하는 뷰포트 정보이고, 뷰포트의 주밍(zooming) 정보 및 위치 정보 중 적어도 어느 하나를 포함할 수 있다.
그리고, 본 발명은, 뷰포트 정보로부터 뷰포트가 가변되는지를 판단한다(S40).
여기서, 본 발명은, 뷰포트 정보로부터 뷰포트가 가변되는지를 판단할 때, 뷰포트 정보로부터 뷰포트의 주밍(zooming) 정보 및 위치 정보를 추출하는 단계와, 추출된 뷰포트의 주밍 정보 및 위치 정보를 토대로 뷰포트의 주밍 및 위치 중 적어도 어느 하나가 가변되는지를 판단하는 단계를 포함할 수 있다.
일 예로, 뷰포트의 주밍 정보는, 뷰포트의 확대에 따른 뷰포트 크기 및 좌표 정보를 포함하는 줌-인(zoom-in) 정보와, 뷰포트의 축소에 따른 뷰포트 크기 및 좌표 정보를 포함하는 줌-아웃(zoom-out) 정보를 포함할 수 있다.
그리고, 뷰포트의 위치 정보는, 뷰포트의 이동에 따른 뷰포트 좌표 정보를 포함할 수 있다.
이어, 본 발명은, 뷰포트가 가변되면 가변된 뷰포트에 상응하는 영상 타일의 개수를 산출하여 제1 화질의 해상도보다 더 높은 제2 화질의 해상도를 갖는 영상의 타일들을 산출된 개수만큼 추출한다(S50).
여기서, 본 발명은, 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 가변된 뷰포트의 크기 및 좌표를 토대로 뷰포트 영역 및 그 주변에 위치하는 타일들 중 제2 화질의 해상도를 갖는 타일들을 추출할 수 있다.
일 예로, 본 발명은, 제2 화질의 해상도를 갖는 타일들을 추출할 때, 추출하고자 하는 타일이 뷰포트 영역 내부에 위치하면 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 갖는 타일을 추출하고, 추출하고자 하는 타일이 뷰포트 영역의 경계에 위치하면 제1 해상도를 갖는 타일 또는 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 추출하며, 추출하고자 하는 타일이 뷰포트 영역 주변에 위치하면 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 추출할 수 있다.
경우에 따라, 본 발명은, 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 가변된 뷰포트가 뷰포트의 확대이면 확대된 뷰포트의 크기 및 좌표를 토대로 뷰포트 영역 및 그 주변에 위치하는 타일들 중 기본 크기보다 더 큰 크기를 갖는 타일들을 추출할 수 있다.
다른 경우로서, 본 발명은, 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 가변된 뷰포트가 상기 뷰포트의 축소이면 축소된 뷰포트의 크기 및 좌표를 토대로 뷰포트 영역 및 그 주변에 위치하는 타일들 중 기본 크기보다 더 작은 크기를 갖는 타일들을 추출할 수 있다.
또 다른 경우로서, 본 발명은, 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 가변된 뷰포트가 상기 뷰포트의 주밍(zooming) 없이 이동이면 이동된 뷰포트의 크기 및 좌표를 토대로 뷰포트 영역 및 그 주변에 위치하는 타일들 중 제2 화질의 해상도를 갖는 타일들을 추출할 수 있다.
또 다른 경우로서, 본 발명은, 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 가변된 뷰포트가 뷰포트의 확대 및 이동이면 이동 및 확대된 뷰포트의 크기 및 좌표를 토대로 뷰포트 영역 및 그 주변에 위치하는 타일들 중 제2 화질의 해상도를 가지면서 동시에 기본 크기보다 더 큰 크기를 갖는 타일들을 추출할 수 있다.
또 다른 경우로서, 본 발명은, 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 가변된 뷰포트가 뷰포트의 축소 및 이동이면 이동 및 축소된 뷰포트의 크기 및 좌표를 토대로 뷰포트 영역 및 그 주변에 위치하는 타일들 중 제2 화질의 해상도를 가지면서 동시에 기본 크기보다 더 작은 크기를 갖는 타일들을 추출할 수 있다.
다음, 본 발명은, 고객 단말로 추출된 제2 화질의 해상도를 갖는 영상의 타일들이 뷰포트에 합성되도록 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송한다(S60).
여기서, 본 발명은, 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 가변된 뷰포트 영역 내부에 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 갖는 타일을 배치하고 가변된 뷰포트 영역의 경계에 제1 해상도를 갖는 타일 또는 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 배치하도록 조합하는 단계와, 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송하는 단계를 포함할 수 있다.
이때, 본 발명은, 조합하는 단계에서, 가변된 뷰포트 영역 주변에 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 배치하도록 조합할 수 있다.
그리고, 본 발명은, 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 영상 스트리밍 요청을 전송한 고객 단말로부터 단말 사양 정보를 수신하면 수신한 단말 사양 정보로부터 고객 단말의 해상도를 확인하고, 확인된 고객 단말의 해상도를 고려하여 제2 화질의 영상 타일들을 추출 및 조합할 수 있다.
여기서, 본 발명은, 제2 화질의 영상 타일들을 추출 및 조합할 때, 고객 단말의 최고 해상도 이하의 영상 타일들을 추출 및 조합할 수 있다.
이와 같이, 본 발명은, 뷰포트(viewport)의 확대, 축소 및 이동에 따라 화질별 영상의 타일을 조합하여 최적화된 고화질 영상을 전송함으로써, 고화질 영상의 전송이 원할하면서도 저사양 단말에서도 재생이 가능한 최적화된 고화질 영상을 전송할 수 있다.
또한, 본 발명은, 고화질 영상의 특정 영역을 확대하여 시청하고자 할 경우, 화면에 보이는 영역과 화면 밖 보이지 않는 영역의 화질을 구분하여 스트리밍함으로써, 전체 전송 대역폭을 줄일 수 있다.
그리고, 4K 이상의 고화질 컨텐츠는, 저사양 단말에서 디코딩/랜더링이 불가하지만, 본 발명은, 저 사양 단말에서도 단말 스크린 해상도에 맞는 최적화된 영상을 서버로부터 전송 받을 수 있으며, 고화질 컨텐츠를 전송하기 위한 네트워크 대역폭을 절감할 수 있다.
여기에 설명되는 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시 예들이 제어부(140)에 의해 구현될 수 있다.
소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리에 저장되고, 제어부(140)에 의해 로딩되어 실행될 수 있다.
상기한 실시 예에서 정보 노출 방지 영상 제공 장치는, 하나 또는 복수의 응용 주문형 직접회로(ASIC), 디지털신호 프로세서(DSP), 디지털신호 처리기기(DSPD), 프로그램 가능 논리 소자(PLD), 필드 프로그램 가능 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 기타 전자 부품에 의해 실현될 수 있다.
상술한 실시예에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등의 형태로 구현되는 것도 포함된다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상술한 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100: 고객 단말
200: 영상 스트리밍 서비스 제공 장치
210: 통신부
220: 저장부
230: 제어부

Claims (60)

  1. 영상 스트리밍 요청을 수신하는 통신부;
    다수의 타일로 분할된 영상을 화질별로 분류하여 저장하는 저장부; 그리고,
    상기 통신부 및 저장부를 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 영상 스트리밍 요청을 수신하면 제1 화질의 해상도를 갖는 영상을 전송하도록 상기 통신부를 제어하고, 상기 제1 화질의 해상도를 갖는 영상에 상응하는 뷰포트(viewport) 정보가 수신되면 상기 뷰포트 정보로부터 뷰포트가 가변되는지를 판단하며, 상기 뷰포트가 가변되면 상기 가변된 뷰포트에 상응하는 영상 타일의 개수를 산출하고, 상기 저장부로부터 상기 제1 화질의 해상도보다 더 높은 제2 화질의 해상도를 갖는 영상의 타일들을 상기 산출된 개수만큼 추출하며, 상기 추출된 제2 화질의 해상도를 갖는 영상의 타일들이 상기 뷰포트에 합성되도록 상기 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송하도록 상기 통신부를 제어하고,
    상기 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 상기 가변된 뷰포트 영역 내부에 상기 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 갖는 타일을 배치하고 상기 가변된 뷰포트 영역의 경계에 상기 제1 해상도를 갖는 타일 또는 상기 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 배치하도록 조합하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  2. 제1 항에 있어서, 상기 제어부는,
    카메라로부터 촬영된 원본 영상이 수신되면 상기 수신된 원본 영상을 다수의 타일들로 분할하고, 상기 다수의 타일들로 분할된 원본 영상을 토대로 서로 다른 화질의 해상도를 갖는 다수의 영상들을 생성하며, 상기 생성된 다수의 영상들을 화질별로 저장하도록 상기 저장부를 제어하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  3. 제2 항에 있어서, 상기 제어부는,
    상기 수신된 원본 영상을 다수의 타일들로 분할할 때, 상기 원본 영상을 미리 설정된 기본 크기를 갖는 다수의 타일들로 분할하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  4. 제2 항에 있어서, 상기 제어부는,
    상기 서로 다른 화질의 해상도를 갖는 다수의 영상들을 생성할 때, 상기 원본 영상보다 해상도가 더 높은 타일들을 포함하는 고화질 영상과 상기 원본 영상보다 해상도가 더 낮은 타일들을 포함하는 저화질 영상을 생성하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  5. 제4 항에 있어서, 상기 제어부는,
    상기 고화질 영상과 저화질 영상 사이의 해상도를 갖는 타일들을 포함하는 중간 화질 영상을 더 생성하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  6. 제2 항에 있어서, 상기 제어부는,
    상기 저장부를 제어할 때, 상기 영상의 타일 크기 및 해상도를 토대로 상기 생성된 다수의 영상들을 분류하여 저장하도록 상기 저장부를 제어하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  7. 제1 항에 있어서, 상기 제어부는,
    상기 영상 스트리밍 요청을 수신할 때, 상기 통신부와 통신 연결되는 적어도 하나의 고객 단말로부터 수신하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  8. 제1 항에 있어서, 상기 제어부는,
    상기 뷰포트(viewport) 정보를 수신할 때, 상기 통신부와 통신 연결되는 적어도 하나의 고객 단말로부터 수신하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  9. 제8 항에 있어서, 상기 뷰포트 정보는,
    상기 고객 단말에서 재생되는 상기 제1 화질의 해상도를 갖는 영상에 상응하는 뷰포트 정보이고,
    상기 뷰포트의 주밍(zooming) 정보 및 위치 정보 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  10. 제1 항에 있어서, 상기 제어부는,
    상기 뷰포트 정보로부터 뷰포트가 가변되는지를 판단할 때, 상기 뷰포트 정보로부터 상기 뷰포트의 주밍(zooming) 정보 및 위치 정보를 추출하고, 상기 추출된 뷰포트의 주밍 정보 및 위치 정보를 토대로 상기 뷰포트의 주밍 및 위치 중 적어도 어느 하나가 가변되는지를 판단하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  11. 제10 항에 있어서, 상기 뷰포트의 주밍 정보는,
    상기 뷰포트의 확대에 따른 뷰포트 크기 및 좌표 정보를 포함하는 줌-인(zoom-in) 정보와, 상기 뷰포트의 축소에 따른 뷰포트 크기 및 좌표 정보를 포함하는 줌-아웃(zoom-out) 정보를 포함하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  12. 제10 항에 있어서, 상기 뷰포트의 위치 정보는,
    상기 뷰포트의 이동에 따른 뷰포트 좌표 정보를 포함하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  13. 제1 항에 있어서, 상기 제어부는,
    상기 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 상기 가변된 뷰포트의 크기 및 좌표를 토대로 상기 뷰포트 영역 및 그 주변에 위치하는 타일들 중 상기 제2 화질의 해상도를 갖는 타일들을 추출하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  14. 제13 항에 있어서, 상기 제어부는,
    상기 제2 화질의 해상도를 갖는 타일들을 추출할 때, 상기 추출하고자 하는 타일이 상기 뷰포트 영역 내부에 위치하면 상기 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 갖는 타일을 추출하고,
    상기 추출하고자 하는 타일이 상기 뷰포트 영역의 경계에 위치하면 상기 제1 해상도를 갖는 타일 또는 상기 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 추출하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  15. ◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈
    제14 항에 있어서, 상기 제어부는,
    상기 추출하고자 하는 타일이 상기 뷰포트 영역 주변에 위치하면 상기 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 추출하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  16. 제1 항에 있어서, 상기 제어부는,
    상기 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 상기 가변된 뷰포트가 상기 뷰포트의 확대이면 상기 확대된 뷰포트의 크기 및 좌표를 토대로 상기 뷰포트 영역 및 그 주변에 위치하는 타일들 중 기본 크기보다 더 큰 크기를 갖는 타일들을 추출하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  17. 제16 항에 있어서, 상기 제어부는,
    상기 기본 크기보다 더 큰 크기를 갖는 타일들을 추출할 때, 상기 추출하고자 하는 타일이 상기 뷰포트 영역 내부에 위치하면 상기 제2 화질의 해상도를 갖는 타일들 중 가장 큰 제1 크기를 갖는 타일을 추출하고,
    상기 추출하고자 하는 타일이 상기 뷰포트 영역의 경계에 위치하면 상기 제1 크기를 갖는 타일 또는 상기 제1 크기보다 더 작은 제2 크기를 갖는 타일을 추출하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈
    제17 항에 있어서, 상기 제어부는,
    상기 추출하고자 하는 타일이 상기 뷰포트 영역 주변에 위치하면 상기 제1 크기보다 더 작은 제2 크기를 갖는 타일을 추출하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  19. 제1 항에 있어서, 상기 제어부는,
    상기 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 상기 가변된 뷰포트가 상기 뷰포트의 축소이면 상기 축소된 뷰포트의 크기 및 좌표를 토대로 상기 뷰포트 영역 및 그 주변에 위치하는 타일들 중 기본 크기보다 더 작은 크기를 갖는 타일들을 추출하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  20. 제19 항에 있어서, 상기 제어부는,
    상기 기본 크기보다 더 작은 크기를 갖는 타일들을 추출할 때, 상기 추출하고자 하는 타일이 상기 뷰포트 영역 내부에 위치하면 상기 제2 화질의 해상도를 갖는 타일들 중 가장 작은 제3 크기를 갖는 타일을 추출하고,
    상기 추출하고자 하는 타일이 상기 뷰포트 영역의 경계에 위치하면 상기 제3 크기를 갖는 타일 또는 상기 제3 크기보다 더 큰 제4 크기를 갖는 타일을 추출하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  21. ◈청구항 21은(는) 설정등록료 납부시 포기되었습니다.◈
    제20 항에 있어서, 상기 제어부는,
    상기 추출하고자 하는 타일이 상기 뷰포트 영역 주변에 위치하면 상기 제3 크기보다 더 작은 제4 크기를 갖는 타일을 추출하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  22. 제1 항에 있어서, 상기 제어부는,
    상기 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 상기 가변된 뷰포트가 상기 뷰포트의 주밍(zooming) 없이 이동이면 상기 이동된 뷰포트의 크기 및 좌표를 토대로 상기 뷰포트 영역 및 그 주변에 위치하는 타일들 중 상기 제2 화질의 해상도를 갖는 타일들을 추출하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  23. 제22 항에 있어서, 상기 제어부는,
    상기 제2 화질의 해상도를 갖는 타일들을 추출할 때, 상기 추출하고자 하는 타일이 상기 뷰포트 영역 내부에 위치하면 상기 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 갖는 타일을 추출하고,
    상기 추출하고자 하는 타일이 상기 뷰포트 영역의 경계에 위치하면 상기 제1 해상도를 갖는 타일 또는 상기 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 추출하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  24. ◈청구항 24은(는) 설정등록료 납부시 포기되었습니다.◈
    제23 항에 있어서, 상기 제어부는,
    상기 추출하고자 하는 타일이 상기 뷰포트 영역 주변에 위치하면 상기 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 추출하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  25. ◈청구항 25은(는) 설정등록료 납부시 포기되었습니다.◈
    제1 항에 있어서, 상기 제어부는,
    상기 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 상기 가변된 뷰포트가 상기 뷰포트의 확대 및 이동이면 상기 이동 및 확대된 뷰포트의 크기 및 좌표를 토대로 상기 뷰포트 영역 및 그 주변에 위치하는 타일들 중 상기 제2 화질의 해상도를 가지면서 동시에 기본 크기보다 더 큰 크기를 갖는 타일들을 추출하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  26. ◈청구항 26은(는) 설정등록료 납부시 포기되었습니다.◈
    제25 항에 있어서, 상기 제어부는,
    상기 제2 화질의 해상도를 가지면서 동시에 기본 크기보다 더 큰 크기를 갖는 타일들을 추출할 때, 상기 추출하고자 하는 타일이 상기 뷰포트 영역 내부에 위치하면 상기 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 가지면서 동시에 가장 큰 제1 크기를 갖는 타일을 추출하고,
    상기 추출하고자 하는 타일이 상기 뷰포트 영역의 경계에 위치하면 상기 제1 해상도를 가지면서 동시에 가장 큰 제1 크기를 갖는 타일 또는 상기 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 상기 제1 크기보다 더 작은 제2 크기를 갖는 타일을 추출하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  27. ◈청구항 27은(는) 설정등록료 납부시 포기되었습니다.◈
    제26 항에 있어서, 상기 제어부는,
    상기 추출하고자 하는 타일이 상기 뷰포트 영역 주변에 위치하면 상기 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 상기 제1 크기보다 더 작은 제2 크기를 갖는 타일을 추출하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  28. ◈청구항 28은(는) 설정등록료 납부시 포기되었습니다.◈
    제1 항에 있어서, 상기 제어부는,
    상기 가변된 뷰포트에 상응하는 영상의 타일들을 추출할 때, 상기 가변된 뷰포트가 상기 뷰포트의 축소 및 이동이면 상기 이동 및 축소된 뷰포트의 크기 및 좌표를 토대로 상기 뷰포트 영역 및 그 주변에 위치하는 타일들 중 상기 제2 화질의 해상도를 가지면서 동시에 기본 크기보다 더 작은 크기를 갖는 타일들을 추출하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  29. ◈청구항 29은(는) 설정등록료 납부시 포기되었습니다.◈
    제28 항에 있어서, 상기 제어부는,
    상기 제2 화질의 해상도를 가지면서 동시에 기본 크기보다 더 작은 크기를 갖는 타일들을 추출할 때, 상기 추출하고자 하는 타일이 상기 뷰포트 영역 내부에 위치하면 상기 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 가지면서 동시에 가장 작은 제3 크기를 갖는 타일을 추출하고,
    상기 추출하고자 하는 타일이 상기 뷰포트 영역의 경계에 위치하면 상기 제1 해상도를 가지면서 동시에 가장 작은 제3 크기를 갖는 타일 또는 상기 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 상기 제3 크기보다 더 큰 제4 크기를 갖는 타일을 추출하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  30. ◈청구항 30은(는) 설정등록료 납부시 포기되었습니다.◈
    제29 항에 있어서, 상기 제어부는,
    상기 추출하고자 하는 타일이 상기 뷰포트 영역 주변에 위치하면 상기 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 상기 제3 크기보다 더 큰 제4 크기를 갖는 타일을 추출하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  31. 삭제
  32. 제1 항에 있어서, 상기 제어부는,
    상기 가변된 뷰포트 영역 주변에 상기 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 배치하도록 조합하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  33. 제1 항에 있어서, 상기 제어부는,
    상기 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 상기 가변된 뷰포트가 확대되면 상기 확대된 뷰포트 영역 내부에 상기 제2 화질의 해상도를 갖는 타일들 중 가장 큰 제1 크기를 갖는 타일을 배치하고 상기 확대된 뷰포트 영역의 경계에 상기 제1 크기를 갖는 타일 또는 상기 제1 크기보다 더 작은 제2 크기를 갖는 타일을 배치하도록 조합하며, 상기 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  34. 제33 항에 있어서, 상기 제어부는,
    상기 확대된 뷰포트 영역 주변에 상기 제1 크기보다 더 작은 제2 크기를 갖는 타일을 배치하도록 조합하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  35. 제1 항에 있어서, 상기 제어부는,
    상기 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 상기 가변된 뷰포트가 축소되면 상기 축소된 뷰포트 영역 내부에 상기 제2 화질의 해상도를 갖는 타일들 중 가장 작은 제3 크기를 갖는 타일을 배치하고 상기 축소된 뷰포트 영역의 경계에 위치하면 상기 제3 크기를 갖는 타일 또는 상기 제3 크기보다 더 큰 제4 크기를 갖는 타일을 배치하도록 조합하며, 상기 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  36. 제35 항에 있어서, 상기 제어부는,
    상기 축소된 뷰포트 영역 주변에 상기 제3 크기보다 더 작은 제4 크기를 갖는 타일을 배치하도록 조합하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  37. 제1 항에 있어서, 상기 제어부는,
    상기 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 상기 가변된 뷰포트가 주밍(zooming) 없이 이동되면 상기 주밍 없이 이동된 뷰포트 영역 내부에 상기 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 갖는 타일을 배치하고 상기 주밍 없이 이동된 뷰포트 영역의 경계에 상기 제1 해상도를 갖는 타일 또는 상기 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 배치하도록 조합하며, 상기 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  38. 제37 항에 있어서, 상기 제어부는,
    상기 주밍 없이 이동된 뷰포트 영역 주변에 상기 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 배치하도록 조합하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  39. ◈청구항 39은(는) 설정등록료 납부시 포기되었습니다.◈
    제1 항에 있어서, 상기 제어부는,
    상기 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 상기 가변된 뷰포트가 확대 및 이동되면 상기 확대 및 이동된 뷰포트 영역 내부에 상기 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 가지면서 동시에 가장 큰 제1 크기를 갖는 타일을 배치하고 상기 확대 및 이동된 뷰포트 영역의 경계에 위치하면 상기 제1 해상도를 가지면서 동시에 가장 큰 제1 크기를 갖는 타일 또는 상기 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 상기 제1 크기보다 더 작은 제2 크기를 갖는 타일을 배치하도록 조합하며, 상기 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  40. ◈청구항 40은(는) 설정등록료 납부시 포기되었습니다.◈
    제39 항에 있어서, 상기 제어부는,
    상기 확대 및 이동된 뷰포트 영역 주변에 상기 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 상기 제1 크기보다 더 작은 제2 크기를 갖는 타일을 배치하도록 조합하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  41. ◈청구항 41은(는) 설정등록료 납부시 포기되었습니다.◈
    제1 항에 있어서, 상기 제어부는,
    상기 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 상기 가변된 뷰포트가 축소 및 이동되면 상기 축소 및 이동된 뷰포트 영역 내부에 상기 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 가지면서 동시에 가장 작은 제3 크기를 갖는 타일을 배치하고 상기 축소 및 이동된 뷰포트 영역의 경계에 위치하면 상기 제1 해상도를 가지면서 동시에 가장 작은 제3 크기를 갖는 타일 또는 상기 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 상기 제3 크기보다 더 큰 제4 크기를 갖는 타일을 배치하도록 조합하며, 상기 조합된 각 타일의 식별 번호를 포함하는 영상 데이터를 전송하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  42. ◈청구항 42은(는) 설정등록료 납부시 포기되었습니다.◈
    제41 항에 있어서, 상기 제어부는,
    상기 축소 및 이동된 뷰포트 영역 주변에 상기 제1 해상도보다 더 낮은 제2 해상도를 가지면서 동시에 상기 제3 크기보다 더 큰 제4 크기를 갖는 타일을 배치하도록 조합하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  43. 제1 항에 있어서, 상기 제어부는,
    상기 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송할 때, 상기 영상 스트리밍 요청을 전송한 고객 단말로부터 단말 사양 정보를 수신하면 상기 수신한 단말 사양 정보로부터 상기 고객 단말의 해상도를 확인하고, 상기 확인된 고객 단말의 해상도를 고려하여 상기 제2 화질의 영상 타일들을 추출 및 조합하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  44. 제1 항에 있어서, 상기 제어부는,
    상기 제1 화질의 해상도를 갖는 영상에 상응하는 뷰포트(viewport) 정보가 수신되면 상기 뷰포트 정보로부터 뷰포트가 가변되는지를 판단하는 판단부;
    상기 영상 스트리밍 요청을 수신하면 제1 화질의 해상도를 갖는 영상을 추출하고, 상기 뷰포트가 가변되면 상기 가변된 뷰포트에 상응하는 영상 타일의 개수를 산출하여 상기 제1 화질의 해상도보다 더 높은 제2 화질의 해상도를 갖는 영상의 타일들을 상기 산출된 개수만큼 추출하는 추출부; 그리고,
    상기 추출된 제2 화질의 해상도를 갖는 영상의 타일들이 상기 뷰포트에 합성되도록 상기 제2 화질의 영상 타일들이 조합된 영상 데이터를 생성하는 뷰포트 영상 데이터 생성부를 포함하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 장치.
  45. 적어도 하나의 고객 단말과 통신 연결되는 영상 스트리밍 서비스 제공 장치의 영상 스트리밍 서비스 제공 방법에 있어서,
    상기 고객 단말로부터 영상 스트리밍 요청을 수신하는 단계;
    상기 고객 단말로 상기 영상 스트리밍 요청에 상응하는 제1 화질의 해상도를 갖는 영상을 전송하는 단계;
    상기 고객 단말로부터 상기 제1 화질의 해상도를 갖는 영상에 상응하는 뷰포트(viewport) 정보를 수신하는 단계;
    상기 뷰포트 정보로부터 뷰포트가 가변되는지를 판단하는 단계;
    상기 뷰포트가 가변되면 상기 가변된 뷰포트에 상응하는 영상 타일의 개수를 산출하여 상기 제1 화질의 해상도보다 더 높은 제2 화질의 해상도를 갖는 영상의 타일들을 산출된 개수만큼 추출하는 단계; 그리고,
    상기 고객 단말로 상기 추출된 제2 화질의 해상도를 갖는 영상의 타일들이 상기 뷰포트에 합성되도록 상기 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송하는 단계를 포함하고,
    상기 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송하는 단계는,
    상기 가변된 뷰포트 영역 내부에 상기 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 갖는 타일을 배치하고 상기 가변된 뷰포트 영역의 경계에 상기 제1 해상도를 갖는 타일 또는 상기 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 배치하도록 조합하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 방법.
  46. 제45 항에 있어서, 상기 고객 단말로부터 영상 스트리밍 요청을 수신하는 단계 이전에,
    카메라로부터 촬영된 원본 영상을 수신하는 단계;
    상기 수신된 원본 영상을 다수의 타일들로 분할하는 단계;
    상기 다수의 타일들로 분할된 원본 영상을 토대로 서로 다른 화질의 해상도를 갖는 다수의 영상들을 생성하는 단계; 그리고,
    상기 생성된 다수의 영상들을 화질별로 저장하는 단계를 포함하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 방법.
  47. 제46 항에 있어서, 상기 수신된 원본 영상을 다수의 타일들로 분할하는 단계는,
    상기 원본 영상을 미리 설정된 기본 크기를 갖는 다수의 타일들로 분할하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 방법.
  48. 제46 항에 있어서, 상기 서로 다른 화질의 해상도를 갖는 다수의 영상들을 생성하는 단계는,
    상기 원본 영상보다 해상도가 더 높은 타일들을 포함하는 고화질 영상과 상기 원본 영상보다 해상도가 더 낮은 타일들을 포함하는 저화질 영상을 생성하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 방법.
  49. ◈청구항 49은(는) 설정등록료 납부시 포기되었습니다.◈
    제48 항에 있어서,
    상기 고화질 영상과 저화질 영상 사이의 해상도를 갖는 타일들을 포함하는 중간 화질 영상을 더 생성하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 방법.
  50. 제46 항에 있어서, 상기 생성된 다수의 영상들을 화질별로 저장하는 단계는,
    상기 영상의 타일 크기 및 해상도를 토대로 상기 생성된 다수의 영상들을 분류하여 저장하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 방법.
  51. 제45 항에 있어서, 상기 뷰포트 정보로부터 뷰포트가 가변되는지를 판단하는 단계는,
    상기 뷰포트 정보로부터 상기 뷰포트의 주밍(zooming) 정보 및 위치 정보를 추출하는 단계; 그리고,
    상기 추출된 뷰포트의 주밍 정보 및 위치 정보를 토대로 상기 뷰포트의 주밍 및 위치 중 적어도 어느 하나가 가변되는지를 판단하는 단계를 포함하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 방법.
  52. 제51 항에 있어서, 상기 뷰포트의 주밍 정보는,
    상기 뷰포트의 확대에 따른 뷰포트 크기 및 좌표 정보를 포함하는 줌-인(zoom-in) 정보와, 상기 뷰포트의 축소에 따른 뷰포트 크기 및 좌표 정보를 포함하는 줌-아웃(zoom-out) 정보를 포함하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 방법.
  53. 제51 항에 있어서, 상기 뷰포트의 위치 정보는,
    상기 뷰포트의 이동에 따른 뷰포트 좌표 정보를 포함하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 방법.
  54. 제45 항에 있어서, 상기 가변된 뷰포트에 상응하는 영상의 타일들을 추출하는 단계는,
    상기 가변된 뷰포트의 크기 및 좌표를 토대로 상기 뷰포트 영역 및 그 주변에 위치하는 타일들 중 상기 제2 화질의 해상도를 갖는 타일들을 추출하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 방법.
  55. 제54 항에 있어서, 상기 제2 화질의 해상도를 갖는 타일들을 추출하는 단계는,
    상기 추출하고자 하는 타일이 상기 뷰포트 영역 내부에 위치하면 상기 제2 화질의 해상도를 갖는 타일들 중 가장 높은 제1 해상도를 갖는 타일을 추출하고,
    상기 추출하고자 하는 타일이 상기 뷰포트 영역의 경계에 위치하면 상기 제1 해상도를 갖는 타일 또는 상기 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 추출하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 방법.
  56. 제45 항에 있어서, 상기 제2 화질의 해상도를 갖는 타일들을 추출하는 단계는,
    상기 추출하고자 하는 타일이 상기 뷰포트 영역 주변에 위치하면 상기 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 추출하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 방법.
  57. 삭제
  58. 제45 항에 있어서, 상기 조합하는 단계는,
    상기 가변된 뷰포트 영역 주변에 상기 제1 해상도보다 더 낮은 제2 해상도를 갖는 타일을 배치하도록 조합하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 방법.
  59. 제45 항에 있어서, 상기 제2 화질의 영상 타일들이 조합된 영상 데이터를 전송하는 단계는,
    상기 영상 스트리밍 요청을 전송한 고객 단말로부터 단말 사양 정보를 수신하면 상기 수신한 단말 사양 정보로부터 상기 고객 단말의 해상도를 확인하고, 상기 확인된 고객 단말의 해상도를 고려하여 상기 제2 화질의 영상 타일들을 추출 및 조합하는 것을 특징으로 하는 영상 스트리밍 서비스 제공 방법.
  60. 제45 항 내지 제56 항, 제58 항 내지 제59 항 중 어느 한 항에 기재된 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020190048343A 2019-04-25 2019-04-25 영상 스트리밍 서비스 제공 장치 및 방법 KR102178111B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190048343A KR102178111B1 (ko) 2019-04-25 2019-04-25 영상 스트리밍 서비스 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190048343A KR102178111B1 (ko) 2019-04-25 2019-04-25 영상 스트리밍 서비스 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200124906A KR20200124906A (ko) 2020-11-04
KR102178111B1 true KR102178111B1 (ko) 2020-11-12

Family

ID=73398622

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190048343A KR102178111B1 (ko) 2019-04-25 2019-04-25 영상 스트리밍 서비스 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102178111B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102550967B1 (ko) * 2021-11-08 2023-07-05 주식회사 쓰리아이 이미지 출력 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017205794A1 (en) 2016-05-26 2017-11-30 Vid Scale, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120087233A (ko) * 2010-12-03 2012-08-07 한국전자통신연구원 영상 융합을 이용한 타일 맵 서비스 방법 및 이를 위한 시스템
CN108702528B (zh) * 2016-02-17 2021-06-01 Lg电子株式会社 发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017205794A1 (en) 2016-05-26 2017-11-30 Vid Scale, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery

Also Published As

Publication number Publication date
KR20200124906A (ko) 2020-11-04

Similar Documents

Publication Publication Date Title
US10021302B2 (en) Video recording method and device
US11245939B2 (en) Generating and transmitting metadata for virtual reality
KR102183413B1 (ko) 콘텐트 표현 방법 및 시스템
CN110460745B (zh) 显示装置
US10237621B2 (en) Direct capture and sharing of screenshots from video programming
US11450044B2 (en) Creating and displaying multi-layered augemented reality
US10574933B2 (en) System and method for converting live action alpha-numeric text to re-rendered and embedded pixel information for video overlay
EP3456058A1 (en) Bit depth remapping based on viewing parameters
TW201521432A (zh) 透過ｈｄｍｉ發送顯示管理元數據
EP3094098A1 (en) A method and a system for performing scrubbing in a video stream
US20140253804A1 (en) Image processing device, image recognition device, image recognition method, and program
US9628824B2 (en) Video decoding apparatus and method for enhancing video quality
WO2022022019A1 (zh) 投屏数据处理方法和装置
US20200204864A1 (en) Classification of images based on static components
KR102178111B1 (ko) 영상 스트리밍 서비스 제공 장치 및 방법
KR102152627B1 (ko) 미러링 화면에 관련된 콘텐츠 출력 방법 및 그 장치
KR102232899B1 (ko) 클라우드 스트리밍 서비스 시스템, 이미지 타입에 따른 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
US10616724B2 (en) Method, device, and non-transitory computer-readable recording medium for supporting relay broadcasting using mobile device
US11153613B2 (en) Remote-controlled media studio
CN108881999B (zh) 一种截屏处理方法及系统
CN110876069A (zh) 视频截图的获取方法、装置、设备及存储介质
KR102442698B1 (ko) 클라우드 스트리밍 서비스 시스템, os 메시지를 이용한 변화 영역 탐지 기반의 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
US20130097636A1 (en) Method and apparatus for displaying pictures during iptv channel switching
CN111200580A (zh) 一种播放器及播放方法
CN112422933A (zh) 投影装置、投影系统以及运行方法