KR20160125708A - 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치 - Google Patents

가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치 Download PDF

Info

Publication number
KR20160125708A
KR20160125708A KR1020150056498A KR20150056498A KR20160125708A KR 20160125708 A KR20160125708 A KR 20160125708A KR 1020150056498 A KR1020150056498 A KR 1020150056498A KR 20150056498 A KR20150056498 A KR 20150056498A KR 20160125708 A KR20160125708 A KR 20160125708A
Authority
KR
South Korea
Prior art keywords
streaming service
image data
virtual reality
information
reality streaming
Prior art date
Application number
KR1020150056498A
Other languages
English (en)
Other versions
KR102313485B1 (ko
Inventor
이주형
박중신
이지철
임한나
이진성
이형호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150056498A priority Critical patent/KR102313485B1/ko
Priority to EP16783338.3A priority patent/EP3288271B1/en
Priority to CN201680023256.1A priority patent/CN107548557B/zh
Priority to PCT/KR2016/003117 priority patent/WO2016171404A1/ko
Priority to US15/568,778 priority patent/US10397297B2/en
Publication of KR20160125708A publication Critical patent/KR20160125708A/ko
Priority to US16/542,426 priority patent/US11050810B2/en
Application granted granted Critical
Publication of KR102313485B1 publication Critical patent/KR102313485B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4092—Image resolution transcoding, e.g. client/server architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894—Packet rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Information Transfer Between Computers (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 개시는 4G 시스템 이후 보다 높은 데이터 전송률을 지원하기 위한 5G 통신 시스템을 IoT 기술과 융합하는 통신 기법 및 그 시스템에 관한 것이다. 본 개시는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스 (예를 들어, 스마트 홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 헬스 케어, 디지털 교육, 소매업, 보안 및 안전 관련 서비스 등)에 적용될 수 있다. 본 발명의 실시예에 따른 전자 장치에서 가상현실 스트리밍 서비스를 위한 영상 데이터를 수신하는 방법은, 전자 장치가 대역폭 상태를 토대로 적응적 가상현실 스트리밍 서비스 실행 여부를 결정하는 과정과, 상기 적응적 가상현실 스트리밍 서비스를 실행할 것으로 결정되면, 미리 수집한 헤드 트래킹 정보와 대역폭 정보를 토대로 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터를 요청하고 상기 서버로부터 수신하는 과정을 포함한다.

Description

가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치{METHOD AND APPARATUS FOR TRANSMITTING AND RECEIVING IMAGE DATA FOR VIRTUAL REALITY STREAMING SERVICE}
본 발명은 가상현실 (Virtual Reality, 이하 VR) 스트리밍 서비스의 품질을 개선하기 위한 방법 및 장치에 관한 것이다.
4G (4th-Generation) 통신 시스템 상용화 이후 증가 추세에 있는 무선 데이터 트래픽 수요를 충족시키기 위해, 개선된 5G (5th-Generation) 통신 시스템 또는 pre-5G 통신 시스템을 개발하기 위한 노력이 이루어지고 있다. 이러한 이유로, 5G 통신 시스템 또는 pre-5G 통신 시스템은 4G 네트워크 이후 (Beyond 4G Network) 통신 시스템 또는 LTE 시스템 이후 (Post LTE) 이후의 시스템이라 불리어지고 있다.
높은 데이터 전송률을 달성하기 위해, 5G 통신 시스템은 초고주파 (mmWave) 대역 (예를 들어, 60기가 (60GHz) 대역과 같은)에서의 구현이 고려되고 있다. 초고주파 대역에서의 전파의 경로 손실 완화 및 전파의 전달 거리를 증가시키기 위해, 5G 통신 시스템에서는 빔포밍 (beamforming), 거대 배열 다중 입출력 (massive multi-input multi-output: massive MIMO), 전차원 다중입출력 (Full Dimensional MIMO: FD-MIMO), 어레이 안테나 (array antenna), 아날로그 빔형성 (analog beam-forming), 및 대규모 안테나 (large scale antenna) 기술들이 논의되고 있다.
또한 시스템의 네트워크 개선을 위해, 5G 통신 시스템에서는 진화된 소형 셀, 개선된 소형 셀 (advanced small cell), 클라우드 무선 액세스 네트워크 (cloud radio access network: cloud RAN), 초고밀도 네트워크 (ultra-dense network), 기기 간 통신 (Device to Device communication: D2D), 무선 백홀 (wireless backhaul), 이동 네트워크 (moving network), 협력 통신 (cooperative communication), CoMP (Coordinated Multi-Points), 및 수신 간섭제거 (interference cancellation) 등의 기술 개발이 이루어지고 있다.
이 밖에도, 5G 시스템에서는 진보된 코딩 변조 (Advanced Coding Modulation: ACM) 방식인 FQAM (Hybrid FSK and QAM Modulation) 및 SWSC (Sliding Window Superposition Coding)과, 진보된 접속 기술인 FBMC (Filter Bank Multi Carrier), NOMA (non orthogonal multiple access), 및 SCMA (sparse code multiple access) 등이 개발되고 있다.
한편, 인터넷은 인간이 정보를 생성하고 소비하는 인간 중심의 연결 망에서, 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 사물인터넷 (Internet of Things, IoT) 망으로 진화하고 있다. IoE (Internet of Everything) 기술은 클라우드 서버 등과의 연결을 통한 빅 데이터 (Big data) 처리 기술 등이 IoT 기술에 결합된 하나의 예가 될 수 있다.
IoT를 구현하기 위해서, 센싱 기술, 유무선 통신 및 네트워크 인프라, 서비스 인터페이스 기술, 및 보안 기술 등과 같은 기술 요소 들이 요구되어, 최근에는 사물간의 연결을 위한 센서 네트워크 (sensor network), 사물 통신 (Machine to Machine, M2M), MTC (Machine Type Communication) 등의 기술이 연구되고 있다.
IoT 환경에서는 연결된 사물들에서 생성된 데이터를 수집, 분석하여 인간의 삶에 새로운 가치를 창출하는 지능형 IT (Internet Technology) 서비스가 제공될 수 있다. IoT는 기존의 IT 기술과 다양한 산업 간의 융합 및 복합을 통하여 스마트홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 스마트 그리드, 헬스 케어, 스마트 가전, 첨단의료서비스 등의 분야에 응용될 수 있다.
이에, 5G 통신 시스템을 IoT 망에 적용하기 위한 다양한 시도들이 이루어지고 있다. 예를 들어, 센서 네트워크, 사물 통신, MTC 등의 기술이 5G 통신 기술이 빔 포밍, MIMO, 및 어레이 안테나 등의 기법에 의해 구현되고 있는 것이다. 앞서 설명한 빅 데이터 처리 기술로써 클라우드 무선 액세스 네트워크가 적용되는 것도 5G 기술과 IoT 기술 융합의 일 예라고 할 수 있을 것이다.
한편, 최근 가상 현실(Virtual Reality, 이하 VR) 서비스에 사업자들의 대규모 투자가 진행됨에 따라 차세대 대표 서비스로의 확대가 예상 된다. 일반적으로 가상 현실(virtual reality; VR)이란 실제와 유사한 환경을 갖는 컴퓨터 그래픽으로 만들어진 환경 또는 상황을 말하며, 사람의 감각 기관을 통해 느끼게 하고, 실제로 상호작용하고 있는 것처럼 만들어주는 인터페이스를 의미한다. 사용자는 디바이스의 조작을 통하여 가상 현실과 실시간 상호 작용할 수 있고, 실제와 유사한 감각적 체험을 할 수 있다.
그리고, 증강 현실(augmented reality; AR)은 가상 현실의 한 분야로서 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 이러한, 증강 현실은 사용자가 눈으로 보는 현실 세계에 가상 물체를 겹쳐 보여주는 기술로서, 현실 세계에 실시간으로 부가 정보와 가상 세계를 합쳐 하나의 영상으로 보여주므로 혼합 현실(mixed reality, MR)이라고도 한다.
또한, 가상 현실 기술은 모바일 기기(예컨대, 스마트폰, 태블릿 PC 등)가 일반화됨에 따라 교육, 게임, 내비게이션, 광고, 또는 블로그와 같은 다양한 서비스에서도 자주, 쉽게 접할 수 있게 되었다. 최근 신체에 착용 가능한 웨어러블 장치(wearable device)가 상용화됨에 따라 가상 현실 기술에 관한 연구가 더욱 활발해지고 있다.
예컨대, 상기 웨어러블 장치는 머리 장착형, 안경형, 시계형, 밴드형, 콘텍트 렌즈형, 반지형, 신발형, 의복형 등 인체 및 의복에 탈부착 가능한 다양한 형태로 제공되고 있다. 상기 웨어러블 장치는 전자 장치를 옷이나 안경 등과 같이 신체에 착용할 수 있도록 함으로써 휴대성 및 접근성을 증대시킬 수 있다.
한편, 초기 VR 서비스는 VR 전용 콘텐츠를 VR 장비에 모두 다운로드 한 뒤 재생하는 비스트리밍(Non-Streaming) 서비스로 시작되어, 최근에는 서버로부터 실시간으로 스트리밍(Streaming)을 받으면서 재생하는 서비스로 발전하였다.
VR 콘텐츠는 기존 단말에서 콘텐츠를 소비하는 시점(Point of View) 방식이 아닌 360도 화면을 모두 제공하는 옴니뷰(Omni View) 방식을 지원하기 때문에, 일반 영상 콘텐츠 대비 약 5배에 달하는 고용량 대역폭을 요구한다. 이로 인해 스트리밍 방식 기반의 VR 서비스는 현재 통신망에서 많은 버퍼링 및 대역폭을 사용하게 되며, 이로 인해 VR 스트리밍 서비스의 끊김 문제가 발생된다.
본 발명은 고용량 대역폭을 요구하는 VR 스트리밍 서비스의 대역폭 부족으로 인한 끊김 문제를 해결하기 위해, 사용자의 헤드 트래킹(Head Tracking) 정보를 바탕으로 시야각 별 차등 품질을 제공하는 방법 및 장치를 제안한다.
또한 본 발명은 VR 서비스를 제공하는 전자 장치가 현재 대역폭 상황에 따라 적응적으로 VR 스트리밍 서비스를 제공하는 방법 및 장치를 제안한다.
본 발명의 실시예에 따른 전자 장치에서 가상현실 스트리밍 서비스를 위한 영상 데이터를 수신하는 방법은, 전자 장치가 대역폭 상태를 토대로 적응적 가상현실 스트리밍 서비스 실행 여부를 결정하는 과정과, 상기 적응적 가상현실 스트리밍 서비스를 실행할 것으로 결정되면, 미리 수집한 헤드 트래킹 정보와 대역폭 정보를 토대로 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터를 요청하고 상기 서버로부터 수신하는 과정을 포함한다.
또한 본 발명의 실시예에 따른 가상현실 스트리밍 서비스를 위한 영상 데이터를 수신하는 장치는, 전자 장치가 대역폭 상태를 토대로 적응적 가상현실 스트리밍 서비스 실행 여부를 결정하는 판단부와, 상기 적응적 가상현실 스트리밍 서비스를 실행할 것으로 결정되면, 미리 수집한 헤드 트래킹 정보와 대역폭 정보를 토대로 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터를 요청하는 수행부를 포함한다.
또한 본 발명의 실시예에 따른 가상현실 스트리밍 서비스를 위한 영상 데이터를 전송하는 방법은, 전자 장치로부터 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터 요청 메시지를 수신하는 과정과, 상기 요청 메시지를 토대로 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터를 구성하여 전송하는 과정을 포함하며, 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터는 360도 영상 중 일부인 관심 영역에 대한 소정값 이상의 해상도를 가지는 고화질의 영상 데이터를 포함하며, 상기 관심 영역은 상기 전자 장치의 헤드 트래킹 정보와 대역폭 정보 또는 상기 영상 데이터의 이벤트 정보를 토대로 결정된다.
또한 본 발명의 실시예에 따른 가상현실 스트리밍 서비스를 위한 영상 데이터를 전송하는 장치는, 전자 장치로부터 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터 요청 메시지를 수신하고, 상기 요청 메시지를 토대로 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터를 구성하여 전송하는 송수신부를 포함하며, 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터는 360도 영상 중 일부인 관심 영역에 대한 소정값 이상의 해상도를 가지는 고화질의 영상 데이터를 포함하며, 상기 관심 영역은 상기 전자 장치의 헤드 트래킹 정보와 대역폭 정보 또는 상기 영상 데이터의 이벤트 정보를 토대로 결정된다.
도 1은 본 발명의 실시예에 따른 데이터 분할의 예를 도시한 도면
도 2는 본 발명의 실시예에 따른 적응적 VR 스트리밍 서비스를 제공하기 위한 전자 장치의 구성을 도시한 도면
도 3은 본 발명의 실시예에 따른 적응적 VR 스트리밍 서비스를 제공하는 방법에 있어서, 위치 정보만을 고려하여 차등 품질의 영상을 요청하는 예를 도시한 도면
도 4는 본 발명의 실시예에 따른 적응적 VR 스트리밍 서비스를 제공하는 방법에 있어서 위치 정보와 가속 정보를 함께 고려하여 차등 품질의 영상을 요청하는 예를 도시한 도면
도 5는 본 발명의 실시예에 따른 적응적 VR 스트리밍 서비스를 제공하는 방법에 있어서, 위치 정보만을 고려하여 선택적으로 영상을 요청하는 예를 도시한 도면
도 6은 본 발명의 실시예에 따른 적응적 VR 스트리밍 서비스를 제공하는 방법에 있어서, 위치 정보와 가속 정보를 함께 고려하여 선택적으로 영상을 요청하는 예를 도시한 도면
도 7은 본 발명의 실시에에 따른 적응적 VR 스트리밍 서비스 제공 절차를 도시한 순서도
이하, 본 개시의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", " A 및 B 중 적어도 하나", 또는 " A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
다양한 실시 예에서 사용된 "제 1", "제 2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 개시의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥상 갖는 의미와 동일 또는 유사한 의미를 갖는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 개시의 실시 예들을 배제하도록 해석될 수 없다.
본 개시의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 전자 장치는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상 전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 스마트 안경, 머리 착용형 장치(head-mounted-device(HMD)), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 스마트 미러, 또는 스마트 와치(smart watch))중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에서, 전자 장치는 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSync™, 애플TV™, 또는 구글 TV™), 게임 콘솔(예: Xbox™, PlayStation™), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller’s machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 개시의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시 예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예를 들어, 인공지능 전자 장치)를 지칭할 수 있다.
본 발명의 실시예에서는 VR 서비스를 제공하는 전자 장치를 사용하는 사람의 현재 시점을 토대로 한 헤드 트래킹 정보와 가속 정보, 영상에 포함된 이벤트(event) 정보 등을 활용하여 사용자의 향후 시야각 정보를 예측하고, 예측된 정보를 토대로 각 view 별로 차등 품질의 영상을 제공하는 방법 및 장치를 제안한다.
가속 정보를 활용하는 방법은 현재 시야각과 가속도 방향 정보를 이용하여 이후에 사용자의 시야가 움직이게 될 방향과 시야각을 예측할 수 있으며, 사용자의 시야가 움직이는 방향의 영상을 고화질로 제공할 수 있다. 또한 영상에 포함된 이벤트 정보를 활용하는 방법은, 영상 속의 특정 소리나 객체 정보 등을 활용하는 방법이 있을 수 있다. 예를 들어 소리가 뒤쪽에서 들려오면 사용자는 자연스럽게 소리가 들려오는 뒤쪽을 보게 될 것이므로 이 경우 뒤쪽의 영상을 고화질로 제공할 수 있다. 또한 영상에서 어느 시점에 새로운 물체가 등장한다면 사용자는 자연스럽게 새로운 물체가 등장하거나 움직이는 방향으로 시선을 향하게 될 것이므로 해당 시야를 고화질로 제공할 수 있다. 또한 이벤트 기반의 예측 방식은 스트리밍 기법 이외에도 로컬(local)에서 VR 컨텐츠를 다운 받아서 선택적으로 렌더링(rendering) 하는 방안에도 적용 가능하다.
또한 본 발명의 실시예에 따르면 VR 서비스를 제공하는 전자 장치가 현재 대역폭 상황에 따라 적응적 VR 스트리밍(Adaptive VR streaming) 서비스를 제공할 수 있다. 적응적 VR 스트리밍은 가속정보, 위치정보, 대역폭 정보 등을 기반으로 다양한 화질의 영상을 제공한다. 예를 들어, 사용자의 현재 시야각을 포함하여 사용자가 볼 확률이 높은 부분은 고화질로, 사용자가 볼 확률이 낮은 부분은 중화질 또는 저화질로 전송하거나, 사용자의 현재 시야 각으로부터 이동 가능한 범위 내의 시야각에 대한 영상만을 전송하고 이동 가능 범위 이외의 시야각에 대한 영상은 전송하지 않을 수 있다.
본 발명의 실시예에 따른 적응적 VR 스트리밍을 판단하는 방법은 전자 장치의 버퍼 레벨을 활용하는 방법, 대역폭을 활용하는 방법을 들 수 있다. 이들 방법은 독립적으로 또는 복합적으로 사용될 수 있다.
먼저, 버퍼 레벨을 활용하는 방법은 전자 장치의 버퍼 레벨 상태를 토대로 대역폭 상태를 추측하는 것이다. 즉, 버퍼 레벨이 높을 경우에는 대역폭이 넓을 것으로 예상하여 모든 영상을 고화질 영상을 전송하고 버퍼 레벨이 낮을 경우에는 대역폭이 좁을 것으로 예상하여 활용도가 적을 것으로 예상되는 시야각의 영상을 저화질 영상으로 전송할 수 있다. 예를 들어, 버퍼 레벨이 상중하 세 단계로 구분된다고 가정할 때, 현재 버퍼 레벨이 상이라면 360도 모든 시야각에 대한 영상을 모두 고화질로 전송하고, 현재 버퍼 레벨이 중이라면 현재 시야각을 포함하여 앞으로 이동할 것으로 예상되는 시야각(이하, 관심 영역)에 대한 영상을 고화질로 전송하고 관심 영역 이외의 영역(이하, 비관심 영역)에 대한 영상을 중화질로 전송하고, 현재 버퍼 레벨이 하라면 관심 영역에 대한 영상을 고화질로 전송하고 비관심 영역에 대한 영상을 저화질로 전송할 수 있다.
또한 대역폭을 측정하는 방법은 청크(Chunk) 단위로 평균 대역폭을 측정하고 상기 측정값(Chunk size/Chunk download time)이 모든 시야각에 대해 고화질 영상을 제공하기 위해 요구되는 대역폭보다 작으면 비관심 영역에 대한 영상을 중화질 또는 저화질로 전송할 수 있다.
다음, 본 발명의 실시예에 따른 적응적 VR 스트리밍 서비스를 제공하는 방법에 대해 설명한다.
본 발명의 실시예에 따른 적응적 VR 스트리밍 서비스를 제공하는 방법은 하나의 영상에 대해 복수의 부호율로 인코딩이 가능한지 여부에 따라 크게 두 가지로 구분될 수 있다.
서버에서 하나의 영상에 대해 복수의 부호율로 인코딩 적용이 가능하지 않은 경우에는 서버가 360도 영상을 뷰별 또는 부호율별로 관리하거나 전자장치의 요청을 기반으로 영상 데이터를 구성 또는 전송할 수 있다. 이를 위해 서버는 360도 카메라를 통해 촬영된 영상을 다중 품질로 인코딩 하여 청크 단위로 1차 분할하고, 각 청크를 다시 각 앵글(Angle) 또는 뷰(View) 단위로 구분한 앵글 블록(Angle block)으로 2차 분할하여 저장소에 저장한다.
도 1은 본 발명의 실시예에 따른 데이터 분할의 예를 도시한 것이다. 도 1에서는 9개의 카메라(cam 1 내지 cam 9)를 사용하여 영상을 촬영하고 각 청크를 9개의 앵글 블록으로 분할하는 것을 예로 들었으나 카메라의 개수와 청크별 앵글 블록의 개수는 변경 가능하다. 또한 도 1에서는 두 단계의 품질, 즉 고화질과 저화질로 인코딩 하는 것을 예로 들었으나 셋 이상의 화질로도 구분할 수 있다.
청크를 앵글 블록으로 분할하는 방식은 균일한 각도로 분할하는 방식과 불균일한 각도로 분할하는 방식을 모두 사용할 수 있다.
균일한(Symmetric) 각도로 분할하는 방식은, 예를 들어 360도를 45도씩 8개의 앵글 블록으로 분할하거나 30도씩 12개의 앵글 블록으로 분할하는 것을 의미한다. 또한 불균일한(Asymmetric) 각도로 분할하는 방식은, 예를 들어 사용자가 볼 확률이 낮은 부분은 비교적 작은 크기로 앵글 블록을 형성하고 볼 확률이 높은 부분은 비교적 큰 크기로 앵글 블록을 형성하거나, 움직임이 많은 부분은 비교적 큰 크기로 앵글블록을 형성하고 움직임이 적은 부분은 비교적 작은 크기로 앵글 블록을 형성할 수 있다. 또한 앵글 블록의 크기가 볼 확률에 비례하도록 모든 앵글 블록의 크기를 다르게 설정할 수도 있다. 또한 스포츠 영상, 영화, 자연 영상 등 영상의 특성에 따라서 앵글 블록의 크기나 해상도 레벨을 다르게 설정할 수도 있다. 예를 들어 스포츠 영상과 같이 움직임이 빠른 영상의 경우에는 화면이 끊김 없이 보이도록
한편, 전자 장치는 자신의 능력이나 현재 네트워크 상황에 따라 적응적으로 서버에게 VR 스트리밍 서비스를 요청할 수 있다. 이를 위해 전자 장치는 매 청크마다 청크 인덱스와 해당 청크의 품질 정보를 서버에 전달하며, 서버는 이에 상응하는 품질의 청크를 전자 장치로 전송한다. 또한 본 발명의 실시예에 따른 앵글 블록 단위의 청크를 요청하기 위해서는 전자 장치가 서버로 영상을 요청할 때 청크 인덱스 및 품질 정보와 함께 앵글 블록에 대한 정보도 전달해야 한다.
또한 본 발명의 실시예에 따라 뷰 별로 서로 다른 품질의 영상이 제공될 경우, 전자 장치는 서버로부터 뷰별로 분할된 영상 데이터들을 수신하여 결합(aggregation)하는 작업을 수행해야 한다. 또는 서버가 분할된 뷰 별 영상을 결합하여 360도 영상을 생성한 후 전자 장치로 전송할 수도 있다. 또는 서버와 전자 장치간의 연결을 설정하는 과정에서 단말의 영상 처리 능력 정보를 협상(negotiation)하고 협상된 결과를 토대로 영상 결합 주체를 결정할 수도 있다. 예를 들어 전자 장치의 영상 처리 능력이 낮은 경우에는 서버가 결합된 영상을 전자 장치로 제공하는 방법을 택할 수 있다.
한편, 스마트 코덱 방법 등과 같이 관심 영역과 비관심 영역의 압축을 다르게 하여 인코딩이 가능한 경우에는, 전자 장치가 버퍼 레벨과, 헤드 트랙 정보를 토대로 향후 사용자가 보게 될 관심 영역의 정보를 서버로 전송하고, 서버는 전자 장치로부터 수신된 정보를 바탕으로 사용자의 관심 영역에 해당하는 영상은 압축률을 낮춰서 고화질로 전송하고, 비관심 영역은 압축률을 높여서 저화질로 전송함으로써 데이터 크기를 줄일 수도 있다. 관심 영역 설정은 사용자가 직접 블록 설정 등으로 지정하거나, 전자 장치의 버퍼 레벨에 따라 설정하거나, 전자 장치와 연결된 카메라에서 초점 자동 설정 등을 통해 특정 객체 또는 특정 영역을 관심 영역으로 설정할 수도 있다.
도 2는 본 발명의 실시예에 따른 적응적 VR 스트리밍 서비스를 제공하기 위한 전자 장치의 구성을 도시한 것이다.
도 2를 참조하면, 본 발명의 실시예에 따른 전자 장치(200)는 헤드 트래킹 정보 추출부(210)와, 적응적 VR 스트리밍 판단부(220)와, 적응적 VR 스트리밍 수행부(230)와, 영상 요청부(240)를 포함할 수 있다.
헤드 트래킹 정보 추출부(210)는 전자 장치에 장착된 자이로 센서나 가속도 센서 등의 움직임을 감지하는 센서, 카메라 등으로부터 수신한 정보들을 토대로 가속정보와 위치 정보를 추출한다.
적응적 VR 스트리밍 판단부(220)는 대역폭 상태에 따라 적응적 VR 스트리밍 수행 여부를 결정한다. 구체적으로, 전자 장치에서 측정된 대역폭이 360도 영상을 모두 고화질 영상으로 제공하기 위한 고화질 요구 대역폭보다 큰 경우에는 모든 영상을 고화질로 수신할 수 있으므로 적응적 VR 스트리밍을 수행하지 않는 것으로 판단하고, 상기 측정된 대역폭이 상기 고화질 요구 대역폭보다 적은 경우에는 적응적 VR 스트리밍을 수행하는 것으로 판단하며, 상기 측정된 대역폭이 360도 영상을 모두 저화질 영상으로 제공하기 위한 저화질 요구 대역폭보다도 작은 경우에는 모든 영상을 저화질로 수신할 것이므로 적응적 VR 스트리밍을 수행하지 않는 것으로 판단한다. 그리고 판단 결과를 각각 적응적 VR 스트리밍 수행부(230)와 영상 요청부(240)로 전달한다.
적응적 VR 스트리밍 수행부(230)는 헤드 트래킹 정보 추출부(210)로부터 추출된 가속 정보와 위치 정보를 수신하고, 적응적 VR 스트리밍 판단부(220)에서 적응적 VR 스트리밍을 수행하기로 결정한 경우에 상기 가속 정보와 위치 정보를 토대로 서버로 요청할 청크 정보를 결정한다.
영상 요청부(240)는 적응적 VR 스트리밍 판단부(220) 및 적응적 VR 스트리밍 수행부(230)의 결정에 따라 서버로 적응적 VR 스트리밍을 요청한다. 이때 영상 요청부(240)는 서버로부터 기 수신한 매니페스트(manifest) 파일을 토대로 지원 가능한 품질 정보와 앵글 블록 인덱스 정보를 획득하고, 획득한 정보들을 토대로 요청 메시지를 생성하여 서버로 전송한다. 앞서 언급한 바와 같이 상기 요청 메시지는 청크 인덱스, 품질 정보, 앵글 블록 인덱스를 포함할 수 있다.
다음, 본 발명의 실시예에 따른 차등 품질 제공 방법에 대해 설명한다.
먼저, 사용자가 현재 보는 시점을 기준으로 앞으로 볼 확률이 높은 주변 부분은 고화질 영상으로, 나머지 부분은 저화질 영상으로 요청할 수 있다. 이때 위치 정보와 가속 정보의 활용 방안에 따라 다음 두 가지 방안이 있을 수 있다.
위치 정보만 활용하는 경우에는 현재 사용자가 보고 있는 뷰를 기준으로 좌우에 인접한 뷰를 고화질로 요청할 수 있다.
또한 위치 정보와 가속 정보를 함께 활용할 경우에는 사용자가 가속을 받고 있는 방향의 뷰로 시선이 이동할 확률이 높다고 판단하여, 현재 뷰와 가속 방향의 영역을 고화질 영상을 요청할 수 있다.
도 3은 위치 정보만을 고려하여 차등 품질의 영상을 요청하는 예를 도시한 것이고 도 4는 위치 정보와 가속 정보를 함께 고려하여 차등 품질의 영상을 요청하는 예를 도시한 것이다.
도 3을 참조하면, 현재 5번을 보고 있는 경우에 5번을 포함하여 5번에 인접한 4번과 6번, 그리고 천장 영상인 9번을 고화질로 요청하고, 나머지 뷰(1-3번, 7-8번)의 영상을 저화질로 요청할 수 있다.
또한 도 4를 참조하면, 현재 5번을 보고 있으며 왼쪽 방향으로 가속 정보가 존재할 때, 5번을 포함하여 5번에 인접한 4번과 6번, 그리고 가속방향으로 5번에 인접한 3번, 그리고 천장 영상인 9번을 고화질로 요청하고, 나머지 뷰(1-2번, 7-8번)의 영상을 저화질로 요청할 수 있다.
상기 도 3과 도 4에서는 화질을 고화질과 저화질의 두 단계로 구분하였으나, 3개 이상의 단계로 구분하여 전송할 수도 있다. 예를 들어 도 3에서는 4번, 5번, 6번, 9번을 고화질로 요청하고, 나머지 뷰 중에서 현재 시점과 비교적 인접한 3번과 7번은 중화질로, 현재 시점과 비교적 먼 1,2번과 8번은 저화질로 요청할 수 있다. 또한 도 4에서는 3-6번과 9번은 고화질로, 나머지 뷰 중에서 가속방향에 위치한 1-2번은 중화질로, 가속방향과 반대방향에 위치한 7-8번은 저화질로 요청할 수 있다.
또한 앞서 기술한 바와 같이 영상에 포함된 이벤트(event) 정보 등을 활용하여 사용자의 향후 시야각 정보를 예측하는 경우에도 예측된 정보를 토대로 각 view 별로 2단계 이상의 차등 품질의 영상을 제공할 수 있다.
다음, 사용자가 현재 보는 시점을 기준으로 앞으로 볼 확률이 높은 주변 부분의 영상만을 선택적으로 요청하고 나머지 부분은 영상을 요청하지 않음으로써 대역폭을 절감할 수 있다. 선택적 영상 요청 방법도 앞서 설명한 뷰 별 차등 품질 영상 요청 방안과 유사하게 위치 정보와 가속 정보의 활용 방안에 따라 다음 두 가지 방안이 있을 수 있다.
위치 정보만 활용하는 경우에는 현재 사용자가 보고 있는 뷰를 기준으로 좌우에 인접한 뷰에 대한 영상만 요청하고 나머지 부분은 요청하지 않을 수 있다.
또한 위치 정보와 가속 정보를 함께 활용할 경우에는 사용자가 가속을 받고 있는 방향의 뷰로 시선이 이동할 확률이 높다고 판단하여, 현재 뷰와 가속 방향의 영역의 영상만 요청하고 나머지 부분은 요청하지 않을 수 있다.
도 5는 위치 정보만을 고려하여 선택적으로 영상을 요청하는 예를 도시한 것이고 도 6은 위치 정보와 가속 정보를 함께 고려하여 선택적으로 영상을 요청하는 예를 도시한 것이다.
도 5를 참조하면, 현재 5번을 보고 있는 경우에 5번을 포함하여 5번에 인접한 4번과 6번, 그리고 천장 영상인 9번을 요청하고, 나머지 뷰(1-3번, 7-8번)의 영상은 요청하지 않는다.
또한 도 6을 참조하면, 현재 5번을 보고 있으며 왼쪽 방향으로 가속 정보가 존재할 때, 5번을 포함하여 5번에 인접한 4번과 6번, 그리고 가속방향으로 5번에 인접한 3번, 그리고 천장 영상인 9번을 요청하고, 나머지 뷰(1-2번, 7-8번)의 영상은 요청하지 않는다.
또한 앞서 기술한 바와 같이 영상에 포함된 이벤트(event) 정보 등을 활용하여 사용자의 향후 시야각 정보를 예측하는 경우에도 예측된 정보를 토대로 각 view 별로 영상을 선택적으로 제공할 수 있다.
도 7은 본 발명의 실시에에 따른 적응적 VR 스트리밍 서비스 제공 절차를 도시한 순서도이다.
도 7을 참조하면, 전자 장치는 서버로 매니페스트(Manifest) 파일을 요청하여 이를 수신하고(701,702) 인코딩 및 청크 정보를 획득한다(703). 이때 전자 장치는 자신의 디코딩 능력을 포함하는 능력 정보를 서버에게 전송할 수 있다. 전자 장치는 현재 대역폭을 측정하고 측정된 대역폭을 바탕으로 적응적 VR 스트리밍 수행 여부를 판단한다(704). 즉, 전자 장치에서 측정된 대역폭이 360도 영상을 모두 고화질 영상으로 제공하기 위한 고화질 요구 대역폭보다 큰 경우에는 모든 영상을 고화질로 수신할 수 있으므로 적응적 VR 스트리밍을 수행하지 않는 것으로 판단하고, 상기 측정된 대역폭이 상기 고화질 요구 대역폭보다 적은 경우에는 적응적 VR 스트리밍을 수행하는 것으로 판단하며, 상기 측정된 대역폭이 360도 영상을 모두 저화질 영상으로 제공하기 위한 저화질 요구 대역폭보다도 작은 경우에는 모든 영상을 저화질로 수신할 것이므로 적응적 VR 스트리밍을 수행하지 않는 것으로 판단한다. 적응적 VR 스트리밍을 수행하기로 결정된 경우, 전자 장치에 장착된 움직임 센서, 카메라 등으로부터 기 수신한 헤드 트래킹 정보인 가속정보와 위치 정보를 토대로 서버로 요청할 청크 정보를 결정한다(705). 그리고 상기 결정에 따라 서버로 적응적 VR 스트리밍을 요청한다(706). 이때 전자 장치는 서버로부터 기 수신한 매니페스트(manifest) 파일을 토대로 지원 가능한 품질 정보와 앵글 블록 인덱스 정보를 획득하고, 획득한 정보들을 토대로 요청 메시지를 생성하여 서버로 전송한다(708). 상기 요청 메시지는 청크 인덱스, 품질 정보, 앵글 블록 인덱스를 포함할 수 있다. 그리고 전자 장치는 서버로부터 상기 요청에 따른 청크를 수신한다(708). 이때, 서버는 701에서 수신한 단말의 능력정보를 토대로 단말이 디코딩 가능한 범위 내의 영상을 전송할 수 있다.
본 문서에서 사용된 용어 "~부"는, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "~부"는, 예를 들면, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "~부"는, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "~부"는 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, "~부"는, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 프로세서 (예: 프로세서(120))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리(130)가 될 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM(read only memory), RAM(random access memory), 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시 예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
다양한 실시 예에 따르면, 명령들을 저장하고 있는 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 전자 장치에서 가상 현실 모드를 실행하는 과정; 적어도 하나의 이벤트 발생에 따른 인터럽트를 감지하는 과정; 상기 발생한 이벤트와 관련된 이벤트 관련 정보를 상기 가상 현실 모드에 대응하는 형태로 변경하는 과정; 및 상기 변경된 이벤트 관련 정보를 상기 가상 현실 모드에 대응하여 실행되는 화면상에 표시하는 과정;을 포함할 수 있다.
그리고 본 명세서와 도면에 발명된 본 발명의 실시 예들은 본 발명의 실시 예에 따른 기술 내용을 쉽게 설명하고 본 발명의 실시 예의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 실시 예의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 다양한 실시 예의 범위는 여기에 발명된 실시 예들 이외에도 본 발명의 다양한 실시 예의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 다양한 실시 예의 범위에 포함되는 것으로 해석되어야 한다.

Claims (26)

  1. 전자 장치에서 가상현실 스트리밍 서비스를 위한 영상 데이터를 수신하는 방법에 있어서,
    전자 장치가 대역폭 상태를 토대로 적응적 가상현실 스트리밍 서비스 실행 여부를 결정하는 과정과,
    상기 적응적 가상현실 스트리밍 서비스를 실행할 것으로 결정되면, 미리 수집한 헤드 트래킹 정보와 대역폭 정보를 토대로 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터를 요청하고 상기 서버로부터 수신하는 과정을 포함하는 영상 데이터 수신 방법.
  2. 제1항에 있어서,
    상기 가상현실 스트리밍 서비스 실행 여부를 결정하는 과정은,
    상기 대역폭 상태가 모든 영상 데이터를 소정값 이상의 해상도를 가지는 고화질로 수신하기 어렵다고 판단되는 경우에 상기 가상현실 스트리밍 서비스를 실행할 것으로 결정하는 영상 데이터 수신 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 가상현실 스트리밍 서비스 실행 여부를 결정하는 과정은,
    상기 전자 장치의 버퍼 레벨 정보를 토대로 상기 대역폭 상태를 추측하는 영상 데이터 수신 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 가상현실 스트리밍 서비스 실행 여부를 결정하는 과정은,
    청크 단위로 평균 대역폭을 측정하고, 상기 측정한 평균 대역폭이 모든 영상 데이터를 소정값 이상의 해상도를 가지는 고화질로 수신하기 어렵다고 판단되는 경우에 상기 가상현실 스트리밍 서비스를 실행할 것으로 결정하는 영상 데이터 수신 방법.
  5. 제1항에 있어서,
    상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터를 요청하고 상기 서버로부터 수신하는 과정은,
    상기 헤드 트래킹 정보에 포함된 가속 정보를 토대로 이후에 시선이 움직일 것으로 예상되는 위치를 관심 영역을 설정하고, 상기 관심 영역에 대해 소정값 이상의 해상도를 가지는 고화질의 영상 데이터를 요청하는 영상 데이터 수신 방법.
  6. 제1항에 있어서,
    상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터를 요청하고 상기 서버로부터 수신하는 과정은,
    상기 영상 데이터에 포함된 이벤트 정보를 토대로 설정된 관심 영역에 대해 소정값 이상의 해상도를 가지는 고화질의 영상 데이터를 요청하여 수신하는 영상 데이터 수신 방법.
  7. 제5항 또는 제6항에 있어서,
    상기 관심 영역 이외의 영역에 대해 상기 소정값 이하의 해상도를 가지는 영상 데이터를 요청하는 영상 데이터 수신 방법.
  8. 제5항 또는 제6항에 있어서,
    상기 관심 영역 이외의 영역에 대해서는 영상 데이터를 요청하지 않는 영상 데이터 수신 방법.
  9. 제6항에 있어서,
    상기 이벤트 정보는, 소정 시점에 등장하는 소리 또는 객체에 대한 방향 정보를 포함하는 영상 데이터 수신 방법.
  10. 제1항에 있어서,
    상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터를 요청하는 과정은,
    상기 서버로부터 획득한 인코딩 정보와 청크 정보를 토대로, 상기 요청하는 영상 데이터에 대한 청크 인덱스 정보와, 상기 영상 데이터를 시야각에 따라 분할한 앵글 블록 인덱스와, 해상도 정보를 상기 서버로 전송하는 영상 데이터 수신 방법.
  11. 가상현실 스트리밍 서비스를 위한 영상 데이터를 수신하는 장치에 있어서,
    전자 장치가 대역폭 상태를 토대로 적응적 가상현실 스트리밍 서비스 실행 여부를 결정하는 판단부와,
    상기 적응적 가상현실 스트리밍 서비스를 실행할 것으로 결정되면, 미리 수집한 헤드 트래킹 정보와 대역폭 정보를 토대로 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터를 요청하는 수행부를 포함하는 수신 장치.
  12. 제11항에 있어서,
    상기 판단부는,
    상기 대역폭 상태가 모든 영상 데이터를 소정값 이상의 해상도를 가지는 고화질로 수신하기 어렵다고 판단되는 경우에 상기 가상현실 스트리밍 서비스를 실행할 것으로 결정하는 영상 데이터 수신 장치.
  13. 제11항 또는 제12항에 있어서,
    상기 판단부는,
    상기 전자 장치의 버퍼 레벨 정보를 토대로 상기 대역폭 상태를 추측하는 영상 데이터 수신 장치.
  14. 제11항 또는 제12항에 있어서,
    상기 판단부는,
    청크 단위로 평균 대역폭을 측정하고, 상기 측정한 평균 대역폭이 모든 영상 데이터를 소정값 이상의 해상도를 가지는 고화질로 수신하기 어렵다고 판단되는 경우에 상기 가상현실 스트리밍 서비스를 실행할 것으로 결정하는 영상 데이터 수신 장치.
  15. 제11항에 있어서,
    상기 실행부는,
    상기 트래킹 정보에 포함된 가속 정보를 토대로 이후에 시선이 움직일 것으로 예상되는 위치를 관심 영역을 설정하고, 상기 관심 영역에 대해 소정값 이상의 해상도를 가지는 고화질의 영상 데이터를 요청하는 영상 데이터 수신 장치.
  16. 제11항에 있어서,
    상기 실행부는,
    상기 영상 데이터에 포함된 이벤트 정보를 토대로 설정된 관심 영역에 대해 소정값 이상의 해상도를 가지는 고화질의 영상 데이터를 요청하여 수신하는 영상 데이터 수신 장치.
  17. 제15항 또는 제16항에 있어서,
    상기 실행부는,
    상기 관심 영역 이외의 영역에 대해 상기 소정값 이하의 해상도를 가지는 영상 데이터를 요청하는 영상 데이터 수신 장치.
  18. 제15항 또는 제16항에 있어서,
    상기 실행부는,
    상기 관심 영역 이외의 영역에 대해서는 영상 데이터를 요청하지 않는 영상 데이터 수신 장치.
  19. 제16항에 있어서,
    상기 이벤트 정보는, 소정 시점에 등장하는 소리 또는 객체에 대한 방향 정보를 포함하는 영상 데이터 수신 장치.
  20. 제11항에 있어서,
    상기 실행부는,
    상기 서버로부터 획득한 인코딩 정보와 청크 정보를 토대로, 상기 요청하는 영상 데이터에 대한 청크 인덱스 정보와, 상기 영상 데이터를 시야각에 따라 분할한 앵글 블록 인덱스와, 해상도 정보를 상기 서버로 전송하는 영상 데이터 수신 장치.
  21. 가상현실 스트리밍 서비스를 위한 영상 데이터를 전송하는 방법에 있어서,
    전자 장치로부터 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터 요청 메시지를 수신하는 과정과,
    상기 요청 메시지를 토대로 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터를 구성하여 전송하는 과정을 포함하며,
    상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터는 360도 영상 중 일부인 관심 영역에 대한 소정값 이상의 해상도를 가지는 고화질의 영상 데이터를 포함하며,
    상기 관심 영역은 상기 전자 장치의 헤드 트래킹 정보와 대역폭 정보 또는 상기 영상 데이터의 이벤트 정보를 토대로 결정되는 영상 데이터 송신 방법.
  22. 제21항에 있어서,
    상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터는 상기 관심 영역 이외의 영역에 대한 상기 소정값 이하의 해상도를 가지는 영상 데이터를 더 포함하는 영상 데이터 송신 방법.
  23. 제21항에 있어서,
    상기 이벤트 정보는, 소정 시점에 등장하는 소리 또는 객체에 대한 방향 정보를 포함하는 영상 데이터 송신 방법.
  24. 가상현실 스트리밍 서비스를 위한 영상 데이터를 전송하는 장치에 있어서,
    전자 장치로부터 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터 요청 메시지를 수신하고, 상기 요청 메시지를 토대로 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터를 구성하여 전송하는 송수신부를 포함하며,
    상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터는 360도 영상 중 일부인 관심 영역에 대한 소정값 이상의 해상도를 가지는 고화질의 영상 데이터를 포함하며,
    상기 관심 영역은 상기 전자 장치의 헤드 트래킹 정보와 대역폭 정보 또는 상기 영상 데이터의 이벤트 정보를 토대로 결정되는 영상 데이터 송신 장치.
  25. 제24항에 있어서,
    상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터는 상기 관심 영역 이외의 영역에 대한 상기 소정값 이하의 해상도를 가지는 영상 데이터를 더 포함하는 영상 데이터 송신 장치.
  26. 제24항에 있어서,
    상기 이벤트 정보는, 소정 시점에 등장하는 소리 또는 객체에 대한 방향 정보를 포함하는 영상 데이터 송신 장치.
KR1020150056498A 2015-04-22 2015-04-22 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치 KR102313485B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020150056498A KR102313485B1 (ko) 2015-04-22 2015-04-22 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
EP16783338.3A EP3288271B1 (en) 2015-04-22 2016-03-28 Method and apparatus for transmitting and receiving image data for virtual-reality streaming service
CN201680023256.1A CN107548557B (zh) 2015-04-22 2016-03-28 发送和接收虚拟现实流传输服务的图像数据的方法和装置
PCT/KR2016/003117 WO2016171404A1 (ko) 2015-04-22 2016-03-28 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
US15/568,778 US10397297B2 (en) 2015-04-22 2016-03-28 Method and apparatus for transmitting and receiving image data for virtual-reality streaming service
US16/542,426 US11050810B2 (en) 2015-04-22 2019-08-16 Method and apparatus for transmitting and receiving image data for virtual-reality streaming service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150056498A KR102313485B1 (ko) 2015-04-22 2015-04-22 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160125708A true KR20160125708A (ko) 2016-11-01
KR102313485B1 KR102313485B1 (ko) 2021-10-15

Family

ID=57144007

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150056498A KR102313485B1 (ko) 2015-04-22 2015-04-22 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치

Country Status (5)

Country Link
US (2) US10397297B2 (ko)
EP (1) EP3288271B1 (ko)
KR (1) KR102313485B1 (ko)
CN (1) CN107548557B (ko)
WO (1) WO2016171404A1 (ko)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180013243A (ko) * 2016-07-29 2018-02-07 에스케이텔레콤 주식회사 스트리밍 컨텐츠 제공 방법, 스트리밍 컨텐츠 저장 방법 및 이를 위한 장치
WO2018097682A1 (ko) * 2016-11-25 2018-05-31 삼성전자 주식회사 영상 처리 장치 및 그 영상 처리 방법
WO2018101551A1 (ko) * 2016-12-02 2018-06-07 안상돈 만물 인터넷을 융합한 생활 밀착형 가상현실 비즈니스 플랫폼과 그 운영방법
WO2018110839A1 (ko) * 2016-12-16 2018-06-21 삼성전자 주식회사 3차원 이미지에 관한 데이터를 전송하기 위한 방법
KR20180080474A (ko) * 2017-01-04 2018-07-12 삼성전자주식회사 뷰 벡터별 다른 렌더링 품질을 갖는 영상을 생성하는 전자 장치
WO2018131888A1 (ko) * 2017-01-13 2018-07-19 삼성전자 주식회사 360도 이미지를 부호화 또는 복호화하는 방법 및 장치
KR101883981B1 (ko) * 2017-08-01 2018-07-31 강서연 가상 현실 동영상 제공 장치 및 제공 방법
WO2018159981A1 (ko) * 2017-03-03 2018-09-07 클릭트 주식회사 가상현실영상 재생방법 및 이를 이용한 프로그램
KR20180101282A (ko) * 2018-06-27 2018-09-12 클릭트 주식회사 가상현실영상 재생방법 및 이를 이용한 프로그램
WO2018169176A1 (ko) * 2017-03-17 2018-09-20 엘지전자 주식회사 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치
WO2018174387A1 (ko) * 2017-03-20 2018-09-27 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
WO2018182161A1 (ko) * 2017-03-28 2018-10-04 삼성전자 주식회사 3차원 이미지에 관한 데이터를 전송하기 위한 방법
WO2018182144A1 (ko) * 2017-03-29 2018-10-04 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
WO2018186646A1 (ko) * 2017-04-03 2018-10-11 한국전자통신연구원 고화질 360도 vr 영상 처리 장치 및 방법
WO2018190446A1 (ko) * 2017-04-13 2018-10-18 삼성전자 주식회사 영상 처리 방법 및 장치
KR20190004501A (ko) * 2017-07-04 2019-01-14 정용철 사용자의 시선 변화에 따른 가상현실 사운드 처리 장치 및 그 방법
KR20190030565A (ko) * 2017-09-14 2019-03-22 삼성전자주식회사 전자 장치 및 그 동작방법
KR101965746B1 (ko) * 2018-10-02 2019-04-05 주식회사 이노벤터 Vr 콘텐츠 스트리밍 서버 및 방법
KR20190043791A (ko) * 2017-10-19 2019-04-29 주식회사 인라이플 헤드 마운티드 장치를 이용한 쇼핑 서비스 제공 시스템 및 방법
WO2019078580A3 (ko) * 2017-10-17 2019-06-13 삼성전자 주식회사 실감형 미디어를 전송하는 방법 및 장치
KR20190096596A (ko) * 2018-02-09 2019-08-20 강서연 가상 현실 동영상 제공 장치 및 제공 방법
KR20190121280A (ko) * 2019-10-18 2019-10-25 전자부품연구원 분할 영상 기반의 vr 컨텐츠 라이브 스트리밍 서비스를 지원하는 전자 장치
KR102023905B1 (ko) * 2018-11-09 2019-11-04 전자부품연구원 분할 영상 다중 채널 재생을 하는 전자장치 및 방법
US10754423B2 (en) 2017-06-19 2020-08-25 Kt Corporation Providing virtual reality experience service
US10791316B2 (en) 2017-03-28 2020-09-29 Samsung Electronics Co., Ltd. Method for transmitting data about three-dimensional image
WO2020204253A1 (ko) * 2019-04-04 2020-10-08 전자부품연구원 관심 영역 기반의 vr 영상 수신 장치 및 방법
US10827160B2 (en) 2016-12-16 2020-11-03 Samsung Electronics Co., Ltd Method for transmitting data relating to three-dimensional image
US10880534B2 (en) 2018-11-09 2020-12-29 Korea Electronics Technology Institute Electronic device and method for tiled video multi-channel playback
KR102239960B1 (ko) * 2019-11-04 2021-04-13 서울과학기술대학교 산학협력단 콘텐츠 전송 방법 및 이를 수행하는 장치들
KR102354132B1 (ko) 2020-10-14 2022-01-24 한국전자기술연구원 분할 렌더링된 가상현실 영상을 제공하기 위한 장치 및 이를 위한 방법

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
US10242643B2 (en) * 2016-07-18 2019-03-26 Microsoft Technology Licensing, Llc Constrained head-mounted display communication
US10868848B2 (en) * 2016-07-25 2020-12-15 Peraso Technologies Inc. Wireless multimedia communications system and method
US20190199921A1 (en) * 2016-08-29 2019-06-27 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, 360-degree video transmitting device, and 360-degree video receiving device
EP3548987A4 (en) * 2016-12-01 2020-05-20 Shanghai Yunyinggu Technology Co., Ltd. ZONE-BASED DISPLAY DATA PROCESSING AND TRANSMISSION
CN108616751B (zh) * 2016-12-12 2023-05-12 上海交通大学 媒体信息的处理方法、装置及系统
US10241587B2 (en) * 2016-12-22 2019-03-26 Microsoft Technology Licensing, Llc Magnetic tracker power duty cycling
KR102606976B1 (ko) * 2017-02-15 2023-11-29 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 데이터 송수신 방법
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
CN110506291B (zh) * 2017-04-05 2021-05-14 联发科技股份有限公司 一种视频处理方法和装置
CN107168534B (zh) * 2017-05-12 2021-05-07 杭州一隅千象科技有限公司 一种基于cave系统的渲染优化方法及投影方法
CN109040740A (zh) * 2017-06-08 2018-12-18 瑞鼎科技股份有限公司 虚拟现实显示系统及显示驱动装置
CN107333119A (zh) * 2017-06-09 2017-11-07 歌尔股份有限公司 一种显示数据的处理方法和设备
CN109218252A (zh) * 2017-06-29 2019-01-15 阿里巴巴集团控股有限公司 一种虚拟现实的显示方法、装置及其设备
DE112018002432T5 (de) 2017-08-18 2020-01-23 Mediatek Inc. Verfahren und Vorrichtung zum Reduzieren von Artefakten in einem projektionsbasierten Rahmen
US10818087B2 (en) 2017-10-02 2020-10-27 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
US10659815B2 (en) 2018-03-08 2020-05-19 At&T Intellectual Property I, L.P. Method of dynamic adaptive streaming for 360-degree videos
CN111869222B (zh) * 2018-03-22 2022-05-17 华为技术有限公司 基于http的dash客户端网元、方法及介质
US10795435B2 (en) * 2018-07-19 2020-10-06 Samsung Electronics Co., Ltd. System and method for hybrid eye tracker
US10638165B1 (en) 2018-11-08 2020-04-28 At&T Intellectual Property I, L.P. Adaptive field of view prediction
KR20200080565A (ko) 2018-12-27 2020-07-07 삼성전자주식회사 무선 통신 수행 방법 및 이를 지원하는 전자 장치
KR102317938B1 (ko) * 2019-03-19 2021-10-27 한국전자기술연구원 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템
CN111866485A (zh) * 2019-04-25 2020-10-30 中国移动通信有限公司研究院 立体画面投影和传输方法、装置和计算机可读存储介质
US11481026B2 (en) 2019-08-22 2022-10-25 Samsung Electronics Co., Ltd. Immersive device and method for streaming of immersive media
US11638259B2 (en) * 2019-10-17 2023-04-25 Qualcomm Incorporated Uplink and downlink streaming bit rate assistance in 4G and 5G networks
US11095912B2 (en) 2019-10-28 2021-08-17 Mediatek Inc. Video decoding method for decoding part of bitstream to generate projection-based frame with constrained guard band size, constrained projection face size, and/or constrained picture size
DE102020112301A1 (de) 2020-05-06 2021-11-11 Audi Aktiengesellschaft System zur Übermittlung zumindest eines ausgewählten Virtual Reality (VR)-Inhaltes für eine dynamische Umgebung
US20220103655A1 (en) * 2020-09-29 2022-03-31 International Business Machines Corporation Proactively selecting virtual reality content contexts
US11282285B1 (en) 2021-01-08 2022-03-22 International Business Machines Corporation Real-world object location identification using 5G network technology
KR20230105531A (ko) 2022-01-04 2023-07-11 한국전자통신연구원 딥러닝을 이용한 이미지 전송 시스템 및 방법
CN115859263B (zh) * 2023-02-23 2023-05-19 北京易智时代数字科技有限公司 一种虚拟现实应用的管理方法、终端及边缘业务平台

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140093970A (ko) * 2011-10-28 2014-07-29 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351261B1 (en) * 1993-08-31 2002-02-26 Sun Microsystems, Inc. System and method for a virtual reality system having a frame buffer that stores a plurality of view points that can be selected and viewed by the user
US6118456A (en) 1998-04-02 2000-09-12 Adaptive Media Technologies Method and apparatus capable of prioritizing and streaming objects within a 3-D virtual environment
US20020021353A1 (en) * 2000-06-09 2002-02-21 Denies Mark Streaming panoramic video
KR100739686B1 (ko) * 2004-08-13 2007-07-13 경희대학교 산학협력단 영상 코딩 방법, 코딩 장치, 영상 디코딩 방법 및 디코딩장치
US8762846B2 (en) 2009-11-16 2014-06-24 Broadcom Corporation Method and system for adaptive viewport for a mobile device based on viewing angle
US20110145323A1 (en) * 2009-12-16 2011-06-16 Colin Kahn Method and apparatus for controlling delivery of services to user devices
US20110250962A1 (en) * 2010-04-09 2011-10-13 Feiner Steven K System and method for a 3d computer game with true vector of gravity
EP2594080A4 (en) 2010-07-12 2014-11-12 Cme Advantage Inc SYSTEMS AND METHOD FOR CONNECTED AND CONTEXT-INTEGRATED PICTURE DISPLAY WITH HIGH RESOLUTION
US8493390B2 (en) 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
FR2975555A1 (fr) * 2011-05-18 2012-11-23 Thomson Licensing Methode d'adaptation dynamique du debit de reception et recepteur associe
US8184069B1 (en) * 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
JP5993127B2 (ja) 2011-10-25 2016-09-14 オリンパス株式会社 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法
KR101167505B1 (ko) 2011-11-01 2012-07-23 주식회사 유니크 오일펌프 컨트롤 밸브
KR20130047862A (ko) 2011-11-01 2013-05-09 삼성전자주식회사 이동 통신 시스템에서 사용자 장치 별로 사용 가능한 대역폭을 추정하는 방법 및 장치
EP2791909A4 (en) * 2011-12-16 2015-06-24 Thomson Licensing METHOD AND DEVICE FOR PRODUCING 3D CONTENTS WITH FREE VIEWPOINT
EP2805523B1 (en) 2012-01-19 2019-03-27 VID SCALE, Inc. Methods and systems for video delivery supporting adaption to viewing conditions
JP5880115B2 (ja) * 2012-02-17 2016-03-08 ソニー株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
CN102625125A (zh) * 2012-03-15 2012-08-01 天津大学 一种实时传输高分辨率多视点立体视频的方法
US9253524B2 (en) * 2012-07-20 2016-02-02 Intel Corporation Selective post-processing of decoded video frames based on focus point determination
US9060207B2 (en) 2012-08-20 2015-06-16 Google Inc. Adaptive video streaming over a content delivery network
US9313242B2 (en) * 2012-08-21 2016-04-12 Skybox Imaging, Inc. Multi-resolution pyramid for georeferenced video
US8482527B1 (en) 2012-09-14 2013-07-09 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US9245372B2 (en) * 2012-12-04 2016-01-26 Nintendo Co., Ltd. Map systems and methods for displaying panoramic images
KR102098277B1 (ko) * 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
IN2013CH03069A (ko) * 2013-07-09 2015-08-28 Samsung India Software Operations Pvt Ltd
KR101878144B1 (ko) * 2013-11-06 2018-07-13 엘지전자 주식회사 헤드 마운트 디스플레이를 위한 사용자 인터페이스 제공 장치 및 방법
US9942622B2 (en) * 2014-01-24 2018-04-10 Hiperwall, Inc. Methods and systems for synchronizing media stream presentations
US20180063372A1 (en) * 2014-11-18 2018-03-01 Elwha Llc Imaging device and system with edge processing
US20160198140A1 (en) * 2015-01-06 2016-07-07 3DOO, Inc. System and method for preemptive and adaptive 360 degree immersive video streaming
US10412413B2 (en) * 2015-03-05 2019-09-10 Sony Corporation Image processing device and image processing method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140093970A (ko) * 2011-10-28 2014-07-29 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180013243A (ko) * 2016-07-29 2018-02-07 에스케이텔레콤 주식회사 스트리밍 컨텐츠 제공 방법, 스트리밍 컨텐츠 저장 방법 및 이를 위한 장치
US11244422B2 (en) 2016-11-25 2022-02-08 Samsung Electronics Co., Ltd Image processing apparatus and image processing method therefor
WO2018097682A1 (ko) * 2016-11-25 2018-05-31 삼성전자 주식회사 영상 처리 장치 및 그 영상 처리 방법
WO2018101551A1 (ko) * 2016-12-02 2018-06-07 안상돈 만물 인터넷을 융합한 생활 밀착형 가상현실 비즈니스 플랫폼과 그 운영방법
KR20180070460A (ko) * 2016-12-16 2018-06-26 삼성전자주식회사 3차원 이미지에 관한 데이터를 전송하기 위한 방법
US10827160B2 (en) 2016-12-16 2020-11-03 Samsung Electronics Co., Ltd Method for transmitting data relating to three-dimensional image
WO2018110839A1 (ko) * 2016-12-16 2018-06-21 삼성전자 주식회사 3차원 이미지에 관한 데이터를 전송하기 위한 방법
KR20180080474A (ko) * 2017-01-04 2018-07-12 삼성전자주식회사 뷰 벡터별 다른 렌더링 품질을 갖는 영상을 생성하는 전자 장치
WO2018131888A1 (ko) * 2017-01-13 2018-07-19 삼성전자 주식회사 360도 이미지를 부호화 또는 복호화하는 방법 및 장치
US11252390B2 (en) 2017-01-13 2022-02-15 Samsung Electronics Co., Ltd. Method and apparatus for encoding or decoding 360 degree image
CN110383821B (zh) * 2017-03-03 2022-04-29 科理特株式会社 虚拟现实影像再现方法及使用其的程序
WO2018159981A1 (ko) * 2017-03-03 2018-09-07 클릭트 주식회사 가상현실영상 재생방법 및 이를 이용한 프로그램
CN110383821A (zh) * 2017-03-03 2019-10-25 科理特株式会社 虚拟现实影像再现方法及使用其的程序
US10540826B2 (en) 2017-03-03 2020-01-21 Clicked Inc. Method of playing virtual reality image and program using the same
WO2018169176A1 (ko) * 2017-03-17 2018-09-20 엘지전자 주식회사 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치
WO2018174387A1 (ko) * 2017-03-20 2018-09-27 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10791316B2 (en) 2017-03-28 2020-09-29 Samsung Electronics Co., Ltd. Method for transmitting data about three-dimensional image
WO2018182161A1 (ko) * 2017-03-28 2018-10-04 삼성전자 주식회사 3차원 이미지에 관한 데이터를 전송하기 위한 방법
WO2018182144A1 (ko) * 2017-03-29 2018-10-04 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10848837B2 (en) 2017-04-03 2020-11-24 Electronics And Telecommunications Research Institute Device and method for processing high-definition 360-degree VR image
WO2018186646A1 (ko) * 2017-04-03 2018-10-11 한국전자통신연구원 고화질 360도 vr 영상 처리 장치 및 방법
KR20190130556A (ko) * 2017-04-13 2019-11-22 삼성전자주식회사 영상 처리 방법 및 장치
US10891711B2 (en) 2017-04-13 2021-01-12 Samsung Electronics Co., Ltd. Image processing method and apparatus
WO2018190446A1 (ko) * 2017-04-13 2018-10-18 삼성전자 주식회사 영상 처리 방법 및 장치
CN110520895A (zh) * 2017-04-13 2019-11-29 三星电子株式会社 图像处理方法和装置
US10754423B2 (en) 2017-06-19 2020-08-25 Kt Corporation Providing virtual reality experience service
KR20190004501A (ko) * 2017-07-04 2019-01-14 정용철 사용자의 시선 변화에 따른 가상현실 사운드 처리 장치 및 그 방법
KR101883981B1 (ko) * 2017-08-01 2018-07-31 강서연 가상 현실 동영상 제공 장치 및 제공 방법
KR20190030565A (ko) * 2017-09-14 2019-03-22 삼성전자주식회사 전자 장치 및 그 동작방법
US11463673B2 (en) 2017-10-17 2022-10-04 Samsung Electronics Co., Ltd. Method and device for transmitting immersive media
WO2019078580A3 (ko) * 2017-10-17 2019-06-13 삼성전자 주식회사 실감형 미디어를 전송하는 방법 및 장치
KR20190043791A (ko) * 2017-10-19 2019-04-29 주식회사 인라이플 헤드 마운티드 장치를 이용한 쇼핑 서비스 제공 시스템 및 방법
KR20190096596A (ko) * 2018-02-09 2019-08-20 강서연 가상 현실 동영상 제공 장치 및 제공 방법
KR20180101282A (ko) * 2018-06-27 2018-09-12 클릭트 주식회사 가상현실영상 재생방법 및 이를 이용한 프로그램
KR101965746B1 (ko) * 2018-10-02 2019-04-05 주식회사 이노벤터 Vr 콘텐츠 스트리밍 서버 및 방법
US10880534B2 (en) 2018-11-09 2020-12-29 Korea Electronics Technology Institute Electronic device and method for tiled video multi-channel playback
KR102023905B1 (ko) * 2018-11-09 2019-11-04 전자부품연구원 분할 영상 다중 채널 재생을 하는 전자장치 및 방법
WO2020096119A1 (ko) * 2018-11-09 2020-05-14 전자부품연구원 분할 영상 다중 채널 재생을 하는 전자장치 및 방법
WO2020204253A1 (ko) * 2019-04-04 2020-10-08 전자부품연구원 관심 영역 기반의 vr 영상 수신 장치 및 방법
KR20190121280A (ko) * 2019-10-18 2019-10-25 전자부품연구원 분할 영상 기반의 vr 컨텐츠 라이브 스트리밍 서비스를 지원하는 전자 장치
KR102239960B1 (ko) * 2019-11-04 2021-04-13 서울과학기술대학교 산학협력단 콘텐츠 전송 방법 및 이를 수행하는 장치들
KR102354132B1 (ko) 2020-10-14 2022-01-24 한국전자기술연구원 분할 렌더링된 가상현실 영상을 제공하기 위한 장치 및 이를 위한 방법

Also Published As

Publication number Publication date
EP3288271A4 (en) 2018-05-02
WO2016171404A1 (ko) 2016-10-27
EP3288271B1 (en) 2021-11-03
CN107548557B (zh) 2021-03-16
EP3288271A1 (en) 2018-02-28
US20190373042A1 (en) 2019-12-05
CN107548557A (zh) 2018-01-05
US20180091577A1 (en) 2018-03-29
US11050810B2 (en) 2021-06-29
KR102313485B1 (ko) 2021-10-15
US10397297B2 (en) 2019-08-27

Similar Documents

Publication Publication Date Title
US11050810B2 (en) Method and apparatus for transmitting and receiving image data for virtual-reality streaming service
Hu et al. Virtual reality: A survey of enabling technologies and its applications in IoT
KR102506480B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
KR102479360B1 (ko) 증강 현실 서비스 제공 방법 및 장치
KR102499139B1 (ko) 이미지를 표시하는 전자 장치 및 그 제어 방법
KR101945082B1 (ko) 미디어 컨텐츠 송신 방법, 미디어 컨텐츠 송신 장치, 미디어 컨텐츠 수신 방법, 및 미디어 컨텐츠 수신 장치
US10482672B2 (en) Electronic device and method for transmitting and receiving image data in electronic device
US11287875B2 (en) Screen control method and device for virtual reality service
CN112470467B (zh) 头戴式设备(HMD)发现在并置虚拟、增强和混合现实(xR)中的应用
KR20180042627A (ko) 영상 처리 장치 및 그 영상 처리 방법
KR20180091381A (ko) 다면체에 기반한 vr 이미지를 제공하는 전자 장치 및 그 이미지의 제공 방법
Siniarski et al. Need of 6G for the Metaverse Realization
KR20240007678A (ko) 노출 및 iso 관련 애플리케이션의 동적 조정
KR20240009993A (ko) 멀티레벨 특징 추적을 위한 직접 스케일 레벨 선택
KR20240008915A (ko) 모션 블러 완화를 위한 선택적 이미지 피라미드 계산
US20240046583A1 (en) Real-time photorealistic view rendering on augmented reality (ar) device
KR102164686B1 (ko) 타일 영상의 영상 처리 방법 및 장치
KR20230085767A (ko) 성능 기반의 스플릿 컴퓨팅 제공 방법 및 장치
KR102405385B1 (ko) 3d 컨텐츠를 위한 여러 오브젝트를 생성하는 방법 및 시스템
KR102114466B1 (ko) 영상 컨텐츠 내 관심 영역 정보를 이용한 영상 디스플레이 방법 및 장치
US20230215075A1 (en) Deferred rendering on extended reality (xr) devices
JP7339435B2 (ja) パーソナルデバイスによって支援されるｔｖストリーミング及びレンダリングコンテンツの中心窩最適化
US20240121370A1 (en) System and method for parallax correction for video see-through augmented reality
US20240078762A1 (en) Selecting a tilt angle of an ar display

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right