WO2018043770A1 - 사용자 의도 기반의 인터렉티브 분할 영상 스트리밍 서비스 장치 및 방법 - Google Patents

사용자 의도 기반의 인터렉티브 분할 영상 스트리밍 서비스 장치 및 방법 Download PDF

Info

Publication number
WO2018043770A1
WO2018043770A1 PCT/KR2016/009647 KR2016009647W WO2018043770A1 WO 2018043770 A1 WO2018043770 A1 WO 2018043770A1 KR 2016009647 W KR2016009647 W KR 2016009647W WO 2018043770 A1 WO2018043770 A1 WO 2018043770A1
Authority
WO
WIPO (PCT)
Prior art keywords
streaming service
user
image data
client device
viewpoint information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2016/009647
Other languages
English (en)
French (fr)
Inventor
박우출
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Electronics Technology Institute
Original Assignee
Korea Electronics Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Electronics Technology Institute filed Critical Korea Electronics Technology Institute
Publication of WO2018043770A1 publication Critical patent/WO2018043770A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25816—Management of client data involving client authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management e.g. creating a master electronic programme guide from data received from the Internet and a Head-end or controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities

Definitions

  • the present invention relates to a streaming service apparatus and a method, and more particularly, to a method and apparatus for performing the method to provide a relatively high quality of the image of the user is watching on the display than the image of the other portion. .
  • the streaming service is a service that performs an operation of an application in a server, and as a result, transmits data generated by encoding only a screen to a terminal, and decodes and displays the received data.
  • An HMD is a device that a user wears on his head like glasses to provide multimedia contents.
  • the HMD can be combined with VR technology to display a 360 degree image of the user's surroundings, and is attracting attention as the next promising industry.
  • the streaming service may be combined with the VR device to provide a result screen executed in the server to the VR device.
  • VR devices require high-end computing resources, and considering limited resources, it is difficult to provide high-quality services that are satisfactory to users.
  • an object of the present invention is to provide a portion of the image to be displayed on the VR device that the user is currently watching with higher quality than other portions.
  • the screen is divided according to a predetermined criterion to generate image data
  • the client device encodes image data of a portion to which the user's eyes are directed at higher quality than image data of other portions.
  • An object of the present invention is to provide a streaming service device and a method for transmitting the data.
  • a streaming service method including: executing a specific content and dividing an execution screen of the specific content according to a displayed position to generate a plurality of image data; Collecting viewpoint information of the user from the client device; Setting an encoding quality of each of the image data based on the viewpoint information; Encoding each video data according to an encoding quality set for each video data and transmitting the encoded video data to the client device; It may be provided including.
  • a communication module for collecting viewpoint information from the client device, and transmits the encoded image data to the client device;
  • a control module that executes specific content, divides the execution screen according to the displayed position to generate a plurality of image data, and encodes the image data based on the encoding quality set based on the viewpoint information; It may be configured to include.
  • the present invention it is possible to grasp the part of the image to be displayed based on the viewpoint information of the user and to provide a high quality video service for this part, and maintain a good user experience through such interaction. It can also use limited network resources more efficiently.
  • FIG. 1 is a block diagram schematically illustrating a streaming service system according to an exemplary embodiment of the present invention.
  • FIG. 2 is a message flow diagram illustrating a streaming service method according to an embodiment of the present invention.
  • FIG. 3 is a block diagram schematically illustrating a client device according to an exemplary embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating an operation of a client device according to an exemplary embodiment of the present invention.
  • FIG. 5 is a block diagram schematically illustrating a streaming service apparatus according to an exemplary embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating an operation of a streaming service apparatus according to an exemplary embodiment of the present invention.
  • FIG. 1 is a block diagram schematically illustrating a streaming service system according to an exemplary embodiment of the present invention.
  • a streaming service system may include a client device 100 and a streaming service device 200, and the two devices 100 and 200 may establish a communication network 300. It may be connected via
  • the client device 100 may be a known user device and may transmit and receive image data related to the streaming service with the streaming service device 200. More specifically, the client device 100 receives image data generated and encoded based on content executed in the streaming service device 200, decodes the encoded image data, and outputs the same through a display unit included in the client device. can do.
  • the display unit included in the client device 100 may be a head mounted display (HMD) device.
  • the HMD can display a 360 degree image to the user. Therefore, the image data transmitted and received by the client apparatus 100 to the streaming service apparatus 200 may be image data of an execution screen executed on the 360 degree screen in the streaming service apparatus 200. Alternatively, the image may be a plurality of image data generated by dividing the execution screen executed on the 360 degree screen according to the displayed position.
  • HMD head mounted display
  • the client device 100 may calculate the viewpoint information of the user and transmit it to the streaming service device 200.
  • the user refers to a user who uses the content provided by the streaming service device 200 through the client device 100.
  • the view point information refers to information related to an image of a portion of the entire image displayed on the display, which is currently stared.
  • the client device 100 may measure the direction in which the user's eyes are directed by using the direction in which the HMD device itself is facing. More specifically, the HMD device may include a direction sensor or a gyro sensor, through which the front direction of the HMD device can be measured.
  • the client device 100 may calculate the viewpoint information more accurately by tracking the eyes of the user using an image sensor in addition to the direction in which the HMD device is facing.
  • the client device 100 may further include an iris recognition sensor, through which the client device 100 may be used as an authentication means when accessing the streaming service device 200 and using a service.
  • the streaming service apparatus 200 is an apparatus for providing a streaming service to one or more client devices according to an embodiment of the present invention.
  • the streaming service may include a video providing service that provides a TV program, a movie, or other online video content. It may also include online game services using streaming technology. In addition, it may include an electronic program guide (EPG) provided to assist the service.
  • EPG electronic program guide
  • the streaming service device 200 serves as a server device for providing a service to one or more client devices 100, and in the streaming service device 200, content related to a service to be provided to the client device 100 may be provided.
  • the execution screen generated by executing the content can be encoded into video data.
  • the image data used in the present invention may include not only an execution screen of content composed of video data of a predetermined frame but also a set of image data for providing an animation or a still screen. Such video data may be generated by the streaming service apparatus 200 for each divided area by dividing the execution screen according to an arbitrary criterion.
  • the streaming service apparatus 200 may collect viewpoint information calculated by the client apparatus 100 from the client apparatus 100, and may set encoding quality for a plurality of video data based on the viewpoint information.
  • the image data of the portion of the user's view point may be encoded with higher quality than other portions.
  • the image data within a predetermined distance may be encoded with a higher quality than other portions with respect to the portion of the view point.
  • the client device 100 and the streaming service device 200 may be connected to each other through the communication network 300.
  • the communication network 300 may be a commonly used internet network.
  • FIG. 2 is a message flow diagram illustrating a streaming service method according to an embodiment of the present invention.
  • the streaming service apparatus 200 executes content for providing to a user (S200). Such content may be executed by a service request from the client device 100.
  • the streaming service apparatus 200 divides the execution screen generated by executing the content (S202).
  • the streaming service apparatus 200 may divide the execution screen according to the displayed position, and the position, size, and shape to be divided may be arbitrarily set.
  • the video data generated as a result of the division of the execution screen is stored in the streaming service device 200.
  • image data may be in the form of video data or image data, and may be in the form of encoding already through a video or image codec, but is temporarily stored in order to change the quality based on the viewpoint information.
  • the client device 100 calculates the viewpoint information of the user based on the value measured by the sensor (S204).
  • the calculated time point information is transmitted from the client device 100 to the streaming service device 200 (S206).
  • the viewpoint information may be calculated by collecting direction information toward the display unit included in the client device 100, and the direction toward the display unit may correspond to the direction toward the head of the user.
  • the client device 100 may further measure the eye direction of the user to more accurately calculate a point at which the user gazes to generate view information.
  • the streaming service apparatus 200 After the streaming service apparatus 200 collects the viewpoint information generated by the client apparatus 100, the streaming service apparatus 200 sets encoding quality of each of the plurality of divided image data based on the collected viewpoint information (S208).
  • the streaming service apparatus 200 may set a point at which the user gazes and encode video data positioned within a predetermined distance from the point with higher quality than other video data. This may be configured to re-encode the point gazing at the user and image data positioned within a predetermined distance from the point to a higher quality than other video data, and, conversely, a point at which the user gazes at another image data, and
  • the image data may be set to be encoded at a lower quality than the image data positioned within a predetermined distance from the point.
  • the streaming service apparatus 200 encodes each image data according to the set encoding quality (S210), and transmits the encoded image data to the client apparatus 100 (S212).
  • the client device 100 decodes the received encoded image data, and outputs a region gazing at the user and a predetermined region around the display unit in higher quality than the portion other than the region where the user gazes through the display unit (S214).
  • the message flow generated between the client device 100 and the streaming service device 200 has been described.
  • FIG. 3 is a block diagram schematically showing the structure of a client device 100 according to an embodiment of the present invention.
  • the client device 100 includes a communication unit 110, a storage unit 120, a control unit 130, a display unit 140, and a sensor unit 150. Can be.
  • the communication unit 110 is connected to the communication network 300 is a configuration for transmitting and receiving data for the streaming service device 200 and the implementation of the present invention.
  • the communicator 110 receives encoded image data from the streaming service apparatus 200 and transmits the calculated view point information to the streaming service apparatus 200.
  • the storage unit 120 is a computer readable recording medium, and stores an application program necessary for the client device 100 to implement the present invention.
  • the encoded image data received from the streaming service apparatus 200 and the image data decoded from the encoded image data may be stored.
  • the information collected through the sensor unit 150 and the information calculated using the collected information may be stored. More specifically, the storage unit 120 may collect and store direction information of the display unit or information on the direction of the pupil of the user, which is the basis for calculating the viewpoint information of the user, and may store the calculated viewpoint information.
  • the storage unit 120 may further include authentication information for authenticating a user when providing a streaming service.
  • the authentication information may be in the form of ID and password, or may be biometric information registered for authentication by the user.
  • the controller 130 corresponds to a processor, an operating system, and a processor for operating an application program for implementing the present invention.
  • the control unit 130 executes the program stored in the storage unit 120 and applies the information collected through the communication unit 110 to the executed application program to enable the implementation of the present invention.
  • controller 130 may control the communication unit 110 to control a process of transmitting and receiving data necessary for a service through the streaming service device 200 and the communication network 300.
  • controller 130 may further include a configuration for decoding the encoded image data received from the streaming service apparatus 200.
  • the controller 130 may decode the encoded image data and control the display 140 to output the decoded image data.
  • the controller 130 may issue a command to the sensor unit 150 to collect information for calculating viewpoint information according to an embodiment of the present disclosure by a user command.
  • the controller 130 may calculate viewpoint information based on the information collected by the sensor unit 150.
  • the display unit 140 is a component for outputting a screen provided by the streaming service apparatus 200 to a user according to an exemplary embodiment of the present invention.
  • the display unit may be a touch screen, a liquid crystal display (LCD), or an HMD type display device.
  • the display unit 140 When the display unit 140 is an HMD device, the display unit 140 may be a device that can be worn on glasses or other heads, and may display a 360 degree image.
  • the sensor unit 150 is a component for collecting information necessary for calculating viewpoint information.
  • the sensor unit 150 may include one or more of a direction sensor, a gyro sensor, and an image sensor.
  • the sensor unit 150 may measure the direction or the inclination of the display unit 140 and may measure the direction in which the eyes of the user are directed.
  • the measured information may be stored in the storage 120 under the control of the controller 130 or used to calculate viewpoint information.
  • the sensor unit 150 may further include an iris recognition sensor, and the sensor unit 150 may collect eye iris information for each user, and the iris information may be used by a user to access a streaming service or use a payment process. Can be used as authentication information to proceed.
  • the client device 100 may further include an input unit such as a keyboard, a mouse, and a touch pad.
  • an input unit such as a keyboard, a mouse, and a touch pad.
  • FIG. 4 is a flowchart illustrating an operation of the client apparatus 100 according to an exemplary embodiment of the present invention.
  • the client device 100 accesses the streaming service device 200 and requests specific content (S400).
  • the client device 100 receives the viewpoint information from the streaming service apparatus 200 (S402), and calculates the viewpoint information of the user (S404).
  • the viewpoint information may be calculated based on the direction or the inclination of the display apparatus, and may be calculated based on information further including information about the direction of the pupil of the user.
  • the client device 100 transmits the calculated time point information to the streaming service device 200 (S406).
  • the client device 100 receives the encoded image data through a series of processes in the streaming service device 200 (S408).
  • the client device 100 decodes the received image data and outputs the image data through the display unit 140 (S410).
  • an area gazed by the user may output a higher quality image than an area that is not.
  • the high quality image means that the image resolution or frame is relatively high.
  • FIG. 5 is a block diagram schematically showing the structure of a streaming service apparatus 200 according to an embodiment of the present invention.
  • the streaming service apparatus 200 may include a communication module 100, a storage module 200, and a control module 200.
  • the communication module 210 is connected to a communication network to transmit and receive data with the client device 100.
  • the communication module 210 transmits the image data encoded by the streaming service device 200 to the client device 100, and receives a streaming service request and viewpoint information from the client device 100.
  • the storage module 220 is a component for storing data related to the streaming service.
  • the streaming service related data may include an operating system and an application program for operating the streaming service device 200 as a server.
  • the application program stored in the storage module 220 may be an application program related to content to be provided to the user and a user interface (UI).
  • UI user interface
  • the storage module 220 streaming service apparatus 200 may store image data generated based on the execution screen executed by executing a specific content and image data generated based on the divided execution screen. Also, image data encoded according to an encoding quality set based on the viewpoint information collected from the client device 100 may be stored.
  • the control module 230 may be a processor that drives an operating system and each component of the streaming service apparatus 200.
  • the control module 230 according to an embodiment of the present invention receives the execution request of the streaming service from the client device 100 and provides the streaming service to the client device 100.
  • the streaming service may include various video providing services including TV or Video On Demand (VOD), and may include streaming-based game service.
  • VOD Video On Demand
  • control module 230 provides an operation for providing only the region currently viewed by the user in higher quality than other regions in the entire execution screen of the content in order to more efficiently provide the streaming service under a limited resource. To perform.
  • control module 230 executes specific content and divides the executed screen according to an arbitrary criterion to generate a plurality of image data.
  • control module 230 requests viewpoint information of the user from the client device 100 through the communication module 210, and collects viewpoint information of the user transmitted by the client device 100.
  • the control module 230 sets encoding quality for each image data based on the collected view point information, encodes the image data according to the set quality, and transmits the encoded image data to the client device 100.
  • the streaming service apparatus 200 may include one or more input or output modules.
  • FIG. 6 is a flowchart illustrating an operation of the streaming service apparatus 200 according to an exemplary embodiment of the present invention.
  • the streaming service apparatus 200 receives a streaming service execution request from a specific client apparatus 100 and executes specific content (S600). At this time, the streaming service device 200 may receive user authentication information from the client device 100 to perform user authentication.
  • the streaming service apparatus 200 generates a plurality of image data by dividing the execution screen generated according to the execution of the specific content according to the display position (S602).
  • the streaming service apparatus 200 requests the viewpoint information of the user from the client device 100 and sets the viewpoint information of the user generated by the client device 100 to set the encoding quality of the plurality of divided video data. (S604).
  • the streaming service apparatus 200 sets encoding quality for each of the divided image data based on the collected view point information (S606). At this time, an area in which the user's current view is located or an area within a predetermined distance from the user's current view in addition to the current view is set to be encoded with higher quality than other regions.
  • the streaming service apparatus 200 encodes the image data according to the set encoding quality and transmits the image data to the client apparatus 100 (S608).
  • the present invention can be variously modified and modified by those skilled in the art, and the system according to the present invention can be implemented as a computer-readable program in a computer-readable recording medium.
  • these programs may be distributed and stored on networked computer systems.
  • the present invention relates to a streaming service apparatus and a method, and more particularly, to an apparatus and method for providing a relatively high quality streaming service than the portion of the divided image data that the user is watching.
  • the streaming service apparatus of the present invention can provide a high-quality streaming service that satisfies the user more efficiently while maintaining a relatively high user experience while reducing network traffic under limited network resources.
  • the streaming service apparatus and method according to the present invention can contribute to industrial development, and the present invention has industrial applicability because the present invention is not only commercially available or commercially viable, but also practically and clearly implementable.

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 스트리밍 서비스 장치 및 방법에 관한 것으로서, 더욱 상세하게는 스트리밍 서비스를 제공하기 위한 실행화면을 분할하고, 분할한 영역 중 사용자가 감상하고 있는 영역만을 고품질로 제공하도록 하기 위한 장치 및 방법에 관한 것이다.

Description

사용자 의도 기반의 인터렉티브 분할 영상 스트리밍 서비스 장치 및 방법
본 발명은 스트리밍 서비스 장치 및 방법에 관한 것으로서, 보다 상세하게는 디스플레이에서 사용자가 감상하고 있는 부분의 영상을 다른 부분의 영상보다 상대적으로 고품질로 제공하도록 하는 방법 및 상기 방법을 수행하는 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
컴퓨터 네트워크의 기술이 발전함에 따라, 스트리밍 서비스가 등장하였다. 스트리밍 서비스란 애플리케이션(Application)의 동작은 서버에서 수행하고, 그 결과 화면만을 인코딩(Encoding)하여 생성한 데이터를 단말기로 송신하고, 단말기는 수신한 데이터를 디코딩(Decoding)하여 디스플레이하는 서비스이다.
한편, 스트리밍 기술과는 별개로, VR(Virtual Reality) 관련 기술 및 VR 기기의 일종인 HMD(Head Mounted Display) 관련 기술이 개발되고 있다. HMD란 사용자가 안경처럼 머리에 착용하여 멀티미디어 콘텐츠를 제공하는 기기이다. 이러한 HMD는 VR 기술과 결합되어, 사용자의 주변 360도의 영상을 디스플레이할 수 있으며, 차기 유망 산업으로 주목받고 있다.
이러한 VR 기기에 스트리밍 서비스를 결합하여, 서버에서 실행된 결과 화면을 VR 기기에 제공할 수 있다. 그러나 VR 기기는 고사양의 컴퓨팅 자원을 요구하며, 한정된 자원을 고려할 때 사용자가 만족할 정도의 고품질 서비스를 제공하기 어려운 상황이다.
상술한 문제점을 해결하기 위하여 본 발명은, VR 기기에 디스플레이할 영상 중 현재 사용자가 감상하고 있는 부분을 다른 부분보다 고품질로 제공할 수 있도록 함을 목적으로 한다.
보다 구체적으로, 콘텐츠(contents) 또는 애플리케이션을 실행한 결과 화면을 일정 기준에 따라 분할하여 영상 데이터를 생성하고, 사용자의 시선이 향하는 부분의 영상 데이터를 다른 부분의 영상 데이터보다 고품질로 인코딩하여 클라이언트 장치로 전송하도록 하는 스트리밍 서비스 장치 및 방법을 제공함을 목적으로 한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 스트리밍 서비스 방법은, 특정 콘텐츠를 실행하고, 상기 특정 콘텐츠의 실행화면을 디스플레이된 위치에 따라 분할하여 복수의 영상 데이터를 생성하는 단계; 클라이언트 장치로부터 사용자의 시점 정보를 수집하는 단계; 상기 시점 정보를 기반으로 상기 각 영상 데이터의 인코딩 품질을 설정하는 단계; 상기 각 영상 데이터 별로 설정된 인코딩 품질에 따라 상기 각 영상 데이터를 인코딩하여 상기 클라이언트 장치로 전송하는 단계; 를 포함하여 제공될 수 있다.
더하여, 본 발명의 실시 예에 따른 스트리밍 서비스 장치는, 클라이언트 장치로부터 시점 정보를 수집하고, 상기 클라이언트 장치에 인코딩한 영상 데이터를 송신하는 통신 모듈; 특정 콘텐츠를 실행하고, 그 실행화면을 디스플레이된 위치에 따라 분할하여 복수의 영상 데이터를 생성하며, 상기 시점 정보를 기반으로 설정한 인코딩 품질을 기반으로 각 영상 데이터를 인코딩하는 제어 모듈; 을 포함하여 구성될 수 있다.
본 발명에 따르면, 사용자의 시점 정보를 기반으로 표시될 영상 중 사용자가 감상하고 있는 부분을 파악하고, 이 부분에 대한 고품질 영상 서비스를 제공할 수 있으며, 이러한 상호작용을 통해 양질의 사용자 경험을 유지하며 한정된 네트워크 자원들을 보다 효율적으로 사용할 수 있다.
즉, 스트리밍 서비스의 품질 저하를 방지하면서 네트워크 트래픽을 감소시킴과 동시에, 데이터의 송수신 속도를 보다 빠르게 할 수 있다.
도 1은 본 발명의 실시 예에 따른 스트리밍 서비스 시스템을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 실시 예에 따른 스트리밍 서비스 방법을 나타낸 메시지 흐름도이다.
도 3은 본 발명의 실시 예에 따른 클라이언트 장치를 개략적으로 도시한 블록도이다.
도 4는 본 발명의 실시 예에 따른 클라이언트 장치의 동작을 나타낸 흐름도이다.
도 5는 본 발명의 실시 예에 따른 스트리밍 서비스 장치를 개략적으로 도시한 블록도이다.
도 6은 본 발명의 실시 예에 따른 스트리밍 서비스 장치의 동작을 나타낸 흐름도이다.
먼저, 본 발명의 실시 예에 따른 스트리밍 시스템의 구성에 대하여 설명하도록 한다.
도 1은 본 발명의 실시 예에 따른 스트리밍 서비스 시스템을 개략적으로 도시한 블록도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 스트리밍 서비스 시스템은, 클라이언트 장치(100)와 스트리밍 서비스 장치(200)로 구성될 수 있으며, 상기 두 장치(100, 200)는 통신망(300)을 통해 연결되어 있을 수 있다.
본 발명의 실시 예에 따른 클라이언트 장치(100)는 공지의 사용자 장치로서, 스트리밍 서비스 장치(200)와 스트리밍 서비스와 관련된 영상 데이터를 송수신할 수 있다. 보다 구체적으로, 클라이언트 장치(100)는 스트리밍 서비스 장치(200)에서 실행된 콘텐츠를 기반으로 생성 및 인코딩된 영상 데이터를 수신하고, 상기 인코딩된 영상 데이터를 디코딩하여 클라이언트 장치에 포함된 디스플레이부를 통해 출력할 수 있다.
또한, 클라이언트 장치(100)에 포함된 디스플레이부는 헤드 마운티드 디스플레이(Head Mounted Display, HMD) 장치일 수 있다. HMD는 사용자에게 360도 영상을 디스플레이할 수 있다. 따라서, 클라이언트 장치(100)가 스트리밍 서비스 장치(200)와 송수신하는 영상 데이터는 스트리밍 서비스 장치(200)에서 360도 화면 상에 실행된 실행화면의 영상 데이터일 수 있다. 또는, 360도 화면 상에 실행된 실행화면을 디스플레이되는 위치에 따라 분할하여 생성된 복수의 영상 데이터일 수 있다.
더하여, 클라이언트 장치(100)는 사용자의 시점 정보를 산출하여 스트리밍 서비스 장치(200)로 전송할 수 있다. 여기서 사용자는 클라이언트 장치(100)를 통해 스트리밍 서비스 장치(200)가 제공하는 콘텐츠를 이용하는 자를 의미한다. 또한 시점 정보는 사용자가 디스플레이부에 표시된 전체 영상 중 현재 응시하고 있는 부분의 영상과 관련된 정보를 의미한다.
이러한 시점 정보의 산출을 위해, 클라이언트 장치(100)는 HMD 장치 자체가 향하고 있는 방향을 이용하여 사용자의 시선이 향하고 있는 방향을 측정할 수 있다. 보다 구체적으로, HMD 장치에는 방향 센서 또는 자이로 센서가 포함되어 있을 수 있으며, 이러한 센서를 통해 HMD 장치의 정면이 향하는 방향을 측정할 수 있다.
또는, 클라이언트 장치(100)는 상기 HMD 장치가 향하고 있는 방향에 더하여, 영상 센서를 이용하여 사용자의 시선을 추적하여 시점 정보를 보다 정확하게 산출할 수 있다.
또한, 클라이언트 장치(100)는 홍채 인식 센서를 더 포함할 수 있으며, 이를 통해 스트리밍 서비스 장치(200)에 접속 및 서비스를 이용하고자 할 때 인증 수단으로 이용할 수 있다.
스트리밍 서비스 장치(200)는 본 발명의 실시 예에 따라 하나 이상의 클라이언트 장치에 스트리밍 서비스를 제공하기 위한 장치이다.
스트리밍 서비스에는 TV 프로그램이나 영화 기타 온라인 영상 컨텐츠를 제공하는 영상 제공 서비스가 포함될 수 있다. 또한 스트리밍 기술을 이용한 온라인 게임 서비스가 포함될 수도 있다. 이외에도 서비스를 제공하기 위해 보조적으로 제공되는 EPG(Electronic Program Guide)가 포함될 수도 있다.
스트리밍 서비스 장치(200)는 하나 이상의 클라이언트 장치(100)에 서비스를 제공하기 위한 서버 장치의 역할을 하며, 스트리밍 서비스 장치(200) 내에서, 클라이언트 장치(100)에 제공하고자 하는 서비스와 관련된 콘텐츠를 실행시키고, 그 콘텐츠를 실행시켜 생성된 실행화면을 영상 데이터로 인코딩할 수 있다. 본 발명에서 의미하는 영상 데이터는 콘텐츠의 실행화면을 일정 프레임의 비디오 데이터로 구성한 것뿐만 아니라, 애니매이션 또는 정지 화면의 제공을 위한 이미지 데이터의 집합을 포함할 수 있다. 이러한 영상 데이터는, 스트리밍 서비스 장치(200)에 의해, 실행화면을 임의의 기준에 따라 분할하여 각 분할한 영역 별로 생성된 것일 수 있다.
스트리밍 서비스 장치(200)는 클라이언트 장치(100)로부터 클라이언트 장치(100)가 산출한 시점 정보를 수집하며, 상기 시점 정보를 기준으로 복수의 영상 데이터에 대하여 각각 인코딩 품질을 설정할 수 있다.
이 때, 사용자의 시점이 향하고 있는 부분의 영상 데이터는 다른 부분보다 높은 품질로 인코딩할 수 있다. 사용자의 시야를 고려하여 시점이 향하고 있는 부분에 대하여 임의로 설정된 일정 거리 이내의 영상 데이터까지 그 외의 부분에 비하여 높은 품질로 인코딩할 수 있다.
이러한 클라이언트 장치(100)와 스트리밍 서비스 장치(200)는 통신망(300)을 통해 서로 연결될 수 있다. 통신망(300)은 일반적으로 이용되는 인터넷망일 수 있다.
도 2는 본 발명의 실시 예에 따른 스트리밍 서비스 방법을 나타낸 메시지 흐름도이다.
도 2를 참조하면, 먼저, 스트리밍 서비스 장치(200)는 사용자에게 제공하기 위한 콘텐츠를 실행한다(S200). 이러한 콘텐츠는 클라이언트 장치(100)로부터의 서비스 요청에 의해 실행될 수 있다.
이후, 스트리밍 서비스 장치(200)는 콘텐츠를 실행하여 생성된 실행화면을 분할한다(S202). 이 때, 스트리밍 서비스 장치(200)는 실행화면을 디스플레이된 위치에 따라 분할할 수 있으며, 분할할 위치, 크기, 모양은 임의로 설정될 수 있다. 실행화면의 분할 결과 생성된 영상 데이터는 스트리밍 서비스 장치(200)에 저장된다. 이러한 영상 데이터는 비디오 데이터 혹은 이미지 데이터의 형태일 수 있고, 비디오 또는 이미지 코덱을 통해 이미 인코딩된 형태일 수 있으나, 이후 시점 정보를 기반으로 품질을 변경하기 위해 임시로 저장된다.
클라이언트 장치(100)는 센서를 통해 측정한 값을 기반으로 사용자의 시점 정보를 산출한다(S204). 산출한 시점 정보는 클라이언트 장치(100)에서 스트리밍 서비스 장치(200)로 전송된다(S206).
시점 정보는, 앞서 설명한 바와 같이, 클라이언트 장치(100)에 포함된 디스플레이부가 향하는 방향 정보를 수집하여 산출될 수 있으며, 디스플레이부가 향하는 방향은 사용자의 머리가 향하는 방향과 일치할 수 있다. 그리고 클라이언트 장치(100)는, 사용자의 눈동자 방향을 더 측정하여 사용자가 응시하는 지점을 보다 정확히 산출하여 시점 정보를 생성할 수 있다.
스트리밍 서비스 장치(200)는 클라이언트 장치(100)가 생성한 시점 정보를 수집한 이후, 수집한 시점 정보를 기반으로, 분할 저장된 복수의 영상 데이터 각각의 인코딩 품질을 설정한다(S208). 스트리밍 서비스 장치(200)는 사용자가 응시하는 지점과, 상기 지점과 임의로 설정된 거리 이내에 위치하는 영상 데이터를 다른 영상 데이터보다 고품질로 인코딩하도록 설정할 수 있다. 이는, 사용자가 응시하는 지점과, 상기 지점과 임의로 설정된 거리 이내에 위치하는 영상 데이터를 다른 영상 데이터보다 고화질로 다시 인코딩하도록 설정하는 것일 수 있으며, 반대로, 다른 영상 데이터를 사용자가 응시하는 지점과, 상기 지점과 임의로 설정된 거리 이내에 위치하는 영상 데이터보다 저화질로 다시 인코딩하도록 설정하는 것일 수 있다.
스트리밍 서비스 장치(200)는 설정된 인코딩 품질에 따라 각 영상 데이터를 인코딩하고(S210), 인코딩된 영상 데이터를 클라이언트 장치(100)로 전송한다(S212).
클라이언트 장치(100)는 수신한 인코딩된 영상 데이터를 디코딩하고, 디스플레이부를 통해 사용자가 응시하고 있는 영역과 그 주변 일정 영역을 그렇지 않은 부분보다 고화질로 출력한다(S214)
이상으로, 본 발명의 실시 예에 따른 스트리밍 서비스 방법에 있어서, 클라이언트 장치(100)와 스트리밍 서비스 장치(200) 사이에서 발생하는 메시지 흐름에 대하여 설명하였다.
이하에서는, 본 발명의 실시 예에 따른 각 장치의 구조 및 동작에 대하여 설명하도록 한다.
도 3은 본 발명의 실시 예에 따른 클라이언트 장치(100)의 구조를 개략적으로 나타낸 블록도이다.
도 3을 참조하면, 본 발명의 실시 예에 따른 클라이언트 장치(100)는 통신부(110), 저장부(120), 제어부(130), 디스플레이부(140), 센서부(150)를 포함하여 구성될 수 있다.
통신부(110)는 통신망(300)과 연결되어 스트리밍 서비스 장치(200)와 본 발명의 실시를 위한 데이터를 송수신하기 위한 구성이다. 통신부(110)는 스트리밍 서비스 장치(200)로부터 인코딩된 영상 데이터를 수신하며, 산출된 시점 정보를 스트리밍 서비스 장치(200)로 송신한다.
저장부(120)는 컴퓨터 판독 가능한 기록 매체로서 클라이언트 장치(100)가 본 발명을 실시하기 위해 필요한 응용 프로그램을 저장한다. 더하여, 스트리밍 서비스 장치(200)로부터 수신한 인코딩된 영상 데이터 및 상기 인코딩된 영상 데이터를 디코딩한 영상 데이터를 저장할 수 있다. 또한. 센서부(150)를 통해 수집된 정보와 수집된 정보를 이용하여 산출한 정보를 저장할 수 있다. 보다 구체적으로 저장부(120)는 사용자의 시점 정보를 산출하기 위한 기반이 되는 디스플레이부의 방향 정보 또는 사용자의 눈동자 방향에 관한 정보를 수집하여 저장할 수 있고, 산출된 시점 정보를 저장할 수 있다.
또한, 저장부(120)는 스트리밍 서비스 제공 시 사용자를 인증하기 위한 인증 정보를 더 포함할 수 있다. 상기 인증 정보는 아이디(ID)와 비밀번호의 형식일 수 있으며, 또는 사용자가 인증을 위해 등록한 생체 정보일 수도 있다.
제어부(130)는 프로세서와 운영체제, 그리고 본 발명의 실시를 위한 응용 프로그램을 동작시키기 위한 프로세서(Processor)에 해당한다. 제어부(130)는 저장부(120)에 저장된 프로그램을 실행시키고, 통신부(110)를 통해 수집한 정보를 실행된 응용 프로그램에 적용시켜 본 발명의 실시가 이루어질 수 있도록 한다.
더하여, 제어부(130)는 통신부(110)를 제어하여 스트리밍 서비스 장치(200)와 통신망(300)을 통해 서비스에 필요한 데이터를 송수신하는 과정을 제어할 수 있다.
또한, 제어부(130)는 스트리밍 서비스 장치(200)로부터 수신한 인코딩된 영상 데이터를 디코딩하기 위한 구성을 더 포함할 수 있다. 제어부(130)는 인코딩된 영상 데이터를 디코딩하고, 디스플레이부(140)가 디코딩된 영상 데이터를 출력하도록 제어할 수 있다.
그리고, 제어부(130)는 사용자 명령에 의해 본 발명의 실시 예에 따른 시점 정보를 산출하기 위한 정보를 수집하도록 하는 명령을 센서부(150)에 내릴 수 있다. 제어부(130)는 센서부(150)가 수집한 정보를 기반으로 시점 정보를 산출할 수 있다.
디스플레이부(140)는 본 발명의 실시 예에 따라 스트리밍 서비스 장치(200)에 의해 제공된 화면을 사용자에게 출력하기 위한 구성이다. 디스플레이부는 터치스크린, LCD(Liquid Crystal Display)일 수 있으며, HMD 형태의 디스플레이 장치일 수 있다.
디스플레이부(140)가 HMD 장치인 경우, 안경 형태 기타 머리에 착용 가능한 형태의 장치가 될 수 있으며, 360도 영상을 디스플레이할 수 있다.
센서부(150)는 시점 정보를 산출하기 위해 필요한 정보를 수집하기 위한 구성이다. 센서부(150)는 방향 센서, 자이로 센서, 영상 센서 중 하나 이상을 포함할 수 있다. 센서부(150)는 디스플레이부(140)의 방향 또는 기울기를 측정할 수 있으며, 사용자의 눈동자가 향하는 방향을 측정 가능하다. 그리고, 측정된 정보들을 제어부(130)의 제어에 따라 저장부(120)에 저장하거나 시점 정보의 산출에 이용할 수 있다.
센서부(150)는 홍채 인식 센서를 더 포함할 수 있으며, 센서부(150)는 사용자 별로 안구의 홍채 정보를 수집하여, 상기 홍채 정보는 사용자가 스트리밍 서비스에 접속하여 서비스를 이용하거나, 결제 과정을 진행하기 위한 인증 정보로 활용될 수 있다.
미도시 되었으나, 본 발명의 실시 예에 따른 클라이언트 장치(100)는 키보드, 마우스, 터치패드와 같은 입력부를 더 포함할 수 있다.
이상으로, 본 발명의 실시 예에 따른 클라이언트 장치(100)의 구조에 관하여 설명하였다.
이하에서, 본 발명의 실시 예에 따른 클라이언트 장치(100)의 동작에 관하여 설명한다.
도 4는, 본 발명의 실시 예에 따른 클라이언트 장치(100)의 동작을 나타낸 흐름도이다.
도 4를 참조하면, 먼저, 클라이언트 장치(100)는 스트리밍 서비스 장치(200)에 접속하여 특정 콘텐츠를 요청한다(S400).
이후, 클라이언트 장치(100)는 스트리밍 서비스 장치(200)로부터 시점 정보를 요청받고(S402), 사용자의 시점 정보를 산출한다(S404). 시점 정보의 산출은, 앞서 설명한 바와 같이 디스플레이 장치의 방향 또는 기울기를 기반으로 산출될 수 있으며, 사용자의 눈동자 방향에 관한 정보를 더 포함한 정보를 기반으로 산출될 수 있다.
클라이언트 장치(100)는 산출한 시점 정보를 스트리밍 서비스 장치(200)로 전송한다(S406).
이후, 클라이언트 장치(100)는 스트리밍 서비스 장치(200)에서 일련의 과정을 거쳐 인코딩된 영상 데이터를 수신한다(S408).
클라이언트 장치(100)는 수신한 영상 데이터를 디코딩하여 디스플레이부(140)를 통해 출력하며(S410), 이 때, 사용자가 응시하는 영역은 그렇지 않은 영역보다 고품질의 영상이 출력될 수 있다. 여기서 고품질의 영상이란 영상의 해상도 또는 프레임이 상대적으로 높은 것을 의미한다.
이상으로, 본 발명의 실시 예에 따른 클라이언트 장치(100)의 동작에 관하여 설명하였다.
이하에서, 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)의 구조 및 동작에 대하여 설명하도록 한다.
도 5는 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)의 구조를 개략적으로 도시한 블록도이다.
도 5를 참조하면, 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)는, 통신 모듈(100), 저장 모듈(200), 제어 모듈(200)을 포함하여 구성될 수 있다.
통신 모듈(210)은 통신망과 연결되어 클라이언트 장치(100)와 데이터를 송수신하기 위한 구성이다. 통신 모듈(210)은 스트리밍 서비스 장치(200)에서 인코딩된 영상 데이터를 클라이언트 장치(100)로 전송하며, 클라이언트 장치(100)로부터 스트리밍 서비스 요청 및 시점 정보를 수신한다.
저장 모듈(220)은 스트리밍 서비스와 관련된 데이터를 저장하기 위한 구성이다. 스트리밍 서비스 관련 데이터에는 스트리밍 서비스 장치(200)를 서버로써 동작시키기 위한 운영 체제 및 응용 프로그램이 포함될 수 있다.
저장 모듈(220)에 저장된 응용 프로그램은 사용자에게 제공할 콘텐츠 및 유저 인터페이스(User Interface, UI)와 관련된 응용 프로그램일 수 있다.
더하여, 저장 모듈(220) 스트리밍 서비스 장치(200)에서 특정한 콘텐츠를 실행하여 실행된 실행화면을 기반으로 생성된 영상 데이터 및 분할된 실행화면을 기반으로 생성된 영상 데이터가 저장되어 있을 수 있다. 또한, 클라이언트 장치(100)로부터 수집한 시점 정보를 기반으로 설정된 인코딩 품질에 따라 인코딩된 영상 데이터가 저장되어 있을 수 있다.
제어 모듈(230)은 스트리밍 서비스 장치(200)의 운영 체제 및 각 구성을 구동시키는 프로세서가 될 수 있다. 본 발명의 실시 예에 따른 제어 모듈(230)은 클라이언트 장치(100)로부터 스트리밍 서비스의 실행 요청을 받아 클라이언트 장치(100)에 스트리밍 서비스를 제공한다. 앞서 설명한 바와 같이, 스트리밍 서비스에는 TV나 VOD(Video On Demand)를 포함한 각종 영상 제공 서비스가 포함될 수 있으며, 스트리밍 기반의 게임 서비스가 포함될 수도 있다.
제어 모듈(230)은 스트리밍 서비스의 제공에 있어서, 한정된 자원 하에서 보다 효율적으로 스트리밍 서비스를 제공하기 위해, 콘텐츠의 실행화면 전체 중 사용자가 현재 감상하고 있는 영역만을 다른 영역보다 고품질로 제공하기 위한 동작을 수행한다.
보다 구체적으로, 제어 모듈(230)은, 특정 콘텐츠를 실행하고, 실행된 화면을 임의의 기준에 따라 분할하여 복수의 영상 데이터를 생성한다.
또한, 제어 모듈(230)은, 통신 모듈(210)을 통해 클라이언트 장치(100)에 사용자의 시점 정보를 요청하고, 클라이언트 장치(100)가 전송한 사용자의 시점 정보를 수집한다.
제어 모듈(230)은 수집한 시점 정보를 기반으로 영상 데이터 별 인코딩 품질을 설정하고, 설정된 품질에 따라 영상 데이터를 인코딩하여 클라이언트 장치(100)로 전송한다.
미도시 되었으나, 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)는 하나 이상의 입력 또는 출력 모듈을 포함할 수 있다.
이상으로, 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)의 구조에 대하여 설명하였다.
이하에서, 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)의 동작에 대하여 설명한다.
도 6은, 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)의 동작을 나타낸 흐름도이다.
도 6을 참조하면, 먼저, 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)는 특정 클라이언트 장치(100)로부터 스트리밍 서비스 실행 요청을 받아, 특정 콘텐츠를 실행한다(S600). 이 때, 스트리밍 서비스 장치(200)는 클라이언트 장치(100)로부터 사용자 인증 정보를 수신하여 사용자 인증을 수행할 수 있다.
이후, 스트리밍 서비스 장치(200)는 상기 특정 콘텐츠의 실행에 따라 생성된 실행화면을, 디스플레이 위치에 따라 분할하여 복수의 영상 데이터를 생성한다(S602).
스트리밍 서비스 장치(200)는, 분할한 복수의 영상 데이터의 인코딩 품질을 설정하기 위해, 클라이언트 장치(100)에 사용자의 시점 정보를 요청하고, 클라이언트 장치(100)가 생성한 사용자의 시점 정보를 수집한다(S604).
스트리밍 서비스 장치(200)는, 수집한 시점 정보를 기반으로 분할된 영상 데이터 별로 인코딩 품질을 설정한다(S606). 이 때, 사용자의 현재 시점이 위치하는 영역 또는 현재 시점에 더하여 사용자의 현재 시점과 일정 거리 내에 있는 영역이 다른 영역에 비하여 상대적으로 고품질로 인코딩되도록 설정된다.
스트리밍 서비스 장치(200)는, 설정된 인코딩 품질에 따라 영상 데이터를 인코딩하여 클라이언트 장치(100)로 전송한다(S608).
본 발명은 본 발명이 속하는 분야의 통상의 지식을 가진 자에 의하여 다양한 수정 및 변형이 가능하며, 본 발명에 따른 시스템은 컴퓨터로 판독 가능한 기록 매체에 컴퓨터가 판독 가능한 프로그램으로 구현될 수 있다. 더하여, 이런 프로그램은 네트워크로 연결된 컴퓨터 시스템에 분산되어 저장되어 있을 수 있다.
본 발명은 스트리밍 서비스 장치 및 방법에 관한 것으로서, 더욱 상세하게는 분할한 영상 데이터 중 사용자가 감상하고 있는 영역에 대하여 그렇지 않은 부분보다 상대적으로 고품질의 스트리밍 서비스를 제공하기 위한 장치 및 방법에 관한 것이다.
본 발명의 스트리밍 서비스 장치는 한정된 네트워크 자원 하에서 네트워크 트래픽을 감소시키면서 사용자 경험은 상대적으로 높게 유지하여 보다 효율적으로 사용자가 만족할 정도의 고품질의 스트리밍 서비스를 제공할 수 있다.
따라서, 본 발명에 따른 스트리밍 서비스 장치 및 방법을 통해 산업 발전에 이바지 할 수 있고, 더불어, 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.

Claims (8)

  1. 스트리밍 서비스 장치에 의한 스트리밍 서비스 방법에 있어서,
    특정 콘텐츠를 실행하고, 상기 특정 콘텐츠의 실행화면을 디스플레이된 위치에 따라 분할하여 복수의 영상 데이터를 생성하는 단계;
    클라이언트 장치로부터 사용자의 시점 정보를 수집하는 단계;
    상기 시점 정보를 기반으로 상기 각 영상 데이터의 인코딩 품질을 설정하는 단계;
    상기 각 영상 데이터 별로 설정된 인코딩 품질에 따라 상기 각 영상 데이터를 인코딩하여 상기 클라이언트 장치로 전송하는 단계;
    를 포함하는 스트리밍 서비스 방법.
  2. 제1항에 있어서,
    상기 클라이언트 장치는,
    360도 영상을 디스플레이 가능한 헤드 마운티드 디스플레이(Head Mounted Display) 장치를 포함하는 것을 특징으로 하는 스트리밍 서비스 방법.
  3. 제1항에 있어서,
    상기 설정하는 단계는,
    상기 시점 정보를 기준으로 상기 사용자의 현재 시점을 파악하고,
    상기 사용자의 상기 현재 시점에 디스플레이될 영상 데이터의 인코딩 품질을 다른 영상 데이터의 인코딩 품질보다 고품질로 설정하는 것을 특징으로 하는 스트리밍 서비스 방법
  4. 제1항에 있어서,
    상기 시점 정보는,
    상기 HMD 장치의 방향을 기반으로 산출한 정보인 것을 특징으로 하는 스트리밍 서비스 방법.
  5. 제1항에 있어서,
    상기 시점 정보는,
    사용자의 머리 및 눈동자 방향을 측정하여 산출한 정보인 것을 특징으로 하는 스트리밍 서비스 방법.
  6. 제1항에 있어서,
    상기 사용자가 상기 스트리밍 서비스를 제공받을 수 있는 자인지 인증하기 위한 사용자 인증 단계;
    를 더 포함하는 것을 특징으로 하는 스트리밍 서비스 방법.
  7. 클라이언트 장치로부터 시점 정보를 수집하고, 상기 클라이언트 장치에 인코딩한 영상 데이터를 송신하는 통신 모듈;
    특정 콘텐츠를 실행하고, 그 실행화면을 디스플레이된 위치에 따라 분할하여 복수의 영상 데이터를 생성하며, 상기 시점 정보를 기반으로 설정한 인코딩 품질을 기반으로 각 영상 데이터를 인코딩하는 제어 모듈;
    을 포함하는 스트리밍 서비스 장치.
  8. 제7항에 있어서,
    상기 제어 모듈은,
    상기 시점 정보를 기준으로 상기 사용자의 현재 시점을 파악하고,
    상기 사용자의 상기 현재 시점에 디스플레이될 영상 데이터의 인코딩 품질을 다른 영상 데이터의 인코딩 품질보다 고품질로 설정하는 것을 특징으로 하는 스트리밍 서비스 장치.
PCT/KR2016/009647 2016-08-30 2016-08-30 사용자 의도 기반의 인터렉티브 분할 영상 스트리밍 서비스 장치 및 방법 Ceased WO2018043770A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0110440 2016-08-30
KR1020160110440A KR20180025366A (ko) 2016-08-30 2016-08-30 사용자 의도 기반의 인터렉티브 분할 영상 스트리밍 서비스 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2018043770A1 true WO2018043770A1 (ko) 2018-03-08

Family

ID=61309419

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/009647 Ceased WO2018043770A1 (ko) 2016-08-30 2016-08-30 사용자 의도 기반의 인터렉티브 분할 영상 스트리밍 서비스 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20180025366A (ko)
WO (1) WO2018043770A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210145485A (ko) * 2020-05-25 2021-12-02 (주)이머시브캐스트 인카 클라우드 vr 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341188A (ja) * 2003-05-15 2004-12-02 Nec Plasma Display Corp マルチスクリーン表示装置
KR100996241B1 (ko) * 2009-05-18 2010-11-23 (주)필링크 동영상 분할 장치 및 그에 따른 동영상 분할 방법
KR101372358B1 (ko) * 2013-09-24 2014-03-12 주식회사 다누시스 영상 데이터 출력 시스템
KR20140077672A (ko) * 2012-12-14 2014-06-24 에스케이플래닛 주식회사 스트리밍 서비스에서 콘텐츠 제공을 위한 장치 및 이를 위한 방법
KR20150093507A (ko) * 2014-02-07 2015-08-18 광운대학교 산학협력단 시거리 기반 적응적 비디오 스트리밍 서비스 제공 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341188A (ja) * 2003-05-15 2004-12-02 Nec Plasma Display Corp マルチスクリーン表示装置
KR100996241B1 (ko) * 2009-05-18 2010-11-23 (주)필링크 동영상 분할 장치 및 그에 따른 동영상 분할 방법
KR20140077672A (ko) * 2012-12-14 2014-06-24 에스케이플래닛 주식회사 스트리밍 서비스에서 콘텐츠 제공을 위한 장치 및 이를 위한 방법
KR101372358B1 (ko) * 2013-09-24 2014-03-12 주식회사 다누시스 영상 데이터 출력 시스템
KR20150093507A (ko) * 2014-02-07 2015-08-18 광운대학교 산학협력단 시거리 기반 적응적 비디오 스트리밍 서비스 제공 방법 및 시스템

Also Published As

Publication number Publication date
KR20180025366A (ko) 2018-03-09

Similar Documents

Publication Publication Date Title
WO2018012888A1 (en) Method and system for interactive transmission of panoramic video
US20190081993A1 (en) Method for sharing user screen in multiple reality environment and server system for the method
EP3231189A1 (en) Method and apparatus for generating annotations for a video stream
JP2023533363A (ja) インタラクティブ型コラボライブ配信の制御方法、装置、システム、機器及び媒体
CN112354176A (zh) 云游戏实现方法、云游戏实现装置、存储介质与电子设备
WO2020096376A1 (en) System and method for coded pattern communication
WO2016182149A1 (en) Wearable display device for displaying progress of payment process associated with billing information on display unit and controlling method thereof
EP4528458A1 (en) Interaction method and apparatus, and electronic device and storage medium
WO2019045128A1 (ko) 영상통화의 영상 품질 향상
WO2021080067A1 (ko) 시선 분석 장치 및 이를 이용한 시선 분석 시스템 및 방법
CN114040252A (zh) 显示帧率控制方法及装置、计算机可读介质和电子设备
WO2021187646A1 (ko) 아바타를 이용한 컨퍼런스 처리 방법 및 시스템
WO2020220782A1 (zh) 信息分享方法、装置、设备和介质
WO2018040174A1 (zh) 一种设置预览分辨率的方法、装置及终端
US20210127160A1 (en) Video content control system, method and program
WO2020111637A1 (ko) 몰입도 운용 방법 및 이를 지원하는 전자 장치
CN113259729B (zh) 数据切换的方法、服务器、系统及存储介质
CN116017014B (zh) 视频处理方法、装置、电子设备及存储介质
WO2011093629A2 (ko) 미디어 스트리밍을 이용한 리치미디어 서비스 방법 및 시스템
CN108401163B (zh) 一种实现vr直播的方法、装置及ott业务系统
WO2018043770A1 (ko) 사용자 의도 기반의 인터렉티브 분할 영상 스트리밍 서비스 장치 및 방법
JP2023522123A (ja) 情報共有方法、装置、電子機器及び記憶媒体
WO2018043771A1 (ko) 제작 의도 기반 적응형 스트리밍 서비스 장치 및 방법
WO2019156492A1 (ko) 디지털 콘텐츠의 개인 보안 열람 플랫폼
WO2021190618A1 (zh) 直播流推送方法、装置和电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16915250

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16915250

Country of ref document: EP

Kind code of ref document: A1