KR20180025366A - Apparatus and method for streaming service providing interacive tiled picture based on user intention - Google Patents

Apparatus and method for streaming service providing interacive tiled picture based on user intention Download PDF

Info

Publication number
KR20180025366A
KR20180025366A KR1020160110440A KR20160110440A KR20180025366A KR 20180025366 A KR20180025366 A KR 20180025366A KR 1020160110440 A KR1020160110440 A KR 1020160110440A KR 20160110440 A KR20160110440 A KR 20160110440A KR 20180025366 A KR20180025366 A KR 20180025366A
Authority
KR
South Korea
Prior art keywords
streaming service
user
image data
information
video data
Prior art date
Application number
KR1020160110440A
Other languages
Korean (ko)
Inventor
박우출
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to PCT/KR2016/009647 priority Critical patent/WO2018043770A1/en
Priority to KR1020160110440A priority patent/KR20180025366A/en
Publication of KR20180025366A publication Critical patent/KR20180025366A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25816—Management of client data involving client authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

The present invention relates to an apparatus and a method for a streaming service. More specifically, the present invention relates to the apparatus and the method, which can segment an execution screen for providing a streaming service to enable only an area where a user watches among the segmented area to be provided with a high quality. According to the present invention, the streaming service by the apparatus for a streaming comprises: a step of executing a certain content, and segmenting the execution screen of the certain content in accordance with a displayed position to produce multiple image data; a step of collecting user view information from a client apparatus; a step of setting an encoding quality of each of the image data based on the view information; and a step of encoding each of the image data in accordance with the encoding quality set for each image data to be transmitted to the client apparatus.

Description

사용자 의도 기반의 인터렉티브 분할 영상 스트리밍 서비스 장치 및 방법 {APPARATUS AND METHOD FOR STREAMING SERVICE PROVIDING INTERACIVE TILED PICTURE BASED ON USER INTENTION}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to an apparatus and a method for interactively segmenting a video streaming service based on a user's intention,

본 발명은 스트리밍 서비스 장치 및 방법에 관한 것으로서, 보다 상세하게는 디스플레이에서 사용자가 감상하고 있는 부분의 영상을 다른 부분의 영상보다 상대적으로 고품질로 제공하도록 하는 방법 및 상기 방법을 수행하는 장치에 관한 것이다.The present invention relates to a streaming service apparatus and method, and more particularly, to a method and an apparatus for performing a method of allowing a user to view an image of a portion of a display on a display in a relatively high quality .

이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the present embodiment and do not constitute the prior art.

컴퓨터 네트워크의 기술이 발전함에 따라, 스트리밍 서비스가 등장하였다. 스트리밍 서비스란 애플리케이션(Application)의 동작은 서버에서 수행하고, 그 결과 화면만을 인코딩(Encoding)하여 생성한 데이터를 단말기로 송신하고, 단말기는 수신한 데이터를 디코딩(Decoding)하여 디스플레이하는 서비스이다.As the technology of computer network developed, streaming service appeared. The streaming service refers to a service in which an operation of an application is performed by a server, and data generated by encoding only a resultant image is transmitted to a terminal, and the terminal decodes and displays the received data.

한편, 스트리밍 기술과는 별개로, VR(Virtual Reality) 관련 기술 및 VR 기기의 일종인 HMD(Head Mounted Display) 관련 기술이 개발되고 있다. HMD란 사용자가 안경처럼 머리에 착용하여 멀티미디어 콘텐츠를 제공하는 기기이다. 이러한 HMD는 VR 기술과 결합되어, 사용자의 주변 360도의 영상을 디스플레이할 수 있으며, 차기 유망 산업으로 주목받고 있다.Meanwhile, apart from the streaming technology, technologies related to VR (Virtual Reality) and HMD (Head Mounted Display), which is a type of VR device, are being developed. HMD is a device that provides users with multimedia contents by wearing them on their head like glasses. Such an HMD can be combined with VR technology to display a 360-degree image of the user and is attracting attention as a promising industry.

이러한 VR 기기에 스트리밍 서비스를 결합하여, 서버에서 실행된 결과 화면을 VR 기기에 제공할 수 있다. 그러나 VR 기기는 고사양의 컴퓨팅 자원을 요구하며, 한정된 자원을 고려할 때 사용자가 만족할 정도의 고품질 서비스를 제공하기 어려운 상황이다.By combining the streaming service with this VR device, a result screen executed in the server can be provided to the VR device. However, VR devices require high-end computing resources, and when considering limited resources, it is difficult to provide high-quality services satisfactory to users.

한국등록특허 제10-0573983호 (명칭: 3차원 가상현실 콘텐츠 구현 시스템 및 구현 방법, 공고일 2006.04.26.)Korean Registered Patent No. 10-0573983 (Title: System and Implementation Method for 3D Virtual Reality Contents, Notification Date 2006.04.26.)

상술한 문제점을 해결하기 위하여 본 발명은, VR 기기에 디스플레이할 영상 중 현재 사용자가 감상하고 있는 부분을 다른 부분보다 고품질로 제공할 수 있도록 함을 목적으로 한다.In order to solve the above-described problems, it is an object of the present invention to provide a high-quality portion of a video image to be displayed on a VR device by a current user than other portions.

보다 구체적으로, 콘텐츠(contents) 또는 애플리케이션을 실행한 결과 화면을 일정 기준에 따라 분할하여 영상 데이터를 생성하고, 사용자의 시선이 향하는 부분의 영상 데이터를 다른 부분의 영상 데이터보다 고품질로 인코딩하여 클라이언트 장치로 전송하도록 하는 스트리밍 서비스 장치 및 방법을 제공함을 목적으로 한다.More specifically, video data is generated by dividing a screen resulting from execution of contents or an application according to a certain criterion, and video data of a part of the user's gaze is encoded with higher quality than video data of other parts, To a streaming service apparatus and method.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 스트리밍 서비스 방법은, 특정 콘텐츠를 실행하고, 상기 특정 콘텐츠의 실행화면을 디스플레이된 위치에 따라 분할하여 복수의 영상 데이터를 생성하는 단계; 클라이언트 장치로부터 사용자의 시점 정보를 수집하는 단계; 상기 시점 정보를 기반으로 상기 각 영상 데이터의 인코딩 품질을 설정하는 단계; 상기 각 영상 데이터 별로 설정된 인코딩 품질에 따라 상기 각 영상 데이터를 인코딩하여 상기 클라이언트 장치로 전송하는 단계; 를 포함하여 제공될 수 있다.According to an aspect of the present invention, there is provided a streaming service method comprising: generating a plurality of video data by executing a specific content and dividing an execution screen of the specific content according to a displayed position; Collecting user's viewpoint information from a client device; Setting encoding quality of each image data based on the viewpoint information; Encoding each image data according to an encoding quality set for each image data and transmitting the encoded image data to the client device; May be provided.

더하여, 본 발명의 실시 예에 따른 스트리밍 서비스 장치는, 클라이언트 장치로부터 시점 정보를 수집하고, 상기 클라이언트 장치에 인코딩한 영상 데이터를 송신하는 통신 모듈; 특정 콘텐츠를 실행하고, 그 실행화면을 디스플레이된 위치에 따라 분할하여 복수의 영상 데이터를 생성하며, 상기 시점 정보를 기반으로 설정한 인코딩 품질을 기반으로 각 영상 데이터를 인코딩하는 제어 모듈; 을 포함하여 구성될 수 있다.In addition, a streaming service apparatus according to an embodiment of the present invention includes: a communication module for collecting viewpoint information from a client apparatus and transmitting encoded image data to the client apparatus; A control module for executing a specific content, generating a plurality of video data by dividing an execution screen according to a displayed position, and encoding each video data based on an encoding quality set based on the viewpoint information; As shown in FIG.

본 발명에 따르면, 사용자의 시점 정보를 기반으로 표시될 영상 중 사용자가 감상하고 있는 부분을 파악하고, 이 부분에 대한 고품질 영상 서비스를 제공할 수 있으며, 이러한 상호작용을 통해 양질의 사용자 경험을 유지하며 한정된 네트워크 자원들을 보다 효율적으로 사용할 수 있다.According to the present invention, it is possible to grasp a part of a user image to be displayed based on user's viewpoint information, to provide a high-quality image service for the part, and to maintain a high quality user experience And can use limited network resources more efficiently.

즉, 스트리밍 서비스의 품질 저하를 방지하면서 네트워크 트래픽을 감소시킴과 동시에, 데이터의 송수신 속도를 보다 빠르게 할 수 있다.That is, it is possible to reduce the network traffic while preventing deterioration of the quality of the streaming service, and at the same time, it is possible to speed up the transmission and reception of data.

도 1은 본 발명의 실시 예에 따른 스트리밍 서비스 시스템을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 실시 예에 따른 스트리밍 서비스 방법을 나타낸 메시지 흐름도이다.
도 3은 본 발명의 실시 예에 따른 클라이언트 장치를 개략적으로 도시한 블록도이다.
도 4는 본 발명의 실시 예에 따른 클라이언트 장치의 동작을 나타낸 흐름도이다.
도 5는 본 발명의 실시 예에 따른 스트리밍 서비스 장치를 개략적으로 도시한 블록도이다.
도 6은 본 발명의 실시 예에 따른 스트리밍 서비스 장치의 동작을 나타낸 흐름도이다.1 is a block diagram schematically illustrating a streaming service system according to an embodiment of the present invention.
2 is a message flow diagram illustrating a streaming service method according to an embodiment of the present invention.
3 is a block diagram that schematically illustrates a client device in accordance with an embodiment of the present invention.
4 is a flowchart illustrating an operation of a client apparatus according to an exemplary embodiment of the present invention.
5 is a block diagram schematically showing a streaming service apparatus according to an embodiment of the present invention.
6 is a flowchart illustrating an operation of a streaming service apparatus according to an embodiment of the present invention.

먼저, 본 발명의 실시 예에 따른 스트리밍 시스템의 구성에 대하여 설명하도록 한다.First, a configuration of a streaming system according to an embodiment of the present invention will be described.

도 1은 본 발명의 실시 예에 따른 스트리밍 서비스 시스템을 개략적으로 도시한 블록도이다.1 is a block diagram schematically illustrating a streaming service system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시 예에 따른 스트리밍 서비스 시스템은, 클라이언트 장치(100)와 스트리밍 서비스 장치(200)로 구성될 수 있으며, 상기 두 장치(100, 200)는 통신망(300)을 통해 연결되어 있을 수 있다.Referring to FIG. 1, a streaming service system according to an embodiment of the present invention may include a client device 100 and a streaming service device 200, and the two devices 100 and 200 may include a communication network 300 Lt; / RTI >

본 발명의 실시 예에 따른 클라이언트 장치(100)는 공지의 사용자 장치로서, 스트리밍 서비스 장치(200)와 스트리밍 서비스와 관련된 영상 데이터를 송수신할 수 있다. 보다 구체적으로, 클라이언트 장치(100)는 스트리밍 서비스 장치(200)에서 실행된 콘텐츠를 기반으로 생성 및 인코딩된 영상 데이터를 수신하고, 상기 인코딩된 영상 데이터를 디코딩하여 클라이언트 장치에 포함된 디스플레이부를 통해 출력할 수 있다.The client apparatus 100 according to an embodiment of the present invention is a known user apparatus and can transmit and receive video data related to the streaming service apparatus 200 and the streaming service. More specifically, the client apparatus 100 receives the image data generated and encoded based on the content executed in the streaming service apparatus 200, decodes the encoded image data, and outputs the decoded image data through a display unit included in the client apparatus can do.

또한, 클라이언트 장치(100)에 포함된 디스플레이부는 헤드 마운티드 디스플레이(Head Mounted Display, HMD) 장치일 수 있다. HMD는 사용자에게 360도 영상을 디스플레이할 수 있다. 따라서, 클라이언트 장치(100)가 스트리밍 서비스 장치(200)와 송수신하는 영상 데이터는 스트리밍 서비스 장치(200)에서 360도 화면 상에 실행된 실행화면의 영상 데이터일 수 있다. 또는, 360도 화면 상에 실행된 실행화면을 디스플레이되는 위치에 따라 분할하여 생성된 복수의 영상 데이터일 수 있다. Also, the display unit included in the client device 100 may be a head mounted display (HMD) device. The HMD can display a 360 degree image to the user. Therefore, the video data transmitted / received by the client device 100 to / from the streaming service device 200 may be the video data of the execution screen executed on the 360-degree screen in the streaming service device 200. Alternatively, it may be a plurality of image data generated by dividing an execution screen executed on a 360-degree screen according to a displayed position.

더하여, 클라이언트 장치(100)는 사용자의 시점 정보를 산출하여 스트리밍 서비스 장치(200)로 전송할 수 있다. 여기서 사용자는 클라이언트 장치(100)를 통해 스트리밍 서비스 장치(200)가 제공하는 콘텐츠를 이용하는 자를 의미한다. 또한 시점 정보는 사용자가 디스플레이부에 표시된 전체 영상 중 현재 응시하고 있는 부분의 영상과 관련된 정보를 의미한다.In addition, the client device 100 may calculate the viewpoint information of the user and transmit the information to the streaming service device 200. Here, the user refers to a person who uses the content provided by the streaming service apparatus 200 through the client apparatus 100. In addition, the viewpoint information refers to information related to an image of a portion of the entire image currently displayed on the display unit by the user.

이러한 시점 정보의 산출을 위해, 클라이언트 장치(100)는 HMD 장치 자체가 향하고 있는 방향을 이용하여 사용자의 시선이 향하고 있는 방향을 측정할 수 있다. 보다 구체적으로, HMD 장치에는 방향 센서 또는 자이로 센서가 포함되어 있을 수 있으며, 이러한 센서를 통해 HMD 장치의 정면이 향하는 방향을 측정할 수 있다.In order to calculate this point-in-time information, the client device 100 can measure the direction in which the user's line of sight is pointing, using the direction in which the HMD device itself is pointing. More specifically, the HMD device may include a direction sensor or a gyro sensor, and the direction in which the front surface of the HMD device faces can be measured through such a sensor.

또는, 클라이언트 장치(100)는 상기 HMD 장치가 향하고 있는 방향에 더하여, 영상 센서를 이용하여 사용자의 시선을 추적하여 시점 정보를 보다 정확하게 산출할 수 있다. Alternatively, in addition to the direction the HMD device is facing, the client device 100 may track the user's gaze using the image sensor to more accurately calculate the viewpoint information.

또한, 클라이언트 장치(100)는 홍채 인식 센서를 더 포함할 수 있으며, 이를 통해 스트리밍 서비스 장치(200)에 접속 및 서비스를 이용하고자 할 때 인증 수단으로 이용할 수 있다.In addition, the client device 100 may further include an iris recognition sensor, and may be used as an authentication means when accessing the streaming service device 200 and using the service.

스트리밍 서비스 장치(200)는 본 발명의 실시 예에 따라 하나 이상의 클라이언트 장치에 스트리밍 서비스를 제공하기 위한 장치이다.The streaming service apparatus 200 is an apparatus for providing a streaming service to one or more client apparatuses according to an embodiment of the present invention.

스트리밍 서비스에는 TV 프로그램이나 영화 기타 온라인 영상 컨텐츠를 제공하는 영상 제공 서비스가 포함될 수 있다. 또한 스트리밍 기술을 이용한 온라인 게임 서비스가 포함될 수도 있다. 이외에도 서비스를 제공하기 위해 보조적으로 제공되는 EPG(Electronic Program Guide)가 포함될 수도 있다.The streaming service may include a video providing service that provides a TV program, movie, or other online video content. It may also include online game services using streaming technology. In addition, an EPG (Electronic Program Guide) may be included which is supplementary to provide a service.

스트리밍 서비스 장치(200)는 하나 이상의 클라이언트 장치(100)에 서비스를 제공하기 위한 서버 장치의 역할을 하며, 스트리밍 서비스 장치(200) 내에서, 클라이언트 장치(100)에 제공하고자 하는 서비스와 관련된 콘텐츠를 실행시키고, 그 콘텐츠를 실행시켜 생성된 실행화면을 영상 데이터로 인코딩할 수 있다. 본 발명에서 의미하는 영상 데이터는 콘텐츠의 실행화면을 일정 프레임의 비디오 데이터로 구성한 것뿐만 아니라, 애니매이션 또는 정지 화면의 제공을 위한 이미지 데이터의 집합을 포함할 수 있다. 이러한 영상 데이터는, 스트리밍 서비스 장치(200)에 의해, 실행화면을 임의의 기준에 따라 분할하여 각 분할한 영역 별로 생성된 것일 수 있다. The streaming service apparatus 200 serves as a server apparatus for providing services to one or more client apparatuses 100. The streaming service apparatus 200 is a server apparatus for providing a content related to a service to be provided to the client apparatus 100 And the execution screen generated by executing the content can be encoded into video data. The image data according to the present invention may include a set of image data for providing an animation or a still image, as well as an execution screen of the content, which is composed of video data of a certain frame. Such image data may be generated by the streaming service apparatus 200 for each divided region by dividing an execution screen according to an arbitrary criterion.

스트리밍 서비스 장치(200)는 클라이언트 장치(100)로부터 클라이언트 장치(100)가 산출한 시점 정보를 수집하며, 상기 시점 정보를 기준으로 복수의 영상 데이터에 대하여 각각 인코딩 품질을 설정할 수 있다.The streaming service apparatus 200 collects viewpoint information calculated by the client apparatus 100 from the client apparatus 100 and can set the encoding quality for each of a plurality of video data based on the viewpoint information.

이 때, 사용자의 시점이 향하고 있는 부분의 영상 데이터는 다른 부분보다 높은 품질로 인코딩할 수 있다. 사용자의 시야를 고려하여 시점이 향하고 있는 부분에 대하여 임의로 설정된 일정 거리 이내의 영상 데이터까지 그 외의 부분에 비하여 높은 품질로 인코딩할 수 있다.At this time, the image data of the portion where the user's view point is directed can be encoded with a higher quality than the other portions. It is possible to encode video data within a certain distance set arbitrarily with respect to the portion of the viewpoint facing the user's view, with higher quality than the other portions.

이러한 클라이언트 장치(100)와 스트리밍 서비스 장치(200)는 통신망(300)을 통해 서로 연결될 수 있다. 통신망(300)은 일반적으로 이용되는 인터넷망일 수 있다.The client device 100 and the streaming service device 200 may be connected to each other through the communication network 300. The communication network 300 may be a commonly used Internet network.

도 2는 본 발명의 실시 예에 따른 스트리밍 서비스 방법을 나타낸 메시지 흐름도이다.2 is a message flow diagram illustrating a streaming service method according to an embodiment of the present invention.

도 2를 참조하면, 먼저, 스트리밍 서비스 장치(200)는 사용자에게 제공하기 위한 콘텐츠를 실행한다(S200). 이러한 콘텐츠는 클라이언트 장치(100)로부터의 서비스 요청에 의해 실행될 수 있다.Referring to FIG. 2, first, the streaming service device 200 executes a content to be provided to a user (S200). Such content can be executed by a service request from the client device 100. [

이후, 스트리밍 서비스 장치(200)는 콘텐츠를 실행하여 생성된 실행화면을 분할한다(S202). 이 때, 스트리밍 서비스 장치(200)는 실행화면을 디스플레이된 위치에 따라 분할할 수 있으며, 분할할 위치, 크기, 모양은 임의로 설정될 수 있다. 실행화면의 분할 결과 생성된 영상 데이터는 스트리밍 서비스 장치(200)에 저장된다. 이러한 영상 데이터는 비디오 데이터 혹은 이미지 데이터의 형태일 수 있고, 비디오 또는 이미지 코덱을 통해 이미 인코딩된 형태일 수 있으나, 이후 시점 정보를 기반으로 품질을 변경하기 위해 임시로 저장된다.Thereafter, the streaming service apparatus 200 executes the content and divides the generated execution screen (S202). At this time, the streaming service apparatus 200 can divide the execution screen according to the displayed position, and the position, size, and shape to be divided can be arbitrarily set. The video data generated as a result of the division of the execution screen is stored in the streaming service apparatus 200. Such image data may be in the form of video data or image data, and may be in a form already encoded through a video or image codec, but is temporarily stored to change quality based on future point of view information.

클라이언트 장치(100)는 센서를 통해 측정한 값을 기반으로 사용자의 시점 정보를 산출한다(S204). 산출한 시점 정보는 클라이언트 장치(100)에서 스트리밍 서비스 장치(200)로 전송된다(S206).The client device 100 calculates the viewpoint information of the user based on the value measured through the sensor (S204). The calculated time point information is transmitted from the client device 100 to the streaming service device 200 (S206).

시점 정보는, 앞서 설명한 바와 같이, 클라이언트 장치(100)에 포함된 디스플레이부가 향하는 방향 정보를 수집하여 산출될 수 있으며, 디스플레이부가 향하는 방향은 사용자의 머리가 향하는 방향과 일치할 수 있다. 그리고 클라이언트 장치(100)는, 사용자의 눈동자 방향을 더 측정하여 사용자가 응시하는 지점을 보다 정확히 산출하여 시점 정보를 생성할 수 있다.As described above, the viewpoint information can be calculated by collecting direction information directed to the display unit included in the client apparatus 100, and the direction to which the display unit is directed can coincide with the direction in which the user's head is directed. The client device 100 can further measure the direction of the pupil of the user and more accurately calculate the point at which the user gazes, thereby generating the viewpoint information.

스트리밍 서비스 장치(200)는 클라이언트 장치(100)가 생성한 시점 정보를 수집한 이후, 수집한 시점 정보를 기반으로, 분할 저장된 복수의 영상 데이터 각각의 인코딩 품질을 설정한다(S208). 스트리밍 서비스 장치(200)는 사용자가 응시하는 지점과, 상기 지점과 임의로 설정된 거리 이내에 위치하는 영상 데이터를 다른 영상 데이터보다 고품질로 인코딩하도록 설정할 수 있다. 이는, 사용자가 응시하는 지점과, 상기 지점과 임의로 설정된 거리 이내에 위치하는 영상 데이터를 다른 영상 데이터보다 고화질로 다시 인코딩하도록 설정하는 것일 수 있으며, 반대로, 다른 영상 데이터를 사용자가 응시하는 지점과, 상기 지점과 임의로 설정된 거리 이내에 위치하는 영상 데이터보다 저화질로 다시 인코딩하도록 설정하는 것일 수 있다.The streaming service apparatus 200 collects the viewpoint information generated by the client apparatus 100, and then sets the encoding quality of each of the plurality of divided image data based on the collected viewpoint information (S208). The streaming service apparatus 200 can set the image data located within a predetermined distance from the point where the user gaze and the point to be encoded with higher quality than other image data. This may be set to re-encode video data located within a predetermined distance from the point at which the user is gazing and the video data at a higher image quality than the other video data. On the other hand, And to re-encode the video data at a lower quality than the video data located within a predetermined distance from the point.

스트리밍 서비스 장치(200)는 설정된 인코딩 품질에 따라 각 영상 데이터를 인코딩하고(S210), 인코딩된 영상 데이터를 클라이언트 장치(100)로 전송한다(S212).The streaming service apparatus 200 encodes each image data according to the set encoding quality (S210), and transmits the encoded image data to the client apparatus 100 (S212).

클라이언트 장치(100)는 수신한 인코딩된 영상 데이터를 디코딩하고, 디스플레이부를 통해 사용자가 응시하고 있는 영역과 그 주변 일정 영역을 그렇지 않은 부분보다 고화질로 출력한다(S214)The client apparatus 100 decodes the received encoded image data, and outputs a region of the user's gaze and a certain surrounding region thereof through the display unit in a higher image quality than that of the region not being examined (S214)

이상으로, 본 발명의 실시 예에 따른 스트리밍 서비스 방법에 있어서, 클라이언트 장치(100)와 스트리밍 서비스 장치(200) 사이에서 발생하는 메시지 흐름에 대하여 설명하였다.As described above, in the streaming service method according to the embodiment of the present invention, a message flow occurring between the client device 100 and the streaming service device 200 has been described.

이하에서는, 본 발명의 실시 예에 따른 각 장치의 구조 및 동작에 대하여 설명하도록 한다.Hereinafter, the structure and operation of each device according to the embodiment of the present invention will be described.

도 3은 본 발명의 실시 예에 따른 클라이언트 장치(100)의 구조를 개략적으로 나타낸 블록도이다.3 is a block diagram schematically illustrating the structure of a client device 100 according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시 예에 따른 클라이언트 장치(100)는 통신부(110), 저장부(120), 제어부(130), 디스플레이부(140), 센서부(150)를 포함하여 구성될 수 있다.3, a client apparatus 100 according to an embodiment of the present invention includes a communication unit 110, a storage unit 120, a control unit 130, a display unit 140, and a sensor unit 150, .

통신부(110)는 통신망(300)과 연결되어 스트리밍 서비스 장치(200)와 본 발명의 실시를 위한 데이터를 송수신하기 위한 구성이다. 통신부(110)는 스트리밍 서비스 장치(200)로부터 인코딩된 영상 데이터를 수신하며, 산출된 시점 정보를 스트리밍 서비스 장치(200)로 송신한다.The communication unit 110 is connected to the communication network 300 and is configured to transmit and receive data to and from the streaming service device 200 according to an embodiment of the present invention. The communication unit 110 receives the encoded video data from the streaming service device 200 and transmits the calculated time information to the streaming service device 200.

저장부(120)는 컴퓨터 판독 가능한 기록 매체로서 클라이언트 장치(100)가 본 발명을 실시하기 위해 필요한 응용 프로그램을 저장한다. 더하여, 스트리밍 서비스 장치(200)로부터 수신한 인코딩된 영상 데이터 및 상기 인코딩된 영상 데이터를 디코딩한 영상 데이터를 저장할 수 있다. 또한. 센서부(150)를 통해 수집된 정보와 수집된 정보를 이용하여 산출한 정보를 저장할 수 있다. 보다 구체적으로 저장부(120)는 사용자의 시점 정보를 산출하기 위한 기반이 되는 디스플레이부의 방향 정보 또는 사용자의 눈동자 방향에 관한 정보를 수집하여 저장할 수 있고, 산출된 시점 정보를 저장할 수 있다.The storage unit 120 is a computer-readable recording medium that stores application programs necessary for the client apparatus 100 to implement the present invention. In addition, encoded image data received from the streaming service device 200 and image data obtained by decoding the encoded image data can be stored. Also. The information collected through the sensor unit 150 and the information calculated using the collected information can be stored. More specifically, the storage unit 120 may collect and store direction information of a display unit or a direction of a user's eyeball, which is a base for calculating user's viewpoint information, and may store the calculated viewpoint information.

또한, 저장부(120)는 스트리밍 서비스 제공 시 사용자를 인증하기 위한 인증 정보를 더 포함할 수 있다. 상기 인증 정보는 아이디(ID)와 비밀번호의 형식일 수 있으며, 또는 사용자가 인증을 위해 등록한 생체 정보일 수도 있다.In addition, the storage unit 120 may further include authentication information for authenticating a user when providing a streaming service. The authentication information may be in the form of an ID and a password, or may be biometric information registered by a user for authentication.

제어부(130)는 프로세서와 운영체제, 그리고 본 발명의 실시를 위한 응용 프로그램을 동작시키기 위한 프로세서(Processor)에 해당한다. 제어부(130)는 저장부(120)에 저장된 프로그램을 실행시키고, 통신부(110)를 통해 수집한 정보를 실행된 응용 프로그램에 적용시켜 본 발명의 실시가 이루어질 수 있도록 한다. The controller 130 corresponds to a processor, an operating system, and a processor for operating an application program for implementing the present invention. The control unit 130 executes the program stored in the storage unit 120 and applies the collected information through the communication unit 110 to the executed application program so that the implementation of the present invention can be performed.

더하여, 제어부(130)는 통신부(110)를 제어하여 스트리밍 서비스 장치(200)와 통신망(300)을 통해 서비스에 필요한 데이터를 송수신하는 과정을 제어할 수 있다.In addition, the control unit 130 may control the communication unit 110 to control the process of transmitting and receiving data required for the service through the communication network 300 with the streaming service device 200.

또한, 제어부(130)는 스트리밍 서비스 장치(200)로부터 수신한 인코딩된 영상 데이터를 디코딩하기 위한 구성을 더 포함할 수 있다. 제어부(130)는 인코딩된 영상 데이터를 디코딩하고, 디스플레이부(140)가 디코딩된 영상 데이터를 출력하도록 제어할 수 있다.The control unit 130 may further include a configuration for decoding the encoded image data received from the streaming service device 200. [ The control unit 130 may decode the encoded image data and may control the display unit 140 to output the decoded image data.

그리고, 제어부(130)는 사용자 명령에 의해 본 발명의 실시 예에 따른 시점 정보를 산출하기 위한 정보를 수집하도록 하는 명령을 센서부(150)에 내릴 수 있다. 제어부(130)는 센서부(150)가 수집한 정보를 기반으로 시점 정보를 산출할 수 있다.The control unit 130 may instruct the sensor unit 150 to collect information for calculating the viewpoint information according to the embodiment of the present invention by a user command. The control unit 130 may calculate the viewpoint information based on the information collected by the sensor unit 150. [

디스플레이부(140)는 본 발명의 실시 예에 따라 스트리밍 서비스 장치(200)에 의해 제공된 화면을 사용자에게 출력하기 위한 구성이다. 디스플레이부는 터치스크린, LCD(Liquid Crystal Display)일 수 있으며, HMD 형태의 디스플레이 장치일 수 있다.The display unit 140 is a structure for outputting a screen provided by the streaming service device 200 to a user according to an embodiment of the present invention. The display unit may be a touch screen, an LCD (Liquid Crystal Display), or an HMD type display device.

디스플레이부(140)가 HMD 장치인 경우, 안경 형태 기타 머리에 착용 가능한 형태의 장치가 될 수 있으며, 360도 영상을 디스플레이할 수 있다. When the display unit 140 is an HMD device, it may be a device in the form of an eyeglass or other wearable item on the head, and may display a 360-degree image.

센서부(150)는 시점 정보를 산출하기 위해 필요한 정보를 수집하기 위한 구성이다. 센서부(150)는 방향 센서, 자이로 센서, 영상 센서 중 하나 이상을 포함할 수 있다. 센서부(150)는 디스플레이부(140)의 방향 또는 기울기를 측정할 수 있으며, 사용자의 눈동자가 향하는 방향을 측정 가능하다. 그리고, 측정된 정보들을 제어부(130)의 제어에 따라 저장부(120)에 저장하거나 시점 정보의 산출에 이용할 수 있다.The sensor unit 150 is a structure for collecting information necessary for calculating the viewpoint information. The sensor unit 150 may include at least one of a direction sensor, a gyro sensor, and an image sensor. The sensor unit 150 can measure the direction or tilt of the display unit 140 and measure the direction of the user's pupil. The measured information may be stored in the storage unit 120 under the control of the control unit 130 or used for calculating the viewpoint information.

센서부(150)는 홍채 인식 센서를 더 포함할 수 있으며, 센서부(150)는 사용자 별로 안구의 홍채 정보를 수집하여, 상기 홍채 정보는 사용자가 스트리밍 서비스에 접속하여 서비스를 이용하거나, 결제 과정을 진행하기 위한 인증 정보로 활용될 수 있다.The sensor unit 150 may further include an iris recognition sensor, and the sensor unit 150 may collect iris information of the eye for each user. The iris information may be obtained by a user using a service by accessing a streaming service, As shown in FIG.

미도시 되었으나, 본 발명의 실시 예에 따른 클라이언트 장치(100)는 키보드, 마우스, 터치패드와 같은 입력부를 더 포함할 수 있다.However, the client device 100 according to the embodiment of the present invention may further include an input unit such as a keyboard, a mouse, and a touch pad.

이상으로, 본 발명의 실시 예에 따른 클라이언트 장치(100)의 구조에 관하여 설명하였다.Thus, the structure of the client apparatus 100 according to the embodiment of the present invention has been described.

이하에서, 본 발명의 실시 예에 따른 클라이언트 장치(100)의 동작에 관하여 설명한다.Hereinafter, the operation of the client apparatus 100 according to the embodiment of the present invention will be described.

도 4는, 본 발명의 실시 예에 따른 클라이언트 장치(100)의 동작을 나타낸 흐름도이다.FIG. 4 is a flowchart showing the operation of the client device 100 according to the embodiment of the present invention.

도 4를 참조하면, 먼저, 클라이언트 장치(100)는 스트리밍 서비스 장치(200)에 접속하여 특정 콘텐츠를 요청한다(S400).Referring to FIG. 4, first, the client device 100 accesses the streaming service device 200 and requests a specific content (S400).

이후, 클라이언트 장치(100)는 스트리밍 서비스 장치(200)로부터 시점 정보를 요청받고(S402), 사용자의 시점 정보를 산출한다(S404). 시점 정보의 산출은, 앞서 설명한 바와 같이 디스플레이 장치의 방향 또는 기울기를 기반으로 산출될 수 있으며, 사용자의 눈동자 방향에 관한 정보를 더 포함한 정보를 기반으로 산출될 수 있다. Then, the client device 100 receives the viewpoint information from the streaming service device 200 (S402), and calculates the viewpoint information of the user (S404). The calculation of the viewpoint information can be calculated based on the direction or the slope of the display device as described above, and can be calculated based on the information including the information on the direction of the user's eyes.

클라이언트 장치(100)는 산출한 시점 정보를 스트리밍 서비스 장치(200)로 전송한다(S406). The client device 100 transmits the calculated time point information to the streaming service device 200 (S406).

이후, 클라이언트 장치(100)는 스트리밍 서비스 장치(200)에서 일련의 과정을 거쳐 인코딩된 영상 데이터를 수신한다(S408).Thereafter, the client apparatus 100 receives the encoded image data through a series of processes in the streaming service apparatus 200 (S408).

클라이언트 장치(100)는 수신한 영상 데이터를 디코딩하여 디스플레이부(140)를 통해 출력하며(S410), 이 때, 사용자가 응시하는 영역은 그렇지 않은 영역보다 고품질의 영상이 출력될 수 있다. 여기서 고품질의 영상이란 영상의 해상도 또는 프레임이 상대적으로 높은 것을 의미한다.The client apparatus 100 decodes the received image data and outputs the decoded image data through the display unit 140 (S410). At this time, the quality of the image may be higher than that of the region of the user's gaze. Here, the high quality image means that the resolution or frame of the image is relatively high.

이상으로, 본 발명의 실시 예에 따른 클라이언트 장치(100)의 동작에 관하여 설명하였다.The operation of the client apparatus 100 according to the embodiment of the present invention has been described above.

이하에서, 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)의 구조 및 동작에 대하여 설명하도록 한다.Hereinafter, the structure and operation of the streaming service apparatus 200 according to the embodiment of the present invention will be described.

도 5는 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)의 구조를 개략적으로 도시한 블록도이다.5 is a block diagram schematically illustrating the structure of a streaming service apparatus 200 according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)는, 통신 모듈(100), 저장 모듈(200), 제어 모듈(200)을 포함하여 구성될 수 있다.5, a streaming service apparatus 200 according to an exemplary embodiment of the present invention may include a communication module 100, a storage module 200, and a control module 200.

통신 모듈(210)은 통신망과 연결되어 클라이언트 장치(100)와 데이터를 송수신하기 위한 구성이다. 통신 모듈(210)은 스트리밍 서비스 장치(200)에서 인코딩된 영상 데이터를 클라이언트 장치(100)로 전송하며, 클라이언트 장치(100)로부터 스트리밍 서비스 요청 및 시점 정보를 수신한다.The communication module 210 is connected to a communication network and configured to transmit and receive data to and from the client device 100. The communication module 210 transmits the video data encoded by the streaming service device 200 to the client device 100 and receives the streaming service request and the viewpoint information from the client device 100.

저장 모듈(220)은 스트리밍 서비스와 관련된 데이터를 저장하기 위한 구성이다. 스트리밍 서비스 관련 데이터에는 스트리밍 서비스 장치(200)를 서버로써 동작시키기 위한 운영 체제 및 응용 프로그램이 포함될 수 있다. The storage module 220 is a configuration for storing data related to the streaming service. The streaming service related data may include an operating system and an application program for operating the streaming service apparatus 200 as a server.

저장 모듈(220)에 저장된 응용 프로그램은 사용자에게 제공할 콘텐츠 및 유저 인터페이스(User Interface, UI)와 관련된 응용 프로그램일 수 있다. The application program stored in the storage module 220 may be an application program related to a content to be provided to the user and a user interface (UI).

더하여, 저장 모듈(220) 스트리밍 서비스 장치(200)에서 특정한 콘텐츠를 실행하여 실행된 실행화면을 기반으로 생성된 영상 데이터 및 분할된 실행화면을 기반으로 생성된 영상 데이터가 저장되어 있을 수 있다. 또한, 클라이언트 장치(100)로부터 수집한 시점 정보를 기반으로 설정된 인코딩 품질에 따라 인코딩된 영상 데이터가 저장되어 있을 수 있다.In addition, the storage module 220 may store the video data generated based on the execution screen executed by executing the specific content in the streaming service device 200, and the video data generated based on the divided execution screen. In addition, the encoded image data may be stored according to the encoding quality set based on the viewpoint information collected from the client device 100. [

제어 모듈(230)은 스트리밍 서비스 장치(200)의 운영 체제 및 각 구성을 구동시키는 프로세서가 될 수 있다. 본 발명의 실시 예에 따른 제어 모듈(230)은 클라이언트 장치(100)로부터 스트리밍 서비스의 실행 요청을 받아 클라이언트 장치(100)에 스트리밍 서비스를 제공한다. 앞서 설명한 바와 같이, 스트리밍 서비스에는 TV나 VOD(Video On Demand)를 포함한 각종 영상 제공 서비스가 포함될 수 있으며, 스트리밍 기반의 게임 서비스가 포함될 수도 있다.The control module 230 may be an operating system of the streaming service device 200 and a processor for driving each configuration. The control module 230 according to the embodiment of the present invention receives a request for executing a streaming service from the client device 100 and provides the streaming service to the client device 100. [ As described above, the streaming service may include various video providing services including a TV or VOD (Video On Demand), and may include a streaming-based game service.

제어 모듈(230)은 스트리밍 서비스의 제공에 있어서, 한정된 자원 하에서 보다 효율적으로 스트리밍 서비스를 제공하기 위해, 콘텐츠의 실행화면 전체 중 사용자가 현재 감상하고 있는 영역만을 다른 영역보다 고품질로 제공하기 위한 동작을 수행한다.In providing the streaming service, the control module 230 performs an operation for providing only the region currently viewed by the user in the high quality of the entire execution screen of the content, in order to more efficiently provide the streaming service under limited resources .

보다 구체적으로, 제어 모듈(230)은, 특정 콘텐츠를 실행하고, 실행된 화면을 임의의 기준에 따라 분할하여 복수의 영상 데이터를 생성한다.More specifically, the control module 230 executes a specific content, and divides the executed screen according to an arbitrary criterion to generate a plurality of video data.

또한, 제어 모듈(230)은, 통신 모듈(210)을 통해 클라이언트 장치(100)에 사용자의 시점 정보를 요청하고, 클라이언트 장치(100)가 전송한 사용자의 시점 정보를 수집한다.The control module 230 requests the user's viewpoint information to the client device 100 through the communication module 210 and collects viewpoint information of the user transmitted by the client device 100. [

제어 모듈(230)은 수집한 시점 정보를 기반으로 영상 데이터 별 인코딩 품질을 설정하고, 설정된 품질에 따라 영상 데이터를 인코딩하여 클라이언트 장치(100)로 전송한다.The control module 230 sets the encoding quality for each image data based on the collected time point information, encodes the image data according to the set quality, and transmits the encoded image data to the client device 100.

미도시 되었으나, 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)는 하나 이상의 입력 또는 출력 모듈을 포함할 수 있다. Although not shown, a streaming service device 200 according to an embodiment of the present invention may include one or more input or output modules.

이상으로, 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)의 구조에 대하여 설명하였다.The structure of the streaming service apparatus 200 according to the embodiment of the present invention has been described above.

이하에서, 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)의 동작에 대하여 설명한다.Hereinafter, the operation of the streaming service apparatus 200 according to the embodiment of the present invention will be described.

도 6은, 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)의 동작을 나타낸 흐름도이다.6 is a flowchart illustrating an operation of the streaming service apparatus 200 according to the embodiment of the present invention.

도 6을 참조하면, 먼저, 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)는 특정 클라이언트 장치(100)로부터 스트리밍 서비스 실행 요청을 받아, 특정 콘텐츠를 실행한다(S600). 이 때, 스트리밍 서비스 장치(200)는 클라이언트 장치(100)로부터 사용자 인증 정보를 수신하여 사용자 인증을 수행할 수 있다.Referring to FIG. 6, a streaming service apparatus 200 according to an embodiment of the present invention receives a streaming service execution request from a specific client apparatus 100 and executes a specific content (S600). At this time, the streaming service device 200 can receive user authentication information from the client device 100 and perform user authentication.

이후, 스트리밍 서비스 장치(200)는 상기 특정 콘텐츠의 실행에 따라 생성된 실행화면을, 디스플레이 위치에 따라 분할하여 복수의 영상 데이터를 생성한다(S602).Thereafter, the streaming service apparatus 200 generates a plurality of video data by dividing the execution screen generated according to the execution of the specific content according to the display position (S602).

스트리밍 서비스 장치(200)는, 분할한 복수의 영상 데이터의 인코딩 품질을 설정하기 위해, 클라이언트 장치(100)에 사용자의 시점 정보를 요청하고, 클라이언트 장치(100)가 생성한 사용자의 시점 정보를 수집한다(S604).The streaming service apparatus 200 requests the user's viewpoint information to the client apparatus 100 to set the encoding quality of the divided plurality of image data and collects viewpoint information of the user generated by the client apparatus 100 (S604).

스트리밍 서비스 장치(200)는, 수집한 시점 정보를 기반으로 분할된 영상 데이터 별로 인코딩 품질을 설정한다(S606). 이 때, 사용자의 현재 시점이 위치하는 영역 또는 현재 시점에 더하여 사용자의 현재 시점과 일정 거리 내에 있는 영역이 다른 영역에 비하여 상대적으로 고품질로 인코딩되도록 설정된다.The streaming service device 200 sets an encoding quality for each divided image data based on the collected viewpoint information (S606). In this case, the region where the current point of view of the user is located or the region within the predetermined distance from the current point of view of the user in addition to the current point of time is set to be encoded with a relatively high quality as compared with the other region.

스트리밍 서비스 장치(200)는, 설정된 인코딩 품질에 따라 영상 데이터를 인코딩하여 클라이언트 장치(100)로 전송한다(S608).The streaming service apparatus 200 encodes the image data according to the set encoding quality and transmits the encoded image data to the client apparatus 100 (S608).

본 발명은 본 발명이 속하는 분야의 통상의 지식을 가진 자에 의하여 다양한 수정 및 변형이 가능하며, 본 발명에 따른 시스템은 컴퓨터로 판독 가능한 기록 매체에 컴퓨터가 판독 가능한 프로그램으로 구현될 수 있다. 더하여, 이런 프로그램은 네트워크로 연결된 컴퓨터 시스템에 분산되어 저장되어 있을 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. In addition, these programs may be stored in a distributed manner on a networked computer system.

본 발명은 스트리밍 서비스 장치 및 방법에 관한 것으로서, 더욱 상세하게는 분할한 영상 데이터 중 사용자가 감상하고 있는 영역에 대하여 그렇지 않은 부분보다 상대적으로 고품질의 스트리밍 서비스를 제공하기 위한 장치 및 방법에 관한 것이다.The present invention relates to a streaming service apparatus and method, and more particularly, to an apparatus and method for providing relatively high-quality streaming service to a region of a user's view that is not divided.

본 발명의 스트리밍 서비스 장치는 한정된 네트워크 자원 하에서 네트워크 트래픽을 감소시키면서 사용자 경험은 상대적으로 높게 유지하여 보다 효율적으로 사용자가 만족할 정도의 고품질의 스트리밍 서비스를 제공할 수 있다.The streaming service apparatus of the present invention can provide a streaming service of high quality that satisfies the user more efficiently by keeping the user experience relatively high while reducing network traffic under limited network resources.

따라서, 본 발명에 따른 스트리밍 서비스 장치 및 방법을 통해 산업 발전에 이바지 할 수 있고, 더불어, 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.Accordingly, the present invention can contribute to industrial development through the streaming service apparatus and method according to the present invention, and the present invention is industrially applicable because it has a possibility of being commercially available or operating and is practically and practically possible.

100: 클라이언트 장치
200: 스트리밍 서비스 장치100: Client device
200: Streaming service device

Claims (8)

스트리밍 서비스 장치에 의한 스트리밍 서비스 방법에 있어서,
특정 콘텐츠를 실행하고, 상기 특정 콘텐츠의 실행화면을 디스플레이된 위치에 따라 분할하여 복수의 영상 데이터를 생성하는 단계;
클라이언트 장치로부터 사용자의 시점 정보를 수집하는 단계;
상기 시점 정보를 기반으로 상기 각 영상 데이터의 인코딩 품질을 설정하는 단계;
상기 각 영상 데이터 별로 설정된 인코딩 품질에 따라 상기 각 영상 데이터를 인코딩하여 상기 클라이언트 장치로 전송하는 단계;
를 포함하는 스트리밍 서비스 방법.A streaming service method by a streaming service apparatus,
Executing a specific content and generating a plurality of video data by dividing an execution screen of the specific content according to a displayed position;
Collecting user's viewpoint information from a client device;
Setting encoding quality of each image data based on the viewpoint information;
Encoding the image data according to an encoding quality set for each image data and transmitting the encoded image data to the client device;
/ RTI > 제1항에 있어서,
상기 클라이언트 장치는,
360도 영상을 디스플레이 가능한 헤드 마운티드 디스플레이(Head Mounted Display) 장치를 포함하는 것을 특징으로 하는 스트리밍 서비스 방법.The method according to claim 1,
The client device comprising:
And a head mounted display device capable of displaying a 360-degree image. 제1항에 있어서,
상기 설정하는 단계는,
상기 시점 정보를 기준으로 상기 사용자의 현재 시점을 파악하고,
상기 사용자의 상기 현재 시점에 디스플레이될 영상 데이터의 인코딩 품질을 다른 영상 데이터의 인코딩 품질보다 고품질로 설정하는 것을 특징으로 하는 스트리밍 서비스 방법The method according to claim 1,
Wherein the setting step comprises:
The current time point of the user is identified based on the time point information,
Wherein the encoding quality of the video data to be displayed at the current time of the user is set to be higher than the encoding quality of the other video data. 제1항에 있어서,
상기 시점 정보는,
상기 HMD 장치의 방향을 기반으로 산출한 정보인 것을 특징으로 하는 스트리밍 서비스 방법.The method according to claim 1,
The time-
Wherein the information is information calculated based on a direction of the HMD device. 제1항에 있어서,
상기 시점 정보는,
사용자의 머리 및 눈동자 방향을 측정하여 산출한 정보인 것을 특징으로 하는 스트리밍 서비스 방법.The method according to claim 1,
The time-
Wherein the information is information obtained by measuring a head and a direction of a user's eyes. 제1항에 있어서,
상기 사용자가 상기 스트리밍 서비스를 제공받을 수 있는 자인지 인증하기 위한 사용자 인증 단계;
를 더 포함하는 것을 특징으로 하는 스트리밍 서비스 방법.The method according to claim 1,
A user authentication step of authenticating whether the user is a person who can receive the streaming service;
The method of claim 1, further comprising: 클라이언트 장치로부터 시점 정보를 수집하고, 상기 클라이언트 장치에 인코딩한 영상 데이터를 송신하는 통신 모듈;
특정 콘텐츠를 실행하고, 그 실행화면을 디스플레이된 위치에 따라 분할하여 복수의 영상 데이터를 생성하며, 상기 시점 정보를 기반으로 설정한 인코딩 품질을 기반으로 각 영상 데이터를 인코딩하는 제어 모듈;
을 포함하는 스트리밍 서비스 장치.A communication module for collecting viewpoint information from the client device and transmitting the encoded video data to the client device;
A control module for executing a specific content, generating a plurality of image data by dividing an execution screen according to a displayed position, and encoding each image data based on an encoding quality set based on the viewpoint information;
The streaming service device comprising: 제7항에 있어서,
상기 제어 모듈은,
상기 시점 정보를 기준으로 상기 사용자의 현재 시점을 파악하고,
상기 사용자의 상기 현재 시점에 디스플레이될 영상 데이터의 인코딩 품질을 다른 영상 데이터의 인코딩 품질보다 고품질로 설정하는 것을 특징으로 하는 스트리밍 서비스 장치.8. The method of claim 7,
The control module includes:
The current time point of the user is identified based on the time point information,
Wherein the encoding quality of the video data to be displayed at the current time of the user is set to be higher than the encoding quality of the other video data.
KR1020160110440A 2016-08-30 2016-08-30 Apparatus and method for streaming service providing interacive tiled picture based on user intention KR20180025366A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2016/009647 WO2018043770A1 (en) 2016-08-30 2016-08-30 Apparatus and method for user intention-based interactive split image streaming service
KR1020160110440A KR20180025366A (en) 2016-08-30 2016-08-30 Apparatus and method for streaming service providing interacive tiled picture based on user intention

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160110440A KR20180025366A (en) 2016-08-30 2016-08-30 Apparatus and method for streaming service providing interacive tiled picture based on user intention

Publications (1)

Publication Number Publication Date
KR20180025366A true KR20180025366A (en) 2018-03-09

Family

ID=61309419

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160110440A KR20180025366A (en) 2016-08-30 2016-08-30 Apparatus and method for streaming service providing interacive tiled picture based on user intention

Country Status (2)

Country Link
KR (1) KR20180025366A (en)
WO (1) WO2018043770A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220030228A (en) * 2020-05-25 2022-03-10 (주)이머시브캐스트 In-car cloud vr device and method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341188A (en) * 2003-05-15 2004-12-02 Nec Plasma Display Corp Multiscreen display device
KR100996241B1 (en) * 2009-05-18 2010-11-23 (주)필링크 Moving picture dividing device and moving picture dividing method therefore
KR101420638B1 (en) * 2012-12-14 2014-07-17 에스케이플래닛 주식회사 An apparatus for presenting contents in streaming services and a method thereof
KR101372358B1 (en) * 2013-09-24 2014-03-12 주식회사 다누시스 System for displaying of video data
KR20150093507A (en) * 2014-02-07 2015-08-18 광운대학교 산학협력단 Method and system for providing adaptive video streaming service based on viewing distance

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220030228A (en) * 2020-05-25 2022-03-10 (주)이머시브캐스트 In-car cloud vr device and method
US11403828B2 (en) 2020-05-25 2022-08-02 Immersivecast Co., Ltd. In-car cloud VR device and method

Also Published As

Publication number Publication date
WO2018043770A1 (en) 2018-03-08

Similar Documents

Publication Publication Date Title
US11523103B2 (en) Providing a three-dimensional preview of a three-dimensional reality video
CN109417624B (en) Apparatus and method for providing and displaying content
US10621488B2 (en) Content management and delivery system
US11024083B2 (en) Server, user terminal device, and control method therefor
CN107251567B (en) Method and apparatus for generating annotations of a video stream
CN113347405B (en) Scaling related method and apparatus
US20190121428A1 (en) Adaptive parallax adjustment method and virtual reality display device
US10681341B2 (en) Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
US11202004B2 (en) Head-mountable display system
CN111670453B (en) Gaze-dependent concave rendering device, method, computer program and system
JP2019502971A (en) How to optimize content placement on the head-mounted display screen
EP2972559B1 (en) Methods and apparatus for displaying images on a head mounted display
KR20160125708A (en) Method and apparatus for transmitting and receiving image data for virtual reality streaming service
US10742964B2 (en) Methods and apparatus for displaying images
US10356219B2 (en) Image transmission apparatus, information processing terminal, image transmission method, information processing method, program, and information storage medium
Han Mobile immersive computing: Research challenges and the road ahead
US11394943B2 (en) Image processing apparatus and method, file generation apparatus and method, and program
US20190045178A1 (en) Generating a Three-Dimensional Preview of a Three-Dimensional Video
CN106095106A (en) Virtual reality terminal and display photocentre away from method of adjustment and device
Zou et al. Enhancing quality of experience for cloud virtual reality gaming: an object-aware video encoding
KR20180025366A (en) Apparatus and method for streaming service providing interacive tiled picture based on user intention
WO2021130355A1 (en) Video processing device and manifest file for video streaming
US10828560B2 (en) Systems and methods for stereoscopic vision with head mounted display
WO2023073991A1 (en) Information processing system, server device, information processing method, and program
US20200145636A1 (en) Roi-based vr content streaming server and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination