KR102276193B1 - Method and Apparatus for Providing multiview - Google Patents

Method and Apparatus for Providing multiview Download PDF

Info

Publication number
KR102276193B1
KR102276193B1 KR1020190066198A KR20190066198A KR102276193B1 KR 102276193 B1 KR102276193 B1 KR 102276193B1 KR 1020190066198 A KR1020190066198 A KR 1020190066198A KR 20190066198 A KR20190066198 A KR 20190066198A KR 102276193 B1 KR102276193 B1 KR 102276193B1
Authority
KR
South Korea
Prior art keywords
game
view
data
information
video stream
Prior art date
Application number
KR1020190066198A
Other languages
Korean (ko)
Other versions
KR20200139557A (en
Inventor
박용현
이영기
임정연
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020190066198A priority Critical patent/KR102276193B1/en
Publication of KR20200139557A publication Critical patent/KR20200139557A/en
Priority to KR1020210088107A priority patent/KR102404737B1/en
Application granted granted Critical
Publication of KR102276193B1 publication Critical patent/KR102276193B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 실시예는, 시청자로 하여금 복수의 영상 화면들을 시간 오차 없이 동시에 한 멀티뷰로 시청할 수 있도록 하면서도, 게임 데이터 분석을 통해 시청자 선호에 맞는 화면들을 멀티뷰 화면 상에 자유롭게 구성할 수 있도록 하는 스트리밍 플레이어 장치 및 그 방법에 관한 것이다.The present embodiment is a streaming player device that allows a viewer to view a plurality of video screens simultaneously in one multi-view without time error, while freely composing screens suitable for viewer preference on a multi-view screen through game data analysis and methods thereof.

Description

멀티뷰 제공을 위한 스트리밍 플레이어 장치 및 그 방법{Method and Apparatus for Providing multiview}Streaming player device and method for providing multiview

본 실시예는 멀티뷰 제공을 위한 스트리밍 플레이어 장치 및 그 방법에 관한 것이다. 더욱 상세하게는, 방송을 시청하는 시청자로 하여금 맞춤형 멀티뷰 화면을 자동 제공하기 위한 스트리밍 플레이어 장치 및 그 방법에 관한 것이다.The present embodiment relates to a streaming player apparatus and method for providing multi-view. More particularly, it relates to a streaming player apparatus and method for automatically providing a customized multi-view screen to a viewer watching a broadcast.

이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.The content described below merely provides background information related to the present embodiment and does not constitute the prior art.

5G 통신 기반으로 대용량, 초고속 영상미디어 전송이 가능해짐에 따라, 다수 채널의 영상을 한 화면에서 보는 멀티뷰 서비스 제공이 증가하고 있다. 특히, 다수 멤버가 속해 있는 아이돌 그룹가수의 음악방송 및 공연 중계, 여러 포지션의 선수가 활동하는 스포츠 중계, 동시 다발적으로 전투가 벌어지는 게임경기 중계 분야에서 멀티뷰, 멀티앵글 서비스의 니즈는 커지고 있다.As high-capacity and high-speed video media transmission is possible based on 5G communication, the provision of multi-view services for viewing multiple channels of video on one screen is increasing. In particular, the need for multi-view and multi-angle services is growing in the fields of broadcasting music broadcasts and performances by idol group singers to which many members belong, sports broadcasting where players in various positions are active, and game game broadcasting where multiple battles take place at the same time. .

예컨대, 음악방송/공연중계에서 멤버별 직캠영상을 보고, 스포츠/게임경기 중계에서 포지션별, 각 선수별 게임 화면 등을 시청자가 선택하여 원하는 특정 가수(선수)의 화면을 보고 싶어하는 니즈가 늘어나고 있다.For example, there is an increasing need for viewers to view the video of each member in a music broadcast/performance broadcast, and to view the screen of a specific singer (player) by selecting the game screen for each position and each player in the sports/game event relay. .

하지만, 기존 멀티뷰 서비스 방식의 경우, 여러 화면을 동시에 시청하기 위해서 해당 화면에 상응하는 영상 스트림 개수만큼의 영상을 전송받아야 하며, 또한 입력영상 개수만큼의 영상 출력이 이루어져야 했다. 해당 방식에서는 N개의 영상 스트림을 전송 받아 동시에 디코딩, 영상을 출력하고 있어 모바일 기기와 같이 하드웨어 지원, 전력소비가 한정적인 기기에서는 동시에 시청할 수 있는 영상의 개수가 제한적이다. However, in the case of the existing multi-view service method, in order to view multiple screens at the same time, as many images as the number of image streams corresponding to the corresponding screens must be transmitted, and the number of input images must be output. In this method, since N video streams are received, decoded, and outputted simultaneously, the number of videos that can be viewed simultaneously is limited in devices with limited hardware support and power consumption such as mobile devices.

또한, N개의 영상 스트림을 전송받을 경우 각 영상들의 시간을 하나로 Sync 하기에는 어려움이 있어, 각 영상별 시간차이가 발생하며, 서버와 클라이언트 간 세션을 입력영상만큼 맺어야 하여 시청자 수가 늘어나고 입력영상이 늘어남에 따라 세션의 수가 급격히 늘어 세션관리가 어려운 단점이 있다.In addition, when receiving N video streams, it is difficult to synchronize the time of each video into one, and there is a time difference for each video. As the number of sessions increases rapidly, session management is difficult.

이에, 상기의 문제점을 해소 하기 위하여, N개의 입력 영상을 1개의 영상스트림으로 병합하여 전송하여 영상들간의 동기화를 맞추고 세션 수를 감소시키며, 병합 영상을 모바일 기기에서 받아 효율적으로 출력할 수 있도록 영상을 분할, 재병합하는 기술을 필요로 한다.Accordingly, in order to solve the above problems, N input images are merged into one video stream and transmitted to match the synchronization between the images, reduce the number of sessions, and receive the merged image from the mobile device and efficiently output the image. It requires techniques to split and re-merge.

또한, 그 효율성 등을 위해 특별한 조작 없이도, 시청자 선호에 맞는 영상을 재병합하는 멀티뷰 기술을 필요로 한다.In addition, for efficiency, etc., a multi-view technology for re-merging images suitable for viewers' preferences without special manipulation is required.

본 실시예는, 시청자로 하여금 복수의 영상 화면들을 시간 오차 없이 동시에 한 멀티뷰로 시청할 수 있도록 하면서도, 게임 데이터 분석을 통해 시청자 선호에 맞는 화면들을 멀티뷰 화면 상에 자유롭게 구성할 수 있도록 하는 게임방송 맞춤형 멀티뷰 기술을 제공하고자 하는 데 그 목적이 있다.This embodiment is customized for game broadcasting that allows viewers to watch a plurality of video screens simultaneously in one multi-view without time error, and to freely configure screens suitable for viewers’ preferences on the multi-view screen through game data analysis. The purpose is to provide multi-view technology.

본 실시예는, 복수의 채널영상들을 하나의 영상으로 병합한 병합 영상 스트림을 멀티뷰 데이터로서 수신하는 데이터 수신부; 외부장치로부터 상기 병합 영상 스트림에 대응하는 게임 메타 데이터를 수집하는 메타 데이터 수집부; 상기 게임 메타 데이터를 기반으로 상기 채널영상 중 기 설정된 조건정보를 만족하는 멀티뷰 후보 데이터를 추출하는 데이터 추출부; 및 상기 멀티뷰 후보 데이터를 기반으로 상기 병합 영상 스트림을 재병합하고, 재병합된 영상 스트림을 활용하여 멀티뷰 화면을 재구성하는 멀티뷰 생성부를 포함하는 것을 특징으로 하는 스트리밍 플레이어 장치를 제공한다.The present embodiment includes: a data receiving unit for receiving a merged video stream obtained by merging a plurality of channel images into one image as multi-view data; a metadata collection unit for collecting game metadata corresponding to the merged video stream from an external device; a data extraction unit for extracting multi-view candidate data satisfying preset condition information from among the channel images based on the game metadata; and a multi-view generator for re-merging the merged video stream based on the multi-view candidate data, and reconstructing a multi-view screen using the re-merged video stream.

또한, 본 실시예의 다른 측면에 의하면, 복수의 채널영상들을 하나의 영상으로 병합한 병합 영상 스트림을 멀티뷰 데이터로서 수신하는 과정; 외부장치로부터 상기 병합 영상 스트림에 대응하는 게임 메타 데이터를 수집하는 과정; 상기 게임 메타 데이터를 기반으로 상기 채널영상 중 기 설정된 조건정보를 만족하는 멀티뷰 후보 데이터를 추출하는 과정; 및 상기 멀티뷰 후보 데이터를 기반으로 상기 병합 영상 스트림을 재병합하고, 재병합된 영상 스트림을 활용하여 멀티뷰 화면을 재구성하는 과정을 포함하는 것을 특징으로 하는 멀티뷰 제공방법을 제공한다.In addition, according to another aspect of the present embodiment, the process of receiving a merged video stream obtained by merging a plurality of channel images into one image as multi-view data; collecting game metadata corresponding to the merged video stream from an external device; extracting multi-view candidate data satisfying preset condition information from among the channel images based on the game metadata; and re-merging the merged video stream based on the multi-view candidate data, and reconstructing a multi-view screen using the re-merged video stream.

또한, 본 실시예의 다른 측면에 의하면, 데이터 처리 기기에, 복수의 채널영상들을 하나의 영상으로 병합한 병합 영상 스트림을 멀티뷰 데이터로서 수신하는 과정; 외부장치로부터 상기 병합 영상 스트림에 대응하는 게임 메타 데이터를 수집하는 과정; 상기 게임 메타 데이터를 기반으로 상기 채널영상 중 기 설정된 조건정보를 만족하는 멀티뷰 후보 데이터를 추출하는 과정; 및 상기 멀티뷰 후보 데이터를 기반으로 상기 병합 영상 스트림을 재병합하고, 재병합된 영상 스트림을 활용하여 멀티뷰 화면을 재구성하는 과정을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체을 제공한다.In addition, according to another aspect of the present embodiment, the data processing device, the process of receiving, as multi-view data, a merged video stream obtained by merging a plurality of channel images into one image; collecting game metadata corresponding to the merged video stream from an external device; extracting multi-view candidate data satisfying preset condition information from among the channel images based on the game metadata; and re-merges the merged video stream based on the multi-view candidate data, and provides a computer-readable recording medium recording a program for realizing a process of reconstructing a multi-view screen using the re-merged video stream.

이상에서 설명한 바와 같이 본 실시예에 의하면, 시청자로 하여금 복수의 영상 화면들을 시간 오차 없이 동시에 한 멀티뷰로 시청할 수 있도록 하면서도, 게임 데이터 분석을 통해 시청자 선호에 맞는 화면들을 멀티뷰 화면 상에 자유롭게 구성할 수 있도록 하는 효과가 있다.As described above, according to the present embodiment, it is possible to freely configure screens suitable for the viewer's preference through game data analysis on the multi-view screen while allowing the viewer to simultaneously view a plurality of video screens in one multi-view without time error. has the effect of making it possible.

도 1은 본 실시예에 따른 멀티뷰 시스템을 개략적으로 나타낸 블록 구성도이다.
도 2는 본 실시예에 따른 스트리밍 플레이어 장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 실시예에 따른 멀티뷰 지원을 위한 송출 시나리오를 설명하기 위한 흐름도이다.
도 4는 본 실시예에 따른 스트리밍 플레이어 장치의 멀티뷰 지원방법을 설명하기 위한 순서도이다.
도 5는 본 실시예에 따른 멀티뷰 지원을 위한 영상의 분할 및 병합 방법을 설명하기 위한 예시도이다.
도 6은 본 실시예에 따른 게임 메타 데이터를 설명하기 위한 예시도이다.
도 7 내지 도 9는 본 실시예에 따른 멀티뷰 지원방법을 설명하기 위한 예시도이다.1 is a block diagram schematically illustrating a multi-view system according to the present embodiment.
2 is a block diagram schematically showing a streaming player device according to the present embodiment.
3 is a flowchart illustrating a transmission scenario for multi-view support according to the present embodiment.
4 is a flowchart for explaining a multi-view support method of the streaming player device according to the present embodiment.
5 is an exemplary diagram for explaining a method of dividing and merging an image for multi-view support according to the present embodiment.
6 is an exemplary diagram for explaining game meta data according to the present embodiment.
7 to 9 are exemplary diagrams for explaining a multi-view support method according to the present embodiment.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, this embodiment will be described in detail with reference to the accompanying drawings. In describing the present embodiments, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in the present specification, and the technical spirit disclosed herein is not limited by the accompanying drawings, and all changes included in the spirit and scope of the present invention , should be understood to include equivalents or substitutes.

도 1은 본 실시예에 따른 멀티뷰 시스템을 개략적으로 나타낸 블록 구성도이다. 한편, 도 1에서는 본 실시예에 따른 멀티뷰 시스템이 게임 방송에 특화된 형태로 구현된 것으로 예시하여 설명하나 반드시 이에 한정되는 것은 아니고, 방송 카테고리 별로 다양하게 적용될 수 있다.1 is a block diagram schematically showing a multi-view system according to the present embodiment. Meanwhile, in FIG. 1 , the multi-view system according to the present embodiment is exemplified as being implemented in a form specialized for game broadcasting, but is not necessarily limited thereto, and may be variously applied to each broadcasting category.

도 1에 도시하듯이, 본 실시예에 따른 멀티뷰 시스템(100)은 게임 서버(110), 멀티뷰 플랫폼 장치(120), 스트리밍 서버(130) 및 스트리밍 플레이어 장치(140)를 포함한다.As shown in FIG. 1 , the multi-view system 100 according to the present embodiment includes a game server 110 , a multi-view platform device 120 , a streaming server 130 , and a streaming player device 140 .

이하, 도 3을 함께 참조하여, 본 실시예에 따른 멀티뷰 시스템(100)의 각 구성요소의 동작에 대해 설명하도록 한다.Hereinafter, operations of each component of the multi-view system 100 according to the present embodiment will be described with reference to FIG. 3 together.

게임 서버(110)는 중계 대상이되는 게임에 대한 게임플레이 데이터를 수집하여 제공하는 기능을 수행한다. 여기서, 게임플레이 데이터라 함은, 게임영상 정보, 게임상태 정보 등을 포함하는 개념으로, 게임 플레이어가 플레이하는 게임과 관련된 전반적인 데이터를 의미한다. 한편, 중계 카테고리가 게임이 아닌 경우에는 해당 카테고리와 관련한 방송 스트리밍 영상정보가 포함될 수 있다.The game server 110 collects and provides game play data for a game to be relayed. Here, the game play data is a concept including game image information, game state information, and the like, and refers to overall data related to a game played by a game player. On the other hand, when the relay category is not a game, broadcast streaming image information related to the corresponding category may be included.

본 실시예에 있어서, 게임 서버(110)가 게임플레이 데이터로서 제공하는 게임영상 정보로는 복수 개의 채널영상이 포함될 수 있다. 여기서, 복수 개의 채널영상은 중계 온에어 화면(PGM) 채널, 맵(Map) 채널, 개인화면 채널로 구성되는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.In this embodiment, the game image information provided by the game server 110 as game play data may include a plurality of channel images. Here, the plurality of channel images is preferably composed of a relay on-air screen (PGM) channel, a map channel, and a personal screen channel, but is not necessarily limited thereto.

게임 서버(110)는 복수 개의 채널영상을 라이브 스트리밍(Live Streaming) 혹은 VOD(Video On Demand) 방식으로 멀티뷰 플랫폼 장치(120)로 제공한다.The game server 110 provides a plurality of channel images to the multi-view platform device 120 in a live streaming or video on demand (VOD) method.

또한, 본 실시예에 있어서, 게임 서버(110)는 게임플레이 데이터를 분석하여 이벤트 데이터를 생성한다. 여기서, 이벤트 데이터란 게임 서버(110)가 게임플레이 데이터에 근거하여 분석한 데이터를 의미한다. 예컨대, 이벤트 데이터는 게임 시작 및 종료 정보, 게임 플레이어 정보, 게임 아이템 획득정보, 게임 승패정보, 게임 통계정보 및 관전(Observer) 정보 중 적어도 하나 이상의 정보가 포함될 수 있다. 게임 플레이어 정보로는 캐릭터 선택정보 및 해당 플레이어가 소속된 팀 관련 정보(ex: 진영 정보 등) 등이 포함될 수 있다. 게임 통계정보로는 게임 중 Kill, Death, Assist 등에 대한 카운트 정보가 포함될 수 있다. 관전 정보는 옵저버 모드를 통해 수집되는 데이터로서, 기본적으로는 해당 게임을 진행하고 있는 플레이어들의 움직임을 관전자 입장에서 관찰한 정보를 의미한다.In addition, in this embodiment, the game server 110 generates event data by analyzing the game play data. Here, the event data means data analyzed by the game server 110 based on game play data. For example, the event data may include at least one or more of game start and end information, game player information, game item acquisition information, game win/loss information, game statistics information, and observer information. The game player information may include character selection information and team-related information (eg, faction information, etc.) to which the player belongs. The game statistics information may include count information on Kill, Death, Assist, etc. during the game. Spectator information is data collected through the observer mode, and basically means information from the observer's point of view of the movements of players in the game.

게임 서버(110)는 게임플레이 데이터와 더불어, 이벤트 데이터를 기 설정된 주기 단위로 스트리밍 서버(130)로 전송할 수 있다.The game server 110 may transmit the event data along with the game play data to the streaming server 130 in a preset period unit.

한편, 게임 서버(110)는 특히 온라인 게임에 필요한 외부 장치로서, 방송 카테고리가 온라인 게임과 관련한 방송이 아닌 경우에는 필수적 구성 요소가 아니라고 할 것이며, 실시예에 따라 해당 방송 카테고리와 연관되는 서버일 수 있다.On the other hand, the game server 110 is an external device particularly necessary for an online game, and it will be said that it is not an essential component when the broadcasting category is not broadcasting related to the online game, and may be a server related to the broadcasting category according to the embodiment have.

멀티뷰 플랫폼 장치(120)는 게임 서버(110)로부터 수신한 복수의 채널영상들을 멀티뷰 형식에 맞게 가공하여 송출하는 장치를 의미한다.The multi-view platform device 120 refers to a device that processes and transmits a plurality of channel images received from the game server 110 according to a multi-view format.

멀티뷰 플랫폼 장치(120)는 게임 서버(110)로부터 수신한 채널영상들에 대한 선처리 과정을 수행할 수 있다. 예컨대, 멀티뷰 플랫폼 장치(120)는 게임 서버(110)로부터 복수 개의 채널영상 별로 송출된 화면을 수신한 후 각 채널영상 별로 PTS(Presentation Time Stamp)를 활용한 동기화 과정을 수행할 수 있다. 또한, 멀티뷰 플랫폼 장치(120)는 동기화를 맞춘 채널영상들을 엔코더를 통해 트랜스코딩하고, 이를 멀티뷰 화면 제공을 위해 병합하여 제공할 수 있다.The multi-view platform device 120 may perform a pre-processing process on the channel images received from the game server 110 . For example, the multi-view platform device 120 may perform a synchronization process using a PTS (Presentation Time Stamp) for each channel image after receiving a screen transmitted by a plurality of channel images from the game server 110 . Also, the multi-view platform device 120 may transcode synchronized channel images through an encoder, and merge them to provide a multi-view screen.

한편, N개의 채널영상을 전송받을 경우 각 영상들의 시간을 정확히 하나로 Sync하기에는 어려움이 있어 각 영상별 시간차이가 발생하는 문제점이 발생할 수 있다. 또한, 서버와 클라이언트 간 세션을 입력 영상만큼 맺어야 하기 때문에 시청자 수가 늘어나고 입력영상이 늘어나는 경우라 세션의 수가 급격히 늘어 세션관리가 어려운 단점이 있다.On the other hand, when receiving N channel images, it is difficult to accurately synchronize the time of each image into one, so that a time difference may occur for each image. In addition, since sessions between the server and the client must be established as many as input images, the number of viewers increases and the number of input images increases, so the number of sessions rapidly increases, making session management difficult.

이 점에 기인하여, 본 실시예에 따른 멀티뷰 플랫폼 장치(120)는 복수 개의 채널영상을 하나의 영상스트림(이하, 병합 영상 스트림으로 명시하여 설명하도록 한다)으로 병합하여 전송한다. Due to this, the multi-view platform apparatus 120 according to the present embodiment merges a plurality of channel images into one video stream (hereinafter, it will be described as a merge video stream) and transmits the merged video stream.

도 5를 참조하여, 설명하면, 본 실시예에 따른 멀티뷰 플랫폼 장치(120)는 고화질의 영상에 대해 타일(Tile) 형태로 분할하여 멀티 프로세싱 및 영상 재생의 효율을 높인 기법을 이용하여 복수 개의 채널영상을 각 하나의 타일로 인식하고, 이를 하나의 영상으로 병합하여 전송할 수 있다. 기존 방식에 의하는 경우 여러 영상이 여러 세션을 통해 전달되어 세션마다 영상 간 딜레이가 존재하는 반면, 본 발명의 방식에 의하는 경우 여러 영상을 하나의 영상으로 병합하여 보내주기 때문에 해당 영상 간 시간 차이가 없어 완벽하게 동기화를 맞출 수 있는 효과가 있다.Referring to FIG. 5 , the multi-view platform device 120 according to the present embodiment divides a high-quality image into a tile form to increase the efficiency of multi-processing and image reproduction by dividing a plurality of A channel image may be recognized as one tile, and it may be merged into one image and transmitted. In the case of the existing method, several images are transmitted through multiple sessions, so there is a delay between the images in each session, whereas in the case of the present invention, since several images are merged and sent into one image, the time difference between the corresponding images There is no such thing as perfect synchronization.

한편, 영상을 전달받은 클라이언트에서는 타일 단위로 병합된 영상들 분할하여 N개의 영상을 추출하고, 이를 병합 가능한 형태로 재병합 및 최소한의 디코더를 이용하여 디코딩하여 화면에 출력할 수 있다.Meanwhile, the client receiving the image can extract N images by dividing the merged images in units of tiles, re-merge them in a mergeable form, decode them using a minimal decoder, and output them on the screen.

멀티뷰 플랫폼 장치(120)는 생성한 병합 영상 스트림을 스트리밍 서버(130)를 거쳐 스트리밍 플레이어 장치(140)로 전송하거나 직접 스트리밍 플레이어 장치(140)로 전송한다.The multi-view platform device 120 transmits the generated merged video stream to the streaming player device 140 via the streaming server 130 or directly to the streaming player device 140 .

스트리밍 서버(130)는 스트리밍 플레이어 장치(140)로 방송 데이터를 송출하는 장치를 의미한다.The streaming server 130 refers to a device that transmits broadcast data to the streaming player device 140 .

본 실시예에 따른 스트리밍 서버(130)는 멀티뷰 플랫폼 장치(120)로부터 복수의 채널영상들을 하나의 영상으로 병합한 병합 영상 스트림을 수신하고, 이를 방송 데이터로서 스트리밍 플레이어 장치(140)로 송출한다. 즉, 스트리밍 서버(130)는 병합 영상 스트림을 멀티뷰 모드 형태로 스트리밍 플레이어 장치(140)로 스트리밍한다.The streaming server 130 according to this embodiment receives a merged video stream in which a plurality of channel images are merged into one image from the multi-view platform device 120 , and transmits it to the streaming player device 140 as broadcast data. . That is, the streaming server 130 streams the merged video stream to the streaming player device 140 in the form of a multi-view mode.

또한, 스트리밍 서버(130)는 게임 서버(110)로부터 기 설정된 주기 단위로 게임플레이 데이터에 대응하여 산출된 이벤트 데이터를 수신하고, 이를 json, xml과 같은 메타 데이터 형태로 가공하여 제공할 수 있다.In addition, the streaming server 130 may receive event data calculated in response to the game play data in a preset period unit from the game server 110, process it in the form of meta data such as json and xml, and provide it.

예컨대, 도 6을 참조하면, 본 실시예에 따른 스트리밍 서버(130)가 이벤트 데이터를 가공하여 생성한 메타 데이터의 형태를 확인할 수 있다. 한편, 도 6에서는 이벤트 데이터가 게임 플레이어가 소속된 팀 관련 정보(ex: 진영 정보 등)을 나타내는 경우의 메타 데이터의 형태를 예시하였다.For example, referring to FIG. 6 , the streaming server 130 according to the present embodiment may check the form of metadata generated by processing event data. Meanwhile, FIG. 6 exemplifies the form of meta data when the event data represents team-related information (eg: faction information, etc.) to which the game player belongs.

스트리밍 플레이어 장치(140)는 본 실시예에 따른 맞춤형 멀티뷰 기술의 제공 대상이 되는 대상 단말기를 의미한다.The streaming player device 140 refers to a target terminal to which the customized multi-view technology is provided according to the present embodiment.

스트리밍 플레이어 장치(140)는 스마트폰(Smart Phone), 태블릿(Tablet), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 개인 휴대 단말기(PDA: Portable Multimedia Player), 무선 통신 단말기(Wireless Communication Terminal), 미디어 플레이어 등과 같은 방송영상을 송출하거나 수신할 수 있는 전자기기일 수 있다.Streaming player device 140 is a smartphone (Smart Phone), tablet (Tablet), laptop (Laptop), personal computer (PC: Personal Computer), personal digital assistant (PDA: Portable Multimedia Player), wireless communication terminal (Wireless Communication) Terminal), it may be an electronic device capable of transmitting or receiving a broadcast image, such as a media player.

본 실시예에 따른 스트리밍 플레이어 장치(140)는 복수의 채널영상들을 한 화면을 통해 동시 출력하는 멀티뷰 기능을 제공하며, 해당 화면 내 포함되는 채널영상들을 자유롭게 전환 가능토록 구현된다. 예컨대, 스트리밍 플레이어 장치(140)는 게임 중계 영상을 멀티뷰 화면을 제공하는 도중 특별한 조작 없이도 시청자 선호에 맞게 영상을 자동 재구성하여 제공한다The streaming player device 140 according to the present embodiment provides a multi-view function for simultaneously outputting a plurality of channel images through one screen, and is implemented so that channel images included in the corresponding screen can be freely switched. For example, the streaming player device 140 automatically reconstructs and provides the video to suit the viewer's preference without special manipulation while providing the multi-view screen for the game relay video.

이를 위해, 스트리밍 플레이어 장치(140)는 멀티뷰 플랫폼 장치(120) 및 스트리밍 서버(130)로부터 복수의 채널영상들을 하나의 영상으로 병합한 병합 영상 스트림 및 이에 대응하는 게임 메타 데이터를 수집한다.To this end, the streaming player device 140 collects a merged video stream obtained by merging a plurality of channel images into one image from the multi-view platform device 120 and the streaming server 130 and game metadata corresponding thereto.

스트리밍 플레이어 장치(140)는 게임 메타 데이터를 활용하여 병합 영상 스트림 내 포함된 채널영상 중 멀티뷰 후보 데이터를 선별하고, 선별된 멀티뷰 후보 데이터를 활용하여 멀티뷰 화면을 자동 재구성할 수 있다.The streaming player device 140 may select multi-view candidate data from among the channel images included in the merged video stream by using game metadata, and may automatically reconstruct the multi-view screen by using the selected multi-view candidate data.

다른 실시예에서, 스트리밍 플레이어 장치(140)는 스트리밍 플레이어 장치(140)의 사용자로부터 특정 채널영상에 대한 선택정보를 수신하고, 이를 기반으로 멀티뷰 화면을 자동 재구성하여 제공할 수도 있다.In another embodiment, the streaming player device 140 may receive selection information for a specific channel image from the user of the streaming player device 140, and automatically reconfigure and provide a multi-view screen based on this.

한편, 스트리밍 플레이어 장치(140)가 멀티뷰 화면을 구성하는 구체적인 방법은 도 2에서 보다 자세히 후술토록 한다.On the other hand, a specific method of configuring the multi-view screen by the streaming player device 140 will be described later in more detail with reference to FIG. 2 .

도 2는 본 실시예에 따른 스트리밍 플레이어 장치를 개략적으로 나타낸 블록 구성도이다.2 is a block diagram schematically showing a streaming player apparatus according to the present embodiment.

본 실시예에 따른 스트리밍 플레이어 장치(140)는 데이터 수신부(200), 메타 데이터 수집부(210), 데이터 추출부(220) 및 멀티뷰 생성부(230)를 포함한다.The streaming player device 140 according to the present embodiment includes a data receiving unit 200 , a metadata collecting unit 210 , a data extracting unit 220 , and a multi-view generating unit 230 .

데이터 수신부(200)는 멀티뷰 데이터를 포함한 화면 상에 출력하고자 하는 방송 데이터를 수신하는 기능을 수행한다.The data receiver 200 performs a function of receiving broadcast data to be output on a screen including multi-view data.

본 실시예에 있어서, 데이터 수신부(200)는 복수의 채널영상들을 하나의 영상으로 병합한 병합 영상 스트림을 멀티뷰 데이터로서 수신할 수 있다. 예컨대, 데이터 수신부(200)는 HEVC의 타일 기반 기술을 이용하여 복수 개의 채널영상을 각각 하나의 타일 단위로 인식하는 병합 영상 스트림을 멀티뷰 데이터로서 수신할 수 있다.In the present embodiment, the data receiver 200 may receive a merged video stream obtained by merging a plurality of channel images into one image as multi-view data. For example, the data receiver 200 may receive, as multi-view data, a merged video stream that recognizes a plurality of channel images in units of one tile, respectively, using the tile-based technology of HEVC.

메타 데이터 수집부(210)는 병합 영상 스트림에 대응하는 게임 메타 데이터를 수집하는 기능을 수행한다.The metadata collection unit 210 collects game metadata corresponding to the merged video stream.

본 실시예에 따른 메타 데이터 수집부(210)는 병합 영상 스트림에 대응하는 게임 플레이 데이터 내 적어도 하나 이상의 이벤트 데이터에 대한 메타 데이터일 수 있다. 여기서, 이벤트 데이터는 게임 서버(110)가 게임플레이 데이터에 근거하여 분석한 데이터를 의미한다. 예컨대, 이벤트 데이터는 게임 시작 및 종료 정보, 게임 플레이어 정보, 게임 아이템 획득정보, 게임 승패정보, 게임 통계정보 및 관전(Observer) 정보 중 적어도 하나 이상의 정보가 포함될 수 있다.The metadata collection unit 210 according to the present embodiment may be metadata for at least one or more event data in game play data corresponding to the merged video stream. Here, the event data means data analyzed by the game server 110 based on the game play data. For example, the event data may include at least one or more of game start and end information, game player information, game item acquisition information, game win/loss information, game statistics information, and observer information.

데이터 추출부(220)는 메타 데이터 수집부(210)를 통해 수집한 게임 메타 데이터를 기반으로 병합 영상 스트림에 포함된 채널영상 중 기 설정된 조건정보를 만족하는 멀티뷰 후보 데이터를 추출하는 기능을 수행한다.The data extraction unit 220 performs a function of extracting multi-view candidate data satisfying preset condition information from among the channel images included in the merged video stream based on the game metadata collected through the metadata collecting unit 210 . do.

즉, 데이터 추출부(220)는 메타 데이터 수집부(210)를 통해 수집한 게임 메타 데이터를 기반으로 게임 플레이어가 플레이어하는 게임의 현재 상황을 실시간으로 분석하고, 이를 기반으로 시청자가 관심을 가질 것으로 예상되는 채널영상을 멀티뷰 후보 데이터로서 선정한다. 예컨대, 데이터 추출부(220)는 게임 메타 데이터를 기반으로 게임 내 객체의 행동패턴을 분석하여 행동 정보를 추출하고, 추출된 행동정보에 따라 상기의 기 설정된 조건정보와 매칭 여부를 판별할 수 있다. 이는, 방송 카테고리가 게임이 아닌 경우에도, 적응적으로 적용될 수 있다.That is, the data extraction unit 220 analyzes the current situation of the game played by the game player in real time based on the game metadata collected through the metadata collection unit 210, and based on this, the viewer is expected to be interested. An expected channel image is selected as multi-view candidate data. For example, the data extraction unit 220 may extract behavior information by analyzing a behavior pattern of an object in the game based on the game metadata, and determine whether or not it matches the preset condition information according to the extracted behavior information. . This can be adaptively applied even when the broadcasting category is not a game.

한편, 기 설정된 조건정보는 사전에 사용자에 의해 다양한 조건이 설정될 수 있으며, 본 실시예에서는 해당 조건에 대해 특정 조건으로서 한정하지는 않는다.Meanwhile, various conditions may be set by the user in advance for the preset condition information, and the present embodiment does not limit the corresponding condition as a specific condition.

이하, 데이터 추출부(220)가 게임 메타 데이터를 기반으로 멀티뷰 후보 데이터를 선정하는 방법에 대해 설명하도록 한다.Hereinafter, a method for the data extraction unit 220 to select multi-view candidate data based on game metadata will be described.

데이터 추출부(220)는 게임 메타 데이터에 포함된 게임 플레이어의 진영정보를 기반으로 멀티뷰 화면의 각 영역 상에 배치되는 멀티뷰 후보 데이터를 선별할 수 있다.The data extractor 220 may select multi-view candidate data disposed on each area of the multi-view screen based on the faction information of the game player included in the game metadata.

데이터 추출부(220)가 특정 게임(ex: 리그오브레전드)와 관련하여 게임 플레이어의 진영정보를 기반으로 멀티뷰 후보 데이터를 선별하는 방법을 보다 구체적으로 예시하면 다음과 같다. 예컨대, 경기 진영(블루(좌)/퍼플(우))이 정해져 있고, 매 경기 세트마다 진영이 바뀌는 특정 게임의 경우 이에 맞게 영상이 재배치되어야 한다.A method in which the data extraction unit 220 selects multi-view candidate data based on faction information of a game player in relation to a specific game (eg: League of Legends) will be exemplified in more detail as follows. For example, in the case of a specific game in which the match faction (blue (left)/purple (right)) is determined and the camp is changed for every match set, the image must be rearranged accordingly.

즉, 도 7을 참조하면, 데이터 추출부(220)가 게임 플레이어의 진영정보에 따라 좌/우 병합 영상을 게임 세트마다 자동으로 변경되도록 멀티뷰 화면의 각 영역 상에 배치되는 멀티뷰 후보 데이터를 선별하는 것을 확인할 수 있다.That is, referring to FIG. 7 , the data extraction unit 220 extracts the multi-view candidate data arranged on each area of the multi-view screen so that the left/right merged image is automatically changed for each game set according to the faction information of the game player. selection can be confirmed.

데이터 추출부(220)는 게임 메타 데이터에 포함된 관전 정보를 기반으로 게임 내 특정 영역에 위치하는 게임 플레이어들에 대한 채널영상을 멀티뷰 후보 데이터로서 선별할 수 있다. 예컨대, 특정 게임과 관련하여 설명하자면, 데이터 추출부(220)는 게임 메타 데이터에 포함된 관전 정보를 기반으로 옵저버가 보고 있는 라인(탑/미드/바텀/정글)에 해당하는 선수들의 개인화면을 멀티뷰 후보 데이터로서 선별할 수 있다.The data extractor 220 may select, as multi-view candidate data, channel images for game players located in a specific area in the game based on spectating information included in the game metadata. For example, to describe a specific game, the data extraction unit 220 extracts the personal screens of players corresponding to the line (top/mid/bottom/jungle) that the observer is looking at based on spectating information included in the game metadata. It can be selected as multi-view candidate data.

즉, 도 8을 참조하면, 데이터 추출부(220)가 옵저버가 가리키는 화면에 맞는 선수들의 개인화면들로 멀티뷰 화면이 구성될 수 있도록 멀티뷰 후보 데이터를 선별하는 것을 확인할 수 있다.That is, referring to FIG. 8 , it can be confirmed that the data extraction unit 220 selects the multi-view candidate data so that the multi-view screen can be composed of the individual screens of the players that fit the screen pointed to by the observer.

데이터 추출부(220)는 게임 메타 데이터에 포함된 게임 통계정보를 기반으로 게임 플레이어들에 대한 현재 상태정보를 판별하고, 판별결과에 따라 특정 상태를 만족하는 게임 플레이어들에 대한 채널영상을 멀티뷰 후보 데이터로서 선별할 수 있다. 예컨대, 데이터 추출부(220)는 게임 메타 데이터에 포함된 게임 통계정보를 기반으로 현재 게임 플레이어들에 대한 생존 여부를 판별하고, 판별결과에 따라 생존한 게임 플레이어들에 대한 채널영상을 멀티뷰 후보 데이터로서 선별할 수 있다.The data extraction unit 220 determines current state information about game players based on game statistical information included in game metadata, and multi-views channel images for game players satisfying a specific state according to the determination result. Can be selected as candidate data. For example, the data extraction unit 220 determines whether the current game players survive based on the game statistical information included in the game metadata, and selects the channel images for the surviving game players according to the determination result as multi-view candidates. data can be selected.

마찬가지로, 특정 게임(베틀 그라운드)와 관련하여 예시적으로 설명하자면, 20개의 팀 중 최종 1개팀 만이 우승하는 배틀로열방식의 게임은 탈락되는 팀의 경우 멀티뷰 화면에서 제외되어야 한다. 도 9를 참조하면, 데이터 추출부(220)가 팀 탈락 여부에 따라 현재 생존한 팀과 관련하여 멀티뷰 화면이 구성될 수 있도록 멀티뷰 후보 데이터를 선별하는 것을 확인할 수 있다.Similarly, in relation to a specific game (Battle Ground), a battle royale game in which only one final team out of 20 teams wins should be excluded from the multi-view screen in the case of a eliminated team. Referring to FIG. 9 , it can be confirmed that the data extraction unit 220 selects the multi-view candidate data so that a multi-view screen can be configured in relation to the currently surviving team according to whether the team is eliminated.

다른 실시예에서, 데이터 추출부(220)는 스트리밍 플레이어 장치(140)의 사용자로부터 직접 시청하고자 하는 멀티뷰 화면에 대한 선택정보를 수신하고, 이를 기반으로 멀티뷰 후보 데이터를 선별할 수도 있다.In another embodiment, the data extractor 220 may receive selection information on a multi-view screen to be viewed directly from the user of the streaming player device 140, and select multi-view candidate data based on this.

멀티뷰 생성부(230)는 멀티뷰 후보 데이터를 기반으로 병합 영상 스트림을 재병합하고, 재병합된 영상 스트림을 활용하여 멀티부 화면을 재구성하여 제공한다.The multi-view generator 230 re-merges the merged video stream based on the multi-view candidate data, and reconstructs and provides the multi-view screen using the re-merged video stream.

마찬가지로, 본 실시예에 있어서, 멀티뷰 생성부(230)는 병합 영상 스트림 내 멀티뷰 후보 데이터에 상응하는 채널영상을 추출하고, 추출된 채널영상 각각을 하나의 타일 단위로 재병합하여 제공할 수 있다. 즉, 멀티뷰 생성부(230)는 멀티뷰 후보 데이터의 숫자가 많아 단말기에 이를 동시에 재생할 수 있는 개수의 한도를 초과할 경우에도 멀티뷰 후보 데이터를 타일 기반으로 재병합함에 따라 동시에 재생되는 영상의 개수를 최소화할 수 있다. 이는 스트리밍 플레이어 장치(140)의 서용자로 하여금 단말기 동시 재생 한도 이상의 개별화면을 시청 가능토록 하는 효과가 있다.Similarly, in this embodiment, the multi-view generator 230 may extract a channel image corresponding to the multi-view candidate data in the merged video stream, and re-merge each of the extracted channel images as a unit of one tile and provide it. have. That is, even when the number of multi-view candidate data is large and the number of multi-view candidate data exceeds the limit of the number that can be simultaneously reproduced in the terminal, the multi-view generating unit 230 re-merges the multi-view candidate data based on a tile. number can be minimized. This has the effect of allowing the user of the streaming player device 140 to view individual screens exceeding the terminal simultaneous playback limit.

도 4는 본 실시예에 따른 스트리밍 플레이어 장치의 멀티뷰 지원방법을 설명하기 위한 순서도이다.4 is a flowchart for explaining a multi-view support method of the streaming player device according to the present embodiment.

스트리밍 플레이어 장치(140)는 복수의 채널영상들을 하나의 영상으로 병합합 병합 영상 스트림을 수신한다(S402). 단계 S402에서 스트리밍 플레이어 장치(140)는 HEVC의 타일 기반 기술을 이용하여 복수 개의 채널영상을 각각 하나의 타일 단위로 인식하는 병합 영상 스트림을 멀티뷰 데이터로서 수신할 수 있다.The streaming player device 140 merges a plurality of channel images into one image and receives the merged video stream (S402). In step S402, the streaming player device 140 may receive, as multi-view data, a merged video stream for recognizing a plurality of channel images in units of one tile, respectively, using the tile-based technology of HEVC.

스트리밍 플레이어 장치(140)는 외부장치로부터 병합 영상 스트림에 대응하는 게임 메타 데이터를 수집한다(S404). 단계 S404에서 스트리밍 플레이어 장치(140)는 병합 영상 스트림에 대응하는 게임 플레이 데이터 내 적어도 하나 이상의 이벤트 데이터에 대한 메타 데이터를 수집한다.The streaming player device 140 collects game metadata corresponding to the merged video stream from an external device (S404). In step S404, the streaming player device 140 collects metadata for at least one or more event data in game play data corresponding to the merged video stream.

스트리밍 플레이어 장치(140)는 단계 S404의 게임 메타 데이터를 기반으로 단계 S402의 병합 영상 스트림 내 채널영상 중 기 설정된 조건정보를 만족하는 멀티뷰 후보 데이터를 추출한다(S406). 단계 S406에서 스트리밍 플레이어 장치(140)는 게임 메타 데이터 내 게임 플레이어의 진영정보에 따라 좌/우 병합 영상을 게임 세트마다 자동으로 변경되도록 멀티뷰 후보 데이터를 선별할 수 있다.The streaming player device 140 extracts multi-view candidate data satisfying preset condition information from among the channel images in the merged video stream of step S402 based on the game metadata of step S404 ( S406 ). In step S406, the streaming player device 140 may select the multi-view candidate data so that the left/right merged image is automatically changed for each game set according to the faction information of the game player in the game metadata.

스트리밍 플레이어 장치(140)는 게임 메타 데이터에 포함된 관전 정보를 기반으로 게임 내 특정 영역에 위치하는 게임 플레이어들에 대한 채널영상을 멀티뷰 후보 데이터로서 선별할 수 있다.The streaming player device 140 may select, as multi-view candidate data, channel images for game players located in a specific area within the game based on spectating information included in game metadata.

스트리밍 플레이어 장치(140)는 게임 메타 데이터에 포함된 게임 통계정보를 기반으로 게임 플레이어들에 대한 현재 상태정보를 판별하고, 판별결과에 따라 특정 상태를 만족하는 게임 플레이어들에 대한 채널영상을 멀티뷰 후보 데이터로서 선별할 수 있다.The streaming player device 140 determines current status information about game players based on game statistics information included in game metadata, and multi-views channel images for game players that satisfy a specific status according to the determination result. Can be selected as candidate data.

스트리밍 플레이어 장치(140)는 단계 S406의 멀티뷰 후보 데이터를 기반으로 병합 영상 스트림을 재병합하여 멀티뷰 화면을 재구성한다(S408).The streaming player device 140 re-merges the merged video stream based on the multi-view candidate data of step S406 to reconstruct the multi-view screen (S408).

여기서, 단계 S402 내지 S408은 앞서 설명된 스트리밍 플레이어 장치(140)의 각 구성요소의 동작에 대응되므로 더 이상의 상세한 설명은 생략한다.Here, since steps S402 to S408 correspond to the operation of each component of the streaming player device 140 described above, further detailed description will be omitted.

도 4에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 4에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.Although it is described that each process is sequentially executed in FIG. 4 , it is not necessarily limited thereto. In other words, since it may be applicable to changing and executing the process described in FIG. 4 or executing one or more processes in parallel, FIG. 4 is not limited to a time series sequence.

전술한 바와 같이 도 4에 기재된 멀티뷰 제공방법은 프로그램으로 구현되고 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 기록될 수 있다.As described above, the multi-view providing method described in FIG. 4 is implemented as a program and readable recording media (CD-ROM, RAM, ROM, memory card, hard disk, magneto-optical disk, storage device, etc.) ) can be recorded.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of this embodiment, and various modifications and variations will be possible by those skilled in the art to which this embodiment belongs without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are for explanation rather than limiting the technical spirit of the present embodiment, and the scope of the technical spirit of the present embodiment is not limited by these embodiments. The protection scope of the present embodiment should be interpreted by the following claims, and all technical ideas within the equivalent range should be construed as being included in the scope of the present embodiment.

100: 멀티뷰 시스템 110: 게임 서버
120: 멀티뷰 플랫폼 장치 130: 스트리밍 서버
140: 스트리밍 플레이어 장치 200: 데이터 수신부
210: 메타 데이터 수집부 220: 데이터 추출부
230: 멀티뷰 생성부100: multi-view system 110: game server
120: multi-view platform device 130: streaming server
140: streaming player device 200: data receiver
210: metadata collection unit 220: data extraction unit
230: multi-view generator

Claims (10)

복수의 채널영상들을 하나의 영상으로 병합한 병합 영상 스트림을 멀티뷰 데이터로서 수신하는 데이터 수신부;
외부장치로부터 상기 병합 영상 스트림에 대응하는 게임 메타 데이터를 수집하는 메타 데이터 수집부;
상기 게임 메타 데이터를 기반으로 상기 복수의 채널영상 중 기 설정된 조건정보를 만족하는 멀티뷰 후보 데이터를 추출하는 데이터 추출부; 및
상기 멀티뷰 후보 데이터를 기반으로 상기 병합 영상 스트림을 재병합하고, 재병합된 영상 스트림을 활용하여 하나의 화면의 각 영역에 배치되도록 멀티뷰 화면을 재구성하는 멀티뷰 생성부를 포함하되,
상기 데이터 추출부는,
상기 게임 메타 데이터를 기반으로 상기 복수의 채널영상의 각 영상 내 객체의 행동패턴을 분석하여 행동 정보를 추출하고, 추출된 행동정보에 따라 상기 기 설정된 조건정보와 매칭 여부를 판별함으로써 상기 멀티뷰 후보 데이터를 추출하는 것
을 특징으로 하는 스트리밍 플레이어 장치.a data receiver configured to receive a merged video stream obtained by merging a plurality of channel images into one image as multi-view data;
a metadata collection unit for collecting game metadata corresponding to the merged video stream from an external device;
a data extraction unit for extracting multi-view candidate data satisfying preset condition information from among the plurality of channel images based on the game metadata; and
A multi-view generator for re-merging the merged video stream based on the multi-view candidate data and reconstructing the multi-view screen to be arranged in each area of one screen by using the re-merged video stream,
The data extraction unit,
The multi-view candidate by analyzing a behavior pattern of an object in each image of the plurality of channel images based on the game metadata, extracting behavior information, and determining whether or not matching with the preset condition information according to the extracted behavior information extracting data
Streaming player device characterized by a. 제 1항에 있어서,
상기 데이터 수신부는,
상기 복수의 채널영상을 각각 하나의 타일(Tile) 단위로 인식하는 상기 병합 영상 스트림을 수신하는 것을 특징으로 하는 스트리밍 플레이어 장치.The method of claim 1,
The data receiving unit,
Streaming player device, characterized in that for receiving the merged video stream for recognizing the plurality of channel images each in a unit of one tile (Tile). 제 1항에 있어서,
상기 게임 메타 데이터는,
상기 병합 영상 스트림에 대응하는 게임 플레이 데이터 내 적어도 하나 이상의 이벤트 데이터에 대한 메타 데이터인 것을 특징으로 하는 스트리밍 플레이어 장치.The method of claim 1,
The game metadata is
Streaming player device, characterized in that metadata for at least one or more event data in game play data corresponding to the merged video stream. 제 3항에 있어서,
상기 이벤트 데이터는,
게임 시작 및 종료 정보, 게임 플레이어 정보, 게임 아이템 획득정보, 게임 승패정보, 게임 통계정보 및 관전(Observer) 정보 중 적어도 하나 이상의 정보를 포함하는 것을 특징으로 하는 스트리밍 플레이어 장치.4. The method of claim 3,
The event data is
Game start and end information, game player information, game item acquisition information, game win/loss information, game statistics information, and the streaming player device, characterized in that it comprises at least one or more of information (Observer) information. 제 1항에 있어서,
상기 데이터 추출부는,
상기 게임 메타 데이터에 포함된 게임 플레이어의 진영정보를 기반으로 상기 멀티뷰 화면의 각 영역 상에 배치되는 상기 멀티뷰 후보 데이터를 선별하는 것을 특징으로 하는 스트리밍 플레이어 장치.The method of claim 1,
The data extraction unit,
Streaming player device, characterized in that selecting the multi-view candidate data arranged on each area of the multi-view screen based on the faction information of the game player included in the game metadata. 제 1항에 있어서,
상기 데이터 추출부는,
상기 게임 메타 데이터에 포함된 관전 정보를 기반으로 게임 내 특정 영역에 위치하는 게임 플레이어들에 대한 채널영상을 상기 멀티뷰 후보 데이터로서 선별하는 것을 특징으로 하는 스트리밍 플레이어 장치.The method of claim 1,
The data extraction unit,
Streaming player device, characterized in that, based on the spectating information included in the game metadata, select a channel image for game players located in a specific area in the game as the multi-view candidate data. 제 1항에 있어서,
상기 데이터 추출부는,
상기 게임 메타 데이터에 포함된 게임 통계정보를 기반으로 게임 플레이어들에 대한 생존 여부를 판별하고, 판별결과에 따라 생존한 게임 플레이어들에 대한 채널영상을 상기 멀티뷰 후보 데이터로서 선별하는 것을 특징으로 하는 스트리밍 플레이어 장치.The method of claim 1,
The data extraction unit,
Determining whether the game players survive or not based on the game statistical information included in the game metadata, and selecting channel images of the surviving game players as the multi-view candidate data according to the determination result Streaming player device. 제 1항에 있어서,
상기 멀티뷰 생성부는,
상기 병합 영상 스트림 내 상기 멀티뷰 후보 데이터에 상응하는 채널영상을 추출하고, 추출된 채널영상 각각을 하나의 타일 단위로 재병합하는 것을 특징으로 하는 스트리밍 플레이어 장치.The method of claim 1,
The multi-view generating unit,
Streaming player apparatus, characterized in that extracting a channel image corresponding to the multi-view candidate data in the merged video stream, and re-merging each of the extracted channel images into one tile unit. 복수의 채널영상들을 하나의 영상으로 병합한 병합 영상 스트림을 멀티뷰 데이터로서 수신하는 과정;
외부장치로부터 상기 병합 영상 스트림에 대응하는 게임 메타 데이터를 수집하는 과정;
상기 게임 메타 데이터를 기반으로 상기 복수의 채널영상 중 기 설정된 조건정보를 만족하는 멀티뷰 후보 데이터를 추출하는 과정; 및
상기 멀티뷰 후보 데이터를 기반으로 상기 병합 영상 스트림을 재병합하고, 재병합된 영상 스트림을 활용하여 하나의 화면의 각 영역에 배치되도록 멀티뷰 화면을 재구성하는 과정을 포함하되,
상기 멀티뷰 후보 데이터를 추출하는 과정은,
상기 게임 메타 데이터를 기반으로 상기 복수의 채널영상의 각 영상 내 객체의 행동패턴을 분석하여 행동 정보를 추출하고, 추출된 행동정보에 따라 상기 기 설정된 조건정보와 매칭 여부를 판별함으로써 상기 멀티뷰 후보 데이터를 추출하는 것
을 포함하는 것을 특징으로 하는 멀티뷰 제공방법.Receiving a merged video stream obtained by merging a plurality of channel images into one image as multi-view data;
collecting game metadata corresponding to the merged video stream from an external device;
extracting multi-view candidate data satisfying preset condition information from among the plurality of channel images based on the game metadata; and
re-merging the merged video stream based on the multi-view candidate data, and reconstructing the multi-view screen to be placed in each area of one screen by using the re-merged video stream,
The process of extracting the multi-view candidate data is,
The multi-view candidate by analyzing a behavior pattern of an object in each image of the plurality of channel images based on the game metadata, extracting behavior information, and determining whether or not matching with the preset condition information according to the extracted behavior information extracting data
Multi-view providing method comprising a. 데이터 처리 기기에,
복수의 채널영상들을 하나의 영상으로 병합한 병합 영상 스트림을 멀티뷰 데이터로서 수신하는 과정;
외부장치로부터 상기 병합 영상 스트림에 대응하는 게임 메타 데이터를 수집하는 과정;
상기 게임 메타 데이터를 기반으로 상기 복수의 채널영상의 각 영상 내 객체의 행동패턴을 분석하여 행동 정보를 추출하고, 추출된 행동정보에 따라 기 설정된 조건정보와 매칭 여부를 판별함으로써 멀티뷰 후보 데이터를 추출하는 과정; 및
상기 멀티뷰 후보 데이터를 기반으로 상기 병합 영상 스트림을 재병합하고, 재병합된 영상 스트림을 활용하여 하나의 화면의 각 영역에 배치되도록 멀티뷰 화면을 재구성하는 과정
을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.data processing device,
Receiving a merged video stream obtained by merging a plurality of channel images into one image as multi-view data;
collecting game metadata corresponding to the merged video stream from an external device;
Based on the game metadata, behavioral information is extracted by analyzing the behavioral patterns of objects in each image of the plurality of channel images, and multi-view candidate data is obtained by determining whether it matches with preset condition information according to the extracted behavioral information. extraction process; and
The process of re-merging the merged video stream based on the multi-view candidate data and reconstructing the multi-view screen to be placed in each area of one screen by using the re-merged video stream
A computer-readable recording medium recording a program for realizing
KR1020190066198A 2019-06-04 2019-06-04 Method and Apparatus for Providing multiview KR102276193B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190066198A KR102276193B1 (en) 2019-06-04 2019-06-04 Method and Apparatus for Providing multiview
KR1020210088107A KR102404737B1 (en) 2019-06-04 2021-07-05 Method and Apparatus for Providing multiview

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190066198A KR102276193B1 (en) 2019-06-04 2019-06-04 Method and Apparatus for Providing multiview

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210088107A Division KR102404737B1 (en) 2019-06-04 2021-07-05 Method and Apparatus for Providing multiview

Publications (2)

Publication Number Publication Date
KR20200139557A KR20200139557A (en) 2020-12-14
KR102276193B1 true KR102276193B1 (en) 2021-07-12

Family

ID=73779889

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190066198A KR102276193B1 (en) 2019-06-04 2019-06-04 Method and Apparatus for Providing multiview
KR1020210088107A KR102404737B1 (en) 2019-06-04 2021-07-05 Method and Apparatus for Providing multiview

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210088107A KR102404737B1 (en) 2019-06-04 2021-07-05 Method and Apparatus for Providing multiview

Country Status (1)

Country Link
KR (2) KR102276193B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102614561B1 (en) * 2021-12-22 2023-12-19 주식회사 티빙 Method for providing multi view service and apparatus for same
KR102641876B1 (en) * 2023-06-27 2024-02-29 주식회사 인텔리빅스 Apparatus and Method for Simultaneous Playback of Interest Video
KR102627662B1 (en) * 2023-06-28 2024-01-19 안상용 Broadcast transmission system using in-game player object matching

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100998547B1 (en) * 2008-12-09 2010-12-07 주식회사 어니언텍 Broadcasting system for multiple channel display and method thereof
GB2507036A (en) * 2012-10-10 2014-04-23 Lifecake Ltd Content prioritization
KR20150008739A (en) * 2013-07-15 2015-01-23 주식회사 케이티 Server and method for providing personalize display based on video, and device
KR102106103B1 (en) * 2015-07-03 2020-05-04 에스케이 텔레콤주식회사 Method and Apparatus for Extracting Video from High Resolution Video
KR101915037B1 (en) * 2016-07-01 2018-11-06 에스케이 텔레콤주식회사 Method and Apparatus for Generating Video Bit Stream for Streaming High Resolution Video

Also Published As

Publication number Publication date
KR20210087918A (en) 2021-07-13
KR20200139557A (en) 2020-12-14
KR102404737B1 (en) 2022-05-31

Similar Documents

Publication Publication Date Title
KR102404737B1 (en) Method and Apparatus for Providing multiview
US11770591B2 (en) Systems, apparatus, and methods for rendering digital content streams of events, and synchronization of event information with rendered streams, via multiple internet channels
US10531158B2 (en) Multi-source video navigation
CN109327741B (en) Game live broadcast method, device and system
US20110214141A1 (en) Content playing device
WO2016150317A1 (en) Method, apparatus and system for synthesizing live video
CN105306468A (en) Method for real-time sharing of synthetic video data and anchor client side
CN103581769B (en) User apparatus, the second screen system and the method for rendering the second screen message
US8265707B2 (en) Cellular multiscreen system
CN106507186B (en) Media information switching method, server and storage medium
KR101571283B1 (en) Media content transmission method and apparatus, and reception method and apparatus for providing augmenting media content using graphic object
CA2937093C (en) Generating visualizations for display along with video content
CN105704399A (en) Playing method and system for multi-picture television program
CN102655606A (en) Method and system for adding real-time subtitle and sign language services to live program based on P2P (Peer-to-Peer) network
US20160301953A1 (en) Systems and methods for extracting data from audiovisual content
CN102457780A (en) Method and system for supplying real-time data to network video
CN111918079A (en) Multi-mode live broadcast and automatic editing teaching system and method and electronic equipment
CN107005658A (en) The system and method for realizing interaction special efficacy
KR20130103931A (en) Advance metadata provision augmented broadcasting apparatus and method
CN108737844A (en) Information transferring method and device, storage medium, electronic device
KR102108775B1 (en) Method and Apparatus for Providing Customizable multiview features
JP2013518458A (en) Method for transferring information and / or application data in a digital video stream and associated apparatus for generating and playing a video stream
CN110198457A (en) Video broadcasting method and its equipment, system, storage medium, terminal, server
CN105228010B (en) A kind of method and device that TV interaction systems interactive information is set
JP2016010102A (en) Information presentation system

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant