KR102404737B1 - 멀티뷰 제공을 위한 스트리밍 플레이어 장치 및 그 방법 - Google Patents

멀티뷰 제공을 위한 스트리밍 플레이어 장치 및 그 방법 Download PDF

Info

Publication number
KR102404737B1
KR102404737B1 KR1020210088107A KR20210088107A KR102404737B1 KR 102404737 B1 KR102404737 B1 KR 102404737B1 KR 1020210088107 A KR1020210088107 A KR 1020210088107A KR 20210088107 A KR20210088107 A KR 20210088107A KR 102404737 B1 KR102404737 B1 KR 102404737B1
Authority
KR
South Korea
Prior art keywords
view
video stream
data
merged video
game
Prior art date
Application number
KR1020210088107A
Other languages
English (en)
Other versions
KR20210087918A (ko
Inventor
박용현
이영기
임정연
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020210088107A priority Critical patent/KR102404737B1/ko
Publication of KR20210087918A publication Critical patent/KR20210087918A/ko
Application granted granted Critical
Publication of KR102404737B1 publication Critical patent/KR102404737B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 실시예는, 시청자로 하여금 복수의 영상 화면들을 시간 오차 없이 동시에 한 멀티뷰로 시청할 수 있도록 하면서도, 데이터 분석을 통해 시청자 선호에 맞는 화면들을 멀티뷰 화면 상에 자유롭게 구성할 수 있도록 하는 스트리밍 플레이어 장치 및 그 방법에 관한 것이다.

Description

멀티뷰 제공을 위한 스트리밍 플레이어 장치 및 그 방법{Method and Apparatus for Providing multiview}
본 실시예는 멀티뷰 제공을 위한 스트리밍 플레이어 장치 및 그 방법에 관한 것이다. 더욱 상세하게는, 방송을 시청하는 시청자로 하여금 맞춤형 멀티뷰 화면을 자동 제공하기 위한 스트리밍 플레이어 장치 및 그 방법에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
5G 통신 기반으로 대용량, 초고속 영상미디어 전송이 가능해짐에 따라, 다수 채널의 영상을 한 화면에서 보는 멀티뷰 서비스 제공이 증가하고 있다. 특히, 다수 멤버가 속해 있는 아이돌 그룹가수의 음악방송 및 공연 중계, 여러 포지션의 선수가 활동하는 스포츠 중계, 동시 다발적으로 전투가 벌어지는 게임경기 중계 분야에서 멀티뷰, 멀티앵글 서비스의 니즈는 커지고 있다.
예컨대, 음악방송/공연중계에서 멤버별 직캠영상을 보고, 스포츠/게임경기 중계에서 포지션별, 각 선수별 게임 화면 등을 시청자가 선택하여 원하는 특정 가수(선수)의 화면을 보고 싶어하는 니즈가 늘어나고 있다.
하지만, 기존 멀티뷰 서비스 방식의 경우, 여러 화면을 동시에 시청하기 위해서 해당 화면에 상응하는 영상 스트림 개수만큼의 영상을 전송받아야 하며, 또한 입력영상 개수만큼의 영상 출력이 이루어져야 했다. 해당 방식에서는 N개의 영상 스트림을 전송 받아 동시에 디코딩, 영상을 출력하고 있어 모바일 기기와 같이 하드웨어 지원, 전력소비가 한정적인 기기에서는 동시에 시청할 수 있는 영상의 개수가 제한적이다.
또한, N개의 영상 스트림을 전송받을 경우 각 영상들의 시간을 하나로 Sync 하기에는 어려움이 있어, 각 영상별 시간차이가 발생하며, 서버와 클라이언트 간 세션을 입력영상만큼 맺어야 하여 시청자 수가 늘어나고 입력영상이 늘어남에 따라 세션의 수가 급격히 늘어 세션관리가 어려운 단점이 있다.
이에, 상기의 문제점을 해소 하기 위하여, N개의 입력 영상을 1개의 영상스트림으로 병합하여 전송하여 영상들간의 동기화를 맞추고 세션 수를 감소시키며, 병합 영상을 모바일 기기에서 받아 효율적으로 출력할 수 있도록 영상을 분할, 재병합하는 기술을 필요로 한다.
또한, 그 효율성 등을 위해 특별한 조작 없이도, 시청자 선호에 맞는 영상을 재병합하는 멀티뷰 기술을 필요로 한다.
본 실시예는, 시청자로 하여금 복수의 영상 화면들을 시간 오차 없이 동시에 한 멀티뷰로 시청할 수 있도록 하면서도, 데이터 분석을 통해 시청자 선호에 맞는 화면들을 멀티뷰 화면 상에 자유롭게 구성할 수 있도록 하는 게임방송 맞춤형 멀티뷰 기술을 제공하고자 하는 데 그 목적이 있다.
본 실시예는, 복수의 채널영상들을 하나의 영상으로 병합한 병합 영상 스트림을 멀티뷰 데이터로서 수신하는 데이터 수신부; 외부장치로부터 상기 병합 영상 스트림에 대응하는 메타 데이터를 수집하는 메타 데이터 수집부; 상기 메타 데이터를 기반으로 영상 내 객체의 행동패턴을 분석하여 상기 복수의 채널영상 중 기 설정된 조건정보를 만족하는 멀티뷰 후보 데이터를 추출하는 데이터 추출부; 및 상기 멀티뷰 후보 데이터를 기반으로 상기 병합 영상 스트림을 재병합하고, 재병합된 영상 스트림을 활용하여 하나의 화면의 각 영역에 배치되도록 멀티뷰 화면을 재구성하는 멀티뷰 생성부를 포함하는 것을 특징으로 하는 스트리밍 플레이어 장치를 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 복수의 채널영상들을 하나의 영상으로 병합한 병합 영상 스트림을 멀티뷰 데이터로서 수신하는 과정; 외부장치로부터 상기 병합 영상 스트림에 대응하는 메타 데이터를 수집하는 과정; 상기 메타 데이터를 기반으로 상기 복수의 채널영상 중 기 설정된 조건정보를 만족하는 멀티뷰 후보 데이터를 추출하는 과정; 및 상기 멀티뷰 후보 데이터를 기반으로 상기 병합 영상 스트림을 재병합하고, 재병합된 영상 스트림을 활용하여 하나의 화면의 각 영역에 배치되도록 멀티뷰 화면을 재구성하는 과정을 포함하는 것을 특징으로 하는 멀티뷰 제공방법을 제공한다.
또한, 데이터 처리 기기에, 복수의 채널영상들을 하나의 영상으로 병합한 병합 영상 스트림을 멀티뷰 데이터로서 수신하는 과정; 외부장치로부터 상기 병합 영상 스트림에 대응하는 메타 데이터를 수집하는 과정; 상기 메타 데이터를 기반으로 영상 내 객체의 행동패턴을 분석하여 상기 복수의 채널영상 중 기 설정된 조건정보를 만족하는 멀티뷰 후보 데이터를 추출하는 과정; 및 상기 멀티뷰 후보 데이터를 기반으로 상기 병합 영상 스트림을 재병합하고, 재병합된 영상 스트림을 활용하여 하나의 화면의 각 영역에 배치되도록 멀티뷰 화면을 재구성하는 과정을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 시청자로 하여금 복수의 영상 화면들을 시간 오차 없이 동시에 한 멀티뷰로 시청할 수 있도록 하면서도, 데이터 분석을 통해 시청자 선호에 맞는 화면들을 멀티뷰 화면 상에 자유롭게 구성할 수 있도록 하는 효과가 있다.
도 1은 본 실시예에 따른 멀티뷰 시스템을 개략적으로 나타낸 블록 구성도이다.
도 2는 본 실시예에 따른 스트리밍 플레이어 장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 실시예에 따른 멀티뷰 지원을 위한 송출 시나리오를 설명하기 위한 흐름도이다.
도 4는 본 실시예에 따른 스트리밍 플레이어 장치의 멀티뷰 지원방법을 설명하기 위한 순서도이다.
도 5는 본 실시예에 따른 멀티뷰 지원을 위한 영상의 분할 및 병합 방법을 설명하기 위한 예시도이다.
도 6은 본 실시예에 따른 게임 메타 데이터를 설명하기 위한 예시도이다.
도 7 내지 도 9는 본 실시예에 따른 멀티뷰 지원방법을 설명하기 위한 예시도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 본 실시예에 따른 멀티뷰 시스템을 개략적으로 나타낸 블록 구성도이다. 한편, 도 1에서는 본 실시예에 따른 멀티뷰 시스템이 게임 방송에 특화된 형태로 구현된 것으로 예시하여 설명하나 반드시 이에 한정되는 것은 아니고, 방송 카테고리 별로 다양하게 적용될 수 있다.
도 1에 도시하듯이, 본 실시예에 따른 멀티뷰 시스템(100)은 게임 서버(110), 멀티뷰 플랫폼 장치(120), 스트리밍 서버(130) 및 스트리밍 플레이어 장치(140)를 포함한다.
이하, 도 3을 함께 참조하여, 본 실시예에 따른 멀티뷰 시스템(100)의 각 구성요소의 동작에 대해 설명하도록 한다.
게임 서버(110)는 중계 대상이되는 게임에 대한 게임플레이 데이터를 수집하여 제공하는 기능을 수행한다. 여기서, 게임플레이 데이터라 함은, 게임영상 정보, 게임상태 정보 등을 포함하는 개념으로, 게임 플레이어가 플레이하는 게임과 관련된 전반적인 데이터를 의미한다. 한편, 중계 카테고리가 게임이 아닌 경우에는 해당 카테고리와 관련한 방송 스트리밍 영상정보가 포함될 수 있다.
본 실시예에 있어서, 게임 서버(110)가 게임플레이 데이터로서 제공하는 게임영상 정보로는 복수 개의 채널영상이 포함될 수 있다. 여기서, 복수 개의 채널영상은 중계 온에어 화면(PGM) 채널, 맵(Map) 채널, 개인화면 채널로 구성되는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.
게임 서버(110)는 복수 개의 채널영상을 라이브 스트리밍(Live Streaming) 혹은 VOD(Video On Demand) 방식으로 멀티뷰 플랫폼 장치(120)로 제공한다.
또한, 본 실시예에 있어서, 게임 서버(110)는 게임플레이 데이터를 분석하여 이벤트 데이터를 생성한다. 여기서, 이벤트 데이터란 게임 서버(110)가 게임플레이 데이터에 근거하여 분석한 데이터를 의미한다. 예컨대, 이벤트 데이터는 게임 시작 및 종료 정보, 게임 플레이어 정보, 게임 아이템 획득정보, 게임 승패정보, 게임 통계정보 및 관전(Observer) 정보 중 적어도 하나 이상의 정보가 포함될 수 있다. 게임 플레이어 정보로는 캐릭터 선택정보 및 해당 플레이어가 소속된 팀 관련 정보(ex: 진영 정보 등) 등이 포함될 수 있다. 게임 통계정보로는 게임 중 Kill, Death, Assist 등에 대한 카운트 정보가 포함될 수 있다. 관전 정보는 옵저버 모드를 통해 수집되는 데이터로서, 기본적으로는 해당 게임을 진행하고 있는 플레이어들의 움직임을 관전자 입장에서 관찰한 정보를 의미한다.
게임 서버(110)는 게임플레이 데이터와 더불어, 이벤트 데이터를 기 설정된 주기 단위로 스트리밍 서버(130)로 전송할 수 있다.
한편, 게임 서버(110)는 특히 온라인 게임에 필요한 외부 장치로서, 방송 카테고리가 온라인 게임과 관련한 방송이 아닌 경우에는 필수적 구성 요소가 아니라고 할 것이며, 실시예에 따라 해당 방송 카테고리와 연관되는 서버일 수 있다.
멀티뷰 플랫폼 장치(120)는 게임 서버(110)로부터 수신한 복수의 채널영상들을 멀티뷰 형식에 맞게 가공하여 송출하는 장치를 의미한다.
멀티뷰 플랫폼 장치(120)는 게임 서버(110)로부터 수신한 채널영상들에 대한 선처리 과정을 수행할 수 있다. 예컨대, 멀티뷰 플랫폼 장치(120)는 게임 서버(110)로부터 복수 개의 채널영상 별로 송출된 화면을 수신한 후 각 채널영상 별로 PTS(Presentation Time Stamp)를 활용한 동기화 과정을 수행할 수 있다. 또한, 멀티뷰 플랫폼 장치(120)는 동기화를 맞춘 채널영상들을 엔코더를 통해 트랜스코딩하고, 이를 멀티뷰 화면 제공을 위해 병합하여 제공할 수 있다.
한편, N개의 채널영상을 전송받을 경우 각 영상들의 시간을 정확히 하나로 Sync하기에는 어려움이 있어 각 영상별 시간차이가 발생하는 문제점이 발생할 수 있다. 또한, 서버와 클라이언트 간 세션을 입력 영상만큼 맺어야 하기 때문에 시청자 수가 늘어나고 입력영상이 늘어나는 경우라 세션의 수가 급격히 늘어 세션관리가 어려운 단점이 있다.
이 점에 기인하여, 본 실시예에 따른 멀티뷰 플랫폼 장치(120)는 복수 개의 채널영상을 하나의 영상스트림(이하, 병합 영상 스트림으로 명시하여 설명하도록 한다)으로 병합하여 전송한다.
도 5를 참조하여, 설명하면, 본 실시예에 따른 멀티뷰 플랫폼 장치(120)는 고화질의 영상에 대해 타일(Tile) 형태로 분할하여 멀티 프로세싱 및 영상 재생의 효율을 높인 기법을 이용하여 복수 개의 채널영상을 각 하나의 타일로 인식하고, 이를 하나의 영상으로 병합하여 전송할 수 있다. 기존 방식에 의하는 경우 여러 영상이 여러 세션을 통해 전달되어 세션마다 영상 간 딜레이가 존재하는 반면, 본 발명의 방식에 의하는 경우 여러 영상을 하나의 영상으로 병합하여 보내주기 때문에 해당 영상 간 시간 차이가 없어 완벽하게 동기화를 맞출 수 있는 효과가 있다.
한편, 영상을 전달받은 클라이언트에서는 타일 단위로 병합된 영상들 분할하여 N개의 영상을 추출하고, 이를 병합 가능한 형태로 재병합 및 최소한의 디코더를 이용하여 디코딩하여 화면에 출력할 수 있다.
멀티뷰 플랫폼 장치(120)는 생성한 병합 영상 스트림을 스트리밍 서버(130)를 거쳐 스트리밍 플레이어 장치(140)로 전송하거나 직접 스트리밍 플레이어 장치(140)로 전송한다.
스트리밍 서버(130)는 스트리밍 플레이어 장치(140)로 방송 데이터를 송출하는 장치를 의미한다.
본 실시예에 따른 스트리밍 서버(130)는 멀티뷰 플랫폼 장치(120)로부터 복수의 채널영상들을 하나의 영상으로 병합한 병합 영상 스트림을 수신하고, 이를 방송 데이터로서 스트리밍 플레이어 장치(140)로 송출한다. 즉, 스트리밍 서버(130)는 병합 영상 스트림을 멀티뷰 모드 형태로 스트리밍 플레이어 장치(140)로 스트리밍한다.
또한, 스트리밍 서버(130)는 게임 서버(110)로부터 기 설정된 주기 단위로 게임플레이 데이터에 대응하여 산출된 이벤트 데이터를 수신하고, 이를 json, xml과 같은 메타 데이터 형태로 가공하여 제공할 수 있다.
예컨대, 도 6을 참조하면, 본 실시예에 따른 스트리밍 서버(130)가 이벤트 데이터를 가공하여 생성한 메타 데이터의 형태를 확인할 수 있다. 한편, 도 6에서는 이벤트 데이터가 게임 플레이어가 소속된 팀 관련 정보(ex: 진영 정보 등)을 나타내는 경우의 메타 데이터의 형태를 예시하였다.
스트리밍 플레이어 장치(140)는 본 실시예에 따른 맞춤형 멀티뷰 기술의 제공 대상이 되는 대상 단말기를 의미한다.
스트리밍 플레이어 장치(140)는 스마트폰(Smart Phone), 태블릿(Tablet), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 개인 휴대 단말기(PDA: Portable Multimedia Player), 무선 통신 단말기(Wireless Communication Terminal), 미디어 플레이어 등과 같은 방송영상을 송출하거나 수신할 수 있는 전자기기일 수 있다.
본 실시예에 따른 스트리밍 플레이어 장치(140)는 복수의 채널영상들을 한 화면을 통해 동시 출력하는 멀티뷰 기능을 제공하며, 해당 화면 내 포함되는 채널영상들을 자유롭게 전환 가능토록 구현된다. 예컨대, 스트리밍 플레이어 장치(140)는 게임 중계 영상을 멀티뷰 화면을 제공하는 도중 특별한 조작 없이도 시청자 선호에 맞게 영상을 자동 재구성하여 제공한다
이를 위해, 스트리밍 플레이어 장치(140)는 멀티뷰 플랫폼 장치(120) 및 스트리밍 서버(130)로부터 복수의 채널영상들을 하나의 영상으로 병합한 병합 영상 스트림 및 이에 대응하는 게임 메타 데이터를 수집한다.
스트리밍 플레이어 장치(140)는 게임 메타 데이터를 활용하여 병합 영상 스트림 내 포함된 채널영상 중 멀티뷰 후보 데이터를 선별하고, 선별된 멀티뷰 후보 데이터를 활용하여 멀티뷰 화면을 자동 재구성할 수 있다.
다른 실시예에서, 스트리밍 플레이어 장치(140)는 스트리밍 플레이어 장치(140)의 사용자로부터 특정 채널영상에 대한 선택정보를 수신하고, 이를 기반으로 멀티뷰 화면을 자동 재구성하여 제공할 수도 있다.
한편, 스트리밍 플레이어 장치(140)가 멀티뷰 화면을 구성하는 구체적인 방법은 도 2에서 보다 자세히 후술토록 한다.
도 2는 본 실시예에 따른 스트리밍 플레이어 장치를 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 스트리밍 플레이어 장치(140)는 데이터 수신부(200), 메타 데이터 수집부(210), 데이터 추출부(220) 및 멀티뷰 생성부(230)를 포함한다.
데이터 수신부(200)는 멀티뷰 데이터를 포함한 화면 상에 출력하고자 하는 방송 데이터를 수신하는 기능을 수행한다.
본 실시예에 있어서, 데이터 수신부(200)는 복수의 채널영상들을 하나의 영상으로 병합한 병합 영상 스트림을 멀티뷰 데이터로서 수신할 수 있다. 예컨대, 데이터 수신부(200)는 HEVC의 타일 기반 기술을 이용하여 복수 개의 채널영상을 각각 하나의 타일 단위로 인식하는 병합 영상 스트림을 멀티뷰 데이터로서 수신할 수 있다.
메타 데이터 수집부(210)는 병합 영상 스트림에 대응하는 게임 메타 데이터를 수집하는 기능을 수행한다.
본 실시예에 따른 메타 데이터 수집부(210)는 병합 영상 스트림에 대응하는 게임 플레이 데이터 내 적어도 하나 이상의 이벤트 데이터에 대한 메타 데이터일 수 있다. 여기서, 이벤트 데이터는 게임 서버(110)가 게임플레이 데이터에 근거하여 분석한 데이터를 의미한다. 예컨대, 이벤트 데이터는 게임 시작 및 종료 정보, 게임 플레이어 정보, 게임 아이템 획득정보, 게임 승패정보, 게임 통계정보 및 관전(Observer) 정보 중 적어도 하나 이상의 정보가 포함될 수 있다.
데이터 추출부(220)는 메타 데이터 수집부(210)를 통해 수집한 게임 메타 데이터를 기반으로 병합 영상 스트림에 포함된 채널영상 중 기 설정된 조건정보를 만족하는 멀티뷰 후보 데이터를 추출하는 기능을 수행한다.
즉, 데이터 추출부(220)는 메타 데이터 수집부(210)를 통해 수집한 게임 메타 데이터를 기반으로 게임 플레이어가 플레이어하는 게임의 현재 상황을 실시간으로 분석하고, 이를 기반으로 시청자가 관심을 가질 것으로 예상되는 채널영상을 멀티뷰 후보 데이터로서 선정한다. 예컨대, 데이터 추출부(220)는 게임 메타 데이터를 기반으로 게임 내 객체의 행동패턴을 분석하여 행동 정보를 추출하고, 추출된 행동정보에 따라 상기의 기 설정된 조건정보와 매칭 여부를 판별할 수 있다. 이는, 방송 카테고리가 게임이 아닌 경우에도, 적응적으로 적용될 수 있다.
한편, 기 설정된 조건정보는 사전에 사용자에 의해 다양한 조건이 설정될 수 있으며, 본 실시예에서는 해당 조건에 대해 특정 조건으로서 한정하지는 않는다.
이하, 데이터 추출부(220)가 게임 메타 데이터를 기반으로 멀티뷰 후보 데이터를 선정하는 방법에 대해 설명하도록 한다.
데이터 추출부(220)는 게임 메타 데이터에 포함된 게임 플레이어의 진영정보를 기반으로 멀티뷰 화면의 각 영역 상에 배치되는 멀티뷰 후보 데이터를 선별할 수 있다.
데이터 추출부(220)가 특정 게임(ex: 리그오브레전드)와 관련하여 게임 플레이어의 진영정보를 기반으로 멀티뷰 후보 데이터를 선별하는 방법을 보다 구체적으로 예시하면 다음과 같다. 예컨대, 경기 진영(블루(좌)/퍼플(우))이 정해져 있고, 매 경기 세트마다 진영이 바뀌는 특정 게임의 경우 이에 맞게 영상이 재배치되어야 한다.
즉, 도 7을 참조하면, 데이터 추출부(220)가 게임 플레이어의 진영정보에 따라 좌/우 병합 영상을 게임 세트마다 자동으로 변경되도록 멀티뷰 화면의 각 영역 상에 배치되는 멀티뷰 후보 데이터를 선별하는 것을 확인할 수 있다.
데이터 추출부(220)는 게임 메타 데이터에 포함된 관전 정보를 기반으로 게임 내 특정 영역에 위치하는 게임 플레이어들에 대한 채널영상을 멀티뷰 후보 데이터로서 선별할 수 있다. 예컨대, 특정 게임과 관련하여 설명하자면, 데이터 추출부(220)는 게임 메타 데이터에 포함된 관전 정보를 기반으로 옵저버가 보고 있는 라인(탑/미드/바텀/정글)에 해당하는 선수들의 개인화면을 멀티뷰 후보 데이터로서 선별할 수 있다.
즉, 도 8을 참조하면, 데이터 추출부(220)가 옵저버가 가리키는 화면에 맞는 선수들의 개인화면들로 멀티뷰 화면이 구성될 수 있도록 멀티뷰 후보 데이터를 선별하는 것을 확인할 수 있다.
데이터 추출부(220)는 게임 메타 데이터에 포함된 게임 통계정보를 기반으로 게임 플레이어들에 대한 현재 상태정보를 판별하고, 판별결과에 따라 특정 상태를 만족하는 게임 플레이어들에 대한 채널영상을 멀티뷰 후보 데이터로서 선별할 수 있다. 예컨대, 데이터 추출부(220)는 게임 메타 데이터에 포함된 게임 통계정보를 기반으로 현재 게임 플레이어들에 대한 생존 여부를 판별하고, 판별결과에 따라 생존한 게임 플레이어들에 대한 채널영상을 멀티뷰 후보 데이터로서 선별할 수 있다.
마찬가지로, 특정 게임(베틀 그라운드)와 관련하여 예시적으로 설명하자면, 20개의 팀 중 최종 1개팀 만이 우승하는 배틀로열방식의 게임은 탈락되는 팀의 경우 멀티뷰 화면에서 제외되어야 한다. 도 9를 참조하면, 데이터 추출부(220)가 팀 탈락 여부에 따라 현재 생존한 팀과 관련하여 멀티뷰 화면이 구성될 수 있도록 멀티뷰 후보 데이터를 선별하는 것을 확인할 수 있다.
다른 실시예에서, 데이터 추출부(220)는 스트리밍 플레이어 장치(140)의 사용자로부터 직접 시청하고자 하는 멀티뷰 화면에 대한 선택정보를 수신하고, 이를 기반으로 멀티뷰 후보 데이터를 선별할 수도 있다.
멀티뷰 생성부(230)는 멀티뷰 후보 데이터를 기반으로 병합 영상 스트림을 재병합하고, 재병합된 영상 스트림을 활용하여 멀티부 화면을 재구성하여 제공한다.
마찬가지로, 본 실시예에 있어서, 멀티뷰 생성부(230)는 병합 영상 스트림 내 멀티뷰 후보 데이터에 상응하는 채널영상을 추출하고, 추출된 채널영상 각각을 하나의 타일 단위로 재병합하여 제공할 수 있다. 즉, 멀티뷰 생성부(230)는 멀티뷰 후보 데이터의 숫자가 많아 단말기에 이를 동시에 재생할 수 있는 개수의 한도를 초과할 경우에도 멀티뷰 후보 데이터를 타일 기반으로 재병합함에 따라 동시에 재생되는 영상의 개수를 최소화할 수 있다. 이는 스트리밍 플레이어 장치(140)의 서용자로 하여금 단말기 동시 재생 한도 이상의 개별화면을 시청 가능토록 하는 효과가 있다.
도 4는 본 실시예에 따른 스트리밍 플레이어 장치의 멀티뷰 지원방법을 설명하기 위한 순서도이다.
스트리밍 플레이어 장치(140)는 복수의 채널영상들을 하나의 영상으로 병합합 병합 영상 스트림을 수신한다(S402). 단계 S402에서 스트리밍 플레이어 장치(140)는 HEVC의 타일 기반 기술을 이용하여 복수 개의 채널영상을 각각 하나의 타일 단위로 인식하는 병합 영상 스트림을 멀티뷰 데이터로서 수신할 수 있다.
스트리밍 플레이어 장치(140)는 외부장치로부터 병합 영상 스트림에 대응하는 게임 메타 데이터를 수집한다(S404). 단계 S404에서 스트리밍 플레이어 장치(140)는 병합 영상 스트림에 대응하는 게임 플레이 데이터 내 적어도 하나 이상의 이벤트 데이터에 대한 메타 데이터를 수집한다.
스트리밍 플레이어 장치(140)는 단계 S404의 게임 메타 데이터를 기반으로 단계 S402의 병합 영상 스트림 내 채널영상 중 기 설정된 조건정보를 만족하는 멀티뷰 후보 데이터를 추출한다(S406). 단계 S406에서 스트리밍 플레이어 장치(140)는 게임 메타 데이터 내 게임 플레이어의 진영정보에 따라 좌/우 병합 영상을 게임 세트마다 자동으로 변경되도록 멀티뷰 후보 데이터를 선별할 수 있다.
스트리밍 플레이어 장치(140)는 게임 메타 데이터에 포함된 관전 정보를 기반으로 게임 내 특정 영역에 위치하는 게임 플레이어들에 대한 채널영상을 멀티뷰 후보 데이터로서 선별할 수 있다.
스트리밍 플레이어 장치(140)는 게임 메타 데이터에 포함된 게임 통계정보를 기반으로 게임 플레이어들에 대한 현재 상태정보를 판별하고, 판별결과에 따라 특정 상태를 만족하는 게임 플레이어들에 대한 채널영상을 멀티뷰 후보 데이터로서 선별할 수 있다.
스트리밍 플레이어 장치(140)는 단계 S406의 멀티뷰 후보 데이터를 기반으로 병합 영상 스트림을 재병합하여 멀티뷰 화면을 재구성한다(S408).
여기서, 단계 S402 내지 S408은 앞서 설명된 스트리밍 플레이어 장치(140)의 각 구성요소의 동작에 대응되므로 더 이상의 상세한 설명은 생략한다.
도 4에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 4에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 4에 기재된 멀티뷰 제공방법은 프로그램으로 구현되고 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 기록될 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 멀티뷰 시스템 110: 게임 서버
120: 멀티뷰 플랫폼 장치 130: 스트리밍 서버
140: 스트리밍 플레이어 장치 200: 데이터 수신부
210: 메타 데이터 수집부 220: 데이터 추출부
230: 멀티뷰 생성부

Claims (8)

  1. 복수의 채널영상들을 하나의 영상으로 병합한 병합 영상 스트림을 멀티뷰 데이터로서 수신하는 데이터 수신부;
    외부장치로부터 상기 병합 영상 스트림에 대응하는 메타 데이터를 수집하는 메타 데이터 수집부;
    상기 메타 데이터를 기반으로 영상 내 객체의 행동패턴을 분석하여 행동 정보를 추출하고, 추출된 행동 정보를 기초로 상기 복수의 채널영상 중 기 설정된 조건정보를 만족하는 멀티뷰 후보 데이터를 추출하는 데이터 추출부; 및
    상기 멀티뷰 후보 데이터를 기반으로 상기 병합 영상 스트림을 재병합하고, 재병합된 영상 스트림을 활용하여 하나의 화면의 각 영역에 배치되도록 멀티뷰 화면을 재구성하는 멀티뷰 생성부
    를 포함하는 것을 특징으로 하는 스트리밍 플레이어 장치.
  2. 제 1항에 있어서,
    상기 데이터 수신부는,
    상기 복수의 채널영상을 각각 하나의 타일(Tile) 단위로 인식하는 상기 병합 영상 스트림을 수신하는 것을 특징으로 하는 스트리밍 플레이어 장치.
  3. 제 1항에 있어서,
    상기 메타 데이터는,
    상기 병합 영상 스트림에 대응하는 이벤트 데이터를 가공하여 생성된 것을 특징으로 하는 스트리밍 플레이어 장치.
  4. 제 1항에 있어서,
    상기 데이터 추출부는,
    상기 추출된 행동 정보에 따라 상기 기 설정된 조건정보와 매칭 여부를 판별함으로써 상기 멀티뷰 후보 데이터를 추출하는 것을 특징으로 하는 스트리밍 플레이어 장치.
  5. 제 1항에 있어서,
    상기 데이터 추출부는,
    사용자로부터 수신된 멀티뷰 화면에 대한 선택 정보를 더 고려하여 상기 멀티뷰 후보 데이터를 선별하는 것을 특징으로 하는 스트리밍 플레이어 장치.
  6. 제 1항에 있어서,
    상기 멀티뷰 생성부는,
    상기 병합 영상 스트림 내 상기 멀티뷰 후보 데이터에 상응하는 채널영상을 추출하고, 추출된 채널영상 각각을 하나의 타일 단위로 재병합하는 것을 특징으로 하는 스트리밍 플레이어 장치.
  7. 복수의 채널영상들을 하나의 영상으로 병합한 병합 영상 스트림을 멀티뷰 데이터로서 수신하는 과정;
    외부장치로부터 상기 병합 영상 스트림에 대응하는 메타 데이터를 수집하는 과정;
    상기 메타 데이터를 기반으로 영상 내 객체의 행동패턴을 분석하여 행동 정보를 추출하고, 추출된 행동 정보를 기초로 상기 복수의 채널영상 중 기 설정된 조건정보를 만족하는 멀티뷰 후보 데이터를 추출하는 과정; 및
    상기 멀티뷰 후보 데이터를 기반으로 상기 병합 영상 스트림을 재병합하고, 재병합된 영상 스트림을 활용하여 하나의 화면의 각 영역에 배치되도록 멀티뷰 화면을 재구성하는 과정
    을 포함하는 것을 특징으로 하는 멀티뷰 제공방법.
  8. 데이터 처리 기기에,
    복수의 채널영상들을 하나의 영상으로 병합한 병합 영상 스트림을 멀티뷰 데이터로서 수신하는 과정;
    외부장치로부터 상기 병합 영상 스트림에 대응하는 메타 데이터를 수집하는 과정;
    상기 메타 데이터를 기반으로 영상 내 객체의 행동패턴을 분석하여 행동 정보를 추출하고, 추출된 행동 정보를 기초로 상기 복수의 채널영상 중 기 설정된 조건정보를 만족하는 멀티뷰 후보 데이터를 추출하는 과정; 및
    상기 멀티뷰 후보 데이터를 기반으로 상기 병합 영상 스트림을 재병합하고, 재병합된 영상 스트림을 활용하여 하나의 화면의 각 영역에 배치되도록 멀티뷰 화면을 재구성하는 과정
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020210088107A 2019-06-04 2021-07-05 멀티뷰 제공을 위한 스트리밍 플레이어 장치 및 그 방법 KR102404737B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210088107A KR102404737B1 (ko) 2019-06-04 2021-07-05 멀티뷰 제공을 위한 스트리밍 플레이어 장치 및 그 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190066198A KR102276193B1 (ko) 2019-06-04 2019-06-04 멀티뷰 제공을 위한 스트리밍 플레이어 장치 및 그 방법
KR1020210088107A KR102404737B1 (ko) 2019-06-04 2021-07-05 멀티뷰 제공을 위한 스트리밍 플레이어 장치 및 그 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190066198A Division KR102276193B1 (ko) 2019-06-04 2019-06-04 멀티뷰 제공을 위한 스트리밍 플레이어 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20210087918A KR20210087918A (ko) 2021-07-13
KR102404737B1 true KR102404737B1 (ko) 2022-05-31

Family

ID=73779889

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190066198A KR102276193B1 (ko) 2019-06-04 2019-06-04 멀티뷰 제공을 위한 스트리밍 플레이어 장치 및 그 방법
KR1020210088107A KR102404737B1 (ko) 2019-06-04 2021-07-05 멀티뷰 제공을 위한 스트리밍 플레이어 장치 및 그 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020190066198A KR102276193B1 (ko) 2019-06-04 2019-06-04 멀티뷰 제공을 위한 스트리밍 플레이어 장치 및 그 방법

Country Status (1)

Country Link
KR (2) KR102276193B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102614561B1 (ko) * 2021-12-22 2023-12-19 주식회사 티빙 멀티뷰 서비스 제공 방법 및 이를 위한 장치
KR102641876B1 (ko) * 2023-06-27 2024-02-29 주식회사 인텔리빅스 관심비디오 동시재생 장치 및 방법
KR102627662B1 (ko) * 2023-06-28 2024-01-19 안상용 인게임 플레이어 오브젝트 매칭을 이용한 방송 송출시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100998547B1 (ko) * 2008-12-09 2010-12-07 주식회사 어니언텍 다중화면표시를 위한 방송 시스템 및 방법
GB2507036A (en) * 2012-10-10 2014-04-23 Lifecake Ltd Content prioritization
KR20150008739A (ko) * 2013-07-15 2015-01-23 주식회사 케이티 개인화된 비디오 기반의 화면을 제공하는 서버 및 방법, 그리고 디바이스
KR102106103B1 (ko) * 2015-07-03 2020-05-04 에스케이 텔레콤주식회사 고 해상도 영상에서의 영상 추출 장치 및 방법
US10743000B2 (en) * 2016-07-01 2020-08-11 Sk Telecom Co., Ltd. Video bitstream generation method and device for high-resolution video streaming

Also Published As

Publication number Publication date
KR20210087918A (ko) 2021-07-13
KR102276193B1 (ko) 2021-07-12
KR20200139557A (ko) 2020-12-14

Similar Documents

Publication Publication Date Title
KR102404737B1 (ko) 멀티뷰 제공을 위한 스트리밍 플레이어 장치 및 그 방법
US11770591B2 (en) Systems, apparatus, and methods for rendering digital content streams of events, and synchronization of event information with rendered streams, via multiple internet channels
US10531158B2 (en) Multi-source video navigation
CN109327741B (zh) 游戏直播方法、装置和系统
US20110214141A1 (en) Content playing device
US8522160B2 (en) Information processing device, contents processing method and program
WO2016150317A1 (zh) 直播视频的合成方法、装置及系统
US8265707B2 (en) Cellular multiscreen system
CN105306468A (zh) 一种合成视频数据实时共享的方法及其主播客户端
CN103581769B (zh) 用户装置、第二屏幕系统和渲染第二屏幕信息的方法
CA2937093C (en) Generating visualizations for display along with video content
KR101571283B1 (ko) 그래픽 오브젝트를 이용한 증강 미디어 콘텐츠를 제공하기 위한 미디어 콘텐츠 송신 방법 및 장치, 및 수신 방법 및 장치
CN105704399A (zh) 多画面电视节目的播出方法和系统
KR102025157B1 (ko) 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법
CN102655606A (zh) 为基于p2p网络的直播节目添加实时字幕和手语服务的方法及系统
KR100998547B1 (ko) 다중화면표시를 위한 방송 시스템 및 방법
KR102026454B1 (ko) 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법
KR20130103931A (ko) 메타데이터 우선제공 증강방송 장치 및 방법
CN107005658A (zh) 实现交互特效的系统和方法
KR102108775B1 (ko) 맞춤형 멀티뷰 제공을 위한 스트리밍 플랫폼 장치 및 그 방법
CN108737844A (zh) 信息传输方法及装置、存储介质、电子装置
Ramon Olympic Channel: showcasing the Games in the age of digital plenitude
CN110198457A (zh) 视频播放方法及其设备、系统、存储介质、终端、服务器
Aracena et al. Live VR end-to-end workflows: Real-life deployments and advances in VR and network technology
KR100874024B1 (ko) 대화형 콘텐츠를 중계하는 중계기, 방법 및 그 기록매체

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant