KR20230161804A - 아바타를 이용한 메타버스 클라우드 스트리밍 시스템 및 방법 - Google Patents

아바타를 이용한 메타버스 클라우드 스트리밍 시스템 및 방법 Download PDF

Info

Publication number
KR20230161804A
KR20230161804A KR1020220061610A KR20220061610A KR20230161804A KR 20230161804 A KR20230161804 A KR 20230161804A KR 1020220061610 A KR1020220061610 A KR 1020220061610A KR 20220061610 A KR20220061610 A KR 20220061610A KR 20230161804 A KR20230161804 A KR 20230161804A
Authority
KR
South Korea
Prior art keywords
information
content
viewer
avatar
broadcaster
Prior art date
Application number
KR1020220061610A
Other languages
English (en)
Inventor
양승준
곽노진
Original Assignee
주식회사 볼트홀
주식회사 인플루전
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 볼트홀, 주식회사 인플루전 filed Critical 주식회사 볼트홀
Priority to KR1020220061610A priority Critical patent/KR20230161804A/ko
Publication of KR20230161804A publication Critical patent/KR20230161804A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 적어도 하나의 시청자 단말기, 방송자 단말기 및 방송 플랫폼 시스템과 네트워크망을 통해 연결되는, 아바타를 이용한 메타버스 클라우드 스트리밍 시스템에 관한 것으로서, 플레이 가능한 콘텐츠 정보, 시청자 정보, 방송자 정보, 아바타 정보, 히스토리 정보, 추천 정보를 저장하는 데이터베이스; 상기 데이터베이스부를 참조하여 상기 시청자 단말기 또는 방송자 단말기에 콘텐츠 및 아바타 정보를 제공하고, 채팅을 하도록 하는 서버를 포함한다. 본 발명의 실시예에서는, 커스터마이징된 아바타를 이용하여 콘텐츠 플레이 유저와 시청자 유저간 채팅이 가능하고, 다중접속 사용자의 입력 신호를 개별처리하고, 일부 데이터가 유실되어도 동일 타임의 다른 데이터를 버리고 다음 타임의 데이터를 출력하여 영상이 멈추거나 끊기지 않도록 할 수 있다.

Description

아바타를 이용한 메타버스 클라우드 스트리밍 시스템 및 방법 {Metaverse cloud streaming system and method using avatar}
본 발명은 아바타를 이용한 메타버스 클라우드 스트리밍 시스템 및 방법에 관한 것으로 특히, 커스터마이징된 아바타를 이용하여 콘텐츠 플레이 유저와 시청자 유저간 채팅이 가능하고, 다중접속 사용자의 입력 신호를 개별처리하고, 일부 데이터가 유실되어도 동일 타임의 다른 데이터를 버리고 다음 타임의 데이터를 출력하여 영상이 멈추거나 끊기지 않도록 하는, 아바타를 이용한 메타버스 클라우드 스트리밍 시스템 및 방법에 관한 것이다.
일반적으로 스트리밍(streaming)은 소리 및 동영상 등의 멀티미디어 콘텐츠를 전송 및 재생하기 위한 방식 중 하나이다.
클라이언트는 스트리밍을 통해 콘텐츠를 수신하는 동시에 상기의 콘텐츠를 재생할 수 있다.
적응적 스트리밍 서비스는, 클라이언트의 요청 및 상기의 요청에 대한 서버의 응답으로 구성되는 통신 방식을 통해 스트리밍 서비스를 제공하는 것을 의미한다.
클라이언트는 적응적 스트리밍 서비스를 통해 자신의 환경(예컨대, 자신의 전송 채널)에 적합한 미디어 시퀀스를 요청할 수 있으며, 서버는 자신이 갖고 있는 다양한 퀄리티의 미디어 시퀀스들 중 클라이언트의 요청에 부합하는 미디어 시퀀스를 제공할 수 있다.
적응적 스트리밍 서비스는 다양한 프로토콜에 기반하여 제공될 수 있다.
HTTP 적응적 스트리밍 서비스는 HTTP 프로토콜에 기반하여 제공되는 적응적 스트리밍 서비스를 의미한다. HTTP 적응적 스트리밍 서비스의 클라이언트는 HTTP 프로토콜을 사용하여 서버로부터 콘텐츠를 제공받을 수 있으며, 스트리밍 서비스와 관련된 요청을 서버에게 전송할 수 있다.
그런데, 기존의 데이터 동기화 스트리밍 방식(유튜브 등)은 영상/오디오 등 어느 하나의 데이터가 유실되면, 유실된 데이터를 동기화시키기 위해 미디어 출력이 대기상태가 되는 문제가 있다.
또한, 기존의 스트리밍 기술에서 단일 OS 입력은 다중 사용자의 입력을 1개의 컨트롤 신호로 처리하게 되어 사용자들이 불편한 문제가 있다.
본 발명이 이루고자 하는 기술적 과제는 종래의 불편한 점을 개선하고자 하는 것으로, 커스터마이징된 아바타를 이용하여 콘텐츠 플레이 유저와 시청자 유저간 채팅이 가능하고, 다중접속 사용자의 입력 신호를 개별처리하고, 일부 데이터가 유실되어도 동일 타임의 다른 데이터를 버리고 다음 타임의 데이터를 출력하여 영상이 멈추거나 끊기지 않도록 하는, 아바타를 이용한 메타버스 클라우드 스트리밍 시스템 및 방법을 제공하는 것이다.
또한, 본 발명이 이루고자 하는 기술적 과제는 종래의 불편한 점을 개선하고자 하는 것으로, 콘텐츠에 대응되는 아바타를 추천하여 콘텐츠 이용의 재미를 배가하는, 아바타를 이용한 메타버스 클라우드 스트리밍 방법을 제공하는 것이다.
이러한 과제를 해결하기 위한 본 발명의 특징에 따른 아바타를 이용한 메타버스 클라우드 스트리밍 시스템은,
적어도 하나의 시청자 단말기, 방송자 단말기 및 방송 플랫폼 시스템과 네트워크망을 통해 연결되는, 아바타를 이용한 메타버스 클라우드 스트리밍 시스템으로서,
플레이 가능한 콘텐츠 정보, 시청자 정보, 방송자 정보, 아바타 정보, 히스토리 정보, 추천 정보를 저장하는 데이터베이스;
상기 데이터베이스부를 참조하여 상기 시청자 단말기 또는 방송자 단말기에 콘텐츠 및 아바타 정보를 제공하고, 채팅을 하도록 하는 서버를 포함한다.
상기 데이터베이스부는,
시청자 정보를 저장하는 시청자 정보 DB;
방송자 정보를 정보를 저장하는 방송자 정보 DB;
아바타 정보를 저장하는 아바타 정보 DB;
플레이 가능한 콘텐츠 정보를 저장하는 콘텐츠 정보 DB;
시청자의 시청청보 히스토리, 방송자의 방송 히스토리 및 아바타를 선택한 히스토리를 저장하는 아바타 히스토리 정보를 저장하는 히스토리 정보 DB;
콘텐츠 분야별 일별, 주별 및 월별 인기콘텐츠리스트와, 시청자가 최근 선택한 콘텐츠 분야에 대응되는 콘텐츠 리스트와, 콘텐츠 및 시청자 성향에 대응되는 인기 아바타 리스트를 저장하는 추천 정보 DB를 포함한다.
상기 서버는,
상기 데이터베이스부를 참조하여 상기 시청자 단말기 또는 방송자 단말기가 접속하면 인증절차를 진행하는 회원 관리부;
시청자 또는 방송자 선택에 따라 시청자, 방송자 또는 방송 플랫폼 시스템에 콘텐츠 및 아바타 정보를 제공하는 스트리밍 콘텐츠 제공부;
시청자 또는 방송자 간의 채팅을 진행하는 채팅 처리부;
시청자의 시청청보 히스토리, 방송자의 방송 히스토리 및 아바타 히스토리 정보를 상기 히스토리 정보 DB에 저장하고, 콘텐츠 분야별 일별, 주별 및 월별 인기콘텐츠리스트와, 시청자가 최근 선택한 콘텐츠 분야에 대응되는 콘텐츠 리스트와, 콘텐츠 및 시청자 성향에 대응되는 인기 아바타 리스트를 생성하여 추천 정보 DB에 저장하고, 시청자 또는 방송자에게 추천하는 추천정보 제공부를 포함한다.
상기 서버는 시청자 단말기, 방송자 단말기 또는 방송 플랫폼 시스템에 콘텐츠를 스트리밍시에 하드웨어 인풋을 적용하여 단일 OS에 다중접속 사용자의 인풋 신호를 개별처리한다.
상기 시청자 단말기, 방송자 단말기 또는 방송 플랫폼 시스템은
상기 서버로부터 비디오 데이터 및 오디오 데이터를 포함하는 컨텐츠 정보를 복수의 프레임 단위로 수신하고,
상기 수신되는 컨텐츠 정보의 복수의 프레임 중 상기 비디오 데이터 및 상기 오디오 데이터 중 적어도 하나가 누락된 일부 프레임을 검출하고,
상기 누락된 일부 프레임에 대한 영상 처리를 건너뛰고, 상기 일부 프레임의 후속 프레임에 대한 영상 처리를 수행하는 것을 특징으로 하고,
상기 복수의 프레임 각각에 포함된 상기 비디오 데이터와 상기 오디오 데이터는 실시간 단위로 동기화된다.
상기 시청자 단말기 또는 방송자 단말기 각각은,
스트리밍 서비스를 제공하는 서버와 통신하는 통신부;
사용자의 입력을 수신하는 입력부;
정보를 표시하는 표시부 및
상기 서버로부터 비디오 데이터 및 오디오 데이터를 포함하는 컨텐츠 정보를 복수의 프레임 단위로 수신하도록 상기 통신부를 제어하고, 상기 수신되는 컨텐츠 영상의 복수의 프레임 중 상기 비디오 데이터 및 오디오 데이터 중 적어도 하나가 누락된 일부 프레임을 검출하고, 상기 누락된 일부 프레임에 대한 영상 처리를 건너뛰고, 상기 일부 프레임의 후속 프레임에 대한 영상 처리를 수행하는 제어부를 포함한다.
이러한 과제를 해결하기 위한 본 발명의 특징에 따른 아바타를 이용한 메타버스 클라우드 스트리밍 방법은,
적어도 하나의 시청자 단말기, 방송자 단말기 및 방송 플랫폼 시스템과 네트워크망을 통해 연결되는, 아바타를 이용한 메타버스 클라우드 스트리밍 시스템의 메타버스 클라우드 스트리밍 방법으로서,
방송용 콘텐츠에 대한 스트리밍 방송을 진행하는 방송자의 방송자 단말기 또는 시청자 단말기로부터 상기 방송용 콘텐츠에 대한 스트리밍 요청을 수신하는 단계;
상기 스트리밍 요청에 응답하여, 상기 방송 플랫폼 시스템을 이용하여, 상기 방송용 콘텐츠를 시청자 단말기 또는 방송자 단말기로 스트리밍하는 단계;
상기 시청자 단말기 또는 방송자 단말기로부터 아바타 제공 요청을 수신하는 단계
상기 시청자 단말기 또는 방송자 단말기의 요청에 대응하여 아바타를 제공하는 단계;
상기 시청자 단말기 또는 방송자 단말기로부터 채팅 서비스 제공 요청을 수신하는 단계;
상기 시청자 단말기 또는 방송자 단말기의 요청에 대응하여 채팅 정보를 제공하는 단계를 포함한다.
상기 방송용 콘텐츠는 상기 방송자 단말기에서 실행 중인 방송용 콘텐츠이다.
상기 아바타 선택시에, 남자, 여자 기본체형을 선택하고,
인종을 선택하고,
복장을 선택하고,
헤어스타일을 선택하고,
턱크기, 턱선, 볼, 귀를 포함한 얼굴 형태를 선택하고,
눈을 선택하고,
눈썹을 선택하고,
코를 선택하고,
입을 선택하며,
색조화장을 선택하여 아바타를 선택하는 것을 특징으로 한다.
상기 아바타 선택시에, 머리 크기, 가슴 크기, 허리두께, 팔 길이, 팔 두께, 엉덩이 크기, 골반 두께, 다리 길이 및 다리 두께를 선택하여 아바타를 생성하는 것을 특징으로 한다.
상기 시청자 플레이어가 VR 기기의 위치를 이동시키면 실시간으로 위치에 따른 아바타의 포즈가 변경되도록 할 수도 있다.
본 발명의 실시예에서는, 커스터마이징된 아바타를 이용하여 콘텐츠 플레이 유저와 시청자 유저간 채팅이 가능하고, 다중접속 사용자의 입력 신호를 개별처리하고, 일부 데이터가 유실되어도 동일 타임의 다른 데이터를 버리고 다음 타임의 데이터를 출력하여 영상이 멈추거나 끊기지 않도록 하는, 아바타를 이용한 메타버스 클라우드 스트리밍 시스템 및 방법을 제공할 수 있다.
또한, 본 발명의 실시예에서는, 콘텐츠에 대응되는 아바타를 추천하여 콘텐츠 이용의 재미를 배가하는, 아바타를 이용한 메타버스 클라우드 스트리밍 방법을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 아바타를 이용한 메타버스 클라우드 스트리밍 시스템의 구성도이다.
도 2는 도 1의 방송자 단말기의 구성도이다.
도 3은 본 발명의 실시예에 따른 아바타를 이용한 메타버스 클라우드 스트리밍 방법의 동작흐름도이다.
도 4 내지 도 9는 본 발명의 실시예에 따른 아바타를 이용한 메타버스 클라우드 스트리밍 방법을 설명하기 위한 예를 나타낸 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 아바타를 이용한 메타버스 클라우드 스트리밍 시스템의 구성도이고, 도 2는 도 1의 방송자 단말기의 구성도이고, 도 3은 본 발명의 실시예에 따른 아바타를 이용한 메타버스 클라우드 스트리밍 방법의 동작흐름도이고, 도 4 내지 도 9는 본 발명의 실시예에 따른 아바타를 이용한 메타버스 클라우드 스트리밍 방법을 설명하기 위한 예를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 아바타를 이용한 메타버스 클라우드 스트리밍 시스템은,
적어도 하나의 시청자 단말기(200), 방송자 단말기(300) 및 방송 플랫폼 시스템(400)과 네트워크망을 통해 연결되는, 아바타를 이용한 메타버스 클라우드 스트리밍 시스템(100)으로서,
플레이 가능한 콘텐츠 정보, 시청자 정보, 방송자 정보, 아바타 정보, 히스토리 정보, 추천 정보를 저장하는 데이터베이스부(120);
상기 데이터베이스부(120)를 참조하여 상기 시청자 단말기(200) 또는 방송자 단말기(300)에 콘텐츠 및 아바타 정보를 제공하고, 채팅을 하도록 하는 서버(110)를 포함한다.
필요에 따라 방송 플랫폼 시스템(400)은 별도의 외부 서버로 구현하는 것도 가능하고, 상기 서버(110)에 그 역할이 포함될 수도 있다. 그리고, 서버(110)는 하나의 서버 또는 복수의 서버로 구현하는 것도 가능하다. 방송 플랫폼 시스템(400)은 네이버 티비나 유트브 등의 기존 방송 플랫폼 시스템(400)일 수 있다.
따라서, 서버(110)는 콘텐츠 정보를 방송자 단말기(300) 또는 시청자 단말기(200)에 직접 스트리밍 하거나 방송용 플랫폼 시스템(400)을 통해서 해줄 수도 있으며, 편의에 따라 이하에서는 간단히 설명한다.
상기 데이터베이스부(120)는,
시청자 정보를 저장하는 시청자 정보 DB(121);
방송자 정보를 정보를 저장하는 방송자 정보 DB(122);
아바타 정보를 저장하는 아바타 정보 DB(123);
플레이 가능한 콘텐츠 정보를 저장하는 콘텐츠 정보 DB(124);
시청자의 시청청보 히스토리, 방송자의 방송 히스토리 및 아바타를 선택한 히스토리를 저장하는 아바타 히스토리 정보를 저장하는 히스토리 정보 DB(125);
콘텐츠 분야별 일별, 주별 및 월별 인기콘텐츠리스트와, 시청자가 최근 선택한 콘텐츠 분야에 대응되는 콘텐츠 리스트와, 콘텐츠 및 시청자 성향에 대응되는 인기 아바타 리스트를 저장하는 추천 정보 DB(126)를 포함한다.
상기 서버(110)는,
상기 데이터베이스부(120)를 참조하여 상기 시청자 단말기(200) 또는 방송자 단말기(300)가 접속하면 인증절차를 진행하는 회원 관리부(111);
시청자 또는 방송자 선택에 따라 시청자, 방송자 또는 방송 플랫폼 시스템(400)에 콘텐츠 및 아바타 정보를 제공하는 스트리밍 콘텐츠 제공부(112);
시청자 또는 방송자 간의 채팅을 진행하는 채팅 처리부(113);
시청자의 시청청보 히스토리, 방송자의 방송 히스토리 및 아바타 히스토리 정보를 상기 히스토리 정보 DB에 저장하고, 콘텐츠 분야별 일별, 주별 및 월별 인기콘텐츠리스트와, 시청자가 최근 선택한 콘텐츠 분야에 대응되는 콘텐츠 리스트와, 콘텐츠 및 시청자 성향에 대응되는 인기 아바타 리스트를 생성하여 추천 정보 DB에 저장하고, 시청자 또는 방송자에게 추천하는 추천정보 제공부(114)를 포함한다.
상기 서버(110)는 시청자 단말기(200), 방송자 단말기(300) 또는 방송 플랫폼 시스템(400)에 콘텐츠를 스트리밍시에 하드웨어 인풋을 적용하여 단일 OS에 다중접속 사용자의 인풋 신호를 개별처리한다.
상기 서버(110)는 고화질 3D 콘텐츠 및 3D 아바타를 통해 현실감 및 몰입도 높은 메타버스 서비스 제공이 가능하다.
고객은 웹 접속만으로, 자유롭게 메타버스 서비스 경험이 가능하다.
또한, 언제 어디서나 네트워크 접속 가능한 상기 시청자 단말기(200), 방송자 단말기(300) 등을 통해 메타버스 서비스 이용이 가능하다.
상기 서버(110)는 SaaS 스트리밍 서버의 비용 절감을 위해, Window OS 및 Linux OS 기반스트리밍 서버를 함께 구축하고, 메타버스 콘텐츠의 OS에 따른 스트리밍 서버 자동 배치 및 송출 기술을 통해 콘텐츠 자동 배치 및 실행, 스트리밍, 그리고 원격플레이까지 자동 진행할 수 있다.
상기 서버(110)는 사용자가 언제 어디에서든 스트리밍된 메타버스 컨텐츠에 대한 원격플레이를 하기 위해 콘텐츠 종류(일반 콘텐츠 및 VR 콘텐츠) 및 모바일에 최적화된 컨트롤러를 제공할 수 있다.
또한, 서버(110)는 사용자가 HMD를 착용 후 보이스 커맨드로 UI 조작할 수 있는 기술도 제공한다.
상기 서버는 메타버스 콘텐츠에 동시접속이 가능한 동기화 서버 제공하고, 각 프로세서는 다중 실행이 가능하며 1500명의 동시접속 처리가 가능하다.
상기 서버 내부의 매니저 서버로부터 전송받은 콘텐츠의 ID와 메타버스 스트리밍 서버에 있는 콘텐츠 실행경로를 UI로 연결, WebRTC 플랫폼으로부터 받은 메타버스 콘텐츠 세팅 정보로 원격플레이를 준비, 해상도, 영상 인코딩, 오디오 인코딩을 초기화한 후, 메타버스 콘텐츠에 접속 처리할 수 있다.
상기 시청자 단말기(200), 방송자 단말기(300) 또는 방송 플랫폼 시스템(400)은,
상기 서버(110)로부터 비디오 데이터 및 오디오 데이터를 포함하는 컨텐츠 정보를 복수의 프레임 단위로 수신하고,
상기 수신되는 컨텐츠 정보의 복수의 프레임 중 상기 비디오 데이터 및 상기 오디오 데이터 중 적어도 하나가 누락된 일부 프레임을 검출하고,
상기 누락된 일부 프레임에 대한 영상 처리를 건너뛰고, 상기 일부 프레임의 후속 프레임에 대한 영상 처리를 수행하는 것을 특징으로 하고,
상기 복수의 프레임 각각에 포함된 상기 비디오 데이터와 상기 오디오 데이터는 실시간 단위로 동기화된다.
도 2를 참조하면, 방송자 단말기(300)는, 입력부(320), GPS부(340), 저장부(360), 카메라부(370), 통신부(350), 제어부(330), 표시부(310)를 포함한다.
표시부(310)는 입력부(320) 선택에 따라 다양한 화면 정보를 표시한다.
입력부(320)는 터치패널, 키패드 등의 입력장치가 포함될 수 있으며, 사용자가 메뉴선택을 하기 위하여 사용한다.
GPS부(340)는 적어도 두개의 GPS 위성으로부터 GPS 신호를 수신하여 자신의 위치정보를 생성하여 출력한다. 필요에 따라 GPS부(340)를 생략하고, 이동 통신사에서 제공하는 위치정보를 이용할 수도 있다.
저장부(360)는 부동산 서비스를 이용하기 위한 앱을 저장할 수 있고, 카메라부에서 촬영되는 촬영정보를 저장할 수도 있다.
카메라부(370)는 입력부(320)의 선택에 따라 촬영한다.
제어부(330)는 서버(110)로부터 수신되는 내용을 상기 표시부(310)에 표시하고, 상기 입력부(320)에 의해 입력된 정보를 상기 서버(110)로 전달하며, 앱을 수행할 수 있다. 또한, 필요에 따라 제어부(330)는 서버(110)에 접속하면, 주기적으로 자신의 위치를 전송한다.
또한, 제어부(330)는 상기 서버(110)로부터 비디오 데이터 및 오디오 데이터를 포함하는 컨텐츠 정보를 복수의 프레임 단위로 수신하도록 상기 통신부를 제어하고, 상기 수신되는 컨텐츠 영상의 복수의 프레임 중 상기 비디오 데이터 및 오디오 데이터 중 적어도 하나가 누락된 일부 프레임을 검출하고, 상기 누락된 일부 프레임에 대한 영상 처리를 건너뛰고, 상기 일부 프레임의 후속 프레임에 대한 영상 처리를 제어한다.
통신부(350)는 제어부(330)의 제어에 따라 서버(110)와 정보를 송수신하며, 블루투스 방식 또는 와이파이 방식, 3G, 4G 등 다양한 무선 인터넷이나 다른 무선 통신망을 이용할 수도 있다.
단말기는 스마트폰, 노트북, 태블릿 PC 등일 수 있다.
또한, 시청자 단말기(200)도 방송자 단말기와 동일한 구조를 가진다.
이러한 구성을 가진 본 발명의 실시예에 따른 아바타를 이용한 메타버스 클라우드 스트리밍 시스템의 동작을 설명하면 다음과 같다.
도 3을 참조하면, 먼저, 서버(110)는 방송용 콘텐츠에 대한 스트리밍 방송을 진행하는 방송자의 방송자 단말기 또는 시청자 단말기(200)로부터 상기 방송용 콘텐츠에 대한 스트리밍 요청을 수신하는 단계(S310)를 수행한다.
필요에 따라 회원관리부(111)는 시청자 정보 DB(121)와 방송자 정보 DB(122)를 참조하여 회원 인증을 할 수도 있다.
다음, 서버(110)의 스트리밍 콘텐츠 제공부(112)는 콘텐츠 정보 DB(124)를 참조하여 상기 스트리밍 요청에 응답하여, 상기 방송자 단말기(300)로 상기 방송용 콘텐츠를 상기 시청자 단말기(200)로 스트리밍하거나 또는 상기 방송 플랫폼 시스템(400)을 이용하여, 상기 방송용 콘텐츠를 상기 시청자 단말기(200)로 스트리밍하는 단계(S320)를 수행한다.
여기서, 필요에 따라 시청자 단말기(200)는 방송용 플랫폼 시스템(400)을 통해 방송용 콘텐츠를 수신할 수 있고, 방송자 단말기(300)는 방송용 콘텐츠에 추가하고자 하는 방송 콘텐츠를 방송용 플랫폼으로 전송하여 함께 방송이 되도록 할 수도 있다.
이때, 상기 방송용 콘텐츠는 상기 방송자 단말기(300)에서 실행 중인 방송용 콘텐츠 또는 게임 콘텐츠일 수 있다.
상기 과정에서, 상기 시청자 단말기(200), 방송자 단말기(300) 또는 방송 플랫폼 시스템(400) 각각은,
상기 서버(110)로부터 비디오 데이터 및 오디오 데이터를 포함하는 컨텐츠 정보를 복수의 프레임 단위로 수신하고,
상기 수신되는 컨텐츠 정보의 복수의 프레임 중 상기 비디오 데이터 및 상기 오디오 데이터 중 적어도 하나가 누락된 일부 프레임을 검출하고,
상기 누락된 일부 프레임에 대한 영상 처리를 건너뛰고, 상기 일부 프레임의 후속 프레임에 대한 영상 처리를 수행하는 것을 특징으로 하고,
상기 복수의 프레임 각각에 포함된 상기 비디오 데이터와 상기 오디오 데이터는 실시간 단위로 동기화된다.
도 4를 참조하면, 방송자 단말기(300) 또눈 시청자 단말기(200)는 서버(110)로부터 컨텐츠 영상의 복수의 프레임을 수신함에 있어, 그래픽 데이터 또는 사운드 데이터 중 적어도 하나의 데이터가 유실된 프레임에 대한 영상처리를 스킵(skip)할 수 있다.
도시된 예에서, 방송자 단말기(300) 또는 시청자 단말기(200)는 그래픽 데이터 및 사운드 데이터를 포함하는 8개의 프레임이 스트리밍 되는 과정에서, 4번 프레임(61)에 포함된 그래픽 데이터(62)의 값이 널(null)이고, 사운드 데이터(63)의 값이 정상인 경우, 4번 프레임(61)을 누락 프레임으로 처리할 수 있다. 즉, 널(null) 값을 가지는 그래픽 데이터(621)에 대응하는 사운드 데이터(631)에 자동으로 널(null) 값을 부여함에 의해, 그래픽 데이터(621) 및 사운드 데이터(631)를 폐기 처리할 수 있다.
이 때, 폐기 처리되는 그래픽 데이터(621) 및 사운드 데이터(631)를 포함하는 4번 프레임(61)은 누락 프레임으로 처리하여 영상 처리가 스킵되도록 할수 있다. 또한, 4번 프레임(61)에 대한 영상 처리가 스킵된 후, 후속 프레임에 대한 영상 처리는 계속적으로 수행될 수 있다. 이에 따라, 8번 프레임에서 5번 프레임까지의 컨텐츠 영상이 화면에 출력된 후, 4번 프레임은 스킵되고 이어서 3번 프레임에서 1번 프레임까지의 컨텐츠 영상이 화면에 출력될 수 있다.
상기와 같은 본 발명의 실시예에 의하면, 네트워크 환경 및 장치의
영상 처리 능력의 한계로 인해 스트리밍 되는 컨텐츠 영상의 일부 프레임이 유실되더라도, 영상이 멈추거나 지연되지 않고 끊김 없이 화면에 표시되도록 할 수 있다.
또한, 도 5를 참조하면, 상기 서버(110)는 시청자 단말기(200), 방송자 단말기(300) 또는 방송 플랫폼 시스템(400)에 콘텐츠를 스트리밍시에 하드웨어 인풋을 적용하여 단일 OS에 다중접속 사용자의 인풋 신호를 개별처리한다.
따라서 본 발명의 실시예에서는 플레이어 또는 시청자끼리 마우스와 키보드를 공유하지 않으므로 편리하고, 빠른 처리가 가능하다.
한편, 서버(110)는 상기 시청자 단말기(200) 또는 방송자 단말기(300)로부터 아바타 제공 요청을 수신하는 단계(S330)를 수행한다.
다음, 서버(110)채팅 처리부(113)는 아바타 정보 DB(123)를 참조하여 상기 시청자 단말기(200) 또는 방송자 단말기(300)의 요청에 대응하여 아바타를 제공하는 단계(S340)를 수행한다.
이때, 방송자 또는 시청자는 방송자 단말기(300) 또는 시청자 단말기(200)를 이용하여 상기 아바타 선택시에,
도 6과 같이 남자, 여자 기본체형을 선택하고,
인종을 선택하고,
도 7과 같이, 복장을 선택하고,
도 8과 같이, 헤어스타일을 선택하고,
도 9와 같이, 턱크기, 턱선, 볼, 귀를 포함한 얼굴 형태를 선택하고,
눈을 선택하고,
눈썹을 선택하고,
코를 선택하고,
입을 선택하며,
색조화장을 선택하여 아바타를 선택하는 것을 특징으로 한다.
상기 아바타 선택시에, 머리 크기, 가슴 크기, 허리두께, 팔 길이, 팔 두께, 엉덩이 크기, 골반 두께, 다리 길이 및 다리 두께를 선택하여 아바타를 생성하는 것을 특징으로 한다.
상기 방송자 플레이어 또는 시청자가 VR 기기의 위치를 이동시키면 실시간으로 위치에 따른 아바타의 포즈가 변경되도록 할 수도 있다. 이때 방송자 또는 시청자는 센서가 포함된 VR기기를 장착하고 있는 경우이다.
한편, 서버(110)는 상기 시청자 단말기(200) 또는 방송자 단말기(300)로부터 채팅 서비스 제공 요청을 수신하는 단계(S350)를 수행한다.
다음, 서버(110)채팅 처리부(113)는 상기 시청자 단말기(200) 또는 방송자 단말기(300)의 요청에 대응하여 채팅 정보를 제공하는 단계(S360)를 포함한다.
여기서, 서버(110)의 채팅 처리부(113)는 시청자들이 방송을 보면서 서로 또는 방송자와 채팅을 하도록 하며, 자신이 선택한 아바타로 채팅을 하도록 한다.
상기 과정(S310, S330, S350)에서 서버(110)의 추천정보 제공부(114)는 시청자의 시청청보 히스토리, 방송자의 방송 히스토리 및 아바타 히스토리 정보를 상기 히스토리 정보 DB(125)에 저장하고, 콘텐츠 분야별 일별, 주별 및 월별 인기콘텐츠리스트와, 시청자가 최근 선택한 콘텐츠 분야에 대응되는 콘텐츠 리스트와, 콘텐츠 및 시청자 성향에 대응되는 인기 아바타 리스트를 생성하여 추천 정보 DB(126)에 저장하고, 시청자 또는 방송자에게 추천해줄 수 있다.
본 발명의 실시예에서는, 커스터마이징된 아바타를 이용하여 콘텐츠 플레이 유저와 시청자 유저간 채팅이 가능하고, 다중접속 사용자의 입력 신호를 개별처리하고, 일부 데이터가 유실되어도 동일 타임의 다른 데이터를 버리고 다음 타임의 데이터를 출력하여 영상이 멈추거나 끊기지 않도록 할 수 있다. 특히, 사용자의 웹 접속만으로 클라우드 스트리밍 서버에서 실행되는 메타버스 콘텐츠를 시간 및 장소에 관계 없이 사용 가능하다. 그리고, 5G 무선 환경에서 4K 해상도, 30ms 초저지연 서비스 제공이 가능하다.
또한, 본 발명의 실시예에서는, 콘텐츠에 대응되는 아바타를 추천하여 콘텐츠 이용의 재미를 배가할 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (7)

  1. 적어도 하나의 시청자 단말기, 방송자 단말기 및 방송 플랫폼 시스템과 네트워크망을 통해 연결되는, 아바타를 이용한 메타버스 클라우드 스트리밍 시스템으로서,
    플레이 가능한 콘텐츠 정보, 시청자 정보, 방송자 정보, 아바타 정보, 히스토리 정보, 추천 정보를 저장하는 데이터베이스;
    상기 데이터베이스부를 참조하여 상기 시청자 단말기 또는 방송자 단말기에 콘텐츠 및 아바타 정보를 제공하고, 채팅을 하도록 하는 서버를 포함하는 아바타를 이용한 메타버스 클라우드 스트리밍 시스템.
  2. 제1항에 있어서,
    상기 데이터베이스부는,
    시청자 정보를 저장하는 시청자 정보 DB;
    방송자 정보를 정보를 저장하는 방송자 정보 DB;
    아바타 정보를 저장하는 아바타 정보 DB;
    플레이 가능한 콘텐츠 정보를 저장하는 콘텐츠 정보 DB;
    시청자의 시청청보 히스토리, 방송자의 방송 히스토리 및 아바타를 선택한 히스토리를 저장하는 아바타 히스토리 정보를 저장하는 히스토리 정보 DB;
    콘텐츠 분야별 일별, 주별 및 월별 인기콘텐츠리스트와, 시청자가 최근 선택한 콘텐츠 분야에 대응되는 콘텐츠 리스트와, 콘텐츠 및 시청자 성향에 대응되는 인기 아바타 리스트를 저장하는 추천 정보 DB를 포함하는 아바타를 이용한 메타버스 클라우드 스트리밍 시스템.
  3. 제2항에 있어서,
    상기 서버는,
    상기 데이터베이스부를 참조하여 상기 시청자 단말기 또는 방송자 단말기가 접속하면 인증절차를 진행하는 회원 관리부;
    시청자 또는 방송자 선택에 따라 시청자, 방송자 또는 방송 플랫폼 시스템에 콘텐츠 및 아바타 정보를 제공하는 스트리밍 콘텐츠 제공부;
    시청자 또는 방송자 간의 채팅을 진행하는 채팅 처리부;
    시청자의 시청청보 히스토리, 방송자의 방송 히스토리 및 아바타 히스토리 정보를 상기 히스토리 정보 DB에 저장하고, 콘텐츠 분야별 일별, 주별 및 월별 인기콘텐츠리스트와, 시청자가 최근 선택한 콘텐츠 분야에 대응되는 콘텐츠 리스트와, 콘텐츠 및 시청자 성향에 대응되는 인기 아바타 리스트를 생성하여 추천 정보 DB에 저장하고, 시청자 또는 방송자에게 추천하는 추천정보 제공부를 포함하는 아바타를 이용한 메타버스 클라우드 스트리밍 시스템.
  4. 제3항에 있어서,
    상기 서버는 시청자 단말기, 방송자 단말기 또는 방송 플랫폼 시스템에 콘텐츠를 스트리밍시에 하드웨어 인풋을 적용하여 단일 OS에 다중접속 사용자의 인풋 신호를 개별처리하는 아바타를 이용한 메타버스 클라우드 스트리밍 시스템.
  5. 제4항에 있어서,
    상기 시청자 단말기, 방송자 단말기 또는 방송 플랫폼 시스템은
    상기 서버로부터 비디오 데이터 및 오디오 데이터를 포함하는 컨텐츠 정보를 복수의 프레임 단위로 수신하고,
    상기 수신되는 컨텐츠 정보의 복수의 프레임 중 상기 비디오 데이터 및 상기 오디오 데이터 중 적어도 하나가 누락된 일부 프레임을 검출하고,
    상기 누락된 일부 프레임에 대한 영상 처리를 건너뛰고, 상기 일부 프레임의 후속 프레임에 대한 영상 처리를 수행하는 것을 특징으로 하고,
    상기 복수의 프레임 각각에 포함된 상기 비디오 데이터와 상기 오디오 데이터는 실시간 단위로 동기화되는 아바타를 이용한 메타버스 클라우드 스트리밍 시스템.
  6. 적어도 하나의 시청자 단말기, 방송자 단말기 및 방송 플랫폼 시스템과 네트워크망을 통해 연결되는, 아바타를 이용한 메타버스 클라우드 스트리밍 시스템의 메타버스 클라우드 스트리밍 방법으로서,
    방송용 콘텐츠에 대한 스트리밍 방송을 진행하는 방송자의 방송자 단말기 또는 시청자 단말기로부터 상기 방송용 콘텐츠에 대한 스트리밍 요청을 수신하는 단계;
    상기 스트리밍 요청에 응답하여, 상기 방송 플랫폼 시스템을 이용하여, 상기 방송용 콘텐츠를 시청자 단말기 또는 방송자 단말기로 스트리밍하는 단계;
    상기 시청자 단말기 또는 방송자 단말기로부터 아바타 제공 요청을 수신하는 단계;
    상기 시청자 단말기 또는 방송자 단말기의 요청에 대응하여 아바타를 제공하는 단계;
    상기 시청자 단말기 또는 방송자 단말기로부터 채팅 서비스 제공 요청을 수신하는 단계;
    상기 시청자 단말기 또는 방송자 단말기의 요청에 대응하여 채팅 정보를 제공하는 단계를 포함하는 아바타를 이용한 메타버스 클라우드 스트리밍 방법.
  7. 제6항에 있어서,
    상기 아바타 선택시에, 남자, 여자 기본체형을 선택하고,
    인종을 선택하고,
    복장을 선택하고,
    헤어스타일을 선택하고,
    턱크기, 턱선, 볼, 귀를 포함한 얼굴 형태를 선택하고,
    눈을 선택하고,
    눈썹을 선택하고,
    코를 선택하고,
    입을 선택하며,
    색조화장을 선택하여 아바타를 선택하는 것을 특징으로 한다.
    포함하는 아바타를 이용한 메타버스 클라우드 스트리밍 방법.
KR1020220061610A 2022-05-19 2022-05-19 아바타를 이용한 메타버스 클라우드 스트리밍 시스템 및 방법 KR20230161804A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220061610A KR20230161804A (ko) 2022-05-19 2022-05-19 아바타를 이용한 메타버스 클라우드 스트리밍 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220061610A KR20230161804A (ko) 2022-05-19 2022-05-19 아바타를 이용한 메타버스 클라우드 스트리밍 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20230161804A true KR20230161804A (ko) 2023-11-28

Family

ID=88957840

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220061610A KR20230161804A (ko) 2022-05-19 2022-05-19 아바타를 이용한 메타버스 클라우드 스트리밍 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20230161804A (ko)

Similar Documents

Publication Publication Date Title
US11792444B2 (en) Dynamic viewpoints of live event
US20180316939A1 (en) Systems and methods for video processing, combination and display of heterogeneous sources
US9826277B2 (en) Method and system for collaborative and scalable information presentation
US20180316947A1 (en) Video processing systems and methods for the combination, blending and display of heterogeneous sources
US20170105053A1 (en) Video display system
US20180316942A1 (en) Systems and methods and interfaces for video processing, combination and display of heterogeneous sources
US9160965B2 (en) Telepresence communications system and method
US11284137B2 (en) Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
US20180316944A1 (en) Systems and methods for video processing, combination and display of heterogeneous sources
US20180316943A1 (en) Fpga systems and methods for video processing, combination and display of heterogeneous sources
CN113457123B (zh) 基于云游戏的互动方法、装置、电子设备及可读存储介质
US20120311641A1 (en) Techniques to Consume Content and Metadata
KR20190074232A (ko) 비디오 프레임들을 비디오 스트림으로부터 디스플레이로 전송하는 방법 및 대응하는 장치
US10289193B2 (en) Use of virtual-reality systems to provide an immersive on-demand content experience
WO2018071781A2 (en) Systems and methods for video processing and display
US20180316940A1 (en) Systems and methods for video processing and display with synchronization and blending of heterogeneous sources
US20180316941A1 (en) Systems and methods for video processing and display of a combination of heterogeneous sources and advertising content
KR102542070B1 (ko) Iptv 망 기반 가상현실 콘텐츠 제공 시스템 및 방법
KR101915065B1 (ko) Vr 콘텐츠에 대한 라이브 스트리밍 시스템 및 그 시스템의 동작 방법
CN113099281B (zh) 视频互动方法、装置、存储介质及终端
KR20230161804A (ko) 아바타를 이용한 메타버스 클라우드 스트리밍 시스템 및 방법
WO2022135133A1 (zh) Vr播放的同步方法、装置、存储介质及电子装置
US20160094885A1 (en) Locally controllable interactive game system and methods of creating the same