KR101915786B1 - 아바타를 이용한 인터넷 방송 참여 서비스 시스템 및 방법 - Google Patents

아바타를 이용한 인터넷 방송 참여 서비스 시스템 및 방법 Download PDF

Info

Publication number
KR101915786B1
KR101915786B1 KR1020180017728A KR20180017728A KR101915786B1 KR 101915786 B1 KR101915786 B1 KR 101915786B1 KR 1020180017728 A KR1020180017728 A KR 1020180017728A KR 20180017728 A KR20180017728 A KR 20180017728A KR 101915786 B1 KR101915786 B1 KR 101915786B1
Authority
KR
South Korea
Prior art keywords
avatar
image
broadcasting
viewer
internet
Prior art date
Application number
KR1020180017728A
Other languages
English (en)
Inventor
목호용
Original Assignee
(주)비버스팩토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)비버스팩토리 filed Critical (주)비버스팩토리
Application granted granted Critical
Publication of KR101915786B1 publication Critical patent/KR101915786B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Abstract

이 발명은 인터넷을 통한 개인 방송 송출시, 다수의 시청자가 자신의 아바타를 이용하여 해당 인터넷 개인 방송에 참여할 수 있도록 하는 아바타를 이용한 인터넷 방송 참여 서비스 시스템 및 방법에 관한 것이다.
이 발명에 따른 아바타를 이용한 인터넷 방송 참여 서비스 시스템은, 시청자의 아바타 표시 요청 신호에 포함된 아바타 식별정보에 대응되는 아바타 리소스 파일을 포함하는 스크립트 파일과; 상기 스크립트 파일을 해석하는 스크립트 엔진과; 촬영 영상 이미지로부터 개인 방송인 얼굴영역 정보를 획득하는 얼굴인식모듈과; 상기 스크립트 엔진으로부터 상기 스크립트 파일의 해석 정보를 입력받아 상기 얼굴인식모듈에서 획득한 상기 개인 방송인 얼굴영역 정보를 기반으로 상기 아바타 리소스 파일에 대응되는 아바타 이미지의 위치를 결정하고, 상기 촬영 영상 이미지에 상기 아바타 이미지를 삽입하는 그래픽 엔진을 포함한다.

Description

아바타를 이용한 인터넷 방송 참여 서비스 시스템 및 방법 {Service System and Method for Connect to Inserting Broadcasting Program Using an Avata}
이 발명은 인터넷을 통한 개인 방송 송출시, 다수의 시청자가 자신의 아바타를 이용하여 해당 인터넷 개인 방송에 참여할 수 있도록 하는 아바타를 이용한 인터넷 방송 참여 서비스 시스템 및 방법에 관한 것이다.
통상적으로 방송은 정규 방송사가 프로그램을 미리 촬영, 편집, 제작하여 녹화 방송으로 내보내거나, 실시간으로 중계하였다. 그러나, 최근 인터넷을 기반으로 개인이 직접 동영상을 제작하여 송출하는 개인 방송이 인기를 끌고 있다. 이러한 인터넷 개인 방송인은 인터넷 방송 플랫폼에 따라 다양한 이름으로 불리우고 있는 바, 아프리카 TV에서는 BJ(Broadcaster Jockey)로, 트위치TV에서는 스트리머(Streamer)로, 유튜브에서는 유튜버(Youtuber), 크리에이터, 스트리머로, 카카오TV에서는 PD로, 네이버TV에서는 크리에이터로 부르고 있다. 여기서는, 1인 방송인을 통칭하여 '개인 방송인'으로 명명하기로 한다.
인터넷을 통한 개인 방송은, 그 방송 형태에 따라 라이브 방송과 녹화 방송으로 구분할 수 있다. 라이브 방송은 개인 방송인이 웹캠으로 촬영중인 동영상을 인터넷 방송 플랫폼을 통해 송출함으로써 이루어진다. 녹화 방송은 라이브 방송 중 일부를 편집하여 송출함으로써 이루어진다. 종래의 개인 방송은 소규모 제작진들에 의해 동영상 서비스가 이루어지기 때문에, 라이브 방송이나 녹화 방송에서 다양한 방송 연출 효과를 삽입하거나 광고를 삽입하는 등의 동영상 편집을 하기는 매우 어렵다. 아울러, 가상 캐릭터 이미지를 실제 공간 이미지에 구현하는 증강현실 영상표시 시스템 기술이 공개된 바 있지만 1인 방송 제작자의 인터넷 방송 프로그램 진행시 시청자들이 참여하는 방법은 댓글밖에 없으며, 아바타를 이용하여 해당 방송에 참여하는 기술은 제안된 바 없다.
대한민국 공개특허 제2014-0147308호 대한민국 공개특허 제2016-103897호 대한민국 등록특허 제0913069호
이 발명은 인터넷 개인 방송 시청자가 아바타 이미지를 기반으로 인터넷 개인 방송 프로그램에 참여하여 아바타를 이용하여 의사 표현을 할 수 있도록 함으로써, 방송의 재미를 극대화하는 아바타를 이용한 인터넷 방송 참여 서비스 시스템 및 방법을 제공함에 그 목적이 있다.
상술한 목적을 달성하기 위한 이 발명에 따른 아바타를 이용한 인터넷 방송 참여 서비스 시스템은, 시청자의 아바타 표시 요청 신호에 포함된 아바타 식별정보에 대응되는 아바타 리소스 파일을 포함하는 스크립트 파일과;
상기 스크립트 파일을 해석하는 스크립트 엔진과;
촬영 영상 이미지로부터 개인 방송인 얼굴영역 정보를 획득하는 얼굴인식모듈과;
상기 스크립트 엔진으로부터 상기 스크립트 파일의 해석 정보를 입력받아 상기 얼굴인식모듈에서 획득한 상기 개인 방송인 얼굴영역 정보를 기반으로 상기 아바타 리소스 파일에 대응되는 아바타 이미지의 위치를 결정하고, 상기 촬영 영상 이미지에 상기 아바타 이미지를 삽입하는 그래픽 엔진을 포함한 것을 특징으로 한다.
또한, 이 발명에 따른 아바타를 이용한 인터넷 방송 참여 서비스 방법은, 메모리에 로딩되어 프로세서유닛에 의해 실행되는 시청자아바타삽입모듈을 포함하는 시스템에서의 인터넷 방송 참여 서비스 방법에 있어서,
상기 프로세서유닛이 시청자의 아바타 표시 요청 신호에 포함된 아바타 식별정보에 대응되는 아바타 리소스 파일을 포함하는 스크립트 파일을 실행하는 제1단계와;
상기 프로세서유닛이 상기 스크립트 파일을 해석하는 제2단계와;
상기 프로세서유닛이 촬영 영상 이미지로부터 개인 방송인 얼굴영역 정보를 획득하는 제3단계와;
상기 프로세서유닛이 상기 스크립트 파일의 해석 정보를 입력받아 상기 개인 방송인 얼굴영역 정보를 기반으로 상기 아바타 리소스 파일에 대응되는 아바타 이미지의 위치를 결정하는 제4단계와;
상기 프로세서유닛이 상기 촬영 영상 이미지에 상기 아바타 이미지를 삽입하는 제5단계를 포함한 것을 특징으로 한다.
이 발명에 따르면 인터넷을 이용한 개인 방송에서 개인 방송인이 촬영중인 영상 이미지와 시청자의 아바타 이미지를 결합하여 인터넷 방송으로 송출함으로써, 시청자들의 방송 참여 서비스를 손쉽게 구현할 수 있는 잇점이 있다.
도 1은 일반적인 인터넷을 통한 개인 방송 환경을 도시한 도면이다.
도 2는 이 발명에 따른 아바타를 이용한 인터넷 방송 참여 서비스가 가능한 시청자 단말기의 구성도이다.
도 3은 도 2의 아바타 정보 송출모듈의 세부 구성도이다.
도 4는 시청자의 얼굴 표정과 연동되는 표정 가변 아바타 이미지를 도시한 예시도이다.
도 5는 이 발명에 따른 아바타를 이용한 인터넷 방송 참여 서비스가 가능한 개인 방송인 단말기의 구성도이다.
도 6은 이 발명에 따른 아바타를 이용한 인터넷 방송 참여 서비스를 위한 방송인 클라이언트의 실시간 화면 구성도이다.
도 7은 이 발명에 따른 시청자아바타삽입모듈의 세부 구성도이다.
도 8은 개인 방송 영상에 가변 표정의 아바타가 삽입된 상태를 도시한 예시도이다.
도 9는 개인 방송 영상에 단일 표정의 아바타가 삽입된 상태를 도시한 예시도이다.
도 10은 이 발명에 따른 아바타를 이용한 인터넷 방송 참여 서비스 방법을 도시한 동작 흐름도이다.
이하, 이 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 이 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 이 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략할 것이다. 또한, 후술되는 용어들은 이 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로, 그 정의는 이 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일반적인 인터넷을 통한 개인 방송 환경을 도시한 도면이다. 실시간 개인 방송 시스템은, 초고속 통신망으로 연결된 인터넷 등과 같은 네트워크(110)에 연결된 적어도 하나의 개인 방송인 클라이언트들(121,122,123)과, 인터넷 방송 플랫폼(130)과, 적어도 하나의 시청자 클라이언트들(141,142,143)과, 아바타서비스서버(150)로 구성된다.
개인 방송인 클라이언트들(121,122,123)은 각각 자신이 방송하고자 하는 멀티미디어 콘텐츠에 대한 방송 채널을 개설하고, 해당 멀티미디어 콘텐츠 데이터를 인코딩하여 네트워크(110)를 통해 스트리밍 전송한다. 시청자 클라이언트들(141,142,143)는 개인 방송인 클라이언트들(121,122,123)로부터 인코딩된 방송 데이터를 전송받아 이를 멀티미디어 콘텐츠로 디코딩하여 모니터 및 스피커로 출력한다. 인터넷 방송 플랫폼(130)은 실시간 개인 방송 시스템에 접속한 시청자 클라이언트들(141,142,143)에게 현재 방송되고 있는 방송 채널 정보를 제공하여, 시청자 클라이언트들(141,142,143)이 방송 채널에 연결될 수 있도록 한다. 인터넷 방송 플랫폼(130)에는 유튜브, 아프리카 TV, 트위치, YYTV 등이 포함된다.
이 발명에 따르면, 개인 방송인 클라이언트들(121,122,123)에는 시청자 아바타 삽입 모듈이 설치되고, 시청자 클라이언트들(141,142,143)에는 아바타 정보 송출 모듈이 설치되며, 아바타서비스서버(150)를 통해 아바타를 이용한 인터넷 방송 참여 서비스가 구현된다. 즉, 임의의 시청자 클라이언트는 시청자들의 아바타 표시 요청 정보를 아바타서비스서버(150)로 전송하고, 아바타서비스서버(150)는 시청자들로부터 입력된 아바타 표시 요청 신호를 개인 방송인 클라이언트에게 전송하며, 개인 방송인 클라이언트에서는 개인 방송인의 촬영 화면에 시청자의 아바타 이미지를 결합하여 인터넷 방송 플랫폼(130)을 통해 송출한다.
아바타서비스서버(150)는 시청자 클라이언트와 방송인 클라이언트에게 아바타 리소스를 제공하고, 시청자 클라이언트로부터 아바타 표시 요청 신호를 수신한다. 이 아바타 표시 요청 신호에는, 필수적으로 아바타 식별정보와 시청자 식별정보와 방송인 식별정보가 포함되고, 아바타의 종류에 따라 선택적으로 시청자 얼굴 특징점 정보와 얼굴각도 정보가 더 포함될 수 있다. 또한, 아바타 표시 요청 신호에는 오디오 정보가 더 포함될 수 있다.
아바타서비스서버(150)는 아바타 표시 요청 신호를 해당 방송인 클라이언트에게 전송한다. 그러면, 방송인 클라이언트는 아바타 리소스와 아바타 정보를 기반으로 시청자의 아바타 이미지를 생성하여 방송 화면에 삽입하여 출력하며, 아바타 이미지가 표시되는 동안에 시청자 클라이언트로부터 수신된 오디오가 더 출력되도록 할 수 있다.
여기서, 아바타의 종류는 2차원 또는 3차원 애니메이션일 수 있으며, 아바타의 표정은 단일 표정이거나 시청자들의 얼굴 표정에 따라 가변될 수도 있다. 도 4는 시청자의 표정에 따라 아바타의 표정도 바뀌는 상태를 도시한 도면이다. 단일 표정의 아바타의 경우에는 아바타 표시 요청 신호에 시청자 얼굴 특징점 정보와 얼굴각도 정보가 포함되지 않지만, 가변 표정의 아바타의 경우에는 아바타 표시 요청 신호에 시청자 얼굴 특징점 정보와 얼굴각도 정보가 포함되어야 한다. 도 8은 개인 방송 영상에 가변 표정의 아바타가 삽입된 상태를 도시한 예시도이고, 도 9는 개인 방송 영상에 단일 표정의 아바타가 삽입된 상태를 도시한 예시도이다.
도 2는 이 발명에 따른 아바타를 이용한 인터넷 방송 참여 서비스가 가능한 시청자 단말기의 구성도이다.
통상적으로 이 시청자 단말기는, 메모리(210), 프로세서유닛(220), 복수의 주변장치를 포함한다. 주변장치로서는, 통신부(230), 모니터(240), 입력부(250), 카메라(260), 마이크(270)가 포함된다.
프로세서유닛(220)은 메모리인터페이스(221)와, 하나 이상의 프로세서(222), 및 주변장치 인터페이스(223)를 포함한다. 경우에 따라서, 프로세서유닛 전체를 프로세서로 칭하기도 한다. 메모리인터페이스(221), 하나 이상의 프로세서(222) 및/또는 주변장치 인터페이스(223)는 별개의 구성요소이거나 하나 이상의 집적화된 회로에 집적화될 수 있다. 프로세서(222)는 여러 가지의 소프트웨어 프로그램을 실행하여 시청자 단말기를 위한 여러 기능을 수행하며, 메모리(210)에 저장되어 있는 특정 소프트웨어 모듈(명령어 세트)을 실행하여 그 모듈에 대응하는 여러 가지의 기능을 수행한다. 주변장치 인터페이스(223)는 여러 가지 주변장치를 프로세서(222) 및 메모리(메모리 인터페이스를 통하여)(210)에 연결시킨다.
통신부(230)는 통상의 통신 프로토콜을 통해 인터넷 방송 플랫폼과 시청자 단말기를 연결하고, 아바타서비스서버와 시청자 단말기를 연결한다. 모니터(240)는 화면 출력장치를 포함하고, 입력부(250)는 키보드 또는 마우스 등의 사용자 입력장치를 포함한다. 카메라(260)와 마이크(270)는 웹캠으로 구현될 수 있으며, 촬영 환경의 멀티미디어 데이터(영상 데이터와 오디오 데이터)를 획득한다.
메모리(210)는 소프트웨어 프로그램을 저장한다. 소프트웨어에는 운영체제모듈(211), 통신모듈(212), 그래픽모듈(213), 사용자인터페이스모듈(214), 인터넷 방송 송출 모듈(215), 가상 컨텐츠 삽입 모듈(216)이 포함된다. 소프트웨어 구성요소인 모듈은 명령어들의 집합으로 표현할 수 있으므로, 모듈은 명령어 세트라고 표현하기도 하고, 프로그램으로 표현하기도 한다.
운영체제모듈(211)은 일반적인 시스템 작동을 제어하는 여러 가지 소프트웨어 구성요소를 포함한다. 예를 들어, 일반적인 시스템 작동의 제어는, 메모리 관리 및 제어, 저장 하드웨어 제어 및 관리, 전력 제어 및 관리를 의미한다. 운영체제모듈(211)은 여러 가지 하드웨어 장치와 소프트웨어 구성요소 사이의 통신을 원활하게 하는 기능을 수행한다. 통신모듈(212)은 통신부(230)를 통해 인터넷 방송 플랫폼 또는 아바타서비스서버와 통신을 가능하게 한다. 그래픽모듈(213)은 인터넷 방송 컨텐츠를 모니터(240) 상에 그래픽으로 표시하기 위한 여러 가지 소프트웨어 구성요소들을 포함한다. 사용자 인터페이스 모듈(214)은 사용자 인터페이스에 관련된 여러 가지 소프트웨어 구성요소를 포함한다. 사용자 인터페이스의 상태가 어떻게 변경되는지 또는 사용자 인터페이스의 상태의 변경이 어떤 조건에서 이루어지는 지에 대한 내용을 포함한다.
인터넷 방송 수신 모듈(215)은 인터넷 방송 플랫폼으로부터 인터넷 방송 컨텐츠를 수신하는 소프트웨어 구성요소를 포함한다. 이렇게 수신된 인터넷 방송 컨텐츠는 모니터와 스피커를 통해 출력된다. 이 인터넷 방송 수신 모듈(215)은 인터넷 방송 플랫폼에서 제공받아 설치된다.
아바타정보송출모듈(216)은 시청자가 선택한 아바타 식별정보와 시청자가 참여하고자 하는 개인 방송인 식별정보를 포함하는 아바타 표시 요청 신호를 포함하고, 아바타의 종류에 따라 선택적으로 시청자 얼굴 특징점 정보와 얼굴각도 정보 및 오디오 정보를 더 포함하는 아바타 표시 요청 신호를 생성하여 통신부(230)를 통해 아바타서비스서버(150)로 전송한다.
도 3은 이 발명에 따른 아바타정보송출모듈의 세부 구성도이다.
이 발명에 따른 아바타정보송출모듈(216)은 아바타 파일(311)과, 스크립트 엔진(312)과, 그래픽 엔진(313)과, 얼굴인식모듈(314)과, 얼굴각도추정모듈(315)을 포함한다. 아바타정보송출모듈(216)은 시청자가 선택한 자신의 아바타를 시청자 단말기의 모니터를 통해 디스플레이함과 아울러, 시청자가 선택한 아바타를 표시하기 위해 필요한 정보를 입력받거나 추출하여 아바타 표시 요청 신호를 생성하며, 생성된 아바타 표시 요청 신호를 아바타서비스서버(150)에 전송한다.
아바타 파일(311)은 리소스 파일과 스크립트 파일이 결합된 형태이다. 스크립트 파일은 스크립트 엔진이 읽을 수 있는 텍스트 형태의 파일이다. 이 스크립트 파일에는 리소스 파일 이름 및 저장 위치, 아바타 종류(단일 표정, 가변 표정), 화면에 출력하기 위한 정의와 동작과 값에 대한 처리 시나리오, 사용되는 영상 필터, 사용되는 액션 효과, 외부 입력 처리 방식 등이 미리 정의된 규칙 등이 포함된다.
리소스파일은 스크립트 파일에 정의된 객체가 처리할 대상으로서, 화면에 표시되는 구체적인 정보이다. 예컨대, 3차원 객체를 그릴 수 있는 정보, 2차원 이미지를 표현할 수 있는 이미지 값, 사운드를 재생할 수 있는 음원 데이터 등이 포함된다.
아바타 파일(311)에 포함된 스크립트 파일은 NSAPI 맵핑 규칙을 통해 스크립트 엔진(312)에 값을 전달한다. 스크립트 엔진(312)은 스크립트 파일의 텍스트를 이해하고 미리 정해진 규칙을 수행한다. 이 스크립트 엔진(312)은 NSAPI 맵핑 규칙에 따라 전달받은 데이터를 이용하여 실제 C언어 또는 C++언어로 만들어진 객체를 동작시키거나 값을 변경시킨다. 스크립트 엔진(312)을 통해 동작된 객체들은 그래픽 엔진(313)으로 전달된다.
표정 가변 아바타의 경우, 그래픽 엔진(313)은 전달받은 객체에 대응되는 아바타 리소스 파일을 시청자의 얼굴 이미지를 기반으로 변형하는데, 시청자의 얼굴 이미지를 얼굴인식모듈(314)로 전달하여 시청자의 얼굴 특징점 정보를 획득하고, 얼굴각도추정모듈(315)로 전달하여 시청자 얼굴의 회전각도 정보를 획득한다. 이렇게 시청자의 얼굴 특징점 정보와 얼굴각도 정보를 기반으로 아바타 이미지를 변형시킨다. 한편, 단일 표정 아바타(이모티콘과 유사)의 경우, 그래픽 엔진(313)은 얼굴인식모듈(314)과 얼굴각도추정모듈(315)을 실행시키지 않으며, 기설정된 아바타 이미지를 바로 모니터에 디스플레이한다.
얼굴인식모듈(314)은 얼굴인식 DLIB(Distribution LIBrary) 기반 프로그램으로서, 영상 이미지 데이터를 입력받고, 입력된 영상 이미지와 머신러닝을 통해 특징이 추출된 Face Feature Object를 비교하여 영상 이미지에서 얼굴 특징이 될 수 있는 68개의 특징점을 출력값으로 제공한다. 얼굴인식모듈(314)은 얼굴인식 DLIB 이외에 Luxand의 FaceSDK와 OpenCV로 대체하여 구현할 수 있다. 얼굴각도추정모듈(315)은 OpenCV(Open Source Computer Vision)로서, 얼굴인식모듈(314)을 통해 인식된 얼굴 이미지 데이터를 입력받고 해당 얼굴 이미지에서 각도를 추정하여 얼굴각도 값을 출력한다.
그래픽 엔진(313)은 도 4와 같이 시청자 화면에 시청자의 얼굴 표정에 따라 가변되는 아바타 이미지를 생성하여 모니터에 디스플레이하고, 시청자의 요청을 받아 아바타서비스서버(150)로는 아바타 표시 요청 신호를 전송한다.
아바타서비스서버(150)는 시청자 단말기로부터 송신된 아바타 표시 요청 신호에서 방송인 식별정보를 기반으로 해당 아바타 표시 요청 신호를 해당 개인 방송인 단말기로 전달한다.
개인 방송인 단말기는 아바타서비스서버(150)로부터 수신된 아바타 표시 요청 신호를 기반으로 자신의 개인 방송 동영상과 시청자의 아바타 이미지를 결합하여 인터넷 방송으로 송출한다.
도 5는 이 발명에 따른 아바타를 이용한 인터넷 방송 참여 서비스가 가능한 개인 방송인 단말기의 구성도이다.
방송인 단말기는, 통상적인 컴퓨터 단말기로서, 메모리(510), 프로세서유닛(520), 복수의 주변장치를 포함한다. 주변장치로서는, 통신부(530), 모니터(540), 입력부(550), 카메라(560), 마이크(570)가 포함된다.
프로세서유닛(520)은 메모리인터페이스(521)와, 하나 이상의 프로세서(522), 및 주변장치 인터페이스(523)를 포함한다. 경우에 따라서, 프로세서유닛 전체를 프로세서로 칭하기도 한다. 메모리인터페이스(521), 하나 이상의 프로세서(522) 및/또는 주변장치 인터페이스(523)는 별개의 구성요소이거나 하나 이상의 집적화된 회로에 집적화될 수 있다. 프로세서(522)는 여러 가지의 소프트웨어 프로그램을 실행하여 개인 방송인 단말기를 위한 여러 기능을 수행하며, 메모리(510)에 저장되어 있는 특정 소프트웨어 모듈(명령어 세트)을 실행하여 그 모듈에 대응하는 여러 가지의 기능을 수행한다. 주변장치 인터페이스(523)는 여러 가지 주변장치를 프로세서(522) 및 메모리(메모리 인터페이스를 통하여)(510)에 연결시킨다.
통신부(530)는 통상의 통신 프로토콜을 통해 인터넷 방송 플랫폼과 개인 방송인 단말기를 연결하고, 아울러 아바타서비스서버와 개인 방송인 단말기를 연결한다. 모니터(540)는 화면 출력장치를 포함하고, 입력부(550)는 키보드 또는 마우스 등의 사용자 입력장치를 포함한다. 카메라(560)와 마이크(570)는 웹캠으로 구현될 수 있으며, 촬영 환경의 멀티미디어 데이터(영상 데이터와 오디오 데이터)를 획득한다.
메모리(510)는 소프트웨어 프로그램을 저장한다. 소프트웨어에는 운영체제모듈(511), 통신모듈(522), 그래픽모듈(523), 사용자인터페이스모듈(514), 인터넷 방송 송출 모듈(515), 시청자아바타삽입모듈(516)이 포함된다. 소프트웨어 구성요소인 모듈은 명령어들의 집합으로 표현할 수 있으므로, 모듈은 명령어 세트라고 표현하기도 하고, 프로그램으로 표현하기도 한다.
운영체제모듈(511)은 일반적인 시스템 작동을 제어하는 여러 가지 소프트웨어 구성요소를 포함한다. 예를 들어, 일반적인 시스템 작동의 제어는, 메모리 관리 및 제어, 저장 하드웨어 제어 및 관리, 전력 제어 및 관리를 의미한다. 운영체제모듈(511)은 여러 가지 하드웨어 장치와 소프트웨어 구성요소 사이의 통신을 원활하게 하는 기능을 수행한다. 통신모듈(512)은 통신부(530)를 통해 인터넷 방송 플랫폼 및 아바타서비스서버와의 통신을 가능하게 한다. 그래픽모듈(513)은 인터넷 방송 컨텐츠를 모니터(540) 상에 그래픽으로 표시하기 위한 여러 가지 소프트웨어 구성요소들을 포함한다. 사용자 인터페이스 모듈(514)은 사용자 인터페이스에 관련된 여러 가지 소프트웨어 구성요소를 포함한다. 사용자 인터페이스의 상태가 어떻게 변경되는지 또는 사용자 인터페이스의 상태의 변경이 어떤 조건에서 이루어지는 지에 대한 내용을 포함한다.
인터넷 방송 송출 모듈(515)은 인터넷 방송 컨텐츠를 인터넷 방송 플랫폼으로 송출하는 소프트웨어 구성요소를 포함한다. 이 인터넷 방송 송출 모듈(515)은 인터넷 방송 플랫폼에서 제공받아 설치된다.
시청자아바타삽입모듈(516)은 촬영중인 영상 내에 시청자 아바타 이미지를 삽입하여 인터넷 방송 컨텐츠를 생성하는 기능을 한다. 이렇게 생성된 인터넷 방송 컨텐츠는 모니터(540) 상에 표시되어 개인 방송인이 이를 인지할 수 있도록 함과 아울러 인터넷 방송 플랫폼으로 송출되어 다수의 시청자 클라이언트들에게로 전송된다.
도 6은 이 발명에 따른 아바타를 이용한 인터넷 방송 참여 서비스를 위한 방송인 클라이언트의 실시간 화면 구성도이다.
방송인 클라이언트의 모니터 화면은 인터넷 방송 컨텐츠 표시영역(610)과, 대기아바타리스트표시영역(620)으로 나누어진다. 인터넷 방송 컨텐츠 표시영역(610)에는 촬영중 동영상에 대기아바타리스트표시영역(620)에서 선택된 시청자의 아바타 이미지가 결합되어 표시된다. 대기아바타리스트표시영역(620)에는 다수의 아바타들 리스트가 표시되는데, 이 아바타들 리스트 중 방송인이 하나 또는 둘 이상의 아바타를 수동으로 선택하거나, 또는 일정한 주기 간격으로 하나 또는 둘 이상의 아바타들이 자동으로 선택되도록 한다. 임의의 시청자 아바타가 선택되면 이 발명에 따른 시청자아바타삽입모듈(516)이 동작하여 해당 아바타 파일을 실행시키고 시청자의 아바타 이미지가 화면에 표시된다. 이때, 시청자아바타삽입모듈(516)은 방송인의 얼굴영역을 인식하여 시청자의 아바타 이미지를 방송인의 얼굴영역과 겹쳐지지 않는 영역에 배치한다.
도 7은 이 발명에 따른 시청자아바타삽입모듈의 세부 구성도이다.
이 발명에 따른 시청자아바타삽입모듈(516)은 아바타 아이템 파일(711)과, 스크립트 엔진(712)과, 그래픽 엔진(713)과, 얼굴인식모듈(714)과, 얼굴각도추정모듈(715)을 포함한다.
아바타 아이템 파일(711)은 리소스 파일과 스크립트 파일이 결합된 형태이다. 스크립트 파일은 스크립트 엔진이 읽을 수 있는 텍스트 형태의 파일이다. 이 스크립트 파일에는 아바타 리소스 파일 이름 및 저장 위치, 아바타 표시 위치 결정 방식(외부 선택 위치, 얼굴 회피 여부), 얼굴영역 인식 필요 여부, 얼굴각도 인식 필요 여부, 화면에 출력하기 위한 정의와 동작과 값에 대한 처리 시나리오, 사용되는 영상 필터, 사용되는 액션 효과, 외부 입력 처리 방식 등이 미리 정의된 규칙 등이 포함된다.
여기서, 아바타 표시 위치가 외부 선택 위치라 함은 도 5에 도시된 바와 같이 개인 방송인이 다양한 입력부를 이용하여 직접 선택하는 위치를 말한다. 이때, 아바타 이미지의 크기는 동영상 이미지의 전체 화면 크기의 특정 비율로서 정해진다. 한편, 아바타 표시 위치가 얼굴 회피 위치라 함은 개인 방송인의 얼굴영역을 인식 후 해당 얼굴영역을 제외한 영역에 시청자 아바타 이미지를 표시하는 것이다.
리소스파일은 스크립트 파일에 정의된 객체가 처리할 대상으로서, 화면에 표시되는 구체적인 정보이다. 예컨대, 3차원 객체를 그릴 수 있는 정보, 2차원 이미지를 표현할 수 있는 이미지 값, 사운드를 재생할 수 있는 음원 데이터 등이 포함된다. 하나의 아이템 파일에 둘 이상의 리소스 파일이 중첩되어 적용될 수도 있다.
아바타아이템파일(711)에 포함된 스크립트 파일은 아바타서비스서버로부터 수신되어 메모리 상에 로드되며, NSAPI 맵핑 규칙을 통해 스크립트 엔진(712)에 값을 전달한다. 스크립트 엔진(712)은 스크립트 파일의 텍스트를 이해하고 미리 정해진 규칙을 수행한다. 이 스크립트 엔진(712)은 NSAPI 맵핑 규칙에 따라 전달받은 데이터를 이용하여 실제 C언어 또는 C++언어로 만들어진 객체를 동작시키거나 값을 변경시킨다. 스크립트 엔진(712)을 통해 동작된 객체들은 그래픽 엔진(713)으로 전달된다.
그래픽 엔진(713)은 전달받은 객체에 대응되는 리소스 파일과, 촬영중 영상 이미지 또는 재생중 영상 이미지를 기반으로 화면을 구성한 후, 인터넷 방송 플랫폼(530)과 모니터(540)의 인터넷 방송 컨텐츠 표시영역(610)으로 전송한다. 이때, 스크립트 파일의 얼굴영역 인식 필요 여부 및 얼굴각도 인식 필요 여부에 따라, 그래픽 엔진(713)은 촬영중 영상 이미지를 얼굴인식모듈(714)로 전달하여 해당 영상 이미지에서 개인 방송인의 얼굴영역 정보를 획득하고, 얼굴각도추정모듈(715)로 전달하여 얼굴의 회전각도 정보를 획득하기도 한다.
얼굴인식모듈(714)은 얼굴인식 DLIB(Distribution LIBrary) 기반 프로그램으로서, 영상 이미지 데이터를 입력받고, 입력된 영상 이미지와 머신러닝을 통해 특징이 추출된 Face Feature Object를 비교하여 영상 이미지에서 얼굴 특징이 될 수 있는 68개의 점을 출력값으로 제공한다. 얼굴인식모듈(714)는 얼굴인식 DLIB 이외에 Luxand의 FaceSDK와 OpenCV로 대체하여 구현할 수 있다. 얼굴각도추정모듈(715)은 OpenCV(Open Source Computer Vision)로서, 얼굴인식모듈(714)을 통해 인식된 얼굴 이미지 데이터를 입력받고 해당 얼굴 이미지에서 각도를 추정하여 얼굴각도 값을 출력한다.
그래픽 엔진(713)은 아바타의 종류가 가변 표정 아바타인 경우, 아바타 표시 요청 신호에 포함된 시청자 얼굴 특징점 정보와 얼굴각도 정보를 이용하여 상기 아바타 이미지의 표정 및 각도를 변형한다. 즉, 시청자 얼굴 특징점 값을 기반으로 아바타 얼굴의 특징점 값을 변형하여 시청자의 얼굴 표정에 따라 아바타의 표정이 변화도록 한다.
도 8은 이 발명에 따라 인터넷 방송 컨텐츠에 가변 표정의 시청자 아바타 이미지가 삽입된 상태를 도시한 예시도이고, 도 9는 이 발명에 따라 인터넷 방송 컨텐츠에 단일 표정의 아바타 이미지가 삽입된 상태를 도시한 예시도이다. 도 6에 도시된 대기아바타리스트표시영역(620)에서 개인 방송인이 임의의 아바타를 직접 선택하거나, 하나의 아바타가 자동으로 선택되면, 도 8 및 도 9에 도시된 바와 같이 선택된 아바타 이미지가 방송 컨텐츠에 삽입되어 인터넷 방송 플랫폼을 통해 송출된다.
도 10은 이 발명에 따른 개인 방송인 단말기에서, 시청자 아바타를 이용한 인터넷 방송 참여 서비스 방법을 도시한 동작 흐름도이다.
먼저, 개인 방송인이 개인 방송 송출 프로그램과 이 발명에 따른 아바타를 이용한 인터넷 방송 참여 프로그램을 실행시키면, 개인 방송 플랫폼으로 송출되는 인터넷 방송 컨텐츠가 표시되는 표시영역과 이 발명에서 서비스하는 대기 아바타 리스트가 표시된 영역을 포함하여 모니터 화면에 출력한다(S101). 이때, 이 발명에 따른 시청자 아바타 삽입 모듈이 메모리 상에 업로드되고 프로세서에 의해 실행된다.
시청자 아바타 삽입 모듈은, 아바타 서비스 서버(150)를 통해 시청자들의 아바타 표시 요청 신호를 수신한다(S102). 이때, 아바타 표시 요청신호는 필수적으로 아바타 식별정보와 시청자 식별정보와 방송인 식별정보가 포함되고, 아바타의 종류에 따라 선택적으로 시청자 얼굴 특징점 정보와 얼굴각도 정보와 오디오 정보가 더 포함될 수 있다.
시청자 아바타 삽입 모듈은 수신된 시청자의 아바타 아이템을 대기아바타리스트표시영역에 표시한다(S103).
개인 방송인 또는 그의 협력자에 의해 또는 자동으로 해당 아바타 아이템이 선택되면, 시청자 아바타 삽입 모듈은 선택된 아바타를 인지한다(S104). 해당 아바타 아이템 파일을 실행하고 스크립트 파일을 오픈하고, 스크립트 엔진을 이용하여 아바타 아이템 파일의 스크립트 파일의 텍스트를 해석한다(S105). 해석된 정보는 그래픽 엔진으로 전달된다.
그래픽 엔진은 얼굴인식모듈과 얼굴각도추정모듈을 실행하여 카메라로부터 입력되는 촬영중 영상 이미지로부터 얼굴영역과 얼굴각도를 인식한다(S106).
그래픽 엔진은 얼굴영역의 크기, 각도 및 위치, 화면 크기 등을 기반으로 아바타 아이콘 파일에 대응되는 아바타 이미지의 크기, 각도 및 위치를 변형하고(S107), 촬영 영상 이미지와 변형된 아바타 이미지를 중첩하여 합성한다(S108). 단계 S107에서, 그래픽 엔진은 아바타의 종류가 표정 가변 아바타인 경우, 시청자 얼굴 특징점 정보와 얼굴각도 정보를 기반으로 아바타 이미지의 표정 및 각도를 변형할 수 있다.
이때, 개인 방송인의 얼굴영역을 회피한 영역에 아바타 리소스 이미지를 배치하는 것이 바람직하다. 또한, 아바타 표시 요청 신호에 포함된 오디오 정보는 도시되지 않은 오디오 재생 엔진을 통해 개인 방송인 단말기의 스피커를 통해 재생될 수 있다.
합성된 이미지는 모니터 화면에 출력되고 아울러 개인 방송 플랫폼으로 전송된다.
711 : 아이템 파일 712 : 스크립트 엔진
713 : 그래픽 엔진 714 : 얼굴인식모듈
715 : 얼굴각도추정모듈

Claims (12)

  1. 아바타를 이용한 인터넷 방송 참여 서비스 시스템에 있어서,
    아바타서비스서버로부터 다수의 시청자들의 아바타 표시 요청 신호를 입력받고, 개인 방송인의 촬영 영상에 시청자의 아바타 이미지를 결합하여 인터넷 방송 플랫폼을 통해 송출하는 개인 방송인 클라이언트를 포함하고;
    상기 개인 방송인 클라이언트는, 상기 개인 방송인의 촬영 영상과 시청자의 아바타 이미지를 결합하여 인터넷 방송 컨텐츠를 생성하는 시청자아바타삽입모듈과, 상기 인터넷 방송 컨텐츠를 상기 인터넷 방송 플랫폼으로 송출하는 인터넷 방송 송출 모듈을 포함하고;
    상기 개인 방송인 클라이언트의 모니터 화면은, 다수의 시청자들로부터 표시 요청된 다수의 아바타 리스트가 표시되는 대기아바타리스트표시영역과, 상기 다수의 아바타 리스트 중 선택된 적어도 하나의 아바타 이미지와 상기 촬영 영상이 결합된 인터넷 방송 컨텐츠가 표시되는 인터넷 방송 컨텐츠 표시영역을 포함하고;
    상기 시청자아바타삽입모듈은, 상기 선택된 적어도 하나의 아바타의 아바타 식별정보에 대응되는 아바타 리소스 파일을 포함하는 스크립트 파일과; 상기 스크립트 파일을 해석하는 스크립트 엔진과; 상기 촬영 영상으로부터 개인 방송인 얼굴영역 정보를 획득하는 얼굴인식모듈과; 상기 스크립트 엔진으로부터 상기 스크립트 파일의 해석 정보를 입력받아 상기 얼굴인식모듈에서 획득한 상기 개인 방송인 얼굴영역 정보를 기반으로 상기 아바타 리소스 파일에 대응되는 아바타 이미지의 위치를 결정하고, 상기 촬영 영상에 상기 아바타 이미지를 삽입하는 그래픽 엔진을 포함한 것을 특징으로 하는 아바타를 이용한 인터넷 방송 참여 서비스 시스템.
  2. 제 1 항에 있어서, 상기 아바타 표시 요청 신호는 아바타 식별정보와 시청자 식별정보를 포함한 것을 특징으로 하는 아바타를 이용한 인터넷 방송 참여 서비스 시스템.
  3. 제 2 항에 있어서, 상기 아바타 표시 요청 신호는 시청자 얼굴 특징점 정보와 얼굴각도 정보를 더 포함한 것을 특징으로 하는 아바타를 이용한 인터넷 방송 참여 서비스 시스템.
  4. 제 3 항에 있어서, 상기 그래픽 엔진은 상기 시청자 얼굴 특징점 정보와 얼굴각도 정보를 이용하여 상기 아바타 이미지의 표정 및 각도를 변형하는 것을 특징으로 하는 아바타를 이용한 인터넷 방송 참여 서비스 시스템.
  5. 제 1 항에 있어서, 상기 아바타 표시 요청 신호는 오디오 신호를 더 포함한 것을 특징으로 하는 아바타를 이용한 인터넷 방송 참여 서비스 시스템.
  6. 제 1 항에 있어서, 상기 그래픽 엔진은 상기 개인 방송인 얼굴영역을 제외한 영역에 상기 아바타 이미지를 중첩하는 것을 특징으로 하는 아바타를 이용한 인터넷 방송 참여 서비스 시스템.
  7. 개인 방송인 클라이언트는 아바타서비스서버로부터 다수의 시청자들의 아바타 표시 요청 신호를 입력받고, 개인 방송인의 촬영 영상에 시청자의 아바타 이미지를 결합한 인터넷 방송 컨텐츠를 생성하여 인터넷 방송 플랫폼을 통해 송출하며, 메모리에 로딩되어 프로세서유닛에 의해 실행되는 인터넷 방송 송출 모듈과 시청자아바타삽입모듈을 포함하며, 상기 개인 방송인 클라이언트에서의 인터넷 방송 참여 서비스 방법에 있어서,
    상기 프로세서유닛이 시청자들로부터 표시 요청된 다수의 아바타 리스트가 표시되는 대기아바타리스트표시영역과 상기 인터넷 방송 컨텐츠가 표시되는 인터넷 방송 컨텐츠 표시영역을 포함하는 모니터 화면을 출력하는 제1단계와;
    상기 다수의 아바타 리스트 중 적어도 하나의 아바타가 선택되면, 상기 프로세서유닛이 상기 선택된 아바타 표시 요청 신호에 포함된 아바타 식별정보에 대응되는 아바타 리소스 파일을 포함하는 스크립트 파일을 실행하는 제2단계와;
    상기 프로세서유닛이 상기 스크립트 파일을 해석하는 제3단계와;
    상기 프로세서유닛이 촬영 영상으로부터 개인 방송인 얼굴영역 정보를 획득하는 제4단계와;
    상기 프로세서유닛이 상기 스크립트 파일의 해석 정보를 입력받아 상기 개인 방송인 얼굴영역 정보를 기반으로 상기 아바타 리소스 파일에 대응되는 아바타 이미지의 위치를 결정하는 제5단계와;
    상기 프로세서유닛이 상기 촬영 영상에 상기 아바타 이미지를 삽입하여 상기 인터넷 방송 컨텐츠 표시영역에 표시하는 제6단계를 포함한 것을 특징으로 하는 아바타를 이용한 인터넷 방송 참여 서비스 방법.
  8. 제 7 항에 있어서, 상기 아바타 표시 요청 신호는 아바타 식별정보와 시청자 식별정보를 포함한 것을 특징으로 하는 아바타를 이용한 인터넷 방송 참여 서비스 방법.
  9. 제 8 항에 있어서, 상기 아바타 표시 요청 신호는 시청자 얼굴 특징점 정보와 얼굴각도 정보를 더 포함한 것을 특징으로 하는 아바타를 이용한 인터넷 방송 참여 서비스 방법.
  10. 제 9 항에 있어서, 상기 제6단계는, 상기 프로세서유닛이 상기 시청자 얼굴 특징점 정보와 얼굴각도 정보를 이용하여 상기 아바타 이미지의 표정 및 각도를 변형한 후 상기 촬영 영상에 삽입하는 것을 특징으로 하는 아바타를 이용한 인터넷 방송 참여 서비스 방법.
  11. 제 7 항에 있어서, 상기 아바타 표시 요청 신호는 오디오 신호를 더 포함한 것을 특징으로 하는 아바타를 이용한 인터넷 방송 참여 서비스 방법.
  12. 제 7 항에 있어서, 상기 제5단계는, 상기 아바타 이미지의 위치가 상기 개인 방송인 얼굴영역을 제외한 영역으로 결정되는 것을 특징으로 하는 아바타를 이용한 인터넷 방송 참여 서비스 방법.
KR1020180017728A 2017-09-01 2018-02-13 아바타를 이용한 인터넷 방송 참여 서비스 시스템 및 방법 KR101915786B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170111912 2017-09-01
KR20170111912 2017-09-01

Publications (1)

Publication Number Publication Date
KR101915786B1 true KR101915786B1 (ko) 2018-11-09

Family

ID=64426446

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180017728A KR101915786B1 (ko) 2017-09-01 2018-02-13 아바타를 이용한 인터넷 방송 참여 서비스 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101915786B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113014832A (zh) * 2019-12-19 2021-06-22 志贺司 影像编辑系统及影像编辑方法
CN114125490A (zh) * 2022-01-19 2022-03-01 阿里巴巴（中国）有限公司 直播播放方法及装置
KR20220090751A (ko) * 2020-12-23 2022-06-30 주식회사 씨제이이엔엠 증강현실 방송 서비스를 제공하는 양방향 방송 시스템 및 방법
CN115150672A (zh) * 2022-06-23 2022-10-04 广州方硅信息技术有限公司 模拟职场的直播互动方法、装置及电子设备
CN115225949A (zh) * 2022-07-11 2022-10-21 广州博冠信息科技有限公司 直播互动方法及装置、计算机存储介质、电子设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113014832A (zh) * 2019-12-19 2021-06-22 志贺司 影像编辑系统及影像编辑方法
CN113014832B (zh) * 2019-12-19 2024-03-12 志贺司 影像编辑系统及影像编辑方法
KR20220090751A (ko) * 2020-12-23 2022-06-30 주식회사 씨제이이엔엠 증강현실 방송 서비스를 제공하는 양방향 방송 시스템 및 방법
KR102568021B1 (ko) 2020-12-23 2023-08-17 주식회사 씨제이이엔엠 증강현실 방송 서비스를 제공하는 양방향 방송 시스템 및 방법
CN114125490A (zh) * 2022-01-19 2022-03-01 阿里巴巴（中国）有限公司 直播播放方法及装置
CN114125490B (zh) * 2022-01-19 2023-09-26 阿里巴巴（中国）有限公司 直播播放方法及装置
CN115150672A (zh) * 2022-06-23 2022-10-04 广州方硅信息技术有限公司 模拟职场的直播互动方法、装置及电子设备
CN115225949A (zh) * 2022-07-11 2022-10-21 广州博冠信息科技有限公司 直播互动方法及装置、计算机存储介质、电子设备

Similar Documents

Publication Publication Date Title
KR101915786B1 (ko) 아바타를 이용한 인터넷 방송 참여 서비스 시스템 및 방법
US20210019982A1 (en) Systems and methods for gesture recognition and interactive video assisted gambling
US20180316939A1 (en) Systems and methods for video processing, combination and display of heterogeneous sources
US20180316948A1 (en) Video processing systems, methods and a user profile for describing the combination and display of heterogeneous sources
US20180316947A1 (en) Video processing systems and methods for the combination, blending and display of heterogeneous sources
US10750088B2 (en) System and method for identifying comment clusters for panoramic content segments
US8436891B2 (en) Hyperlinked 3D video inserts for interactive television
US20180316942A1 (en) Systems and methods and interfaces for video processing, combination and display of heterogeneous sources
US10078920B2 (en) Personalized video-based augmented reality
US11284137B2 (en) Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
EP2890149A1 (en) Systems and methods for video/multimedia rendering, composition, and user-interactivity
US20180316944A1 (en) Systems and methods for video processing, combination and display of heterogeneous sources
US20180316943A1 (en) Fpga systems and methods for video processing, combination and display of heterogeneous sources
US20180316946A1 (en) Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
US10523899B2 (en) System and method for providing and interacting with coordinated presentations
CN112135155B (zh) 音视频的连麦合流方法、装置、电子设备及存储介质
WO2018071781A2 (en) Systems and methods for video processing and display
KR20150105058A (ko) 온라인을 이용한 혼합현실형 가상 공연 시스템
US20180316940A1 (en) Systems and methods for video processing and display with synchronization and blending of heterogeneous sources
KR101915792B1 (ko) 얼굴인식을 이용한 광고 삽입 시스템 및 방법
US20180316941A1 (en) Systems and methods for video processing and display of a combination of heterogeneous sources and advertising content
KR101900471B1 (ko) 반응 효과가 삽입된 방송 시스템
US10764655B2 (en) Main and immersive video coordination system and method
KR20130067855A (ko) 시점 선택이 가능한 3차원 가상 콘텐츠 동영상을 제공하는 장치 및 그 방법
JP2019092186A (ja) 配信サーバ、配信プログラムおよび端末

Legal Events

Date Code Title Description
GRNT Written decision to grant