KR20220126660A - Ar 안면인식을 활용한 메타버스 화상 교육 플랫폼 제공 방법 및 네트워크 시스템 - Google Patents

Ar 안면인식을 활용한 메타버스 화상 교육 플랫폼 제공 방법 및 네트워크 시스템 Download PDF

Info

Publication number
KR20220126660A
KR20220126660A KR1020220029199A KR20220029199A KR20220126660A KR 20220126660 A KR20220126660 A KR 20220126660A KR 1020220029199 A KR1020220029199 A KR 1020220029199A KR 20220029199 A KR20220029199 A KR 20220029199A KR 20220126660 A KR20220126660 A KR 20220126660A
Authority
KR
South Korea
Prior art keywords
screen
metaverse
user terminal
user
camera
Prior art date
Application number
KR1020220029199A
Other languages
English (en)
Inventor
조현수
박원일
Original Assignee
주식회사글래드파크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사글래드파크 filed Critical 주식회사글래드파크
Publication of KR20220126660A publication Critical patent/KR20220126660A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Abstract

메타버스 교육 플랫폼 제공 방법 및 시스템이 제시된다. 본 발명에서 제안하는 메타버스 교육 플랫폼 제공 시스템은 메타버스를 통해 교육 서비스를 제공하는 상기 제1 사용자를 촬영하는 셀프카메라의 화면과 안면인식기능을 통한 페이스 메쉬(face mesh) 의 3D 모델링을 병합하기 위해 촬영하는 버추얼 카메라, 상기 병합된 영상의 비디오 데이터와 오디오 데이터를 서로 다른 네트워크를 이용하여 상기 교육 서비스에 참여하는 제2 사용자 단말로 전송하는 통신부, 제2 사용자 단말을 통해 수신된 상기 병합된 영상을 제2 사용자 단말의 메타버스의 가상공간 내에 디스플레이 하는 영상 처리부를 포함한다.

Description

AR 안면인식을 활용한 메타버스 화상 교육 플랫폼 제공 방법 및 네트워크 시스템{Method and System for Providing Low-latency Network for Metaverse Education Platform with AR Face-Tracking}
본 발명은 메타버스 교육 플랫폼 제공 방법 및 시스템에 관한 것이다.
메타버스(Metaverse) 관련 사업은 기술의 발전 및 언텍트 시대를 거치면서 관심이 높아지며 주목 받고 있으나, 아직 보편적으로 사용되거나 사업모델이 폭발적으로 증가하지는 않는 추세이다. 다만 최근의 산업군 별 경계가 모호해짐에 따라 이종 산업과의 결합이 활성화되고 있고 대부분 초기 진출단계에서 영역별 선점을 위한 경쟁이 심화될 것으로 보인다. 언어교육에서 유창한 회화 실력을 위한 스피킹과 리스닝 영역은 특히나 원어민과 최대한 많은 연습이 중요하다. 본 개발은 이런 이종 산업인 메타버스와 교육의 결합을 기술 선점을 통해 효율적으로 하기 위한 네트워크와 그 시스템 구성에 있다.
국내 메타버스 시장은 교육, 엔터테인먼트, 전시, 소셜스페이스 등 다양한 분야에 사용되고 있으며 관련 기술 활용에 대한 투자와 행사가 지속적으로 이루어지고 있어 지속적으로 성장하는 분야이다. 또한 국내보다는 해외에서 더 적극적으로 시장이 개척되고 있어 국내 기술력을 바탕으로 해외시장 진출이 용이하다.
비대면 화상회의 솔루션 등을 통해 교육사업의 또 다른 기회를 확인하는 계기가 되었지만, 언어교환을 위한 화상 솔루션은 아직 생소한 교육법으로 인식되고 있다. 언어교환은 해외에서는 펜팔과 같은 매체로부터 발전하여 현재는 모바일과 웹을 통해 서비스 되고 있다. 현재 상용되고 있는 기존의 언어 파트너 매칭 서비스는 그 형태와 BM 이 데이팅 매칭 서비스와 많이 흡사하여 질 좋은 언어교환 경험을 끌어내고 있지 못하고 있기 때문이다. 따라서 양질의 교육효과를 내고 싶은 유저들은 그 형태와 용도와 맞지 않은 다양한 플랫폼들에 흩어져 대안을 찾고 있는 상황이다. 또는 교육비가 비싼 원어민 회화 전화 등으로 그 대안을 찾고 있다. 비대면 화상회의 기반이 갖추어져 있다고 하더라도 사람과 사람을 이어주는 커뮤니케이션 프로세스가 프로필 포스팅으로 인한 상대방에게 어필하거나 필터링하는 프로세스로 이루어져 서로 모르는 사람이 스스럼 없이 대화를 할 수 있는 환경은 아니다. AI(Artificial Intelligence)기반 학습이라고 불리는 일부 기술 또한 기존 온라인 강의에 기초하여 학습을 시기에 맞춰 추천 및 감독해주는 수동적인 학습 플랫폼이라고 할 수 있다.
상당수의 수요자들이 비효율적인 비대면 학습에 지쳐 있으나 상대적으로 비용도 저렴하고 원어민 회화화상수업에 최적화 된 비대면 학습 플랫폼이 적시에 개발된다면 효율적인 학습효과를 거둘 수 있게 될 것이며 사용자로 하여금 메타버스 콘텐츠에 대한 긍정적인 평가를 기반으로 미래 다른 메타버스 콘텐츠도 경험하며 시장 전체가 성장할 수 있을 것이다.
가장 보편적으로 쓰이는 ZOOM의 경우 비대면 회의에 최적화 된 솔루션이다. 비용 효율적이고, 얼굴이 보인다는 장점과 안정적인 서버운영으로 초기에 빠른 속도로 전파되었다. 참여자 모두가 적극적으로 회의 내용에 집중할 의사가 있으며 서로 초대를 통한 방에 입장할 수 있고, 한 명씩 발언하면서 얼굴을 보이는 것에 대한 거부 반응이 없는 비즈니스 회의에 적합한 마인드 셋을 필요로 한다. 하지만 모르는 원어민과 시간 약속을 하거나 바로 얼굴을 보는 것에 대한 문화적 차이가 있을 수 있다. 따라서 서로 화상으로 언어교환을 시작하기 전에 서로에 대한 관심사와 얘기가 통해야 하며, 이를 위하여 메타버스라는 가상공간에 음성을 기반으로 서로에 대하여 알아간 뒤에 화상 언어교환을 시작하는 것이 부담감을 줄여주기 때문에 더 자신있게 언어교환을 진행할 수 있게 된다.
언어교육에 있어서 가장 큰 문제는 학생들의 동기부여라고 할 수 있다. 수동적으로 학습에 참여하는 학생들의 경우, 글과 이미지로만 이루어져 있는 학습자료로 인하여 학생들의 입장에서는 비대면 수업의 효율이 떨어질 수 밖에 없다. 본 개발은 떨어지는 비대면 교육 학습효과를 메타버스와 게이미피케이션으로 몰입도를 끌어올려 학습효과를 극대화 하는데 있다. 급등하는 부동산 임대료, 셔틀 운송 비용, 관리 인력 등 대면 교육에 필요한 많은 비용들이 비대면 수업을 통해 감소하는 추세이다. 비대면 수업을 지속하기 위해서는 교육 수요자들 경험의 부정적인 만족도에 대한 솔루션이 필요하다.
메타버스 기술의 경우 아주 간단한 모델이라고 하더라도 CPND(콘텐츠(Contents), 플랫폼(Platform), 네트워크(Network), 디바이스(Device)) 모두가 만족스러운 상황이 만들어져야 성장할 수 있다.
한국 공개특허공보 제10-2020-0017153호(2020.02.18)
본 발명이 이루고자 하는 기술적 과제는 CPND(콘텐츠(Contents), 플랫폼(Platform), 네트워크(Network), 디바이스(Device))를 모두 만족시키기 위한 메타버스 원어민 회화 교육 플랫폼 제공 방법 및 시스템을 제공하는데 있다. 메타버스의 개념을 비대면 교육에 적용하여 뉴미디어 기술과 전통적인 교육 분야를 이어줄 수 있는 교육 플랫폼을 제안하고, 수업에 참여하는 학생의 몰입력을 증가시키기 위해 학생과 가상공간의 사이에 높은 현실감을 제공하여 학습 효율을 높이고자 하며 서로 다른 국가에 있는 상대방과 화상세션을 진행할 때 음성과 화면에 대한 레이턴시를 줄여 언어교환 UX 를 향상시키는데 있다.
일 측면에 있어서, 본 발명에서 제안하는 메타버스 원어민 회화 교육 플랫폼 제공 시스템은 메타버스를 통해 사용자간 실시간 음성대화를 아바타를 통한 가상공간에서 이루어진다. 교육 서비스를 제공하는 제1 사용자를 촬영하는 셀프카메라의 화면과 AR마스크를 병합하기 위해 촬영하는 버추얼 카메라, 상기 병합된 영상의 비디오 데이터와 오디오 데이터를 서로 다른 네트워크를 이용하여 상기 교육 서비스에 참여하는 제2 사용자 단말로 전송하는 통신부, 전송된 화면의 비율을 조정하여 제2 사용자 단말의 메타버스의 가상공간 내에 디스플레이 하는 영상 처리부를 포함한다.
상기 버추얼 카메라는 상기 제1 사용자 셀프카메라의 화면을 촬영하는 제1 버추얼 카메라를 포함하고, 제1 버추얼 카메라의 안면인식 기능을 통하여 3D 메쉬의 로테이션 포지션을 조절 후, 그 결과 값에 따라 더미용 3D 얼굴 윤곽을 생성, 생성된 얼굴 윤관 위에 AR 마스크를 파지 한 다음, 더미용 3D 얼굴 윤곽만을 컬링 마스크로 제거된 결과 값을 버추얼 카메라에 오버레이로 표시, 그 결과 값을 텍스쳐에 표시, 상기 제1 사용자를 촬영하는 셀프카메라의 화면과 3D 마스크가 오버레이 제1 사용자 단말의 메모리 상에서 병합하도록 촬영한다. 이때 촬영되는 캔버스의 화면비율을 조절하여 필요한 구역만 크롭해서 보낼 수 있도록 한다
상기 통신부는 상기 비디오데이터는 WebRTC 네트워크(Web Real-Time Communication Network)를 통해 전송하고, 상기 오디오 데이터는 UDP 소켓 네트워크(User Datagram Protocol Socket Network)를 통해 전송하며, 상기 UDP 소켓 네트워크를 통해 송신되며, 메타버스의 가상공간 내의 아바타 위치에 따라 수신된 모바일 클라이언트 기기에서 사용자간의 거리 측정을 통하여 음성 크기를 조절한다. 사용자 관련 데이터 및 교육 서비스를 위한 커맨드(command)를 포함하는 메타버스의 가상공간 관련 데이터는 별도의 웹서버의 WebRTC 와 HTTP 프로토콜을 활용하여 전송한다.
상기 영상 처리부는 상기 제2 사용자 단말이 상기 제1 사용자를 촬영하는 셀프카메라의 화면만을 선택하거나, 또는 상기 제1 사용자 단말의 화면 및 상기 제1 사용자를 촬영하는 셀프카메라의 화면을 모두 선택하고 미리 정해진 설정에 따라 비율을 조정하여 동시에 디스플레이 하거나, 또는 상기 제1 사용자 단말의 화면 및 상기 제1 사용자를 촬영하는 셀프카메라의 화면을 모두 선택하고 미리 정해진 설정에 따라 레이아웃 구성 및 비율을 조정하여 제2 사용자 단말의 메타버스의 가상공간 내에 디스플레이 한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 메타버스 교육 플랫폼 제공 방법은 메타버스를 통해 교육 서비스를 제공하는 제1 사용자 단말이 버추얼 카메라를 통해 촬영되는 상기 제1 사용자를 촬영하는 셀프카메라와 제 1 사용자의 안면인식, 그에 따른 3D 모델링의 사이즈, 위치를 판별하여 카메라의 화면과 병합하는 단계, 통신부가 상기 병합된 영상의 비디오 데이터와 오디오 데이터를 서로 다른 네트워크를 이용하여 상기 교육 서비스에 참여하는 제2 사용자 단말로 전송하는 단계, 제2 사용자 단말을 통해 수신된 상기 병합된 영상을 영상 처리부를 통해 선택된 화면의 비율을 조정하여 상기 제2 사용자 단말에 디스플레이 하는 단계를 포함한다.
본 발명의 실시예들에 따르면 CPND(콘텐츠(Contents), 플랫폼(Platform), 네트워크(Network), 디바이스(Device))를 모두 만족시키기 위한 메타버스 교육 플랫폼 제공 방법 및 시스템을 제공할 수 있다. 제안하는 메타버스 교육 플랫폼 제공 방법 및 시스템을 통해 메타버스의 개념을 비대면 교육에 적용하여 뉴미디어 기술과 전통적인 교육 분야를 이어줄 수 있는 교육 플랫폼을 제안하고, 수업에 참여하는 학생의 몰입력을 증가시키기 위해 학생과 가상공간의 사이에 높은 현실감을 제공하여 학습 효율을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 메타버스 교육 플랫폼 제공 시스템의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 메타버스 교육 플랫폼 제공 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 버추얼 카메라를 통해 촬영된 영상 병합 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 가상공간에 디스플레이 되는 영상의 다양한 레이아웃을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상의 레이아웃 디스플레이 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 또 다른 실시예에 따른 영상의 레이아웃 디스플레이 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상의 비율을 조정하여 디스플레이하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상의 레이아웃 구성을 조정하여 디스플레이하는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 메타버스의 가상공간에서 진행되는 수업의 예시를 나타내는 도면이다.
본 발명의 실시예에 따른 메타버스 교육 플랫폼 제공 시스템을 통해 메타버스의 가상 강의실에서 강사와 수강생의 원활한 의사소통 및 실제 강의실과 같은 환경을 조성할 수 있다.
본 발명의 실시예에 따른 메타버스를 통해 교육 서비스를 제공하는 강사(다시 말해, 제1 사용자)는 제1 사용자 단말(예를 들어, PC)을 통해 제1 사용자 단말의 화면과 제1 사용자를 촬영하는 셀프카메라의 화면을 수강생(다시 말해, 제2 사용자)가 사용하는 제2 사용자 단말(예를 들어, HMD(Head Mounted Display)를 포함하는 메타버스 디바이스)로 전송할 수 있다.
본 발명의 실시예에 따른 메타버스 교육 플랫폼 제공 시스템은 제1 사용자 단말과 제2 사용자 단말 간의 실시간 채널 싱크 조율 및 상태체크 확인 기능을 통해 원활한 의사소통 및 실제 강의실과 같은 환경을 조성할 수 있다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 메타버스 교육 플랫폼 제공 시스템의 구성을 설명하기 위한 도면이다.
본 발명의 실시예에 따른 메타버스를 통해 교육 서비스를 제공하는 강사(다시 말해, 제1 사용자)(113)는 제1 사용자 단말(예를 들어, PC)(114)을 통해 제1 사용자 단말의 화면과 제1 사용자를 촬영하는 셀프카메라의 화면을 수강생(다시 말해, 제2 사용자)가 사용하는 제2 사용자 단말(예를 들어, HMD(Head Mounted Display)를 포함하는 메타버스 디바이스)(131)로 전송할 수 있다.
제안하는 메타버스 교육 플랫폼 제공 시스템은 버추얼 카메라(110), 통신부(120), 영상 처리부(130)를 포함한다.
버추얼 카메라(110)는 메타버스를 통해 교육 서비스를 제공하는 제1 사용자 단말의 화면과 상기 제1 사용자를 촬영하는 셀프카메라의 화면을 병합하기 위해 촬영을 수행한다.
본 발명의 실시예에 따른 버추얼 카메라(110)는 제1 사용자 단말의 화면을 촬영하는 제1 버추얼 카메라(111) 및 상기 제1 사용자를 촬영하는 셀프카메라의 화면을 촬영하는 제2 버추얼 카메라(112)를 포함할 수 있다. 제1 버추얼 카메라(111) 및 제2 버추얼 카메라(112)를 통해 촬영된 상기 제1 사용자 단말의 화면과 상기 제1 사용자를 촬영하는 셀프카메라의 화면을 제1 사용자 단말의 메모리 상에서 병합하도록 촬영한다.
통신부(120)는 병합된 영상의 비디오 데이터와 오디오 데이터를 서로 다른 네트워크를 이용하여 상기 교육 서비스에 참여하는 제2 사용자 단말(131)로 전송한다.
본 발명의 실시예에 따른 통신부(120)는 비디오 데이터는 WebRTC 네트워크(Web Real-Time Communication Network)(121)를 통해 전송하고, 오디오 데이터는 UDP 소켓 네트워크(User Datagram Protocol Socket Network)(122)를 통해 전송할 수 있다. UDP 소켓 네트워크(122)는 오디오 데이터뿐만 아니라, 메타버스의 가상공간 내의 아바타 위치, HMD(Head Mounted Display) 회전값, 콘트롤러 위치, 콘트롤러 회전값 및 교육 서비스를 위한 커맨드(command)를 포함하는 메타버스의 가상공간 관련 데이터를 함께 전송할 수 있다.
영상 처리부(130)는 제2 사용자 단말(131)을 통해 수신된 상기 병합된 영상을 제1 사용자 단말의 화면 및 제1 사용자를 촬영하는 셀프카메라의 화면으로 분리한다. 이후, 분리된 제1 사용자 단말의 화면 및 제1 사용자를 촬영하는 셀프카메라의 화면 중 적어도 하나 이상을 선택하고, 선택된 화면의 비율을 조정하여 제2 사용자 단말의 메타버스의 가상공간 내에 디스플레이 할 수 있다.
영상 처리부(130)는 제2 사용자 단말이 제1 사용자를 촬영하는 셀프카메라의 화면만을 선택하거나, 또는 제1 사용자 단말의 화면 및 제1 사용자를 촬영하는 셀프카메라의 화면을 모두 선택하고 미리 정해진 설정에 따라 비율을 조정하여 동시에 디스플레이 하거나, 또는 제1 사용자 단말의 화면 및 제1 사용자를 촬영하는 셀프카메라의 화면을 모두 선택하고 미리 정해진 설정에 따라 레이아웃 구성 및 비율을 조정하여 제2 사용자 단말의 메타버스의 가상공간 내에 디스플레이 할 수 있다.
도 2는 본 발명의 일 실시예에 따른 메타버스 교육 플랫폼 제공 방법을 설명하기 위한 흐름도이다.
제안하는 메타버스 교육 플랫폼 제공 방법은 메타버스를 통해 교육 서비스를 제공하는 제1 사용자 단말이 버추얼 카메라를 통해 촬영되는 상기 제1 사용자 단말의 화면과 상기 제1 사용자를 촬영하는 셀프카메라의 화면을 병합하는 단계(210), 통신부가 상기 병합된 영상의 비디오 데이터와 오디오 데이터를 서로 다른 네트워크를 이용하여 상기 교육 서비스에 참여하는 제2 사용자 단말로 전송하는 단계(220), 제2 사용자 단말을 통해 수신된 상기 병합된 영상을 영상 처리부를 통해 상기 제1 사용자 단말의 화면 및 상기 제1 사용자를 촬영하는 셀프카메라의 화면으로 분리하는 단계(230) 및 영상 처리부가 상기 분리된 제1 사용자 단말의 화면 및 제1 사용자를 촬영하는 셀프카메라의 화면 중 적어도 하나 이상을 선택하고, 선택된 화면의 비율을 조정하여 상기 제2 사용자 단말의 메타버스의 가상공간 내에 디스플레이 하는 단계(240)를 포함한다.
단계(210)에서, 메타버스를 통해 교육 서비스를 제공하는 제1 사용자 단말이 버추얼 카메라를 통해 촬영되는 상기 제1 사용자 단말의 화면과 상기 제1 사용자를 촬영하는 셀프카메라의 화면을 병합한다.
본 발명의 실시예에 따른 버추얼 카메라는 제1 사용자 단말의 화면을 촬영하는 제1 버추얼 카메라 및 상기 제1 사용자를 촬영하는 셀프카메라의 화면을 촬영하는 제2 버추얼 카메라를 포함할 수 있다. 제1 버추얼 카메라 및 제2 버추얼 카메라를 통해 촬영된 상기 제1 사용자 단말의 화면과 상기 제1 사용자를 촬영하는 셀프카메라의 화면을 제1 사용자 단말의 메모리 상에서 병합하도록 촬영한다. 도 3을 참조하여 제1 사용자 단말의 화면과 제1 사용자를 촬영하는 셀프카메라의 화면의 병합 과정을 더욱 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 버추얼 카메라를 통해 촬영된 영상 병합 과정을 설명하기 위한 도면이다.
본 발명의 실시예에 따른 버추얼 카메라는 제1 사용자 단말의 화면(311)을 촬영하는 제1 버추얼 카메라(310) 및 제1 사용자를 촬영하는 셀프카메라의 화면(321)을 촬영하는 제2 버추얼 카메라(320)를 포함할 수 있다. 제1 버추얼 카메라(310) 및 제2 버추얼 카메라(320)를 통해 촬영된 제1 사용자 단말의 화면(311)과 제1 사용자를 촬영하는 셀프카메라의 화면(321)은 제1 사용자 단말의 메모리 상에서 병합될 수 있다.
이때 병합되는 화면의 비율을 조절할 수 있다. 예를 들어, 제1 사용자 단말의 화면(311)은 가로 세로 비율을 16:9로 설정하고, 제1 사용자를 촬영하는 셀프카메라의 화면(321)은 가로 세로 비율을 9:5.0625로 설정할 수 있다.
제1 버추얼 카메라(310)와 제2 버추얼 카메라(320) 각각을 통해 촬영된 제1 사용자 단말의 화면(311)과 제1 사용자를 촬영하는 셀프카메라의 화면(321)을 병합하기 위해 제2 버추얼 카메라(320)을 통해 촬영되는 제1 사용자를 촬영하는 셀프카메라의 화면(321)은 90°회전시킨 화면이거나, 또는 제2 버추얼 카메라(320)를 90°회전시켜 촬영할 수도 있다.
이러한 가로 세로 비율 및 회전각도는 일 실시예일뿐 이에 한정되지 않으며, 다양한 가로 세로 비율 및 회전각도를 버추얼 카메라에 적용할 수 있다.
다시 도 2를 참조하면, 단계(220)에서, 통신부가 상기 병합된 영상의 비디오 데이터와 오디오 데이터를 서로 다른 네트워크를 이용하여 상기 교육 서비스에 참여하는 제2 사용자 단말로 전송한다.
본 발명의 실시예에 따른 통신부는 비디오 데이터는 WebRTC 네트워크(Web Real-Time Communication Network)를 통해 전송하고, 오디오 데이터는 UDP 소켓 네트워크(User Datagram Protocol Socket Network)를 통해 전송할 수 있다. UDP 소켓 네트워크는 오디오 데이터뿐만 아니라, 메타버스의 가상공간 내의 아바타 위치, HMD(Head Mounted Display) 회전값, 콘트롤러 위치, 콘트롤러 회전값 및 교육 서비스를 위한 커맨드(command)를 포함하는 메타버스의 가상공간 관련 데이터를 함께 전송할 수 있다.
단계(230)에서, 제2 사용자 단말을 통해 수신된 상기 병합된 영상을 영상 처리부를 통해 상기 제1 사용자 단말의 화면 및 상기 제1 사용자를 촬영하는 셀프카메라의 화면으로 분리한다.
단계(240)에서, 영상 처리부가 상기 분리된 제1 사용자 단말의 화면 및 제1 사용자를 촬영하는 셀프카메라의 화면 중 적어도 하나 이상을 선택하고, 선택된 화면의 비율을 조정하여 상기 제2 사용자 단말의 메타버스의 가상공간 내에 디스플레이 한다.
영상 처리부는 제2 사용자 단말이 제1 사용자를 촬영하는 셀프카메라의 화면만을 선택하거나, 또는 제1 사용자 단말의 화면 및 제1 사용자를 촬영하는 셀프카메라의 화면을 모두 선택하고 미리 정해진 설정에 따라 비율을 조정하여 동시에 디스플레이 하거나, 또는 제1 사용자 단말의 화면 및 제1 사용자를 촬영하는 셀프카메라의 화면을 모두 선택하고 미리 정해진 설정에 따라 레이아웃 구성 및 비율을 조정하여 제2 사용자 단말의 메타버스의 가상공간 내에 디스플레이 할 수 있다. 도 4를 참조하여 병합된 영상의 레이아웃 구성 및 비율 조정 과정을 더욱 상세히 설명한다.
앞서 설명된 바와 같이, 병합된 영상의 비디오 데이터 및 오디오 데이터를 서로 다른 네트워크를 이용함으로써 더욱 효율적으로 전송할 수 있다.
본 발명의 실시예에 따르면 병합된 영상, 다시 말해 미디어 스트림은 비디오와 오디오의 미디어 스트림 트랙으로 구성된다. 이때, 비디오와 오디오의 싱크를 맞추기 위하여, 오디오 스트림이 비디오 스트림의 인코딩 되는 시간 동안 대기 후 전송될 수 있다. 이후, 수신된 클라이언트에서 다시 디코딩 후 멀티스트림에 대한 싱크 작업 진행할 수 있다.
이러한 구조에 따라 실시간 강의에서 고용량의 비디오와 오디오 스트림의 싱크를 맞추기 위해 대기하는 시간을 단축하고, 네트워크 연결의 안전성을 위하여 스트림을 분리하여 전송할 수 있다.
종래기술에 따른 WebRTC 통신은 VP8 또는 H.264 코덱을 지원하는 프로토콜이며, 이는 영상을 인코딩 시, 필수로 영상과 소리의 싱크를 맞추고 보내는 프로세스를 거치게 된다. 이러한 경우, 영상을 수신하는 쪽에서도 영상을 보여주기 위하여 단일 프로세스로 디코딩을 실행하기 때문에, 통화시간이 길어질수록 서로의 말이 상대방에게 전해지기까지 레이턴시가 증가하게 된다.
따라서, 본 발명에서는 이러한 레이턴시가 누적되지 않도록 멀티 스트림으로 분리하여 전송할 수 있다.
도 4는 본 발명의 일 실시예에 따른 가상공간에 디스플레이 되는 영상의 다양한 레이아웃을 나타내는 도면이다.
본 발명의 실시예에 따른 영상 처리부는 제2 사용자 단말을 통해 수신된 병합된 영상을 제1 사용자 단말의 화면 및 제1 사용자를 촬영하는 셀프카메라의 화면으로 분리한다. 이후, 분리된 제1 사용자 단말의 화면 및 제1 사용자를 촬영하는 셀프카메라의 화면 중 적어도 하나 이상을 선택하고, 선택된 화면의 비율을 조정하여 제2 사용자 단말의 메타버스의 가상공간 내에 디스플레이 할 수 있다.
본 발명의 일 실시예에 따른 가상공간에 디스플레이 되는 영상은 제1 사용자를 촬영하는 셀프카메라의 화면만이 선택되어 디스플레이 될 수 있다(410).
본 발명의 또 다른 실시예에 따른 가상공간에 디스플레이 되는 영상은 제1 사용자 단말의 화면(421) 및 제1 사용자를 촬영하는 셀프카메라의 화면(422)이 모두 선택되고 미리 정해진 설정에 따라 비율을 조정하여 동시에 디스플레이 될 수 있다(420). 예를 들어, 도 4에 도시된 바와 같이(420), 제1 사용자 단말의 화면(421)의 우측 상단에 제1 사용자를 촬영하는 셀프카메라의 화면(422)을 동시에 디스플레이 할 수 있다.
본 발명의 또 다른 실시예에 따른 가상공간에 디스플레이 되는 영상은 복수의 교육영상(432, 433) 및 제1 사용자를 촬영하는 셀프카메라의 화면(431)이 모두 선택되고 미리 정해진 설정에 따라 레이아웃 구성 및 비율을 조정하여 동시에 디스플레이 될 수 있다(430). 예를 들어, 도 4에 도시된 바와 같이(430), 교육영상1(예를 들어, 제1 사용자 단말의 화면)(432)이 좌측에 디스플레이 되고, 중앙에는 제1 사용자를 촬영하는 셀프카메라의 화면(431)이 디스플레이 되며, 교육영상2(예를 들어, 교육자료)(433)이 우측에 동시에 디스플레이 될 수 있다.
이러한 레이아웃 및 영상 구성은 일 실시예일뿐 이에 한정되지 않으며, 다양한 레이아웃 및 영상 구성이 적용될 수 있다. 레이아웃 구성 및 비율을 조정하여 동시에 디스플레이하는 과정의 예시를 도 7을 참조하여 더욱 상세히 설명한다.
도 5는 본 발명의 일 실시예에 따른 영상의 레이아웃 디스플레이 과정을 설명하기 위한 도면이다.
본 발명의 실시예에 따른 메타버스를 통해 교육 서비스를 제공하는 강사(다시 말해, 제1 사용자)는 제1 사용자 단말(예를 들어, PC)을 통해 제1 사용자 단말의 화면과 제1 사용자를 촬영하는 셀프카메라의 화면을 수강생(다시 말해, 제2 사용자)가 사용하는 제2 사용자 단말(예를 들어, HMD(Head Mounted Display)를 포함하는 메타버스 디바이스)로 전송할 수 있다.
도 5를 참조하면, 본 발명의 실시예에 따른 제1 사용자 단말의 화면(511) 및 제1 사용자를 촬영하는 셀프카메라의 화면(512)이 가상공간에 디스플레이 되는 영상을 도시하였다. 도 5에 도시된 바와 같이, 영상을 시청하는 제2 사용자의 서로 다른 영상 시청 거리(521, 522, 523)에 따라 시야각에 차이가 있는 것을 확인할 수 있다.
제1 사용자 단말의 화면(511)을 정면으로 시청하고 있는 제2 사용자의 위치(521)에서의 시야각이 우측으로 최대 25°인 경우, 우측 상단에 디스플레이 되는 제1 사용자를 촬영하는 셀프카메라의 화면(512)은 제2 사용자의 위치(521)에서의 시야각에 따라 최적의 화면각도(예를 들어, 20-35°)(531)로 디스플레이될 수 있다.
도 6은 본 발명의 또 다른 실시예에 따른 영상의 레이아웃 디스플레이 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 본 발명의 실시예에 따른 복수의 교육영상(612, 613) 및 제1 사용자를 촬영하는 셀프카메라의 화면(611)이 가상공간에 디스플레이 되는 영상을 도시하였다. 도 6에 도시된 바와 같이, 영상을 시청하는 제2 사용자의 서로 다른 영상 시청 위치(621. 622. 623)에 따라 시야각에 차이가 있는 것을 확인할 수 있다.
제1 사용자 단말의 화면(611)을 정면으로 시청하고 있는 제2 사용자의 위치(621)에서의 시야각이 우측으로 최대 30°인 경우, 우측에 디스플레이 되는 교육영상(612)은 제2 사용자의 위치(621)에서의 시야각에 따라 최적의 화면각도(예를 들어, 20-35°)(631)로 디스플레이될 수 있다.
본 발명의 실시예에 따르면, 이와 같이 제2 사용자의 위치에 따라 제1 사용자 단말의 화면과 제1 사용자를 촬영하는 셀프카메라의 화면의 최적의 화면각도를 제공하여 눈의 피로도를 줄이고 최적의 해상도를 제공할 수 있다. 또한, 제2 사용자로 하여금 화면각도에 따라 시선을 분산시켜 제1 사용자가 제2 사용자의 시선을 읽을 수 있어 교육 서비스 제공 관리에 용이하다.
도 7은 본 발명의 일 실시예에 따른 영상의 비율을 조정하여 디스플레이하는 과정을 설명하기 위한 도면이다.
디스플레이되는 영상의 비율을 조정하기 위해 버추얼 카메라로 투사 되는 영상의 레이아웃을 활용하여 AI 비젼을 활용한 AR 마스크 효과를 더할 수 있다. 이러한 방식은 앞서 설명된 멀티스트림으로 누적 레이턴시를 줄여 보내야 하는 이유와 상충할 수 있다.
도 7을 참조하면, 셀프카메라를 통해 촬영된 화면(710)에서 안면인식기능을 통해 인식된 얼굴(720)의 방향과 크기에 따라 주의 메쉬 모델(Attention Mesh model)(730)을 통해 영상의 비율을 조정하여 디스플레이할 수 있다(740).
도 8은 본 발명의 일 실시예에 따른 영상의 레이아웃 구성을 조정하여 디스플레이하는 과정을 설명하기 위한 도면이다.
도 8을 참조하면, 사용자를 셀프카메라를 통해 촬영하여 나타낸 단말 화면(810)에 대해 버추얼 카메라를 통해 사용자의 얼굴 영역을 인식하고, 3D 마스크를 렌더링 할 수 있다(820). 인식된 사용자 얼굴(831)과 3D 마스크(382)를 렌더링하여 합성괸 결과물(840)을 생성하고, 이를 weRTC 네트워크를 통해 정송할 수 있다(850).
사용자 화면을 병합하여 비율을 조절하는 기존의 방식을 변경하여 버추얼 카메라에 안면인식 기능을 추가하여 사용자의 얼굴 영역에 3D 모델링 마스크를 쓴 것처럼 표시할 수 있다. 기존의 방식보다 저지연 및 다양한 운영체제에 적용 가능한 범용성이 있는 기술로서 의미가 있다.
도 9는 본 발명의 일 실시예에 따른 메타버스의 가상공간에서 진행되는 수업의 예시를 나타내는 도면이다.
본 발명의 실시예에 따른 메타버스 교육 플랫폼 제공 시스템을 통해 메타버스의 가상 강의실(910)에서 강사(다시 말해, 제1 사용자)와 복수의 수강생(다시 말해, 제2 사용자)의 원활한 의사소통 및 실제 강의실과 같은 환경을 조성할 수 있다.
본 발명의 실시예에 따른 메타버스를 통해 교육 서비스를 제공하는 강사는 제1 사용자 단말(예를 들어, PC)을 통해 제1 사용자 단말의 화면(다시 말해, 교육 관련 자료)(921)과 제1 사용자를 촬영하는 셀프카메라의 화면(922)을 수강생가 사용하는 제2 사용자 단말(예를 들어, HMD(Head Mounted Display)를 포함하는 메타버스 디바이스)로 전송할 수 있다. 복수의 수강생은 각각의 아바타(931, 732, 733)를 통해 메타버스의 가상공간에서 교육에 참여할 수 있다.
본 발명의 실시예에 따른 메타버스 교육 플랫폼 제공 시스템은 제1 사용자 단말과 제2 사용자 단말 간의 실시간 채널 싱크 조율 및 상태체크 확인 기능을 통해 원활한 의사소통 및 실제 강의실과 같은 환경을 조성할 수 있다.
또한, 제2 사용자 단말, 예를 들어 HMD의 화면 방향에 따른 공간 오디오(Spatial Audio) 기능으로 시야에 따른 소리 조절이 가능하다.
본 발명의 실시예에 따르면, 제1 사용자 단말은 제2 사용자 단말에 대한 통제권을 가질 수 있고, 제2 사용자 단말의 착용 상태를 실시간으로 확인하여 원활한 수업분위기를 조성할 수 있다.
본 발명의 실시예에 따르면, HMD는 수강생들의 시선을 완전히 장악하여 수업 외 다른 행동을 하지 못하도록 관리할 수 있다. 수강생들의 시선이 강사에게 고스란히 노출이 되어 집중하지 않는 수강생들의 파악이 쉽고, 이상 시선패턴을 AI가 파악하여 수업에 집중하지 못하는 수강생들을 실시간으로 강사에게 알려주어 관리를 용이하게 할 수 있다.
본 발명의 실시예에 따르면, 강사는 수강생들에게 다양한 방식의 퀴즈를 통해 즉시 학습 성취를 파악할 수 있으며, 수강생들의 교재 필기를 확인할 수 있어 수업 후 사후평가에 활용할 수 있다. 수업 내에 상벌점 시스템으로 바로 기록을 남기며 수강생들에게 동기부여를 유도할 수도 있다.
본 발명의 실시예에 따르면, 수강생들은 디지털 책 또는 노트에 수업시간에 필기하며 학습하고 나중에 자신의 필기 내용을 확인 할 수 있다. 또한, 수강생들은 수업시간에 다른 수강생들과 소통하는 즐거움과 아바타 꾸미기, 교실 내 3D 라이팅, 공 쏘기 등 게이미피케이션(gamification) 적용으로 현실에는 없는 재미를 더하기 위한 장치들이 제공된다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (6)

  1. 메타버스 교육 플랫폼 제공 시스템에 있어서,
    메타버스를 통해 교육 서비스를 제공하는 제1 사용자를 촬영하는 셀프카메라의 화면과 안면인식기능을 통해 인식된 얼굴의 방향과 크기에 따라 3D 모델링을 실시간으로 변환하여 병합하기 위해 촬영하는 버추얼 카메라;
    상기 병합된 영상의 비디오 데이터와 오디오 데이터를 서로 다른 네트워크를 이용하여 상기 교육 서비스에 참여하는 제2 사용자 단말로 전송하는 통신부;
    제2 사용자 단말을 통해 수신된 상기 병합된 영상의 비율을 조정하여 제2 사용자 단말에 디스플레이 하는 영상 처리부
    를 포함하는 메타버스 교육 플랫폼 제공 시스템.
  2. 제1항에 있어서,
    상기 버추얼 카메라는,
    상기 제1 사용자를 촬영하는 셀프카메라의 화면을 촬영하는 제1 버추얼 카메라를 포함하고, 제1 버추얼 카메라는 머신러닝의 안면인식 기능을 통해 얼굴의 깊이와 윤곽을 인식하기 위한 랜드마크를 실시간으로 처리하여 상기 제1 사용자를 촬영하는 셀프카메라의 화면을 제1 사용자 단말의 메모리 상에서 병합하도록 촬영하는
    메타버스 교육 플랫폼 제공 시스템.
  3. 제1항에 있어서,
    상기 통신부는,
    상기 비디오 데이터는 WebRTC 네트워크(Web Real-Time Communication Network)를 통해 전송하고,
    상기 오디오 데이터는 UDP 소켓 네트워크(User Datagram Protocol Socket Network)를 통해 전송하며,
    상기 UDP 소켓 네트워크를 통해 메타버스의 가상공간 내의 아바타 위치, HMD(Head Mounted Display) 회전값, 콘트롤러 위치, 콘트롤러 회전값 및 교육 서비스를 위한 커맨드(command)를 포함하는 메타버스의 가상공간 관련 데이터를 함께 전송하는
    메타버스 교육 플랫폼 제공 시스템.
  4. 제1항에 있어서,
    상기 영상 처리부는,
    상기 제2 사용자 단말이 상기 제1 사용자를 촬영하는 셀프카메라의 화면만을 선택하거나, 또는 상기 제1 사용자 단말의 화면 및 상기 제1 사용자를 촬영하는 셀프카메라의 화면을 모두 선택하고 미리 정해진 설정에 따라 비율을 조정하여 동시에 디스플레이 하거나, 또는 상기 제1 사용자 단말의 화면 및 상기 제1 사용자를 촬영하는 셀프카메라의 화면을 모두 선택하고 미리 정해진 설정에 따라 레이아웃 구성 및 비율을 조정하여 제2 사용자 단말의 메타버스의 가상공간 내에 디스플레이 하는
    메타버스 교육 플랫폼 제공 시스템.
  5. 메타버스 교육 플랫폼 제공 방법에 있어서,
    메타버스를 통해 교육 서비스를 제공하는 제1 사용자 단말이 버추얼 카메라를 통해 촬영되는 상기 제1 사용자 단말의 화면과 상기 제1 사용자를 촬영하는 셀프카메라의 화면을 병합하는 단계;
    통신부가 상기 병합된 영상의 비디오 데이터와 오디오 데이터를 서로 다른 네트워크를 이용하여 상기 교육 서비스에 참여하는 제2 사용자 단말로 전송하는 단계;
    제2 사용자 단말을 통해 수신된 상기 병합된 영상을 영상 처리부를 통해 상기 제1 사용자 단말의 화면 및 상기 제1 사용자를 촬영하는 셀프카메라의 화면으로 분리하는 단계; 및
    영상 처리부가 상기 분리된 제1 사용자 단말의 화면 및 제1 사용자를 촬영하는 셀프카메라의 화면 중 적어도 하나 이상을 선택하고, 선택된 화면의 비율을 조정하여 상기 제2 사용자 단말의 메타버스의 가상공간 내에 디스플레이 하는 단계
    를 포함하는 메타버스 교육 플랫폼 제공 방법.
  6. 제5항에 있어서,
    상기 통신부가 병합된 영상의 비디오 데이터와 오디오 데이터를 서로 다른 네트워크를 이용하여 상기 교육 서비스에 참여하는 제2 사용자 단말로 전송하는 단계는,
    상기 비디오 데이터는 WebRTC 네트워크(Web Real-Time Communication Network)를 통해 전송하고,
    상기 오디오 데이터는 UDP 소켓 네트워크(User Datagram Protocol Socket Network)를 통해 전송하며,
    상기 UDP 소켓 네트워크를 통해 메타버스의 가상공간 내의 아바타 위치, HMD(Head Mounted Display) 회전값, 콘트롤러 위치, 콘트롤러 회전값 및 교육 서비스를 위한 커맨드(command)를 포함하는 메타버스의 가상공간 관련 데이터를 함께 전송하는
    메타버스 교육 플랫폼 제공 방법.
KR1020220029199A 2021-03-09 2022-03-08 Ar 안면인식을 활용한 메타버스 화상 교육 플랫폼 제공 방법 및 네트워크 시스템 KR20220126660A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210030893 2021-03-09
KR1020210030893 2021-03-09
KR1020210044371 2021-04-06
KR20210044371 2021-04-06

Publications (1)

Publication Number Publication Date
KR20220126660A true KR20220126660A (ko) 2022-09-16

Family

ID=83445233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220029199A KR20220126660A (ko) 2021-03-09 2022-03-08 Ar 안면인식을 활용한 메타버스 화상 교육 플랫폼 제공 방법 및 네트워크 시스템

Country Status (1)

Country Link
KR (1) KR20220126660A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433432A (zh) * 2023-04-18 2023-07-14 广东融粤宝信息科技有限公司 一种大数据的智慧校园管理系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200017153A (ko) 2018-08-08 2020-02-18 (주)한국체스게임 가상현실 서비스 운영 시스템 및 운영 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200017153A (ko) 2018-08-08 2020-02-18 (주)한국체스게임 가상현실 서비스 운영 시스템 및 운영 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433432A (zh) * 2023-04-18 2023-07-14 广东融粤宝信息科技有限公司 一种大数据的智慧校园管理系统
CN116433432B (zh) * 2023-04-18 2023-11-21 北京漂洋过海科技有限责任公司 一种大数据的智慧校园管理系统

Similar Documents

Publication Publication Date Title
US11290688B1 (en) Web-based videoconference virtual environment with navigable avatars, and applications thereof
US10952006B1 (en) Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof
US11076128B1 (en) Determining video stream quality based on relative position in a virtual space, and applications thereof
US11095857B1 (en) Presenter mode in a three-dimensional virtual conference space, and applications thereof
US11070768B1 (en) Volume areas in a three-dimensional virtual conference space, and applications thereof
JP4059513B2 (ja) 没入型仮想環境において注視を伝達する方法およびシステム
US11457178B2 (en) Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof
CN112235530B (zh) 远程会议的实现方法及装置、电子设备、存储介质
CA3181367C (en) A web-based videoconference virtual environment with navigable avatars, and applications thereof
WO2023071586A1 (zh) 画面生成方法、装置、设备及介质
JP2021006977A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
US20210144283A1 (en) An apparatus, method, and system for capturing 360/virtual reality video using a mobile phone add-on
Kachach et al. The owl: Immersive telepresence communication for hybrid conferences
KR20220126660A (ko) Ar 안면인식을 활용한 메타버스 화상 교육 플랫폼 제공 방법 및 네트워크 시스템
US20240087236A1 (en) Navigating a virtual camera to a video avatar in a three-dimensional virtual environment, and applications thereof
JP6727388B1 (ja) 授業システム、視聴端末、情報処理方法およびプログラム
US11928774B2 (en) Multi-screen presentation in a virtual videoconferencing environment
JP7408506B2 (ja) コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
JP2021009351A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
US11776227B1 (en) Avatar background alteration
US11741652B1 (en) Volumetric avatar rendering
US20240007593A1 (en) Session transfer in a virtual videoconferencing environment
KR102619761B1 (ko) 텔레프리젠테이션 화상 회의 시스템을 위한 서버
US20240031531A1 (en) Two-dimensional view of a presentation in a three-dimensional videoconferencing environment
JP7360989B2 (ja) 制御サーバ、端末、配信システム、制御方法、情報処理方法、及びプログラム