KR20220145997A - 360도 영상과 hmd를 활용하고, 메타버스 공간 내에서 진행되는 비대면 실시간 교육 방법 - Google Patents
360도 영상과 hmd를 활용하고, 메타버스 공간 내에서 진행되는 비대면 실시간 교육 방법 Download PDFInfo
- Publication number
- KR20220145997A KR20220145997A KR1020210052712A KR20210052712A KR20220145997A KR 20220145997 A KR20220145997 A KR 20220145997A KR 1020210052712 A KR1020210052712 A KR 1020210052712A KR 20210052712 A KR20210052712 A KR 20210052712A KR 20220145997 A KR20220145997 A KR 20220145997A
- Authority
- KR
- South Korea
- Prior art keywords
- processor
- metaverse space
- metaverse
- face
- space
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000004891 communication Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 241000086550 Dinosauria Species 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005452 bending Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241001516908 Metabus Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Electrically Operated Instructional Devices (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Computer Interaction (AREA)
Abstract
본 발명은 프로세서가, 획득된 영상에 기초하여 교육용 메타버스 공간을 생성하는 단계; 프로세서가, 상기 메타버스 공간 내에 스크린을 제공하는 단계; 프로세서가, 상기 메타버스 공간 내에 오브젝트를 제공하는 단계; 프로세서가, 상기 메타버스 공간 내에 사용자와 매칭되는 아바타를 제공하는 단계; 및 프로세서가, 상기 스크린을 통해, 상기 오브젝트와 연관된 교육 컨텐츠를 제공하는 단계;를 포함하는 메타버스 공간 내에서 진행되는 비대면 교육 방법에 관한 것이다.
Description
본 발명은 360도 영상과 HMD를 활용하고, 메타버스 공간 내에서 진행되는 비대면 실시간 교육 방법에 관한 것이다.
코로나 19등의 전염병의 유행에 따라 비대면, 비접촉식 교육에 대한 수요가 커지고 있다. 이러한 수요를 충족시키는 방법으로 공교육 영역 및 사교육 영역에서 온라인 교육이 활용되고 있다. 이러한 온라인 교육은, 기 생성되어 제공되는 교육 컨텐츠를 수강생이 자신의 단말기를 활용하여 재생함으로써 이루어지거나 강사와 수강생이 동시에 접속된 상태로 영상을 통해 강의를 진행하는 식으로 이루어진다.
그러나, 유아, 어린이와 같이, 집중력이 상대적으로 낮은 수강생의 경우, 종래 기술에 따른 온라인 교육은 집중력의 부재로 오프 라인 교육에 비해 효율이 떨어질 수밖에 없다. 온라인 환경은 상호간의 교감이 이루어지기 힘들기 때문에, 집중력이 상대적으로 낮은 수강생의 관심을 유도하기 위한 교육 시스템 개발이 필요하다.
한편, 증강 현실 기술과 가상 현실 기술도 점점 발전하고 있다. 비대면, 비접촉식 교육의 방법으로, 증강 현실 기술과 가상 현실 기술의 도입에 대한 연구가 활성화되고 있다. 그러나, 증강 현실 기술과 가상 현실 기술의 도입만으로 강사와 수강생간 교감을 형성하여, 교육의 집중도를 높이기에는 한계가 있었다.
본 발명은 상기한 문제점을 해결하기 위하여, 강사와 수강생들간 높은 교감을 형성하여, 교육의 집중도를 높이는 메타버스 공간 내에서 진행되는 비대면 교육 방법을 제공하는데 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 비대면 교육 방법은 메타버스 공간 내에서 진행된다.
본 발명의 실시예에 따른 비대면 교육 방법은, 프로세서가, 획득된 영상에 기초하여 교육용 메타버스 공간을 생성하는 단계; 프로세서가, 상기 메타버스 공간 내에 스크린을 제공하는 단계; 프로세서가, 상기 메타버스 공간 내에 오브젝트를 제공하는 단계; 프로세서가, 상기 메타버스 공간 내에 사용자와 매칭되는 아바타를 제공하는 단계; 및 프로세서가, 상기 스크린을 통해, 상기 오브젝트와 연관된 교육 컨텐츠를 제공하는 단계;를 포함한다.
본 발명의 실시예에 따른 비대면 교육 방법은, 프로세서가, 제1 사용자 입력 수신에 기초하여, 상기 메타버스 공간 내에 버추얼 컨트롤러를 표시하는 단계; 및 프로세서가, 상기 버추얼 콘트롤러의 조작 신호가 수신되는 경우, 상기 조작 신호에 대응되는 동작을 수행하는 단계;를 더 포함한다.
본 발명의 실시예에 따른 비대면 교육 방법은, 프로세서가, 제2 사용자 입력 수신에 기초하여, 상기 메타버스 공간 내에서 상기 버추얼 컨트롤러를 숨기는 단계;를 더 포함한다.
상기 오브젝트를 제공하는 단계는, 프로세서가, 상기 교육 컨텐츠 정보를 획득하는 단계; 프로세서가, 상기 교육 콘텐츠 정보에 기초하여, 단어를 추출하는 단계; 프로세서가, 상기 단어와 관련도가 높은 오브젝트를 데이터 베이스에서 검색하는 단계; 및 프로세서가, 상기 메타버스 공간 내에, 검색된 오브젝트를 제공하는 단계;를 포함한다.
상기 아바타를 제공하는 단계는, 프로세서가, 사용자 디바이스의 턴온에 따라 생성된 제1 신호를 수신하는 단계; 프로세서가, 상기 제1 신호에 기초하여, 상기 아바타를 생성하는 단계; 프로세서가, 상기 사용자 디바이스로부터 사용자의 동작에 따라 생성되는 제2 신호를 수신하는 단계; 및 프로세서가, 상기 제2 신호에 기초하여, 상기 메타버스 공간 내에서 상기 아바타의 움직임을 제어하는 단계;를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 메타버스 공간을 이용하여, 유아, 어린이 등의 수강생이 비대면 영어 학습을 함에 있어서 몰입도가 향상되는 효과가 있다.
둘째, 메타버스 공간을 이용함으로써, 강사와 수강생들간 교감이 이루어져, 교육 효율성이 높아지는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 메타 버스 공간 구현 장치의 제어 블럭도이다.
도 3은 본 발명의 실시예에 따른 사용자 디바이스의 제어 블럭도이다.
도 4 내지 도 7는 본 발명의 실시예에 따른 방법을 설명하는데 참조되는 플로우 차트이다.
도 8 내지 도 9는 본 발명의 실시예에 따른 메타 버스 공간을 설명하는데 참조되는 도면이다.
도 2는 본 발명의 실시예에 따른 메타 버스 공간 구현 장치의 제어 블럭도이다.
도 3은 본 발명의 실시예에 따른 사용자 디바이스의 제어 블럭도이다.
도 4 내지 도 7는 본 발명의 실시예에 따른 방법을 설명하는데 참조되는 플로우 차트이다.
도 8 내지 도 9는 본 발명의 실시예에 따른 메타 버스 공간을 설명하는데 참조되는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 실시예에 따른 시스템의 구성도이다.
도면을 참조하면, 교육 시스템(1)은, 교육용 메타버스 공간을 생성하고, 메타버스 공간 내에서 교육을 수행할 수 있다. 교육 시스템(1)은, 비대면 영어 교육에 이용될 수 있다. 교육 시스템(1)은, 영어 외 다른 과목 교육에도 이용될 수 있다.
교육 시스템(1)은, 유치원, 초등학교, 중학교, 고등학교에서 교육 컨텐츠를 학생에게 제공하는 공교육 영역에서 활용될 수 있다. 또한, 교육 시스템(1)은, 학원, 온라인 교육 플랫폼 등 사교육 영역에서 활용될 수 있다.
유아, 어린이와 같이, 상대적으로 집중력이 떨어지는 수강생이 교육 시스템(1)을 활용하여 영어 교육 컨텐츠를 제공하는 대상일 수 있다.
메타버스 공간에서 교육을 수행하는 경우, 강사가 필요한데, 여기서 강사는 원어민 강사인 것이 바람직하다. 실시예에 따라, 강사는 내국인 강사일 수도 있다.
교육 시스템(1)은, 영상 제공 장치(20), 데이터 베이스(30), 교육 컨텐츠 제공 장치(40), 메타버스 공간 구현 장치(100) 및 사용자 디바이스(300)를 포함할 수 있다.
영상 제공 장치(20), 데이터 베이스(30), 교육 컨텐츠 제공 장치(40), 메타버스 공간 구현 장치(100) 및 사용자 디바이스(300) 각각은 유선 또는 무선 네트워크를 통해 통신할 수 있다. 유선 또는 무선 네트워크는, 제3자에 의해 제공되는 인프라가 활용될 수 있다.
한편, 교육 시스템(1)을 통해 수행되는 교육은, 영어 교육임을 예시하여 설명하지만, 교육 시스템(1)은 이에 한정되지 않고, 음악, 역사, 과학, 수학, 국어, 사회 등 다양한 과목의 교육에도 이용될 수 있다.
영상 제공 장치(20)는, 메타버스 공간 구현의 배경이 되는 영상을 제공할 수 있다. 영상 제공 장치(20)는, 360도 카메라를 포함할 수 있다. 영상 제공 장치(20)는, 360도 카메라를 통해 획득한 영상을 제공할 수 있다.
영상 제공 장치(20)는, 360도 카메라를 통해, 교육 컨텐츠와 연관된 공간의 영상을 획득할 수 있다.
영상 제공 장치(20)는, 영상을 메타버스 공간 구현 장치(100)에 제공할 수 있다.
데이터 베이스(30)는, 복수의 오브젝트에 대한 데이터를 저장할 수 있다. 데이터 베이스(30)는, 오브젝트를 그래픽으로 구현하기 위한 데이터를 저장할 수 있다. 데이터 베이스(30)는, 교육 컨텐츠와 관련된 다양한 오브젝트에 대한 데이터를 저장할 수 있다.
데이터 베이스(30)는, 메타버스 공간 구현 장치(100)로부터 수신된 신호에 기초하여 오브젝트 데이터를 메타버스 공간 구현 장치(100)에 제공할 수 있다.
교육 컨텐츠 제공 장치(40)는, 교육 컨텐츠를 메타버스 공간 구현 장치(100)에 제공할 수 있다.
교육 컨텐츠는 실시간 영상 및 음성일 수 있다.
교육 컨텐츠 제공 장치(40)는, 카메라, 마이크, 디스플레이를 포함할 수 있다. 강사는, 메타버스 공간을 디스플레이를 확인하고, 실시간 교육을 진행할 수 있다. 교육 컨텐츠 제공 장치(40)는, 디스플레이를 통해 메타버스 공간이 표시된 상태에서, 카메라 및 마이크를 통해, 강사의 실시간 영상 및 음성을 획득할 수 있다.
메타버스 공간 구현 장치(100)는, 교육용 메타버스 공간(MTV)을 구현할 수 있다. 메타버스(Metaverse) 공간은, 3차원 가상 세계로 정의될 수 있다.
메타버스 공간 구현 장치(100)는, 영상 제공 장치(20), 데이터 베이스(30), 교육 컨텐츠 제공 장치(40) 및 사용자 디바이스(300)로부터 수신되는 신호, 정보 또는 데이터에 기초하여, 교육용 메타버스 공간(MTV)을 구현할 수 있다.
메타버스 공간 구현 장치(100)는, 영상 제공 장치(20)로부터 메타버스 공간 구현의 배경이 되는 영상을 수신할 수 있다. 메타버스 공간 구현 장치(100)는, 수신된 영상을 가공하여, 메타버스 공간(MTV)을 형성할 수 있다.
메타버스 공간 구현 장치(100)는, 데이터 베이스(30)로부터 그래픽 오브젝트 데이터를 수신할 수 있다. 메타버스 공간 구현 장치(100)는, 메타버스 공간 내에 오브젝트를 생성할 수 있다.
메타버스 공간 구현 장치(100)는, 교육 컨텐츠 제공 장치(40)로부터 교육 컨텐츠를 수신할 수 있다. 메타버스 공간 구현 장치(100)는, 메타버스 공간 내에서 교육 컨텐츠를 제공할 수 있다. 예를 들면, 메타버스 공간 구현 장치(100)는, 메타버스 공간 내에 배치된 스크린을 통해 실시간 영상 및 음성을 제공할 수 있다.
메타버스 공간 구현 장치(100)는, 사용자 디바이스(300)로부터, 아바타 동작과 관련된 신호를 수신할 수 있다. 메타버스 공간 구현 장치(100)는, 수신된 신호에 기초하여, 메타버스 공간 내에 아바타를 생성하고, 아바타의 움직임을 제어할 수 있다.
사용자 디바이스(300)는, 사용자가 메타버스 공간에 진입하는데 이용될 수 있다. 사용자 디바이스(300)는, 사용자가 착용할 수 있는 형태의 전자 장치로 이해될 수 있다. 예를 들면, 사용자 디바이스(300)는, HMD(Head Mounted Display)와 악세사리를 포함할 수 있다.
사용자 디바이스(300)는, 사용자가 메타버스 공간 안에 위치하는 것으로 인지하도록, 시각, 청각, 촉각 중 적어도 어느 하나의 감각을 자극할 수 있다.
사용자 디바이스(300)는, 사용자 디바이스(300)에서 생성된 신호를 메타버스 공간 구현 장치(100)에 전송할 수 있다. 사용자 디바이스(300)는, 메타버스 공간에 생성되는 아바타와 관련된 신호를 메타버스 공간 구현 장치(100)에 전송할 수 있다.
도 2는 본 발명의 실시예에 따른 메타버스 공간 구현 장치의 제어 블럭도이다.
도면을 참조하면, 메타버스 공간 구현 장치(100)는, 영상 제공 장치(20), 데이터 베이스(30), 교육 컨텐츠 제공 장치(40) 및 사용자 디바이스(300)로부터 수신한 신호, 데이터 및 정보 중 적어도 어느 하나에 기초하여, 메타버스 공간을 생성할 수 있다.
메타버스 공간 구현 장치(100)는, 통신부(110), 메모리(140), 프로세서(170) 및 전원 공급부(190)를 포함할 수 있다.
통신부(110)는, 메타버스 공간 구현 장치(100) 외부의 전자 장치와 신호를 교환할 수 있다.
통신부(110)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
통신부(110)는, 이동 통신 네트워크(예를 들면, 3G, 4G, 5G)를 이용하여 교육 컨텐츠 제공 장치(100) 외부의 전자 장치와 신호를 교환할 수 있다.
메모리(140)는, 프로세서(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 프로세서(170)에서 처리된 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 중 적어도 어느 하나로 구성될 수 있다. 메모리(140)는 프로세서(170)의 처리 또는 제어를 위한 프로그램 등, 전자 장치(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 메모리(140)는, 프로세서(170)와 일체형으로 구현될 수 있다. 실시예에 따라, 메모리(140)는, 프로세서(170)의 하위 구성으로 분류될 수 있다.
프로세서(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로폰으로 컨트롤러(micro-controllers), 마이크로폰으로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
전원 공급부(190)는, 메타버스 공간 구현 장치(100)에 전원을 공급할 수 있다. 전원 공급부(190)는, 배터리로부터 전원을 공급받아, 메타버스 공간 구현 장치(100)의 각 유닛에 전원을 공급할 수 있다.
도 3은 본 발명의 실시예에 따른 사용자 디바이스의 제어 블럭도이다.
도 3을 참조하면, 사용자 디바이스(300)는, HMD(Head-Mount Display), 웨어러블 디바이스 등으로 구현될 수도 있다.
사용자 디바이스(300)는 다양한 센서들을 통해 또는 외부 장치로부터 획득한 3차원 포인트 클라우드 데이터 또는 이미지 데이터를 분석하여 3차원 포인트들에 대한 위치 데이터 및 속성 데이터를 생성함으로써 주변 공간 또는 현실 오브젝트에 대한 정보를 획득하고, 출력할 오브젝트를 렌더링하여 출력할 수 있다. 예컨대, 사용자 디바이스(300)는 인식된 물체에 대한 추가 정보를 포함하는 오브젝트를 해당 인식된 물체에 대응시켜 출력할 수 있다.
사용자 디바이스(300)는 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, 사용자 디바이스(300)는 학습 모델을 이용하여 3차원 포인트 클라우드 데이터 또는 이미지 데이터에서 현실 오브젝트를 인식할 수 있고, 인식한 현실 오브젝트에 상응하는 정보를 제공할 수 있다. 여기서, 학습 모델은 사용자 디바이스(300)에서 직접 학습되거나, AI 서버 등의 외부 장치에서 학습된 것일 수 있다.
이때, 사용자 디바이스(300)는 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.
사용자 디바이스(300)는 카메라(310), 디스플레이(320), 스피커(325), 센서(330), 프로세서(340), 메모리(350) 및 통신 모듈(360)을 포함한다.
통신 모듈(360)은 외부 장치 또는 서버와 유선/무선으로 통신을 수행하며, 근거리 무선 통신으로 예를 들어 Wi-Fi, 블루투스 등이 사용될 수 있고, 원거리 무선 통신으로 예를 들어 LTE, LTE-A, 5G 등이 사용될 수 있다.
카메라(310)는 사용자 디바이스(300) 주변 환경을 촬영하여 전기적 신호로 변환할 수 있다. 카메라(310)에서 촬영되어 전기적 신호로 변환된 이미지는 메모리(350)에 저장된 후 프로세서(340)를 통해 디스플레이(320)에서 디스플레이 될 수 있다. 또한, 상기 이미지는 상기 메모리(350)에 저장 없이, 바로 프로세서(340)를 이용하여 디스플레이(320)를 통해 디스플레이 될 수 있다. 또한, 카메라(310)는 화각을 가질 수 있다. 이 때, 화각은 예를 들어 카메라(310) 주변에 위치하는 리얼 오브젝트를 디텍트할 수 있는 영역을 의미한다. 카메라(310)는 화각내에 위치하는 리얼 오브젝트만을 디텍트할 수 있다. 리얼 오브젝트가 카메라(310)의 화각 내에 위치하는 경우, 사용자 디바이스(300)는 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 디스플레이 할 수 있다. 또한, 카메라(310)는 카메라(310)와 리얼 오브젝트의 각도를 디텍트할 수 있다.
스피커(325)는, 전기적 신호를 오디오 신호로 변환하여 출력할 수 있다.
센서(330)는 적어도 하나의 센서를 포함할 수 있으며, 예를 들어, 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로 센서, 가속도 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 벤딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서 등의 센싱 수단을 포함한다. 나아가, 디스플레이(320)는 고정형일 수도 있으나, 높은 플렉시빌러티(flexibility)를 갖도록 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), ELD(Electro Luminescent Display), M-LED(Micro LED)로 구현 가능하다. 이 때, 상기 센서(330)는 전술한 LCD, OLED, ELD, M-LED (마이크로폰으로 LED) 등으로 구현된 디스플레이(320)의 휘어짐, 벤딩(Bending) 정도를 디텍트 하도록 설계한다.
메모리(350)는 카메라(310)에 의해 촬영된 이미지를 저장하는 기능을 가지고 있을 뿐만 아니라, 외부 장치 또는 서버와 유선/무선으로 통신을 수행한 결과값의 전부 또는 일부를 저장하는 기능을 가지고 있다.
사용자 디바이스(300)는 러닝 프로세서를 더 포함할 수 있다. 러닝 프로세서는, 프로세서(340)와 별도로 구성되거나, 프로세서(340)의 하위 개념으로 분류될 수도 잇다.
사용자 디바이스(300)는 학습모델을 탑재할 수 있다. 학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(350)에 저장될 수 있다.
본 발명의 실시예들에 따른 러닝 프로세서는 프로세서(340)와 통신 가능하도록 연결될 수 있으며, 훈련 데이터를 이용하여 인공 신경망으로 구성된 모델을 반복적으로 학습시킬 수 있다. 인공신경망은 생물학적 뉴런의 동작원리와 뉴런간의 연결 관계를 모델링한 것으로 노드(node) 또는 처리 요소(processing element)라고 하는 다수의 뉴런들이 레이어(layer) 구조의 형태로 연결된 정보처리 시스템이다. 인공 신경망은 기계 학습에서 사용되는 모델로써, 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계 중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘이다. 기계 학습은 머신 러닝(Machine Learning)과 혼용되어 사용될 수 있다. 머신 러닝은 인공지능(Artificial Intelligence, AI)의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 기술이다. 머신 러닝은 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이다. 따라서 본 발명의 실시예들에 따른 러닝 프로세서는 인공 신경망을 반복 학습시킴으로서, 인공 신경망의 최적화된 모델 파라미터들을 결정하여 새로운 입력 데이터에 대하여 결과 값을 추론할 수 있다. 따라서 러닝 프로세서는 사용자의 디바이스 사용 히스토리 정보를 기반으로 사용자의 디바이스 사용 패턴을 분석할 수 있다. 또한, 러닝 프로세서는 데이터 마이닝, 데이터 분석, 지능형 의사 결정, 및 기계 학습 알고리즘 및 기술을 위해 이용될 정보를 수신, 분류, 저장 및 출력하도록 구성될 수 있다.
본 발명의 실시예들에 따른 프로세서(340)는 러닝 프로세서에서 분석되거나 생성된 데이터를 기반으로 디바이스의 적어도 하나의 실행 가능한 동작을 결정 또는 예측할 수 있다. 또한 프로세서(340)는 러닝 프로세서의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 사용자 디바이스(300)를 제어할 수 있다. 본 발명의 실시예들에 따른 프로세서(340)는 지능적 에뮬레이션(즉, 지식 기반 시스템, 추론 시스템 및 지식 획득 시스템)을 구현하는 다양한 기능을 수행할 수 있다. 이는 적응 시스템, 기계 학습 시스템, 인공 신경망 등을 포함하는, 다양한 유형의 시스템(예컨대, 퍼지 논리 시스템)에 적용될 수 있다. 즉, 프로세서(340)는 러닝 프로세서에서 사용자의 디바이스 사용 패턴을 분석한 데이터를 기반으로 추후 사용자 디바이스 사용 패턴을 예측하여 사용자 디바이스(300)는 사용자에게 보다 적합한 XR 서비스를 제공할 수 있도록 제어할 수 있다.
프로세서(340)는, 디스플레이(320)를 통해, 메타버스 공간 영상을 출력할 수 있다. 사용자는, 사용자 디바이스(300)를 착용한 상태에서, 디스플레이(320)를 통해 출력되는 메타버스 공간 영상을 보면서 메타버스 공간에 자신이 위치하는 듯한 경험을 하게 된다.
프로세서(340)는, 아바타와 관련된 신호를 메타버스 공간 구현 장치(100)에 제공할 수 있다.
예를 들면, 프로세서(340)는, 사용자 디바이스의 턴온에 따라 생성된 제1 신호를 메타버스 공간 구현 장치(100)에 전송할 수 있다.
예를 들면, 프로세서(340)는, 사용자의 동작에 따라 생성되는 제2 신호를 메타버스 공간 구현 장치(100)에 전송할 수 있다. 제2 신호는, 센서(330)에 의해 생성될 수 있다.
도 4 내지 도 7는 본 발명의 실시예에 따른 방법을 설명하는데 참조되는 플로우 차트이다.
도 4 내지 도 7의 각 단계의 동작은, 메타버스 공간 구현 장치(100)의 프로세서(170)에서 수행될 수 있다.
도4를 참조하면, 프로세서(170)는, 메타버스 공간(MTV)을 생성할 수 있다(S410). 프로세서(170)는, 통신부(110)를 통해 영상 제공 장치(20)로부터 영상을 획득하고, 획득된 영상에 기초하여 교육용 메타버스 공간(MTV)을 생성할 수 있다.
프로세서(170)는, 영상 제공 장치(20)로부터 360도 카메라를 통해 촬영된 영상을 수신할 수 있다. 프로세서(170)는, 수신된 영상을 처리하여 교육용 메타버스 공간(MTV)의 배경을 생성할 수 있다.
프로세서(170)는, 메타버스 공간(MTV) 내에 스크린을 제공할 수 있다(S410). 스크린은, 메타버스 공간(MTV) 내에서 교육 컨텐츠를 제공하는 매개체로 설명될 수 있다.
프로세서(170)는, 영상 제공 장치(20)로부터 수신된 영상에 포함된 오브젝트 상에 스크린을 생성할 수 있다. 예를 들면, 프로세서(170)는, 영상 속 하늘, 지면, 건물 위에 스크린을 생성할 수 있다.
프로세서(170)는, 메타버스 공간(MTV) 내에 오브젝트를 제공할 수 있다(S430). 오브젝트를 제공하는 단계(S430)는, 도 6을 참조하여 보다 상세하게 설명한다.
프로세서(170)는, 메타버스 공간(MTV) 내에서 사용자와 매칭되는 아바타를 제공할 수 있다(S440). 아바타를 제공하는 단계(S440)는, 도 7을 참조하여 보다 상세하게 설명한다.
프로세서(170)는, 메타버스 공간(MTV) 내에서 교육을 진행할 수 있다(S450).
프로세서(170)는, 교육 컨텐츠 제공 장치(40)로부터 교육 컨텐츠를 제공받아, 교육을 진행할 수 있다. 한편, 교육 컨텐츠는, 실시간 영상 및 음성일 수 있다.
프로세서(170)는, 스크린을 통해 오브젝트와 연관된 교육 컨텐츠를 제공할 수 있다. 프로세서(170)는, 스크린에 실시간 영상을 출력시킬 수 있다.
도 5를 참조하면, 메타버스 공간 구현 장치(100)는, 메타버스 공간(MTV)이 생성된 상태에서, 사용자 디바이스(300)를 통해, 사용자 입력을 수신할 수 있다. 사용자 입력은, 사용자 디바이스(300)의 센서(330)를 통해 수신되거나, 별도로 마련된 사용자 입력부(미도시)를 통해 수신될 수 있다. 사용자 입력부(미도시)는, 사용자 디바이스(300)에 사용자 입력을 전기적 신호로 전환하는 모듈로 설명될 수 있다.
프로세서(170)는, 제1 사용자 입력 수신(S510)에 기초하여, 메타버스 공간(MTV) 내에 버추얼 컨트롤러를 표시할 수 있다(S520).
한편, 제1 사용자 입력은, 센서(330) 또는 사용자 입력부(미도시)를 통해 수신되는 미리 약속된 형태의 입력일 수 있다.
한편, 버추얼 컨트롤러는, 메타버스 공간(MTV) 내에서 조작 가능한 요소(예를 들면, 볼륨, 스크린 위치, 아바타 위치, 아바타 종류 등)를 제어하기 위한 그래픽 객체로 이해될 수 있다.
버추얼 컨트롤러가 표시된 상태에서, 프로세서(170)는, 버추얼 컨트롤러의 조작 신호가 수신(S530)되는 경우, 조작 신호에 대응되는 동작을 수행할 수 있다(S540).
예를 들면, 프로세서(170)는 조작 신호가 수신되면, 볼륨을 조절할 수 있다.
예를 들면, 프로세서(170)는, 조작 신호가 수신되면, 메타버스 공간 내에서 스크린의 위치를 제1 지점에서 제2 지점으로 변경할 수 있다. 예를 들면, 프로세서(170)는, 조작 신호가 수신되면, 제1 오브젝트 상에 구현되는 스크린을 제2 오브젝트 상에 구현되도록 변경할 수 있다.
예를 들면, 프로세서(170)는, 조작 신호가 수신되면, 아바타의 위치를 제1 지점에서 제2 지점으로 변경할 수 있다.
예를 들면, 프로세서(170)는, 조작 신호가 수신되면, 아바타의 종류를 제1 종류에서 제2 종류로 변경할 수 있다.
프로세서(170)는, 제2 사용자 입력 수신(S550)에 기초하여, 버추얼 컨트롤러를 숨길 수 있다(S560).
한편, 제2 사용자 입력은, 센서(330) 또는 사용자 입력부(미도시)를 통해 수신되는 미리 약속된 형태의 입력일 수 있다.
도 6을 참조하면, 오브젝트를 제공하는 단계(S430)는, 교육 컨텐츠 정보를 획득하는 단계(S610), 교육 컨텐츠에서 단어를 추출하는 단계(S620), 단어와 관련도가 높은 오브젝트를 데이터 베이스에서 검색하는 단계(S630) 및 메타버스 공간 내에, 검색된 오브젝트를 제공하는 단계(S640)를 포함할 수 있다.
프로세서(170)는, 교육 컨텐츠 제공 장치(40)로부터 수신된 교육 컨텐츠에 대한 정보를 획득할 수 있다(S610). 교육 컨텐츠에 대한 정보는, 교육 내용 정보, 교육 대상 정보를 포함할 수 있다.
프로세서(170)는, 교육 컨텐츠에 대한 정보에 기초하여, 단어를 추출할 수 있다(S620). 예를 들면, 교육 컨텐츠가 영어 단어를 설명하는 영상인 경우, 프로세서(170)는, 영상에서 설명 대상이되는 단어를 추출할 수 있다.
프로세서(170)는, 단어와 관련도가 높은 오브젝트를 데이터 베이스에서 검색할 수 있다(S630).
프로세서(170)는, 메타버스 공간(MTV) 내에, 검색된 오브젝트를 제공할 수 있다(S640). 제공되는 오브젝트는, 교육 컨텐츠와 관련도가 높은 것으로 교육 주제에 부합하게 된다.
한편, 실시예에 따라, 프로세서(170)는, 무빙 오브젝트를 제공할 수 있다. 프로세서(170)는, 데이터 베이스(30)에서 제공되는 데이터에 기초하여, 오브젝트를 메타버스 공간 내에 생성하고, 생성된 오브젝트를 움직일 수 있다.
한편, 실시예에 따라, 프로세서(170)는, 무빙 오브젝트가 아바타와 상호 교류할 수 있도록 오브젝트를 움직일 수 있다.
가령, 아바타가 무빙 오브젝트에 접근하는 경우, 프로세서(170)는, 무빙 오브젝트는 아바타로부터 더 멀어지게 할 수 있다.
한편, 실시예에 따라, 프로세서(170)는, 사용자 디바이스(300)로부터 수신된 신호에 기초하여 무빙 오브젝트를 움직일 수 있다.
가령, 프로세서(170)는, 사용자 디바이스(300)로부터 제시된 퀴즈에 정답에 대응되는 신호가 수신되는 경우, 무빙 오브젝트가 아바타에 접근하게 할 수 있다.
이와 같이 무빙 오브젝트의 동작을 제어함으로써, 사용자의 학습 효과를 높일 수 있다.
도 7을 참조하면, 아바타를 제공하는 단계(S440)는, 사용자 디바이스(300)의 턴온에 따라 생성된 제1 신호를 수신하는 단계(S710), 제1 신호에 기초하여, 아바타를 생성하는 단계(S720), 사용자 디바이스로부터 사용자의 동작에 따라 생성되는 제2 신호를 수신하는 단계(S730) 및 제2 신호에 기초하여, 메타버스 공간 내에서 아바타의 움직임을 제어하는 단계(S740)를 포함할 수 있다.
프로세서(170)는, 사용자 디바이스(300)로부터, 사용자 디바이스의 턴온에 따라 생성된 제1 신호를 수신할 수 있다(S710).
사용자가 사용자 디바이스(300)를 착용한 경우, 사용자 디바이스(300)는 턴온될 수 있다. 사용자 디바이스(300)가 턴온되는 경우, 사용자 디바이스(300)는, 제1 신호를 메타버스 공간 구현 장치(100)에 전송할 수 있다. 이경우, 프로세서(170)는, 통신부(110)를 통해, 제1 신호를 수신할 수 있다.
프로세서(170)는, 제1 신호에 기초하여, 메타버스 공간(MTV)에 아바타를 생성할 수 있다(S720).
한편, 아바타는, 사용자 또는 사용자 디바이스(300)에 매칭될 수 있다. 예를 들면, 제1 아바타는, 제1 사용자 또는 제1 사용자가 착용한 제1 사용자 디바이스에 매칭되고, 제2 아바타는, 제2 사용자 또는 제2 사용자가 착용한 제2 사용자 디바이스에 매칭될 수 있다.
프로세서(170)는, 사용자 디바이스(300)로부터, 사용자의 동작에 따라 생성되는 제2 신호를 수신할 수 있다(S730). 사용자 디바이스(300)는, 사용자의 동작에 따라 센서(330)에서 생성되는 제2 신호를 메타버스 공간 구현 장치(100)에 전송할 수 있다. 이경우, 프로세서(170)는, 통신부(110)를 통해, 제2 신호를 수신할 수 있다.
프로세서(170)는, 제2 신호에 기초하여, 메타버스 공간 내에서 아바타의 움직임을 제어할 수 있다(S740). 예를 들면, 사용자가 팔 또는 다리를 움직이는 경우, 프로세서(170)는, 제2 신호를 수신하여, 아바타의 팔 또는 다리가 움직이도록 제어할 수 있다.
프로세서(170)는, 아바타의 움직임에 따라 무빙 오브젝트의 움직임을 제어할 수 있다.
예를 들면, 무빙 오브젝트가 동물인 경우, 프로세서(170)는, 아바타가 왼손을 움직이는 경우, 동물의 왼쪽 앞발을 움직일 수 있다.
예를 들면, 무빙 오브젝트가 동물인 경우, 프로세서(170)는, 아바타가 고개를 움직이는 경우, 동물의 머리를 움직일 수 있다.
이와 같이, 무빙 오브젝트의 움직임을 아바타의 움직임과 동기화함으로써, 수강생의 교육 집중도를 높일 수 있다.
도 8 내지 도 9는 본 발명의 실시예에 따른 메타버스 공간을 설명하는데 참조되는 도면이다.
도 8 내지 도 9는, 메타버스 공간(MTV)을 예시한다. 프로세서(170)는, 교육용 메타버스 공간(MTV)을 생성할 수 있다. 가령, 공룡 시대를 배경으로 하는 영어 교육을 수행하는 경우, 프로세서(170)는, 공룡 시대의 메타버스 공간(MTV)를 생성할 수 있다.
프로세서(170)는, 메타버스 공간(MTV)에 스크린(810)을 생성할 수 있다. 실시예에 따라, 프로세서(170)는, 메타버스 공간(MTV)의 오브젝트를 활용하여 스크린(810)을 생성할 수 있다. 예를 들면, 메타버스 공간(MTV)에서의 하늘, 지면, 구조물 등을 활용하여 스크린(810)을 생성할 수 있다.
프로세서(170)는, 스크린(810)을 통해, 교육 컨텐츠를 제공할 수 있다. 도 8에 예시된 바와 같이, 프로세서(170)는, 강사의 실시간 강의가 스크린(810)을 통해 표시되게할 수 있다.
프로세서(170)는, 메타버스 공간(MTV)에 오브젝트(820)를 생성할 수 있다. 오브젝트(820)는, 교육 컨텐츠와 연관되는 것일 수 있다. 예를 들면, 교육 컨텐츠에서 공룡이라는 단어가 추출되는 경우, 프로세서(170)는, 데이터 베이스(30)에서 공룡에 대응되는 오브젝트를 서치하여 메타버스 공간(MTV) 내에 생성할 수 있다.
프로세서(170)는, 메타버스 공간(MTV)에 아바타(830)를 생성할 수 있다. 아바타는, 사용자 디바이스(300)에서 생성되는 신호와 상호 작용할 수 있다.
한편, 프로세서(170)는, 무빙 오브젝트의 움직임을 사용자 디바이스(300)에서 생성되는 신호와 상호 작용되도록 제어할 수 있다. 이경우, 사용자 디바이스(300)에서 생성된 신호에 기초하여, 아바타와 무빙 오브젝트가 동조화 상태로 움직이게 된다. 이로 인해, 사용자는 교육에 더욱 재미를 느끼게 된다.
제1 사용자 입력이 수신되는 경우, 프로세서(170)는, 메타버스 공간(MTV) 내에 버추얼 컨트롤러(910)를 표시할 수 있다. 버추얼 컨트롤러(910)는, 손 형상을 가질 수 있다. 버추얼 컨트롤러(910)는, 사용자와 메타버스 공간(MTV) 사이의 인터페이스 기능을 수행할 수 있다. 사용자는 버추얼 컨트롤러(910)를 통해, 메타버스 공간(MTV)에서 조작 가능한 요소들을 제어할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
1 : 시스템
100 : 메타버스 공간 구현 장치
100 : 메타버스 공간 구현 장치
Claims (5)
- 프로세서가, 획득된 영상에 기초하여 교육용 메타버스 공간을 생성하는 단계;
프로세서가, 상기 메타버스 공간 내에 스크린을 제공하는 단계;
프로세서가, 상기 메타버스 공간 내에 오브젝트를 제공하는 단계;
프로세서가, 상기 메타버스 공간 내에 사용자와 매칭되는 아바타를 제공하는 단계; 및
프로세서가, 상기 스크린을 통해, 상기 오브젝트와 연관된 교육 컨텐츠를 제공하는 단계;를 포함하는 메타버스 공간 내에서 진행되는 비대면 교육 방법. - 제 1항에 있어서,
프로세서가, 제1 사용자 입력 수신에 기초하여, 상기 메타버스 공간 내에 버추얼 컨트롤러를 표시하는 단계; 및
프로세서가, 상기 버추얼 콘트롤러의 조작 신호가 수신되는 경우, 상기 조작 신호에 대응되는 동작을 수행하는 단계;를 더 포함하는 메타버스 공간 내에서 진행되는 비대면 교육 방법. - 제 2항에 있어서,
프로세서가, 제2 사용자 입력 수신에 기초하여, 상기 메타버스 공간 내에서 상기 버추얼 컨트롤러를 숨기는 단계;를 더 포함하는 메타버스 공간 내에서 진행되는 비대면 교육 방법. - 제 1항에 있어서,
상기 오브젝트를 제공하는 단계는,
프로세서가, 상기 교육 컨텐츠 정보를 획득하는 단계;
프로세서가, 상기 교육 콘텐츠 정보에 기초하여, 단어를 추출하는 단계;
프로세서가, 상기 단어와 관련있는 오브젝트를 데이터 베이스에서 검색하는 단계; 및
프로세서가, 상기 메타버스 공간 내에, 검색된 오브젝트를 제공하는 단계;를 포함하는 메타버스 공간 내에서 진행되는 비대면 교육 방법. - 제 1항에 있어서,
상기 아바타를 제공하는 단계는,
프로세서가, 사용자 디바이스의 턴온에 따라 생성된 제1 신호를 수신하는 단계;
프로세서가, 상기 제1 신호에 기초하여, 상기 아바타를 생성하는 단계;
프로세서가, 상기 사용자 디바이스로부터 사용자의 동작에 따라 생성되는 제2 신호를 수신하는 단계; 및
프로세서가, 상기 제2 신호에 기초하여, 상기 메타버스 공간 내에서 상기 아바타의 움직임을 제어하는 단계;를 포함하는 메타버스 공간 내에서 진행되는 비대면 교육 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210052712A KR20220145997A (ko) | 2021-04-23 | 2021-04-23 | 360도 영상과 hmd를 활용하고, 메타버스 공간 내에서 진행되는 비대면 실시간 교육 방법 |
| KR1020220114605A KR102585311B1 (ko) | 2021-04-23 | 2022-09-12 | 360도 영상과 hmd를 활용하고, 메타버스 공간 내에서 진행되는 비대면 실시간 교육 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210052712A KR20220145997A (ko) | 2021-04-23 | 2021-04-23 | 360도 영상과 hmd를 활용하고, 메타버스 공간 내에서 진행되는 비대면 실시간 교육 방법 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220114605A Division KR102585311B1 (ko) | 2021-04-23 | 2022-09-12 | 360도 영상과 hmd를 활용하고, 메타버스 공간 내에서 진행되는 비대면 실시간 교육 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220145997A true KR20220145997A (ko) | 2022-11-01 |
Family
ID=84042208
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210052712A KR20220145997A (ko) | 2021-04-23 | 2021-04-23 | 360도 영상과 hmd를 활용하고, 메타버스 공간 내에서 진행되는 비대면 실시간 교육 방법 |
| KR1020220114605A KR102585311B1 (ko) | 2021-04-23 | 2022-09-12 | 360도 영상과 hmd를 활용하고, 메타버스 공간 내에서 진행되는 비대면 실시간 교육 방법 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220114605A KR102585311B1 (ko) | 2021-04-23 | 2022-09-12 | 360도 영상과 hmd를 활용하고, 메타버스 공간 내에서 진행되는 비대면 실시간 교육 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR20220145997A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024101558A1 (ko) * | 2022-11-07 | 2024-05-16 | 주식회사 마이크로러닝 | 메타버스 기반의 대학 교육 플랫폼 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240069439A (ko) | 2022-11-11 | 2024-05-20 | (주)에이알씨엔에스 | 메타버스를 활용한 학습자 중심의 온라인 교육 시스템 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030017850A (ko) | 2001-08-23 | 2003-03-04 | 서영철 | 온라인교육방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160062276A (ko) * | 2014-11-24 | 2016-06-02 | 주식회사 퍼플웍스 | 융합인재교육 기반의 에듀테인먼트 콘텐츠 제공 시스템 |
| KR101850028B1 (ko) * | 2015-03-06 | 2018-05-30 | 한국전자통신연구원 | 가상 여행 체험 장치 및 그 방법 |
| KR20200083004A (ko) * | 2018-12-31 | 2020-07-08 | 박상규 | 가상현실 구현 시스템 및 이를 통해 구현된 가상현실을 이용한 기관실 교육 훈련 시스템 |
-
2021
- 2021-04-23 KR KR1020210052712A patent/KR20220145997A/ko active Application Filing
-
2022
- 2022-09-12 KR KR1020220114605A patent/KR102585311B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030017850A (ko) | 2001-08-23 | 2003-03-04 | 서영철 | 온라인교육방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024101558A1 (ko) * | 2022-11-07 | 2024-05-16 | 주식회사 마이크로러닝 | 메타버스 기반의 대학 교육 플랫폼 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102585311B1 (ko) | 2023-10-10 |
| KR20220146366A (ko) | 2022-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7130057B2 (ja) | 手部キーポイント認識モデルの訓練方法及びその装置、手部キーポイントの認識方法及びその装置、並びにコンピュータプログラム | |
| CN110490213B (zh) | 图像识别方法、装置及存储介质 | |
| KR102585311B1 (ko) | 360도 영상과 hmd를 활용하고, 메타버스 공간 내에서 진행되는 비대면 실시간 교육 방법 | |
| Csapó et al. | A survey of assistive technologies and applications for blind users on mobile platforms: a review and foundation for research | |
| US11410570B1 (en) | Comprehensive three-dimensional teaching field system and method for operating same | |
| KR102359253B1 (ko) | 360도 xr 디지털 영상을 이용한 비대면 영어 교육 컨텐츠 제공 방법 | |
| Coughlan et al. | AR4VI: AR as an accessibility tool for people with visual impairments | |
| KR20210062428A (ko) | 영상 촬영 장치의 원격 제어 방법 및 장치 | |
| WO2022188022A1 (zh) | 一种基于听觉的感知系统及其使用方法 | |
| CN113821720A (zh) | 一种行为预测方法、装置及相关产品 | |
| CN112116684A (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| KR20210077482A (ko) | 복수의 갱신 정보를 융합하여 인공 지능 모델을 갱신하는 인공 지능 서버 및 그 방법 | |
| KR20210046170A (ko) | 레시피 정보를 생성하는 인공 지능 장치 및 그 방법 | |
| CN111515970B (zh) | 一种互动方法、拟态机器人和相关装置 | |
| Masal et al. | Development of a visual to audio and tactile substitution system for mobility and orientation of visually impaired people: a review | |
| KR20190096752A (ko) | 컨텐츠에 대한 텍스트 코멘트를 생성하는 방법 및 전자 장치 | |
| KR20190107616A (ko) | 개체명 테이블을 생성하는 인공 지능 장치 및 그 방법 | |
| KR20210066328A (ko) | 자연어 이해 모델을 학습시키기 위한 인공 지능 장치 | |
| Elbawab et al. | Machine Learning applied to student attentiveness detection: Using emotional and non-emotional measures | |
| KR102231909B1 (ko) | 인공지능 장치 | |
| CN114296627B (zh) | 内容显示方法、装置、设备及存储介质 | |
| De Paolis et al. | Augmented Reality, Virtual Reality, and Computer Graphics: 6th International Conference, AVR 2019, Santa Maria al Bagno, Italy, June 24–27, 2019, Proceedings, Part II | |
| KR20230049179A (ko) | 가상 현실 교육 플랫폼 시스템 및 그 동작방법 | |
| Ahmad et al. | Towards a Low‐Cost Teacher Orchestration Using Ubiquitous Computing Devices for Detecting Student’s Engagement | |
| KR20210052958A (ko) | 인공 지능 서버 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E601 | Decision to refuse application | ||
| E801 | Decision on dismissal of amendment | ||
| A107 | Divisional application of patent |