KR20230015670A - 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버 및 그 방법 - Google Patents

메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버 및 그 방법 Download PDF

Info

Publication number
KR20230015670A
KR20230015670A KR1020210097101A KR20210097101A KR20230015670A KR 20230015670 A KR20230015670 A KR 20230015670A KR 1020210097101 A KR1020210097101 A KR 1020210097101A KR 20210097101 A KR20210097101 A KR 20210097101A KR 20230015670 A KR20230015670 A KR 20230015670A
Authority
KR
South Korea
Prior art keywords
instructor
avatar
virtual
information
character
Prior art date
Application number
KR1020210097101A
Other languages
English (en)
Other versions
KR102507260B1 (ko
Inventor
임준철
Original Assignee
(주)유밥
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)유밥 filed Critical (주)유밥
Priority to KR1020210097101A priority Critical patent/KR102507260B1/ko
Publication of KR20230015670A publication Critical patent/KR20230015670A/ko
Application granted granted Critical
Publication of KR102507260B1 publication Critical patent/KR102507260B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Remote Sensing (AREA)
  • Primary Health Care (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버 및 그 방법이 개시된다. 본 발명의 일 측면에 따른 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버는, 학습자 단말로부터 제1 강의 선택 정보 수신 시, 상기 제1 강의에 설정된 강사 캐릭터 생성 정보에 따라 제1 가상 강사 아바타를 생성하는 가상 아바타 생성부, 상기 제1 가상 강사 아바타를 메타버스의 가상공간에 출력하는 메타버스 관리부를 포함한다.

Description

메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버 및 그 방법{SERVICE SERVER FOR GENERATING LECTURER AVATAR OF METAVERSE SPACE AND MEHTOD THEREOF}
본 발명은 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버 및 그 방법에 관한 것으로서, 보다 상세하게는 특정 내용의 강의(수업)를 가상공간에서 진행할 때, 강의를 진행할 강사 또는 강의를 도와줄 보조 강사에 대한 아바타를 기 등록된 학습 데이터에 기초하여 자동으로 생성할 수 있도록 하는 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버 및 그 방법에 관한 것이다.
최근, 컴퓨터 그래픽 기술을 응용한 가상현실(Virtual Reality), 증강현실(Augmented Reality) 및 혼합현실(Mixed Reality) 기술이 발달하고 있다. 이 때, 가상현실 기술은 컴퓨터를 이용하여 현실 세계에 존재하지 않는 가상 공간을 구축한 후 그 가상 공간을 현실처럼 느끼게 하는 기술을 말하고, 증강현실 또는 혼합현실 기술은 현실 세계 위에 컴퓨터에 의해 생성된 정보를 덧붙여 표현하는 기술, 즉 현실 세계와 가상 세계를 결합함으로써 실시간으로 사용자와 상호작용이 이루어지도록 하는 기술을 말한다.
이들 중 증강현실과 혼합현실 기술은 다양한 분야의 기술(예컨대, 방송 기술, 의료 기술 및 게임 기술 등)들과 접목되어 활용되고 있다. TV에서 일기 예보를 하는 기상 캐스터 앞의 날씨 지도가 자연스럽게 바뀌는 경우나, 스포츠 중계에서 경기장에 존재하지 않는 광고 이미지를 경기장에 실제로 존재하는 것처럼 화면에 삽입하여 송출하는 경우가 방송 기술 분야에 증강현실 기술이 접목되어 활용된 대표적인 예이다. 특히, 이러한 증강현실과 혼합현실 기술은 스마트폰(Smart phone)의 등장과 함께 다양한 응용 서비스로 구현되어 제공되고 있다.
증강현실 또는 혼합현실을 사용자에게 제공하는 대표적인 서비스로서, 메타버스(Meta-verse)가 있다. 이 메타버스는 가공, 추상을 의미하는 '메타(Meta)'와 현실세계를 의미하는 '유니버스(Universe)'의 합성어로 3차원 가상세계를 의미한다. 메타버스는 기존의 가상현실 환경(Virtual reality environment)이라는 용어보다 진보된 개념으로서, 웹과 인터넷 등의 가상세계가 현실세계에 흡수된 증강 현실 환경을 제공한다.
이와 관련하여, 메타버스 기반의 네트워크 환경에서 강사 및 학습자들이 소지하고 있는 스마트폰과 같은 개인용 단말기를 활용하여 강의(수업)를 진행하고, 강사와 학습자간 커뮤니케이션을 활성화시키는 서비스를 제공하고 있다.
그러나, 종래 메타버스 기반의 가상공간에서 강의를 진행할 때 강의를 진행할 강사의 아바타를 일률적으로 동일하게 제공함으로써, 학습자들의 교육 참여와 학습에 대한 몰입도를 높이는데 한계가 있다.
본 발명의 배경기술은 대한민국 공개특허공보 제2011-0070625호(2011.06.24)의 '학습 컨텐츠 제공 시스템 및 방법'에 개시되어 있다.
본 발명은 전술한 문제점을 개선하기 위하여 인출된 것으로, 본 발명의 목적은 특정 내용의 강의(수업)를 가상공간에서 진행할 때, 강의를 진행할 강사 또는 강의를 도와줄 보조 강사에 대한 아바타를 기 등록된 학습 데이터에 기초하여 자동으로 생성할 수 있도록 하는 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버 및 그 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따른 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버는, 학습자 단말로부터 제1 강의 선택 정보 수신 시, 상기 제1 강의에 설정된 강사 캐릭터 생성 정보에 따라 제1 가상 강사 아바타를 생성하는 가상 아바타 생성부, 상기 제1 가상 강사 아바타를 메타버스의 가상공간에 출력하는 메타버스 관리부를 포함한다.
본 발명은 강사 단말로부터 강사의 행위를 감지한 센싱 정보를 수신하고, 상기 센싱 정보에 기초하여 강사 행위를 인지하는 행위 인지부를 더 포함하고, 상기 메타버스 관리부는, 상기 인지된 강사 행위를 상기 가상공간의 제1 가상 강사 아바타의 움직임에 반영하여 제어할 수 있다.
본 발명에서 상기 강사 캐릭터 생성 정보는, 강사의 캐릭터 설정값에 따른 강사 캐릭터 생성, 강사 캐릭터 자동 생성, 및 보조 강사 캐릭터 생성 중 적어도 하나를 포함할 수 있다.
본 발명에서 상기 가상 아바타 생성부는, 상기 강사 캐릭터 생성 정보가 상기 강사의 캐릭터 설정값에 따른 강사 캐릭터 생성인 경우, 상기 캐릭터 설정값 내의 성별, 연령대, 크기, 색상 및 외모에 따른 상기 제1 가상 강사 아바타를 생성할 수 있다.
본 발명에서 상기 가상 아바타 생성부는, 상기 강사 캐릭터 생성 정보가 강사 캐릭터 자동 생성인 경우, 상기 제1 강의와 유사한 강의들의 상대 학습량 비율 및 강사 정보를 분석하고, 상기 상대 학습량 비율 및 상기 강사 정보에 기초하여 상기 제1 가상 강사 아바타를 자동으로 생성할 수 있다.
본 발명에서 상기 가상 아바타 생성부는, 상기 제1 강의와 유사한 강의들 중에서 상기 상대 학습량 비율이 가장 높은 강의의 강사 나이 및 성별을 선택하고, 상기 선택된 나이 및 성별에 해당하는 캐릭터를 데이터베이스로부터 추출하며, 상기 추출된 캐릭터를 상기 제1 가상 강사 아바타로 생성할 수 있다.
본 발명에서 상기 가상 아바타 생성부는, 상기 강사 캐릭터 생성 정보가 보조 강사 캐릭터 생성인 경우, 상기 강사의 캐릭터 설정값에 따라 상기 제1 가상 강사 아바타를 생성하고, 상기 제1 강의와 유사한 강의들의 상대 학습량 비율 및 강사 정보에 기초하여 제1 가상 보조 강사 아바타를 생성할 수 있다.
본 발명은 상기 학습자 단말로부터 강사 아바타 변경 요청 수신 시, 학습자의 학습 이력에 기초하여 상기 학습자가 학습한 강의의 강사 정보를 추출하고, 상기 추출된 강사 정보에 기초하여 제2 가상 강사 아바타를 생성하며, 상기 제1 가상 강사 아바타를 상기 제2 가상 강사 아바타로 변경하는 가상 아바타 변경부를 더 포함할 수 있다.
본 발명에서 상기 가상 아바타 변경부는, 상기 추출된 강사 정보에 포함된 강사들의 평균 나이를 구하고, 상기 강사들의 성별 중 비중이 높은 성별을 선택하며, 상기 평균 나이 및 상기 선택된 성별에 해당하는 캐릭터를 데이터베이스로부터 추출하여 상기 제2 가상 강사 아바타로 생성하거나, 상기 추출된 강사 정보에 포함된 강사 이미지들을 합성하여 상기 제2 가상 강사 아바타로 생성할 수 있다.
본 발명의 다른 측면에 따른 메타버스 가상공간의 강사 아바타 생성 방법은, 가상 아바타 생성부가, 학습자 단말로부터 제1 강의 선택 정보를 수신하면, 상기 제1 강의에 설정된 강사 캐릭터 생성 정보에 따라 제1 가상 강사 아바타를 생성하는 단계, 및 메타버스 관리부가 상기 제1 가상 강사 아바타를 메타버스의 가상공간에 출력하는 단계를 포함한다.
본 발명은 상기 제1 가상 강사 아바타를 메타버스의 가상공간에 출력하는 단계 이후, 행위 인지부가 강사 단말로부터 강사의 행위를 감지한 센싱 정보를 수신하고, 상기 센싱 정보에 기초하여 강사 행위를 인지하는 단계, 및 상기 메타버스 관리부가, 상기 인지된 강사 행위를 상기 가상공간의 제1 가상 강사 아바타의 움직임에 반영하여 제어하는 단계를 더 포함할 수 있다.
본 발명은 상기 제1 가상 강사 아바타를 생성하는 단계에서, 상기 강사 캐릭터 생성 정보는, 강사의 캐릭터 설정값에 따른 강사 캐릭터 생성, 강사 캐릭터 자동 생성, 및 보조 강사 캐릭터 생성 중 적어도 하나를 포함할 수 있다.
본 발명은 상기 제1 가상 강사 아바타를 생성하는 단계에서, 상기 가상 아바타 생성부는, 상기 강사 캐릭터 생성 정보가 상기 강사의 캐릭터 설정값에 따른 강사 캐릭터 생성인 경우, 상기 캐릭터 설정값 내의 성별, 연령대, 크기, 색상 및 외모에 따른 상기 제1 가상 강사 아바타를 생성할 수 있다.
본 발명은 상기 제1 가상 강사 아바타를 생성하는 단계에서, 상기 가상 아바타 생성부는, 상기 강사 캐릭터 생성 정보가 강사 캐릭터 자동 생성인 경우, 상기 제1 강의와 유사한 강의들의 상대 학습량 비율 및 강사 정보를 분석하고, 상기 상대 학습량 비율 및 상기 강사 정보에 기초하여 상기 제1 가상 강사 아바타를 자동으로 생성할 수 있다.
본 발명은 상기 제1 가상 강사 아바타를 생성하는 단계에서, 상기 가상 아바타 생성부는, 상기 제1 강의와 유사한 강의들 중에서 상기 상대 학습량 비율이 가장 높은 강의의 강사 나이 및 성별을 선택하고, 상기 선택된 나이 및 성별에 해당하는 캐릭터를 데이터베이스로부터 추출하며, 상기 추출된 캐릭터를 상기 제1 가상 강사 아바타로 생성할 수 있다.
본 발명은 상기 제1 가상 강사 아바타를 생성하는 단계에서, 상기 가상 아바타 생성부는, 상기 강사 캐릭터 생성 정보가 보조 강사 캐릭터 생성인 경우, 상기 강사의 캐릭터 설정값에 따라 상기 제1 가상 강사 아바타를 생성하고, 상기 제1 강의와 유사한 강의들의 상대 학습량 비율 및 강사 정보에 기초하여 제1 가상 보조 강사 아바타를 생성할 수 있다.
본 발명은 상기 제1 가상 강사 아바타를 메타버스의 가상공간에 출력하는 단계 이후, 가상 아바타 변경부가 상기 학습자 단말로부터 강사 아바타 변경 요청 수신 시, 학습자의 학습 이력에 기초하여 상기 학습자가 학습한 강의의 강사 정보를 추출하고, 상기 추출된 강사 정보에 기초하여 제2 가상 강사 아바타를 생성하며, 상기 제1 가상 강사 아바타를 상기 제2 가상 강사 아바타로 변경하는 단계를 더 포함할 수 있다.
본 발명은 상기 제2 가상 강사 아바타로 변경하는 단계에서, 상기 가상 아바타 변경부는, 상기 추출된 강사 정보에 포함된 강사들의 평균 나이를 구하고, 상기 강사들의 성별 중 비중이 높은 성별을 선택하며, 상기 평균 나이 및 상기 선택된 성별에 해당하는 캐릭터를 데이터베이스로부터 추출하여 상기 제2 가상 강사 아바타로 생성하거나, 상기 추출된 강사 정보에 포함된 강사 이미지들을 합성하여 상기 제2 가상 강사 아바타로 생성할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 더 제공될 수 있다.
본 발명의 일 실시예에 따른 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버 및 그 방법은, 특정 내용의 강의(수업)를 가상공간에서 진행할 때, 강의를 진행할 강사 또는 강의를 도와줄 보조 강사에 대한 아바타를 기 등록된 학습 데이터에 기초하여 자동으로 생성함으로써, 학습자들의 교육 참여와 학습에 대한 몰입도를 증가시킬 수 있다.
본 발명의 일 실시예에 따른 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버 및 그 방법은, 강의를 진행함에 있어서 각 학습자 개인의 취향이 반영된 가상 강사 아바타를 제공함으로써, 학습자의 교육 참여도 및 흥미, 그리고 커뮤니케이션을 증대시킬 수 있다.
한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.
도 1은 본 발명의 일 실시예에 따른 메타버스 공간에서의 학습을 위한 강사 아바타 생성 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 강의를 진행하는 메타버스 가상공간을 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 메타버스 가상공간의 강사 아바타를 생성하는 서비스 서버를 개략적으로 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 메타버스 공간에서의 학습을 위한 강사 아바타 생성 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명의 일 실시예에 따른 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한, 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
명세서 전체에서 "콘텐츠(content 또는 contents)"라 함은, 통신망을 통하여 접근 가능한, 문자, 부호, 음성, 음향, 음원, 이미지, 동영상 등으로 이루어지는 디지털 정보 또는 개별 정보 요소를 총칭하는 개념을 포함할 수 있다. 이러한 콘텐츠는, 예를 들면, 텍스트, 이미지, 동영상, 음원, 링크(예를 들면, 웹 링크) 등의 데이터 또는 이러한 데이터 중 적어도 두 가지의 조합을 포함하여 구성될 수 있다. 본 실시 예에서 콘텐츠는 사용자가 콘텐츠를 이용하여 지식을 전달받을 수 있는 학습 콘텐츠를 포함할 수 있다. 명세서 전체에 기재된 "강의"는 수업, 학습과정, 및 학습 콘텐츠 등을 포함할 수 있다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 메타버스 공간에서의 학습을 위한 강사 아바타 생성 시스템을 설명하기 위한 도면, 도 2는 본 발명의 일 실시예에 따른 강의를 진행하는 메타버스 가상공간을 설명하기 위한 예시도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 메타버스 공간에서의 학습을 위한 강사 아바타 생성 시스템은 강사 단말(100), 학습자 단말(200) 및 서비스 서버(300)를 포함하고, 이들은 통신망을 통해 연결될 수 있다.
강사 단말(100)은 서비스 서버(300)가 제공하는 학습 서비스 어플리케이션 또는 학습 서비스 사이트를 실행 또는 표시할 수 있으며, 강사 단말(100)을 통하여 강사의 접속 식별 정보(ID) 및 패스워드를 수신한 서비스 서버(300)는 학습 서비스 어플리케이션 또는 학습 서비스 사이트에 대한 강의자 인증을 수행할 수 있다.
강사 단말(100)은 서비스 서버(300)와의 접속을 통해 메타버스 가상공간의 강사 아바타를 제어할 수 있다. 이때, 강사 단말(100)은 강사의 움직임에 따른 센싱 정보를 수집하여 서비스 서버(300)로 전송할 수 있다. 즉, 강사 단말(100)은 강사의 신체에 부착되는 행위인지 센서(미도시)를 통해 서비스 서버(300)와 접속되며, 행위인지 센서를 통해 감지된 센싱 정보를 서비스 서버(300)로 전송할 수 있다.
학습자 단말(200)은 서비스 서버(300)가 제공하는 학습 서비스 어플리케이션 또는 학습 서비스 사이트를 실행 및/또는 표시할 수 있으며, 학습자 단말(200)을 통하여 학습자의 접속 식별 정보(ID) 및 패스워드를 수신한 서비스 서버(300)는 학습 서비스 어플리케이션 또는 학습 서비스 사이트에 대한 학습자 인증을 수행할 수 있다.
학습자 단말(200)은 서비스 서버(300)와의 접속을 통해 메타버스 가상공간의 강사 아바타 생성을 제어할 수 있으며, 학습 콘텐츠 등의 서비스를 이용할 수 있다. 또한, 학습자 단말(200)은 서비스 서버(300)와의 접속을 통해 메타버스 가상공간의 학습자 아바타를 제어할 수 있다. 이때, 학습자 단말(200)은 학습자의 움직임에 따른 센싱 정보를 수집하여 서비스 서버(300)로 전송할 수 있다. 즉, 학습자 단말(200)은 학습자의 신체에 부착되는 행위인지 센서(미도시)를 통해 서비스 서버(300)와 접속되며, 행위인지 센서를 통해 감지된 센싱 정보를 서비스 서버(300)로 전송할 수 있다.
강사 단말(100) 및 학습자 단말(200)은 강사 및 학습자가 조작하는 데스크 탑 컴퓨터, 스마트폰, 노트북, 태블릿 PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 강사 단말(100) 및 학습자 단말(200)은 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 단말기 일 수 있다. 학습자 단말(200)은 상술한 내용에 제한되지 아니하며, 웹 브라우징이 가능한 단말기는 제한 없이 차용될 수 있다.
또한, 강사 단말(100) 및 학습자 단말(200)은 가상공간 제공을 위한 추가 장치를 포함할 수 있다. 일 실시예로, 강사 단말(100) 및 학습자 단말(200)은 HMD(Head Mount Display)를 포함할 수 있다. 하지만 강사 단말(100) 및 학습자 단말(200)에 포함된 출력장치는 HMD에 제한되는 것은 아니고, 다양한 형태의 출력장치가 가상현실을 제공하는 데 이용될 수 있다. 강사 단말(100) 및 학습자 단말(200)은 가상 공간을 처리 및 재생하기 위한 처리장치를 내장할 수도 있고, 외부의 처리장치와 연결되어, 처리장치로부터 수신되는 정보를 디스플레이를 이용하여 출력할 수도 있다. 외부의 처리장치는 강사 단말(100) 및 학습자 단말(200)일 수도 있고, 서비스 서버(300)와 연결된 컴퓨팅 장치일 수도 있다. 실시 예에 따라서, 강사 단말(100) 및 학습자 단말(200)은 서비스 서버(300)로부터 수신되는 정보에 기초하여 가상현실 영상을 출력할 수도 있다.
또한, 강사 단말(100) 및 학습자 단말(200)은 센서를 통해 획득된 사용자의 움직임에 대한 정보를 수집하고, 그 사용자의 움직임을 메타버스 가상공간 상의 아바타에 반영한다. 예를 들어, 강사 단말(100) 및 학습자 단말(200)은 사용자의 주변에 배치된 이미지 센서 또는 사용자가 착용한 맥박 또는 가속도 센서를 통해 사용자의 이동, 행위 등에 대한 움직임 정보를 수집하고 이를 분석하여, 메타버스 가상공간 상의 아바타가 방향을 전환하도록 하거나 손을 흔들도록 할 수 있다.
강사 단말(100) 및 학습자 단말(200)에 의해 수집되어 분석된 강의실 내의 사용자에 대한 상황 인지(운동 상태) 정보는 서비스 서버(300)를 통해 다른 강사 단말(100) 및 학습자 단말(200)로 제공됨으로써, 동일한 메타버스 가상공간에서 다수의 사용자들 간에 상호작용이 이루어질 수 있다. 일례로, 동일한 메타버스 가상공간에서 강의실 상의 사용자와 현실세계에서 이동하는 사용자 간의 상호작용을 위해, 현실세계에서 이동하는 사용자는 강사 단말(100) 또는 학습자 단말(200)을 소지한다. 강사 단말(100) 및 학습자 단말(200)은 증강현실 서비스를 이용하여, 현실세계에서 강의실에서 강의하는 사용자에게 현실세계의 모습을 이미지로 투영한 화면 상에 사용자의 모습을 아바타로 투영한 메타버스 가상공간을 제공할 수 있다. 이때, 서비스 서버(300)는 강사 단말(100) 및 학습자 단말(200)로부터 자이로(Gyro) 센서 또는 GPS(Global Positioning System) 모듈을 통해 획득한 사용자의 움직임 또는 위치에 대한 정보를 제공받고, 이를 다른 강사 단말(100) 및 학습자 단말(200)로 전송할 수 있다.
이러한 강사 단말(100) 및 학습자 단말(200)은 종래 메타버스 공간을 제공하는 단말과 동일하므로 그 상세한 설명은 생략하기로 한다.
서비스 서버(300)는, 강사 단말(100) 또는 학습자 단말(200)의 제1 강의(제1 수업) 선택 시, 제1 강의(제1 수업)에 설정된 강사 캐릭터 생성 정보에 따라 제1 가상 강사 아바타를 생성하고, 그 제1 가상 강사 아바타를 강의실에 해당하는 메타버스의 가상공간에 출력할 수 있다. 여기서, 강의실은 제1 강의(제1 수업)을 위해 미리 설정된 강의실일 수 있다.
예를 들면, 서비스 서버(300)는 제1 가상 강사 아바타(10)를 생성하고, 도 2의 (a)와 같이 강의실에 해당하는 메타버스의 가상공간에 제1 가상 강사 아바타(10)를 출력할 수 있다. 이때, 서비스 서버(300)는 제1 강의를 학습하는 학습자들(20)을 메타버스의 가상공간에 출력할 수 있다. 또한, 서비스 서버(300)는 강사 캐릭터 생성 정보에 따라 제1 가상 강사 아바타와 함께 제1 가상 보조 강사 아바타를 생성하고, 도 2의 (b)와 같이 제1 가상 강사 아바타(10)와 제1 가상 보조 강사 아바타(30)를 메타버스의 가상공간에 출력할 수 있다.
서비스 서버(300)는 강사 단말(100) 또는 학습자 단말(200)로부터의 센싱 정보를 분석하여 사용자의 행위를 인지하여 메타버스 가상공간의 아바타에 반영할 수 있다. 즉, 서비스 서버(300)는 강사 단말(100)로부터 수신한 센싱 정보를 분석하여 강사의 행동을 인지하고, 인지한 강사의 행동을 학습 콘텐츠 상의 아바타에 반영하여 아바타의 행동을 제어할 수 있다.
서비스 서버(300)는 접속된 강사 단말(100) 또는 학습자 단말(200)을 사용하는 사용자의 라이프로그(즉, 사용자 정보 및 로그 정보)를 이용하여 사용자 간의 소셜 네트워크를 구성하고, 사용자 간의 소셜 관계를 추론하여 커뮤니케이션 상대를 매칭할 수도 있다. 서비스 서버(300)는 매칭된 커뮤니케이션 상대에 해당하는 강사 및 학습자들간의 메시지 전송 등의 통신기능을 제공하며, 매칭된 커뮤니케이션 상대에 해당하는 강사와 학습자들이 메타버스 상에서 제공되는 서비스를 같이 이용할 수 있도록 한다.
서비스 서버(300)는 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치일 수 있다. 서비스 서버(300)는 클라우드 서버를 의미할 수도 있다. 일 실시예로, 서비스 서버(300)는 플랫폼과 혼용되어 사용될 수 있다.
서비스 서버(300)는 강사 단말(100) 및 학습자 단말(200)과 연결되고, 복수의 가상현실 장비들 각각에 콘텐츠를 전송할 수 있으며, 각각의 강사 단말(100) 및 학습자 단말(200)은 서비스 서버(300)로부터 수신된 콘텐츠에 기초하여 가상 공간을 출력할 수 있다.
서비스 서버(300)는 다양한 메타버스 공간을 서로 다른 현실공간에 위치하는 복수의 사용자들에게 제공한다. 이때, 각각의 사용자들은 강사 단말(100) 또는 학습자 단말(200)을 이용하여 서비스 서버(300)에 원격으로 접속하여 동일한 메타버스 공간을 공유할 수 있다. 서비스 서버(300)가 사용자들에게 제공하는 메타버스 공간은 강의실 등 강의하는 장소를 나타내는 다양한 콘텐츠로 구성될 수 있고, 서비스 서버(300)는 원격 접속하는 강사 단말(100) 및 학습자 단말(200) 각각에게 각각의 특성에 맞는 메타버스 공간들을 제공할 수 있다. 일례로, 서비스 서버(300)는 과학 실험 강의(수업)를 학습하는 학습자들에게 학습자 단말(200)을 통하여 현실세계를 기반으로 하는 과학 실험실을 제공할 수 있다. 이에 따라, 과학 실험을 하는 학습자는 서비스 서버(300)가 제공하는 과학실 메타버스 공간을 모니터 등과 같은 디스플레이 수단을 통해 가상현실의 3D 그래픽으로 제공받을 수 있으며, 메타버스 공간 상에서 자신의 모습이 투영된 아바타를 보며 과학 실험 수업을 학습할 수 있다.
도 3은 본 발명의 일 실시예에 따른 메타버스 가상공간의 강사 아바타를 생성하는 서비스 서버를 개략적으로 나타낸 블록도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 강사 아바타를 생성하는 서비스 서버(300)는, 통신부(310), 저장부(320), 데이터베이스(330), 인증부(340), 가상 아바타 생성부(350), 메타버스 관리부(360), 행위 인지부(370), 가상 아바타 변경부(380) 및 제어부(390)를 포함한다.
통신부(310)는 통신망과 연동하여 서비스 서버(300)와 강사 단말(100) 또는 서비스 서버(300)와 학습자 단말(200) 간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공할 수 있다. 나아가, 통신부(310)는 학습자 단말(200)로부터 가상 강의 요청 신호를 수신하고, 해당 가상 강의에 대한 메타버스 가상공간을 학습자 단말(200)에 제공할 수 있다. 또한 통신부(310)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다. 또한, 통신부(310)는 근거리 통신모듈, 무선 통신모듈, 이동통신 모듈, 유선 통신모듈 등 다양한 형태로 구현될 수 있다.
저장부(320)는 서비스 서버(300)의 동작과 관련된 데이터들을 저장하는 구성이다. 여기서 저장부(320)는 공지된 저장매체를 이용할 수 있으며, 예를 들어, ROM, PROM, EPROM, E EPROM, RAM 등과 같이 공지된 저장매체 중 어느 하나 이상을 이용할 수 있다. 특히, 저장부(320)에는 학습 서비스 프로그램(애플리케이션 또는 애플릿) 등이 저장될 수 있으며, 저장되는 정보들은 필요에 따라 제어부(390)에 의해 취사 선택될 수 있다.
데이터베이스(330)는 강사 정보 데이터베이스(332), 학습자 정보 데이터베이스(334), 강의 정보 데이터베이스(336), 및 캐릭터 데이터베이스(338)를 포함할 수 있다.
강사 정보 데이터베이스(332)는 강사 정보, 강의 내용, 강의 시간 등을 저장할 수 있다. 이때, 강사 정보 데이터베이스(332)는 회원 가입단계에서 강의자의 성명, 나이, 성별, 학력, 출신학교, 관심분야, 활동 이력, 강의 분야, 아이디 및 비밀번호 등을 포함하는 강사 정보를 입력 받아 저장할 수 있다.
학습자 정보 데이터베이스(334)는 학습자의 성명, 아이디, 비밀번호, 학습 이력 등을 포함하는 학습자 정보를 저장한다. 이때, 학습자 정보 데이터베이스(334)는 회원 가입단계에서 학습자의 성명, 나이, 지역, 관심 분야, 아이디 및 비밀번호, 학습 진도, 직업, 역량 수준 등을 포함하는 개인정보를 입력 받아 저장할 수 있다.
강의 데이터베이스(336)는 각 강사가 강의하거나 강의할 강의(수업, 교육과정, 학습 콘텐츠 등)에 대한 정보를 카테고리로 분류하여 저장할 수 있다. 이때, 강의 데이터베이스(336)에는 강의명, 강사 정보, 해당 강의를 신청한 학습자 정보 등을 포함하는 학습 클래스 정보가 저장될 수 있다. 또한, 강의 데이터베이스(336)에는 각 강의에 대해 강사에 의해 설정된 가상 캐릭터 생성 정보가 저장될 수 있다.
강의 데이터베이스(336)는 카테고리별로 강의 콘텐츠들을 저장할 수 있다. 이때, 강의 데이터베이스(336)는 카테고리 식별정보 및 각 강의 콘텐츠의 키워드 정보 등을 포함하는 메타데이터를 계층구조로 저장할 수 있다. 키워드 정보는 해당 강의 콘텐츠의 색인어일 수 있다. 또한, 강의 데이터베이스(336)는 유사한 강의 콘텐츠들을 동일한 카테고리에 저장할 수 있다. 또한, 강의 데이터베이스(336)는 각 강의별 학습량 정보를 저장할 수 있다. 여기서, 학습량 정보는 학습자들이 학습한 횟수, 학습 시간 등을 포함할 수 있다
캐릭터 데이터베이스(338)는 각 연령대의 성별에 따른 캐릭터를 저장할 수 있다. 예를 들면, 캐릭터 데이터베이스(338)에는 10대, 20대, 30대, 40대, 50대, 60대, 및 70대 등 연령대별 남/여 캐릭터가 저장될 수 있다.
인증부(340)는 통신부(310)로부터 수신한 인증 정보를 근거로 사용자 인증을 수행한다. 즉, 인증부(340)는 통신부(310)로부터 수신한 인증 정보로부터 아이디 및 비밀번호를 검출한다. 인증부(340)는 강사 정보 데이터베이스(332)로부터 검출한 아이디 및 비밀번호와 일치하는 강사 정보가 존재하면 강사 인증 성공으로 처리한다. 또한 인증부(340)는 학습자 정보 데이터베이스(334)로부터 검출한 아이디 및 비밀번호와 일치하는 학습자 정보가 존재하면 학습자 인증 성공으로 처리한다.
가상 아바타 생성부(350)는, 학습자의 제1 강의 선택 시, 제1 강의에 설정된 강사 캐릭터 생성 정보에 따라 제1 가상 강사 아바타를 생성할 수 있다. 즉, 학습자가 특정 내용의 제1 강의(제1 수업)를 선택하면, 가상 아바타 생성부(350)는 제1 강의를 진행할 강사 또는 제1 강의를 보조할 보조 강사에 대한 아바타(외형, 이력, 스토리 등)를 데이터베이스(330)에 저장된 학습 데이터(강의 데이터)에 기초하여 자동으로 생성할 수 있다. 여기서, 강사 캐릭터 생성 정보는 강사의 캐릭터 설정값에 따른 강사 캐릭터 생성, 강사 캐릭터 자동 생성, 및 보조 강사 캐릭터 생성 중 적어도 하나를 포함할 수 있다. 강사의 캐릭터 설정값에 따른 강사 캐릭터 생성은 강사에 의해 설정된 캐릭터 설정값에 따라 가상 강사 아바타를 생성하는 것을 의미하고, 강사 캐릭터 자동 생성은 제1 강의와 유사한 강의들에 기초하여 자동으로 가상 강사 아바타를 생성하는 것을 의미할 수 있다. 보조 강사 캐릭터 생성은 제1 강의를 보조할 보조 강사에 대한 아바타를 제1 강의와 유사한 강의들에 기초하여 자동으로 생성하는 것을 의미할 수 있다.
이하, 가상 아바타 생성부(350)가 가상 캐릭터 생성 정보에 기초하여 제1 가상 강사 아바타를 생성하는 방법에 대해 설명하기로 한다.
먼저, 강사 캐릭터 생성 정보가 강사의 캐릭터 설정값에 따른 강사 캐릭터 생성인 경우, 가상 아바타 생성부(350)는 캐릭터 설정값 내의 성별, 연령대, 크기, 색상 및 외모에 따른 제1 가상 강사 아바타를 생성할 수 있다. 즉, 강사는 제1 강의 관련하여 가상공간에서 강의할 캐릭터(아바타)의 성별, 연령, 크기, 색상, 및 외모 등의 캐릭터 설정값을 강사 단말(100)을 통해 입력할 수 있고, 강사 단말(100)은 제1 강의에 대한 캐릭터 설정값을 서비스 서버(300)로 전송할 수 있다. 그러면, 가상 아바타 생성부(350)는 캐릭터 설정값에 따른 캐릭터를 생성하고, 그 캐릭터를 제1 가상 강사 아바타로 생성할 수 있다.
다음으로, 강사 캐릭터 생성 정보가 강사 캐릭터 자동 생성인 경우, 가상 아바타 생성부(350)는 제1 강의와 유사한 강의들의 상대 학습량 비율 및 강사 정보를 분석하고, 상대 학습량 비율 및 강사 정보에 기초하여 제1 가상 강사 아바타를 자동으로 생성할 수 있다.
구체적으로, 가상 아바타 생성부(350)는 제1 강의의 카테고리에 포함된 강의들의 학습량에 기초하여 기 설정된 일정 개수의 강의들을 추출할 수 있다. 즉, 가상 아바타 생성부(350)는 제1 강의와 유사한 강의들이 매핑된 카테고리의 강의들을 강의 정보 데이터베이스(336)로부터 추출하고, 그 추출된 강의들의 강사 정보 및 학습량 정보를 추출할 수 있다. 여기서, 강사 정보는 연령대, 성별, 학력, 출신학교, 관심분야, 및 활동이력 등을 포함할 수 있고, 학습량 정보는 학습자들이 학습한 횟수, 학습 시간 등을 포함할 수 있다. 그런 후, 가상 아바타 생성부(350)는 추출된 강의들의 학습량 정보에 기초하여 기 설정된 일정 개수의 강의를 추출할 수 있다. 이때, 가상 아바타 생성부(350)는 학습자들이 학습한 횟수, 및 학습 시간 중 적어도 하나가 많은 순으로 강의들을 정렬하고, 상위에 정렬된 일정 개수의 강의를 선택할 수 있다. 예컨대, 가상 아바타 생성부(350)는 학습량이 높은 3개의 강의를 선택할 수 있다.
가상 아바타 생성부(350)는 선택된 강의별로 상대 학습량 비율을 산출할 수 있다. 이때, 가상 아바타 생성부(350)는 추출된 강의들의 학습 횟수의 합 대비 각 강의의 학습 횟수에 기초하여 상대 학습량 비율을 산출할 수 있다.
예를 들어 3개의 강의를 선택한 경우, 가상 아바타 생성부(350)는 아래 수학식 1을 이용하여 상대 학습량 비율(rn)을 산출할 수 있다.
[수학식 1]
rn =(제n 강의 학습횟수 / 3개 강의의 학습 횟수 합 ) * 100
상대 학습량 비율이 산출되면, 가상 아바타 생성부(350)는 상대 학습량 비율 및 강사 정보에 기초하여 제1 가상 강사 아바타를 생성할 수 있다. 이때, 가상 아바타 생성부(350)는 상대 학습량 비율이 가장 높은 강의의 강사 나이 및 성별을 선택하고, 선택된 나이 및 성별에 해당하는 캐릭터를 캐릭터 데이터베이스(338)로부터 추출하며, 추출된 캐릭터를 제1 가상 강사 아바타로 생성할 수 있다.
예를 들어, 상대 학습량 비율이 가장 높은 강의의 강사가 36세의 여성인 경우, 가상 아바타 생성부(350)는 캐릭터 데이터베이스(338)로부터 30대 여성의 캐릭터를 추출하고, 추출된 30대 여성의 캐릭터를 제1 가상 강사 아바타로 생성할 수 있다.
마지막으로, 강사 캐릭터 생성 정보가 보조 강사 캐릭터 생성인 경우, 가상 아바타 생성부(350)는 강사의 캐릭터 설정값에 따라 제1 가상 강사 아바타를 생성하고, 제1 강의와 유사한 강의들의 상대 학습량 비율 및 강사 정보에 기초하여 제1 가상 보조 강사 아바타를 생성할 수 있다. 이때, 가상 아바타 생성부(350)는 강사의 캐릭터 설정값 내의 성별, 연령대, 크기, 색상 및 외모에 따른 제1 가상 강사 아바타를 생성할 수 있다. 또한, 가상 아바타 생성부(350)는 제1 강의와 유사한 강의들의 상대 학습량 비율 및 강사 정보를 분석하고, 상대 학습량 비율 및 강사 정보에 기초하여 제1 가상 보조 강사 아바타를 자동으로 생성할 수 있다. 구체적으로, 가상 아바타 생성부(350)는 제1 강의와 유사한 강의들이 매핑된 카테고리의 강의들을 추출하고, 그 추출된 강의들의 강사 정보 및 학습량 정보를 추출할 수 있다. 그런 후, 가상 아바타 생성부(350)는 추출된 강의들의 학습량 정보에 기초하여 기 설정된 일정 개수의 강의를 추출하며, 추출된 강의별로 상대 학습량 비율을 산출할 수 있다. 상대 학습량 비율이 산출되면, 가상 아바타 생성부(350)는 상대 학습량 비율 및 강사 정보에 기초하여 제1 가상 보조 강사 아바타를 생성할 수 있다. 이때, 가상 아바타 생성부(350)는 상대 학습량 비율이 가장 높은 강의의 강사 나이 및 성별을 선택하고, 선택된 나이 및 성별에 해당하는 캐릭터를 캐릭터 데이터베이스(338)로부터 추출하며, 추출된 캐릭터를 제1 가상 보조 강사 아바타로 생성할 수 있다. 또한, 가상 아바타 생성부(350)는 상대 학습량 비율이 가장 높은 강사의 학력 및 출신학교를 선택하여, 제1 가상 보조 강사 아바타의 학력 및 출신학교로 설정할 수 있다. 또한, 가상 아바타 생성부(350)는 추출된 각 강사의 관심분야 및 활동이력에서 일정 개수의 관심분야 및 활동이력을 각각 추출하고, 추출된 관심분야 및 활동이력을 제1 가상 보조 강사 아바타의 관심분야 및 활동이력으로 설정할 수 있다. 예를 들어, 3명의 강사가 추출된 경우, 가상 아바타 생성부(350)는 각 강사의 관심분야에서 (3 * rn )개씩 선택하고, 각 강사의 활동이력에서 (3 * rn)개씩 선택할 수 있다.
메타버스 관리부(360)는 가상 아바타 생성부(350)에서 생성된 제1 가상 강사 아바타를 강의실에 해당하는 메타버스의 가상공간에 출력할 수 있다. 이때, 강의실은 제1 강의를 위해 미리 설정된 강의실일 수 있다.
메타버스 관리부(360)는 행위 인지부(370)에서 인지된 강사 행위를 가상공간의 제1 가상 강사 아바타의 움직임에 반영하여 제어할 수 있다.
메타버스 관리부(360)는 현실세계가 투영되는 아바타가 행위하는 가상공간인 메타버스를 관리한다. 즉, 메타버스 관리부(360)는 행위 인지부(370)의 행위 인지 정보를 메타버스에 적용할 수 있다.
행위 인지부(370)는 강사 단말(100)로부터 강사의 행위를 감지한 센싱 정보를 수신하고, 센싱 정보에 기초하여 강사 행위를 인지할 수 있다.
행위 인지부(370)는 콘텐츠에 강사(사용자)의 행동을 반영하기 위해 강사(사용자)의 행동에 해당하는 센싱 정보를 수신하고, 수신한 센싱 정보를 이용하여 강사에 대한 행위 인지를 수행할 수 있다. 이때, 행위 인지부(370)는 기 저장된 행위 정보를 참조하여 강사(사용자0의 행위를 인지할 수 있다.
가상 아바타 변경부(380)는, 학습자로부터 강사 아바타 변경 요청 수신 시, 학습자의 학습 이력에 기초하여 학습자가 학습한 강의(수업, 학습 콘텐츠)의 강사 정보를 추출하고, 강사 정보에 기초하여 제2 가상 강사 아바타를 생성하며, 제1 가상 강사 아바타를 제2 가상 강사 아바타로 변경할 수 있다. 이때, 가상 아바타 변경부(380)는 학습자가 학습한 강의의 강사 정보에 포함된 강사들의 평균 나이를 구하고, 강사들의 성별 중 비중이 높은 성별을 선택하며, 평균 나이 및 선택된 성별에 해당하는 캐릭터를 캐릭터 데이터베이스(338)로부터 추출하여 제2 가상 강사 아바타로 생성할 수 있다. 또한, 가상 아바타 변경부(380)는 학습자가 학습한 강의의 강사 정보에 포함된 강사 이미지들을 합성하여 제2 가상 강사 아바타로 생성할 수 있다.
학습자로부터 학습자 개인 취향의 아바타로 변경이 요청되면, 가상 아바타 변경부(380)는 학습자 개인이 학습한 강의들의 강사 정보를 나열하고, 중복으로 많이 나타난 특징(연령, 성별)을 조합하여 개인화된 아바타로 변경할 수 있다.
구체적으로, 가상 아바타 변경부(380)는 학습자 정보 데이터베이스(334)로부터 학습자가 학습한 강의들을 확인하고, 확인된 강의들의 강사 정보(프로필)를 강사 정보 데이터베이스(332)로부터 추출할 수 있다. 그런 후, 가상 아바타 변경부(380)는 추출한 강사들의 나이 평균을 구하고, 추출한 강사들의 성별들 중 비율이 높은 성별을 선택할 수 있다. 그런 후, 가상 아바타 변경부(380)는 평균 나이 및 선택된 성별에 해당하는 캐릭터를 캐릭터 데이터베이스(338)로부터 추출하고, 추출된 캐릭터를 제2 가상 강사 아바타로 생성할 수 있다. 또한, 가상 아바타 변경부(380)는 추출된 강사 정보에 포함된 강사 사진을 합성하여 제2 가상 강사 아바타로 생성할 수 있다. 또한, 가상 아바타 생성부(350)는 추출된 강사들에 대응하는 캐릭터들을 합성하여 제2 가상 강사 아바타로 생성할 수도 있다.
가상 아바타 변경부(380)를 통해 학습자별로 개인화된 가상 강사 아바타를 출력되도록 할 수 있다.
한편, 인증부(340), 가상 아바타 생성부(350), 메타버스 관리부(360), 행위 인지부(370), 및 가상 아바타 변경부(380)는 컴퓨팅 장치상에서 프로그램을 실행하기 위해 필요한 프로세서 등에 의해 각각 구현될 수 있다. 이처럼 인증부(340), 가상 아바타 생성부(350), 메타버스 관리부(360), 행위 인지부(370), 및 가상 아바타 변경부(380)는 물리적으로 독립된 각각의 구성에 의해 구현될 수도 있고, 하나의 프로세서 내에서 기능적으로 구분되는 형태로 구현될 수도 있다.
제어부(390)는 통신부(310), 저장부(320), 데이터베이스(330), 인증부(340), 가상 아바타 생성부(350), 메타버스 관리부(360), 행위 인지부(370), 및 가상 아바타 변경부(380)를 포함하는 서비스 서버(300)의 다양한 구성부들의 동작을 제어하는 구성으로, 적어도 하나의 연산 장치를 포함할 수 있는데, 여기서 상기 연산 장치는 범용적인 중앙연산장치(CPU), 특정 목적에 적합하게 구현된 프로그래머블 디바이스 소자(CPLD, FPGA), 주문형 반도체 연산장치(ASIC) 또는 마이크로 컨트롤러 칩일 수 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시 예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
도 4는 본 발명의 일 실시예에 따른 메타버스 공간에서의 학습을 위한 강사 아바타 생성 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 학습자 단말(200)은 서비스 서버(300)에 접속하고(S410), 제1 강의를 선택한다(S420).
그러면, 서비스 서버(300)는 제1 강의에 설정된 강사 캐릭터 생성 정보에 따라 제1 가상 강사 아바타를 생성하고(S430), 생성된 제1 가상 강사 아바타를 메타버스의 가상공간에 출력한다(S440). 즉, 학습자가 특정 내용의 제1 강의(제1 수업)을 선택하면, 서비스 서버(300)는 제1 강의를 진행할 강사 또는 제1 강의를 보조할 보조 강사에 대한 아바타(외형, 이력, 스토리 등)를 데이터베이스(300)에 저장된 학습 데이터에 기초하여 자동으로 생성할 수 있다. 여기서, 강사 캐릭터 생성 정보는 강사의 캐릭터 설정값에 따른 강사 캐릭터 생성, 강사 캐릭터 자동 생성, 및 보조 강사 캐릭터 생성 중 적어도 하나를 포함할 수 있다. 따라서, 강사 캐릭터 생성 정보가 강사의 캐릭터 설정값에 따른 강사 캐릭터 생성인 경우, 서비스 서버(300)는 캐릭터 설정값 내의 성별, 연령대, 크기, 색상 및 외모에 따른 제1 가상 강사 아바타를 생성할 수 있다. 강사 캐릭터 생성 정보가 강사 캐릭터 자동 생성인 경우, 서비스 서버(300)는 제1 강의와 유사한 강의들의 상대 학습량 비율 및 강사 정보에 기초하여 제1 가상 강사 아바타를 자동으로 생성할 수 있다. 강사 캐릭터 생성 정보가 보조 강사 캐릭터 생성인 경우, 서비스 서버(300)는 강사의 캐릭터 설정값에 따라 제1 가상 강사 아바타를 생성하고, 제1 강의와 유사한 강의들의 상대 학습량 비율 및 강사 정보에 기초하여 제1 가상 보조 강사 아바타를 생성할 수 있다.
한편, 학습자는 제1 가상 강사 아바타를 학습자 개인 취향의 아바타로 변경하기를 원할 수 있다.
이에, 학습자 단말(200)은 학습자로부터 강사 아바타 변경 요청 신호를 입력받아 서비스 서버(300)로 전송한다(S450). 강사 아바타 변경 요청 신호는 학습자 식별정보 등을 포함할 수 있다.
S450 단계가 수행되면, 서비스 서버(300)는 학습자가 학습한 강의들의 강사 정보에 기초하여 제2 가상 강사 아바타를 생성하고(S460), 제2 가상 강사 아바타를 학습자 단말(200)에 출력되는 가상공간에 출력한다(S470). 즉, 서비스 서버(300)는 학습자의 학습 이력에 기초하여 학습자가 학습한 강의의 강사 정보를 추출하고, 추출된 강사 정보에 기초하여 제1 가상 강사 아바타를 개인화된 제2 가상 강사 아바타로 변경할 수 있다. 이때, 서비스 서버(300)는 강사 정보에 포함된 강사들의 평균 나이를 구하고, 강사들의 성별 중 비중이 높은 성별을 선택하며, 평균 나이 및 선택된 성별에 해당하는 캐릭터를 캐릭터 데이터베이스(338)로부터 추출하여 제2 가상 강사 아바타로 생성할 수 있다. 또한, 서비스 서버(300)는 추출된 강사 정보에 포함된 강사 사진을 합성하여 제2 가상 강사 아바타로 생성할 수 있다. 또한, 서비스 서버(300)는 추출된 강사들에 대응하는 캐릭터들을 합성하여 제2 가상 강사 아바타로 생성할 수도 있다.
메타버스의 가상공간에 출력되는 제2 가상 강사 아바타는 해당 학습자의 학습자 단말(200)에만 출력되고, 다른 학습자들의 단말에는 출력되지 않을 수 있다.
상술한 바와 같이 본 발명의 일 실시예에 따른 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버(300) 및 그 방법은, 특정 내용의 강의(수업)를 가상공간에서 진행할 때, 강의를 진행할 강사 또는 강의를 도와줄 보조 강사에 대한 아바타를 기 등록된 학습 데이터에 기초하여 자동으로 생성함으로써, 학습자들의 교육 참여와 학습에 대한 몰입도를 증가시킬 수 있다.
본 발명의 일 실시예에 따른 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버(300) 및 그 방법은, 강의를 진행함에 있어서 각 학습자 개인의 취향이 반영된 가상 강사 아바타를 설정함으로써, 학습자의 교육 참여도 및 흥미, 그리고 커뮤니케이션을 증대시킬 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
100 : 강사 단말
200 : 학습자 단말
300 : 서비스 서버
310 : 통신부
320 : 저장부
330 : 데이터베이스
340 : 인증부
350 : 가상 아바타 생성부
360 : 메타버스 관리부
370 : 행위 인지부
380 : 가상 아바타 변경부
390 : 제어부

Claims (18)

  1. 학습자 단말로부터 제1 강의 선택 정보 수신 시, 상기 제1 강의에 설정된 강사 캐릭터 생성 정보에 따라 제1 가상 강사 아바타를 생성하는 가상 아바타 생성부; 및
    상기 제1 가상 강사 아바타를 메타버스의 가상공간에 출력하는 메타버스 관리부
    를 포함하는 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버.
  2. 제1항에 있어서,
    강사 단말로부터 강사의 행위를 감지한 센싱 정보를 수신하고, 상기 센싱 정보에 기초하여 강사 행위를 인지하는 행위 인지부를 더 포함하고,
    상기 메타버스 관리부는,
    상기 인지된 강사 행위를 상기 가상공간의 제1 가상 강사 아바타의 움직임에 반영하여 제어하는 것을 특징으로 하는 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버.
  3. 제1항에 있어서,
    상기 강사 캐릭터 생성 정보는,
    강사의 캐릭터 설정값에 따른 강사 캐릭터 생성, 강사 캐릭터 자동 생성, 및 보조 강사 캐릭터 생성 중 적어도 하나를 포함하는 것을 특징으로 하는 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버.
  4. 제3항에 있어서,
    상기 가상 아바타 생성부는,
    상기 강사 캐릭터 생성 정보가 상기 강사의 캐릭터 설정값에 따른 강사 캐릭터 생성인 경우, 상기 캐릭터 설정값 내의 성별, 연령대, 크기, 색상 및 외모에 따른 상기 제1 가상 강사 아바타를 생성하는 것을 특징으로 하는 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버.
  5. 제3항에 있어서,
    상기 가상 아바타 생성부는,
    상기 강사 캐릭터 생성 정보가 강사 캐릭터 자동 생성인 경우, 상기 제1 강의와 유사한 강의들의 상대 학습량 비율 및 강사 정보를 분석하고, 상기 상대 학습량 비율 및 상기 강사 정보에 기초하여 상기 제1 가상 강사 아바타를 자동으로 생성하는 것을 특징으로 하는 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버.
  6. 제5항에 있어서,
    상기 가상 아바타 생성부는,
    상기 제1 강의와 유사한 강의들 중에서 상기 상대 학습량 비율이 가장 높은 강의의 강사 나이 및 성별을 선택하고, 상기 선택된 나이 및 성별에 해당하는 캐릭터를 데이터베이스로부터 추출하며, 상기 추출된 캐릭터를 상기 제1 가상 강사 아바타로 생성하는 것을 특징으로 하는 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버.
  7. 제3항에 있어서,
    상기 가상 아바타 생성부는,
    상기 강사 캐릭터 생성 정보가 보조 강사 캐릭터 생성인 경우, 상기 강사의 캐릭터 설정값에 따라 상기 제1 가상 강사 아바타를 생성하고, 상기 제1 강의와 유사한 강의들의 상대 학습량 비율 및 강사 정보에 기초하여 제1 가상 보조 강사 아바타를 생성하는 것을 특징으로 하는 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버.
  8. 제1항에 있어서,
    상기 학습자 단말로부터 강사 아바타 변경 요청 수신 시, 학습자의 학습 이력에 기초하여 상기 학습자가 학습한 강의의 강사 정보를 추출하고, 상기 추출된 강사 정보에 기초하여 제2 가상 강사 아바타를 생성하며, 상기 제1 가상 강사 아바타를 상기 제2 가상 강사 아바타로 변경하는 가상 아바타 변경부를 더 포함하는 것을 특징으로 하는 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버.
  9. 제8항에 있어서,
    상기 가상 아바타 변경부는,
    상기 추출된 강사 정보에 포함된 강사들의 평균 나이를 구하고, 상기 강사들의 성별 중 비중이 높은 성별을 선택하며, 상기 평균 나이 및 상기 선택된 성별에 해당하는 캐릭터를 데이터베이스로부터 추출하여 상기 제2 가상 강사 아바타로 생성하거나, 상기 추출된 강사 정보에 포함된 강사 이미지들을 합성하여 상기 제2 가상 강사 아바타로 생성하는 것을 특징으로 하는 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버.
  10. 가상 아바타 생성부가, 학습자 단말로부터 제1 강의 선택 정보를 수신하면, 상기 제1 강의에 설정된 강사 캐릭터 생성 정보에 따라 제1 가상 강사 아바타를 생성하는 단계; 및
    메타버스 관리부가 상기 제1 가상 강사 아바타를 메타버스의 가상공간에 출력하는 단계
    를 포함하는 메타버스 가상공간의 강사 아바타 생성 방법.
  11. 제10항에 있어서,
    상기 제1 가상 강사 아바타를 메타버스의 가상공간에 출력하는 단계 이후,
    행위 인지부가 강사 단말로부터 강사의 행위를 감지한 센싱 정보를 수신하고, 상기 센싱 정보에 기초하여 강사 행위를 인지하는 단계; 및
    상기 메타버스 관리부가, 상기 인지된 강사 행위를 상기 가상공간의 제1 가상 강사 아바타의 움직임에 반영하여 제어하는 단계를 더 포함하는 것을 특징으로 하는 메타버스 가상공간의 강사 아바타 생성 방법.
  12. 제10항에 있어서,
    상기 제1 가상 강사 아바타를 생성하는 단계에서,
    상기 강사 캐릭터 생성 정보는, 강사의 캐릭터 설정값에 따른 강사 캐릭터 생성, 강사 캐릭터 자동 생성, 및 보조 강사 캐릭터 생성 중 적어도 하나를 포함하는 것을 특징으로 하는 메타버스 가상공간의 강사 아바타 생성 방법.
  13. 제12항에 있어서,
    상기 제1 가상 강사 아바타를 생성하는 단계에서,
    상기 가상 아바타 생성부는, 상기 강사 캐릭터 생성 정보가 상기 강사의 캐릭터 설정값에 따른 강사 캐릭터 생성인 경우, 상기 캐릭터 설정값 내의 성별, 연령대, 크기, 색상 및 외모에 따른 상기 제1 가상 강사 아바타를 생성하는 것을 특징으로 하는 메타버스 가상공간의 강사 아바타 생성 방법.
  14. 제12항에 있어서,
    상기 제1 가상 강사 아바타를 생성하는 단계에서,
    상기 가상 아바타 생성부는, 상기 강사 캐릭터 생성 정보가 강사 캐릭터 자동 생성인 경우, 상기 제1 강의와 유사한 강의들의 상대 학습량 비율 및 강사 정보를 분석하고, 상기 상대 학습량 비율 및 상기 강사 정보에 기초하여 상기 제1 가상 강사 아바타를 자동으로 생성하는 것을 특징으로 하는 메타버스 가상공간의 강사 아바타 생성 방법.
  15. 제14항에 있어서,
    상기 제1 가상 강사 아바타를 생성하는 단계에서,
    상기 가상 아바타 생성부는, 상기 제1 강의와 유사한 강의들 중에서 상기 상대 학습량 비율이 가장 높은 강의의 강사 나이 및 성별을 선택하고, 상기 선택된 나이 및 성별에 해당하는 캐릭터를 데이터베이스로부터 추출하며, 상기 추출된 캐릭터를 상기 제1 가상 강사 아바타로 생성하는 것을 특징으로 하는 메타버스 가상공간의 강사 아바타 생성 방법.
  16. 제12항에 있어서,
    상기 제1 가상 강사 아바타를 생성하는 단계에서,
    상기 가상 아바타 생성부는, 상기 강사 캐릭터 생성 정보가 보조 강사 캐릭터 생성인 경우, 상기 강사의 캐릭터 설정값에 따라 상기 제1 가상 강사 아바타를 생성하고, 상기 제1 강의와 유사한 강의들의 상대 학습량 비율 및 강사 정보에 기초하여 제1 가상 보조 강사 아바타를 생성하는 것을 특징으로 하는 메타버스 가상공간의 강사 아바타 생성 방법.
  17. 제10항에 있어서,
    상기 제1 가상 강사 아바타를 메타버스의 가상공간에 출력하는 단계 이후,
    가상 아바타 변경부가 상기 학습자 단말로부터 강사 아바타 변경 요청 수신 시, 학습자의 학습 이력에 기초하여 상기 학습자가 학습한 강의의 강사 정보를 추출하고, 상기 추출된 강사 정보에 기초하여 제2 가상 강사 아바타를 생성하며, 상기 제1 가상 강사 아바타를 상기 제2 가상 강사 아바타로 변경하는 단계를 더 포함하는 것을 특징으로 하는 메타버스 가상공간의 강사 아바타 생성 방법.
  18. 제17항에 있어서,
    상기 제2 가상 강사 아바타로 변경하는 단계에서,
    상기 가상 아바타 변경부는, 상기 추출된 강사 정보에 포함된 강사들의 평균 나이를 구하고, 상기 강사들의 성별 중 비중이 높은 성별을 선택하며, 상기 평균 나이 및 상기 선택된 성별에 해당하는 캐릭터를 데이터베이스로부터 추출하여 상기 제2 가상 강사 아바타로 생성하거나, 상기 추출된 강사 정보에 포함된 강사 이미지들을 합성하여 상기 제2 가상 강사 아바타로 생성하는 것을 특징으로 하는 메타버스 가상공간의 강사 아바타 생성 방법.
KR1020210097101A 2021-07-23 2021-07-23 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버 및 그 방법 KR102507260B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210097101A KR102507260B1 (ko) 2021-07-23 2021-07-23 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210097101A KR102507260B1 (ko) 2021-07-23 2021-07-23 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버 및 그 방법

Publications (2)

Publication Number Publication Date
KR20230015670A true KR20230015670A (ko) 2023-01-31
KR102507260B1 KR102507260B1 (ko) 2023-03-08

Family

ID=85109245

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210097101A KR102507260B1 (ko) 2021-07-23 2021-07-23 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버 및 그 방법

Country Status (1)

Country Link
KR (1) KR102507260B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102612320B1 (ko) * 2023-06-28 2023-12-08 가천대학교 산학협력단 멀티모달 기반 메타버스 환경 구현 시스템, 방법, 및컴퓨터-기록가능 매체
KR102612321B1 (ko) * 2023-06-28 2023-12-08 가천대학교 산학협력단 멀티모달 기반 메타버스 상 npc동작 구현 시스템, 방법,및 컴퓨터-기록가능 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101788248B1 (ko) * 2017-03-02 2017-10-20 주식회사 미래엔 가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법
KR20190078294A (ko) * 2017-12-26 2019-07-04 주식회사 글로브포인트 가상 튜터에 의한 디지털 학습 제공 서버 및 방법
KR20210012724A (ko) * 2019-07-26 2021-02-03 삼성전자주식회사 아바타를 제공하는 전자 장치 및 그의 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101788248B1 (ko) * 2017-03-02 2017-10-20 주식회사 미래엔 가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법
KR20190078294A (ko) * 2017-12-26 2019-07-04 주식회사 글로브포인트 가상 튜터에 의한 디지털 학습 제공 서버 및 방법
KR20210012724A (ko) * 2019-07-26 2021-02-03 삼성전자주식회사 아바타를 제공하는 전자 장치 및 그의 동작 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102612320B1 (ko) * 2023-06-28 2023-12-08 가천대학교 산학협력단 멀티모달 기반 메타버스 환경 구현 시스템, 방법, 및컴퓨터-기록가능 매체
KR102612321B1 (ko) * 2023-06-28 2023-12-08 가천대학교 산학협력단 멀티모달 기반 메타버스 상 npc동작 구현 시스템, 방법,및 컴퓨터-기록가능 매체

Also Published As

Publication number Publication date
KR102507260B1 (ko) 2023-03-08

Similar Documents

Publication Publication Date Title
KR102341752B1 (ko) 메타버스에서 아바타를 이용한 강의 보조 방법 및 그 장치
Wang et al. Augmented reality in education and training: pedagogical approaches and illustrative case studies
Park et al. A metaverse: Taxonomy, components, applications, and open challenges
Tortorella et al. Considering learning styles and context-awareness for mobile adaptive learning
KR102507260B1 (ko) 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버 및 그 방법
CN111414506B (zh) 基于人工智能情绪处理方法、装置、电子设备及存储介质
KR102043274B1 (ko) 3d 객체와 마커를 포함한 mr 콘텐츠를 제공하는 사이니지 시스템 및 그 방법
Yang et al. Holographic sign language avatar interpreter: A user interaction study in a mixed reality classroom
Li et al. Learning in an ambient intelligent world: Enabling technologies and practices
Zulfiqar et al. Augmented reality and its applications in education: A systematic survey
KR20240082168A (ko) 사용자 맞춤형 대화를 수행하는 디지털 휴먼 제공 방법 및 시스템
CN112272328A (zh) 弹幕推荐方法及相关装置
Ng et al. Engaging students in virtual tours to learn language and digital literacy
Li et al. A platform on the cloud for self-creation of mobile interactive learning trails
Uluyol et al. Augmented reality: A new direction in education
Tang Application and design of drama popular science education using augmented reality
Marshall Augmented reality’s application in education and training
CN114296627B (zh) 内容显示方法、装置、设备及存储介质
US20220301250A1 (en) Avatar-based interaction service method and apparatus
Ahmad et al. Towards a Low‐Cost Teacher Orchestration Using Ubiquitous Computing Devices for Detecting Student’s Engagement
KR20230120761A (ko) 메타휴먼을 이용한 메타버스에서의 교육 방법
Alrashidi Synergistic integration between internet of things and augmented reality technologies for deaf persons in e-learning platform
KR102575820B1 (ko) 운동트레이너 디지털액터 운용시스템
Arbaoui Applying Augmented Reality to Stimulate User Awareness in Urban Environments
KR20190094875A (ko) 3d 객체와 마커를 포함한 mr 콘텐츠를 제공하는 사이니지 시스템 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right