KR20230048959A - 메타버스 에이전트를 이용한 커뮤니케이션 방법 및 그를 위한 장치 및 시스템 - Google Patents
메타버스 에이전트를 이용한 커뮤니케이션 방법 및 그를 위한 장치 및 시스템 Download PDFInfo
- Publication number
- KR20230048959A KR20230048959A KR1020210131986A KR20210131986A KR20230048959A KR 20230048959 A KR20230048959 A KR 20230048959A KR 1020210131986 A KR1020210131986 A KR 1020210131986A KR 20210131986 A KR20210131986 A KR 20210131986A KR 20230048959 A KR20230048959 A KR 20230048959A
- Authority
- KR
- South Korea
- Prior art keywords
- metaverse
- avatar
- user
- service
- home screen
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004891 communication Methods 0.000 title claims abstract description 23
- 230000008921 facial expression Effects 0.000 claims description 35
- 230000008451 emotion Effects 0.000 claims description 34
- 230000002996 emotional effect Effects 0.000 claims description 32
- 241001516908 Metabus Species 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 7
- 239000003795 chemical substances by application Substances 0.000 description 69
- 230000014509 gene expression Effects 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Marketing (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Human Resources & Organizations (AREA)
- Signal Processing (AREA)
- Architecture (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Operations Research (AREA)
- Computing Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
Abstract
본 발명은 메타버스 에이전트를 활용하여 메타버스 통합 사용자 인터페이스를 제공하는 방법 및 그를 위한 장치 및 시스템에 관한 것으로서, 일 측면에 따른 사용자 디바이스에서 메타버스 통합 사용자 인터페이스를 제공하는 방법은 메타버스 서비스 별 홈 화면에 표시될 상대방 아바타를 등록하는 단계와 상기 등록된 상대방 아바타의 상태 정보를 획득하는 단계와 상기 획득된 상태 정보에 기반하여 상기 등록된 아바타의 상태를 상기 홈 화면에 표시하는 단계를 포함할 수 있다. 따라서, 본 발명은 메타버스 별 등록된 사용자 상호간의 실시간 상태 공유 및 커뮤니케이션이 가능한 장점이 있다.
Description
본 발명은 메타버스에 관한 것으로서, 상세하게, 메타버스 에이전트를 활용하여 메타버스 사용자 간 효율적인 커뮤니케이션을 제공하는 기술에 관한 것이다.
메타버스란 가상을 의미하는 메타(meta)와 현실 세계를 의미하는 유니버스(universe)의 합성어로, 현실 세계와 같은 사회/경제/문화 활동이 이뤄지는 3차원 가상세계를 일컫는 말이다.
메타버스에선 사용자들이 자신만의 아바타를 만들어 다른 사용자와 소통하고, 경제 활동을 벌이는 등 일상 생활이 가상 세계에서 구현될 수 있다.
기존 게임 서비스의 경우, 약관상 게임 내 아이템 소유권이 콘텐츠 회사에 있는 것과는 달리 블록체인에 기반한 메타버스는 가상 세계 속 아이템이 대체불가능토큰(Non-Fungible Token, NFT)와 암호 화폐 등으로 구현될 수 있다. 즉 실제 콘텐츠 소유권을 유저가 갖게 된다.
현재 게임사들을 중심으로 블록체인 기반의 메타버스 구축에 적극 나서고 있다. 실제 최근 뉴욕 증시에 상장한 미국 메타버스 게임기업 로블록스가 가상화폐 도입을 결정하면서 많은 이들의 이목을 집중시킨 바 있다. 현재 로블록스는 전 세계 4억명 이상의 이용자를 확보한 상태다.
향후 사람들은 하나의 메타버스가 아닌 여러 종류의 메타버스를 이용할 수 있다. 하지만, 물리적으로 여러 메타버스 가상 공간에 진입하여 활동하기는 어렵다. 따라서, 가상 공간과 실제 공간뿐만 아니라 여러 가상 공간을 동시에 관리할 수 있는 물리적 디바이스가 요구되고 있다.
최근 메타버스가 모바일 디바이스에 도입됨에 따라 스마트폰 및 테블릿 등에 구비된 디스플레이를 기반으로 사용자와 가상 공간 내 아바타를 통한 상호 인터렉션을 뿐만 아니라 메타버스 유저 간 가상 공간에서 자신의 아바타를 통해 상호 커뮤니케이션을 제공할 수 있게 되었다.
하지만, 메타버스 가상 공간에서 어떤 변화가 발생하고, 그 변화를 사용자가 인지하기 위해서는 사용자가 메타버스 가상 공간에 진입하여 확인해야 한다. 하지만, 사용자가 항상 메타버스 가상 공간에 머물러 있는 것은 현실적으로 불가능한 문제점이 있다.
특히, 스마트폰 및 테블릿 등의 모바일 디바이스는 메타버스 서비스를 위한 그래픽 기반의 사용자 인터페이스를 제공하고는 있지만, 복수의 메타버스 서비스에 가입한 사용자 상호간의 효율적인 상태 공유 및 인터렉션이 어려운 문제점이 있었다.
본 발명의 목적은 메타버스 에이전트를 이용한 커뮤니케이션 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.
본 발명의 다른 목적은 사용자 디바이스와 메타버스 에이전트 연동을 통해 사용자 디바이스의 홈화면에 멀티 메타버스 사용자 인터페이스 환경을 제공함으로써, 메타버스 별 등록된 사용자 상호간의 실시간 상태 공유 및 커뮤니케이션이 가능한 메타버스 에이전트를 이용한 커뮤니케이션 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은 메타버스 가상 공간에 진입하지 않고도 실제 공간과 가상 공간 사이의 인터렉션을 수행하는 것이 가능하게 하는 사용자 디바이스 및 메타버스 에이전트 서버를 제공하는 것이다.
본 발명의 또 다른 목적은 가상 세계와 현실 세계가 연계된 멀티 메타버스 사용자 인터페이스를 홈화면에 제공함으로써, 메타버스 및 아바타의 현재 상태를 직관적으로 확인할 수 있을 뿐만 아니라 사용자가 원하는 가상 공간 진입 및 메타버스 참여자 간 커뮤니케이션을 가능하게 하는 메타버스 에이전트를 이용한 커뮤니케이션 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.
본 발명은 또 다른 목적은 사용자 설정을 통해 홈화면의 공간 구조 및 배치를 자유롭게 변경할 수 있고, 사용자에 의해 원하는 메타버스 가상 공간 진입 및 앱 선택이 편리하게 이루어지는 것이 가능한 사용자 디바이스를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
일 측면에 따른 사용자 디바이스에서 메타버스 통합 사용자 인터페이스를 제공하는 방법은 메타버스 서비스 별 홈 화면에 표시될 상대방 아바타를 등록하는 단계와 상기 등록된 상대방 아바타의 상태 정보를 획득하는 단계와 상기 획득된 상태 정보에 기반하여 상기 등록된 아바타의 상태를 상기 홈 화면에 표시하는 단계를 포함할 수 있다.
실시 예로, 상기 등록된 상대방 아바타의 상태 정보는 상기 메타버스 서비스 별 가상 공간 진입 여부에 관한 정보 및 상기 상대방의 감정 상태에 대한 정보 중 적어도 하나를 포함할 수 있다.
실시 예로, 상기 상대방의 감정 상태가 해당 상대방의 아바타의 표정으로 반영되어 상기 홈 화면에 표시될 수 있다.
실시 예로, 상기 방법은 상기 등록된 상대방 아바타의 상태 갱신 정보를 수신하는 단계를 더 포함하되, 상기 상태 갱신 정보에 기반하여 해당 아바타의 상기 가상 공간 진입 여부 및 상기 표정 중 적어도 하나가 갱신되어 상기 홈 화면에 표시될 수 있다.
실시 예로, 상기 사용자 디바이스는 통신망을 통해 메타버스 에이전트 서버와 연동되되, 상기 등록된 상대방 아바타의 상태 정보는 메타버스 에이전트 서버로부터 획득될 수 있다.
실시 예로, 상기 홈 화면은 상기 메타버스 서비스 별 상기 상대방 아바타를 추가 등록하여 상기 홈 화면에 표시하기 위한 추가 등록 아이콘, 상기 메타버스 서비스 별 상기 상대방 아바타를 등록 해제하여 상기 홈 화면에서 삭제하기 위한 아바타 삭제 아이콘, 상기 메타버스 서비스 별 채팅 창을 활성화하기 위한 채팅창 아이콘, 상기 메타버스 서비스 별 자신의 가상 공간으로 특정 상대방을 초대하기 위한 초대 아이콘, 상기 메타버스 서비스 별 가상 공간 화면으로 전환시키기 위한 메타버스 진입 아이콘 중 적어도 하나를 포함하여 구성될 수 있다.
실시 예로, 상기 방법은 메타버스 서비스를 고유하게 식별하기 위한 메타버스 식별자, 초대 요청한 사용자를 식별하기 위한 사용자 식별자 및 초대 메시지 중 적어도 하나를 포함하는 초대 요청 메시지를 수신하는 단계를 더 포함하되, 상기 초대 요청 메시지가 수신되면, 상기 메타버스 식별자에 상응하는 자신의 아바타 일측에 상기 사용자 식별자에 대한 정보가 포함된 초대 알람이 표시될 수 있다.
실시 예로, 상기 표시된 초대 알람이 선택되면, 상기 초대 메시지가 상기 홈 화면의 일측에 표시되되, 상기 초대 요청이 수락된 것에 기반하여, 상기 홈 화면이 상기 초대 요청한 사용자의 가상 공간 화면으로 전환될 수 있다.
실시 예로, 상기 방법은 메타버스 서비스를 고유하게 식별하기 위한 메타버스 식별자 및 상기 메타버스 식별자에 상응하는 자신의 가상 공간에 방문한 사용자를 식별하기 위한 사용자 식별자를 포함하는 방문 알람 메시지를 수신하는 단계와 상기 메타버스 식별자에 상응하는 자신의 아바타 일측에 상기 사용자 식별자에 대한 정보가 포함된 방문 알람을 표시하는 단계를 더 포함하되, 상기 방문 알람이 선택되면, 상기 방문된 가상 공간으로 진입될 수 있다.
실시 예로, 상기 방법은 상기 사용자 디바이스에 구비된 카메라를 통해 촬영된 영상을 기초로 사용자 얼굴을 인식하여 사용자의 감정을 분석하는 단계와 상기 분석된 감정에 기초한 표정을 상기 사용자의 아바타에 반영하여 표시하는 단계와 상기 표정이 반영된 상기 사용자 아바타에 대한 정보를 상기 등록된 상대방 아바타에 상응하는 다른 사용자 디바이스에 전송하여 공유하는 단계를 더 포함할 수 있다.
다른 측면에 따른 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가 사용자 디바이스에서 메타버스 통합 사용자 인터페이스를 제공하기 위한 동작들을 수행하게 하는 명령을 포함하는 적어도 하나의 컴퓨터 프로그램을 저장하는 비휘발성 컴퓨터 판독 가능 저장 매체에 있어서, 상기 동작들은 메타버스 서비스 별 홈 화면에 표시될 상대방 아바타를 등록하는 단계와 상기 등록된 상대방 아바타의 상태 정보를 획득하는 단계와 상기 획득된 상태 정보에 기반하여 상기 등록된 아바타의 상태를 상기 홈 화면에 표시하는 단계를 포함할 수 있다.
또 다른 측면에 따른 메타버스 서비스 시스템은 메타버스 서비스 별 가상 공간에서 발생되는 이벤트를 모니터링하는 메타버스 서비스 플랫폼과 상기 메타버스 서비스 플랫폼과 연동하여 상기 이벤트에 관한 정보를 수집하고, 상기 수집된 정보에 기반하여 아바타 별 상태를 관리하는 메타버스 에이전트 서버와 상기 메타버스 서비스 별 홈 화면에 표시될 상대방 아바타를 상기 메타버스 에이전트 서버에 등록하고, 상기 등록된 상대방 아바타의 상태 정보를 상기 메타버스 에이전트 서버로부터 획득하고, 상기 획득된 상태 정보에 기반하여 상기 등록된 아바타의 상태를 상기 홈 화면에 표시하는 사용자 디바이스를 포함할 수 있다.
또 다른 측면에 따른 사용자 디바이스는 디스플레이와 외부 장치와 신호를 송수신하는 송수신부와 상기 송수신부 및 상기 디스플레이와 연결되는 프로세서를 포함하고, 상기 프로세서는 상기 디스플레이에 표시된 메타버스 통합 사용자 인터페이스 화면을 통해 메타버스 서비스 별 홈 화면에 표시될 상대방 아바타를 등록하고, 상기 등록된 상대방 아바타의 상태 정보를 획득하고, 상기 획득된 상태 정보에 기반하여 상기 등록된 아바타의 상태를 상기 홈 화면에 표시할 수 있다.
실시 예로, 상기 등록된 상대방 아바타의 상태 정보는 상기 메타버스 서비스 별 가상 공간 진입 여부에 관한 정보 및 상기 상대방의 감정 상태에 대한 정보 중 적어도 하나를 포함할 수 있다.
실시 예로, 상기 상대방의 감정 상태가 해당 상대방의 아바타의 표정으로 반영되어 상기 홈 화면에 표시될 수 있다.
실시 예로, 상기 사용자 디바이스는 통신망을 통해 메타버스 에이전트 서버와 연동되되, 상기 프로세서는 상기 등록된 상대방 아바타의 상태 갱신 정보를 상기 메타버스 에이전트 서버로부터 수신하고, 상기 상태 갱신 정보에 기반하여 해당 아바타의 상기 가상 공간 진입 여부 및 상기 표정 중 적어도 하나를 갱신하여 상기 홈 화면에 표시할 수 있다.
실시 예로, 상기 홈 화면은 상기 메타버스 서비스 별 상기 상대방 아바타를 추가 등록하여 상기 홈 화면에 표시하기 위한 추가 등록 아이콘, 상기 메타버스 서비스 별 상기 상대방 아바타를 등록 해제하여 상기 홈 화면에서 삭제하기 위한 아바타 삭제 아이콘, 상기 메타버스 서비스 별 채팅 창을 활성화하기 위한 채팅창 아이콘, 상기 메타버스 서비스 별 자신의 가상 공간으로 특정 상대방을 초대하기 위한 초대 아이콘 및 상기 메타버스 서비스 별 가상 공간 화면으로 전환시키기 위한 메타버스 진입 아이콘 중 적어도 하나를 포함하여 구성될 수 있다.
실시 예로, 상기 프로세서는 메타버스 서비스를 고유하게 식별하기 위한 메타버스 식별자, 초대 요청한 사용자를 식별하기 위한 사용자 식별자 및 초대 메시지 중 적어도 하나를 포함하는 초대 요청 메시지를 수신하면, 상기 메타버스 식별자에 상응하는 자신의 아바타 일측에 상기 사용자 식별자에 대한 정보가 포함된 초대 알람을 표시할 수 있다.
실시 예로, 상기 프로세서는 상기 표시된 초대 알람이 선택되면, 상기 초대 메시지를 상기 홈 화면의 일측에 표시하되, 상기 초대 요청이 수락된 것에 기반하여, 상기 홈 화면은 상기 초대 요청한 사용자의 가상 공간 화면으로 전환될 수 있다.
실시 예로, 상기 프로세서는 메타버스 서비스를 고유하게 식별하기 위한 메타버스 식별자 및 상기 메타버스 식별자에 상응하는 자신의 가상 공간에 방문한 사용자를 식별하기 위한 사용자 식별자를 포함하는 방문 알람 메시지를 수신하는 수단과 상기 메타버스 식별자에 상응하는 자신의 아바타 일측에 상기 사용자 식별자에 대한 정보가 포함된 방문 알람을 표시하는 수단을 더 포함하되, 상기 방문 알람이 선택되면, 상기 방문된 가상 공간에 진입하도록 제어할 수 있다.
실시 예로, 상기 프로세서는 상기 사용자 디바이스에 구비된 카메라를 통해 촬영된 영상을 기초로 사용자 얼굴을 인식하여 사용자의 감정을 분석하는 수단과 상기 분석된 감정에 기초한 표정을 상기 사용자의 아바타에 반영하여 표시하는 수단과 상기 표정이 반영된 상기 사용자 아바타에 대한 정보를 상기 등록된 상대방 아바타에 상응하는 다른 사용자 디바이스에 전송하여 공유하는 수단을 더 포함할 수 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명은 메타버스 에이전트를 이용한 커뮤니케이션 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.
또한, 본 발명은 사용자 디바이스를 메타버스 에이전트와 연동하여 사용자 디바이스의 홈화면에 멀티 메타버스 사용자 인터페이스 환경을 제공함으로써, 메타버스 별 등록된 사용자 상호간의 실시간 상태 공유 및 커뮤니케이션이 가능한 메타버스 에이전트를 이용한 커뮤니케이션 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.
또한, 본 발명은 메타버스 가상 공간에 진입하지 않고도 실제 공간과 가상 공간 사이의 인터렉션을 자동으로 수행하는 것을 가능하게 하는 사용자 디바이스 및 메타버스 에이전트 서버를 제공하는 장점이 있다.
또한, 본 발명은 가상 세계와 현실 세계가 연계된 멀티 메타버스 사용자 인터페이스를 홈화면에 제공함으로써, 메타버스 및 아바타의 현재 상태를 직관적으로 확인할 수 있을 뿐만 아니라 사용자가 원하는 가상 공간 진입 및 메타버스 참여자 간 커뮤니케이션을 가능하게 하는 메타버스 에이전트를 이용한 커뮤니케이션 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.
또한, 본 발명은 사용자 설정을 통해 홈화면의 공간 구조 및 배치를 자유롭게 변경할 수 있고, 사용자에 의해 원하는 메타버스 가상 공간 진입 및 앱 선택이 편리하게 이루어지는 것이 가능한 사용자 디바이스를 제공하는 장점이 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
본 명세서에 첨부되는 도면은 본 발명에 대한 이해를 제공하기 위한 것으로서 본 발명의 다양한 실시형태들을 나타내고 명세서의 기재와 함께 본 발명의 원리를 설명하기 위한 것이다.
도 1은 본 개시의 일 실시 예에 따른 메타버스 서비스 네트워크 구성을 설명하기 위한 예시도이다.
도 2는 본 개시의 일 실시예에 따른 사용자 디바이스 및 메타버스 에이전트 서버의 소프트웨어 모듈을 설명하기 위한 예시도이다.
도 3은 실시 예에 따른 메타버스 에이전트 서비스를 위한 기계 학습 및 패턴 인식 절차를 설명하기 위한 도면이다.
도 4는 실시 예에 따른 사용자 디바이스에서의 메타버스 통합 UI를 제공하는 방법을 설명하기 위한 순서도이다
도 5는 다른 실시 예에 따른 사용자 디바이스에서의 메타버스 통합 UI를 제공하는 방법을 설명하기 위한 순서도이다.
도 6은 실시 예에 따른 사용자 디바이스 간 메타버스 가상 공간 아바타 상태 공유 방법을 설명하기 위한 도면이다.
도 7은 실시 예에 따른 사용자 디바이스의 홈화면을 통해 메타버스 가상 공간의 아바타 상태를 실시간 공유하는 절차를 설명하기 위한 도면이다.
도 1은 본 개시의 일 실시 예에 따른 메타버스 서비스 네트워크 구성을 설명하기 위한 예시도이다.
도 2는 본 개시의 일 실시예에 따른 사용자 디바이스 및 메타버스 에이전트 서버의 소프트웨어 모듈을 설명하기 위한 예시도이다.
도 3은 실시 예에 따른 메타버스 에이전트 서비스를 위한 기계 학습 및 패턴 인식 절차를 설명하기 위한 도면이다.
도 4는 실시 예에 따른 사용자 디바이스에서의 메타버스 통합 UI를 제공하는 방법을 설명하기 위한 순서도이다
도 5는 다른 실시 예에 따른 사용자 디바이스에서의 메타버스 통합 UI를 제공하는 방법을 설명하기 위한 순서도이다.
도 6은 실시 예에 따른 사용자 디바이스 간 메타버스 가상 공간 아바타 상태 공유 방법을 설명하기 위한 도면이다.
도 7은 실시 예에 따른 사용자 디바이스의 홈화면을 통해 메타버스 가상 공간의 아바타 상태를 실시간 공유하는 절차를 설명하기 위한 도면이다.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 개시의 다양한 예에서, “/” 및 “,”는 “및/또는”을 나타내는 것으로 해석되어야 한다. 예를 들어, “A/B”는 “A 및/또는 B”를 의미할 수 있다. 나아가, “A, B”는 “A 및/또는 B”를 의미할 수 있다. 나아가, “A/B/C”는 “A, B 및/또는 C 중 적어도 어느 하나”를 의미할 수 있다. 나아가, “A, B, C”는 “A, B 및/또는 C 중 적어도 어느 하나”를 의미할 수 있다.
본 개시의 다양한 예에서, “또는”은 “및/또는”을 나타내는 것으로 해석되어야 한다. 예를 들어, “A 또는 B”는 “오직 A”, “오직 B”, 및/또는 “A 및 B 모두”를 포함할 수 있다. 다시 말해, “또는”은 “부가적으로 또는 대안적으로”를 나타내는 것으로 해석되어야 한다.
이하, 도 1 내지 도 7을 참조하여, 본 발명의 실시 예들을 구체적으로 설명하기로 한다.
도 1은 본 개시의 일 실시 예에 따른 메타버스 서비스 네트워크 구성을 설명하기 위한 예시도이다.
도 1을 참조하면, 메타버스 서비스 네트워크(또는 메타버스 서비스 시스템)(100)는 복수의 사용자 디바이스(110)와 메타버스 에이전트 서버(120) 및 메타버스 서비스 플랫폼(130)을 포함하여 구성될 수 있다.
메타버스 서비스 네트워크(100)를 구성하는 구성 요소들은 유/무선 통신망(140)에 연결되어, 상호 정보를 교환할 수 있다.
메타버스 에이전트 서버(120)는 사용자 디바이스(110) 및 메타버스 서비스 플랫폼(130)과 연동하여 메타버스 에이전트 서비스를 제공할 수 있다.
일 예로, 메타버스 에이전트 서버(120)는 메타버스 서비스 별 등록된 아바타를 관리할 수 있으며, 사용자 디바이스(110)로부터 수집된 데이터에 기초한 기계 학습을 수행하여 등록된 아바타에 대한 감정 분석을 수행할 수 있다.
일 예로, 메타버스 에이전트 서버(120)는 감정 분석 결과를 해당 메타버스 서비스에 가입된 적어도 하나의 사용자 디바이스(110)로 전송할 수 있다. 사용자 디바이스(110)는 메타버스 에이전트 서버(120)로부터 수신된 감정 분석 결과를 기초로 홈 화면에 표시된 해당 아바타의 표정을 동적으로 변경할 수 있다.
다른 일 예로, 메타버스 에이전트 서버(120)는 감정 분석 결과에 기초하여 해당 아바타의 표정을 반영하고, 감정이 반영된 아바타의 이미지를 해당 사용자 디바이스(120)로 전송할 수도 있다. 여기서, 감정이 반영된 아바타 이미지는 자신의 디바이스뿐만 아니라 등록된 상대방 아바타에 상응하는 디바이스로도 전송됨으로써, 메타버스 서비스 별 등록된 아바타의 표정이 해당 디바이스들 사이에서 실시간 공유될 수 있다.
또 다른 일 예로, 메타버스 에이전트 서버(120)는 감정 분석 결과에 상응하는 표정 식별자를 결정하고, 결정된 표정 식별자를 해당 사용자 디바이스(120)로 전송할 수도 있다. 여기서, 표정 식별자는 자신의 디바이스뿐만 아니라 등록된 상대방 아바타에 상응하는 디바이스로도 전송됨으로써, 메타버스 서비스 별 등록된 아바타의 표정이 해당 디바이스들 사이에서 실시간 공유될 수 있다.
메타버스 에이전트 서버(120)는 사용자 디바이스(110)로부터 수신된 데이터에 기초하여 사용자의 의도를 분석할 수 있으며, 분석된 의도에 상응하는 서비스를 메타버스 서비스 플랫폼(130)에 요청할 수도 있다.
일 예로, 메타버스 에이전트 서버(120)는 제1 사용자의 특정 메타버스 서비스에 상응하는 가상 공간으로의 진입 의도를 확인한 경우, 메타버스 서비스 플랫폼(130)에 소정 제어 신호를 전송하여 해당 메타버스 가상 공간이 제1 사용자의 디바이스 화면에 표시되도록 제어할 수 있다.
메타버스 에이전트 서버(120)는 메타버스 서비스 플랫폼(130)으로부터 메타버스 서비스 별 가상 공간에서의 이벤트 발생 정보를 수신할 수 있다. 이 경우, 메타버스 에이전트 서버(120)는 수신된 이벤트 발생 정보를 해당 사용자 디바이스(110)로 이벤트 발생 정보를 포워딩할 수 있다.
사용자 디바이스(100)는 수신된 이벤트 발생 정보를 홈 화면에 표시된 해당 메타버스 서비스의 해당 아바타의 일측에 표시할 수 있다.
일 예로, 이벤트 발생 정보는 가상 공간의 특정 장소로의 상대방 방문 이벤트 정보, 상대방의 채팅 메시지 입력 정보, 가상 공간에서의 각종 이벤트 행사 정보-예를 들면, 콘서트, 스포츠 경기, 전시회, 강연회 등-, 상대방의 아바타 형상 변경 정보, 특정 가상 공간으로의 초대 정보 등을 포함할 수 있으나, 이에 한정되지는 않는다.
일 예로, 이벤트 발생 정보는 현재 해당 메타버스 가상 공간에 진입하지 않은 사용자 디바이스에만 전송되도록 제어될 수 있다.
사용자가 메타버스 가상 공간에 진입한 경우에는 해당 가상 공간에서 실시간으로 이벤트 발생 현황을 확인할 수 있지만, 사용자가 메타버스 가상 공간에 진입하지 않은 경우에는 해당 가상 공간에서 일어나는 각종 이벤트를 확인할 수 없는 단점이 있다.
따라서, 본 발명은 가상 공간에 진입하지 않은 사용자디바이스에만 해당 가상 공간에서 발생된 이벤트 정보를 제공함으로써, 불필요한 데이터 전송을 미연에 방지할 수 있다.
또한, 본 발명은 메타버스 서비스 별 등록된 아바타를 통해 사용자 간 실시간 상태 정보 및 가상 공간에서의 각종 이벤트 발생 정보를 공유할 수 있을 뿐만 아니라 하나의 홈 화면을 통해 가상 공간에 직접 진입하지 않고도 자신이 가입한 모든 메타버스 서비스에 대한 상태를 실시간 모니터링할 수 있는 메타버스 통합 UI를 제공할 있는 장점이 있다.
도 2는 본 개시의 일 실시예에 따른 사용자 디바이스 및 메타버스 에이전트 서버의 소프트웨어 모듈을 설명하기 위한 예시도이다.
본 개시에서는 사용자 디바이스 및 메타버스 에이전트 서버만이 도시되어 있으나, 사용자 디바이스는 외부 디바이스-예를 들면, 증강 현실 헤드셋, 증강 현실 글라스 등-와 연동될 수 있다.
또한, 도 1에서 개시된 소프트웨어 모듈은 하드웨어의 형태로 구성될 수도 있음은 물론이다.
사용자 디바이스는 그래픽 오브젝트를 표시하기 위한 다양한 모듈을 포함할 수 있다. 구체적으로, 사용자 디바이스는 장면 모듈(Scene module), 3D 캐랙터 모듈(3D Character Module), 애니메이션 모듈(Animation Module), 템플릿 관리 모듈(Template management module), 제스쳐 관리 모듈(Gesture management module), 서비스 관리 모듈(Service management module), 상태 관리 모듈(State management module), 진화된 사용자인터페이스 모듈(Enhanced UI Module), 서비스 관리 모듈(Service manager module), 네트워크 관리자 모듈(Network Manager Module), 메타버스 통합 UI 모듈 중 적어도 하나를 포함하여 구성될 수 있다.
상기 장면 모듈, 3D 캐랙터 모듈 및 애니메이션 모듈은 리소스를 관리하기 위한 구성일 수 있다. 장면 모듈은 3D 배경을 포함하는 이미지 또는 3D 배경을 포함하지 않는 이미지를 모두 관리할 수 있다.
서비스 관리 모듈은 사용자 선택한 메타버스 서비스에 상응하는 콘텐츠를 수신하고, 수신한 콘텐츠에 해당하는 템플릿이 로딩 및 구성된 후 해당 콘텐츠가 기 설정된 레이아웃의 형태로 구성된 템플릿에 표시되도록 제어할 수 있다.
이때, 메타버스 콘텐츠는 배경 이미지-예를 들면, 3차원 지도-, 그래픽 오브젝트-예를 들면, 아바타- 및 배경 이미지상에서의 그래픽 오브젝트의 각종 상태 및 인터렉션 정보-예를 들면, 심리 상태 정보, 대화 정보, 제스쳐 정보, 구매/판매 정보 등-를 포함할 수 있다.
상태 관리 모듈은 사용자의 해당 메타버스 공간으로의 진입 상태 정보를 수신하여 그래픽 오브젝트를 제어하고, 필요한 경우, 배경 이미지를 더 표시하기 위한 구성이다. State management 모듈에 의해 표시되는 배경 이미지는 상술한 실제 배경 이미지 또는 배경 카드의 이미지가 아닌, 사용자 디바이스가 추가적으로 표시하기 위한 배경 이미지이다.
일 예로, 상태 관리 모듈은 사용자가 해당 메타버스 서비스의 가상 공간에 진입하지 않은 경우, 해당 메타버스 서비스에 상응하여 기 등록된 아바타는 AI 에이전트 모드로 관리될 수 있다. AI 에이전트 모드에서 AI가 해당 사용자를 대신하여 메타버스 가상 공간에서의 아바타의 동작 및 상태를 자동으로 관리할 수 있다. 즉, AI 에이전트 모드에서 AI가 사용자를 대신할 수 있다. 만약, 사용자가 해당 메타버스 서비스의 가상 공간에 들어왔을 경우, 해당 메타버스 서비스에 상응하는 아바타는 실시간 싱크 모드로 관리될 수 있다. 실시간 싱크 모드에서 아바타는 사용자와 동기화되어 관리될 수 있다. 즉, 사용자의 인터렉션에 따라 아바타의 동작 및 상태가 동기화될 수 있다.
제스쳐 관리 모듈은 사용자의 제스쳐 인식 정보를 기반으로 생성된 제스쳐 UI 제어 명령을 수신하고, 수신한 제스쳐 UI 제어 명령에 대응되는 기능을 수행할 수 있다.
템플릿 관리 모듈은 서비스 관리 모듈이 수신한 콘텐츠를 분석하여 해당 콘텐츠에 상응하는 메타버스 템플릿을 로딩 및 구성하는 기능을 수행할 수 있다.
템플릿 관리 모듈에 의해 구성된 템플릿은 예를 들어, 각각의 메터버스 서비스별로 제공되는 화면 전환 애니매이션 템플릿, 정보 제공 템플릿, 실시간 공연 템플릿, 쇼핑 템플릿, 실시간 스포츠 중계 템플릿, 게임 템플릿, 음원 재생 템플릿, 영상 재생 템플릿, 여행 템플릿, 카지노 템플릿, 날씨 템플릿, 화상 회의 템플릿, 종교 템플릿, 강의실 템플릿, 전시회 템플릿, 박물관 템플릿, 도서관/서점 템플릿 등을 포함할 수 있으나, 이에 한정되지는 않는다. 이때, 템플릿은 사용자의 제스쳐/음성/표정/뇌파/터치 인식 결과에 따라 변경 또는 전환될 수 있다. 메타버스 서비스 별 제공되는 템플릿의 종류 및 개수는 상이할 수 있다.
네트워크 관리자 모듈은 메타버스 에이전트 서버 또는 3rd party 서비스 서버와의 통신을 수행할 수 있다.
일 예로, 네트워크 관리자 모듈은 HTTP 1.x & HTTP 2.x 지원(SSL/TLS 포함) 또는 OAuth 2.X 등을 지원할 수 있으나, 이에 한정되지는 않는다.
진화된 UI 모듈은 사용자 음성 또는 사용자 제스쳐 또는 사용자의 뇌파 또는 사용자의 표정 및 감정을 인식하기 위한 구성이다.
구체적으로, 진화된 UI 모듈은 영상 인식 모듈 및 음성 인식 모듈을 포함할 수 있다.
영상 인식 모듈은 카메라를 통해 입력된 이미지를 분석하여 사용자의 움직임/제스쳐/표정/감정 등을 인식할 수 있다. 이때, 인식된 사용자의 움직임 및 제스쳐는 제스쳐 관리 모듈로 전송할 수 있다. 영상 인식 모듈은 서비스 관리 모듈에 의해 수신된 콘텐츠를 분석하여, 사용자 자신 및/또는 다른 사용자의 움직임 및/또는 제스쳐를 인식할 수도 있다.
음성 인식 모듈은 마이크를 통해 입력된 사용자의 음성을 인식할 수 있다. 또한, 음성 인식 모듈은 인터랙션 모드를 개시하기 위한 개시 명령어를 인식하여 인터랙션 모드를 개시할 수도 있다.
메타버스 통합 UI 모듈은 사용자가 가입한 적어도 하나의 메타버스 서비스에 상응하는 아바타들의 실시간 상태를 표시되는 사용자 인터페이스 화면을 구성하여 디스플레이 화면에 제공할 수 있다.
일 예로, 메타버스 통합 UI 모듈은 메타버스 서비스 별 사용자의 메타버스 가상 공간 진입 여부를 해당 아바타에 매핑하여 표시할 수 있다. 또한, 메타버스 통합 UI 모듈은 메타버스 서비스 별 사용자의 현재 감정 상태를 아바타의 표정으로 매핑하여 표시할 수도 있다. 메타버스 통합 UI 화면은 사용자의 설정에 따라 사용자 디바이스의 홈 화면에 제공될 수 있으며, 사용자는 메타버스 통합 UI를 통해 원하는 메타버스 서비스를 선택하여 진입할 수 있을 뿐만 아니라 아바타의 실시간 상태 확인 및 원하는 아바타를 선택하여 커뮤니케이션을 수행할 수 있다.
메타버스 통합 UI 모듈은 미리 설정된 우선 순위에 따라 메타버스 서비스를 정렬하여 메타버스 통합 UI 화면을 구성할 수도 있다. 여기서, 우선 순위는 사용자 설정에 따라 결정될 수 있으나, 이는 하나의 실시 예에 불과하며, 다른 실시 예로, 메타버스 서비스 별 등록된 아바타의 개수, 현재 가상 공간에 진입한 사용자의 수, 최근 일정 기간 동안 가상 공간 진입 횟수가 높은 메타버스 서비스 순서 등에 기반하여 결정될 수도 있다.
사용자는 메타버스 통합 UI 화면을 통해, 자신의 아바타 모드를 제어할 수 있다. 여기서, 아바타 모드는 수면 모드와 활성화 모드로 구분될 수 있다. 수면 모드의 아바타는 상술한 AI 에이전트 모드로 관리되고, 활성화 모드의 아바타는 상술한 실시간 싱크 모드로 관리될 수 있다.
사용자는 메타버스 통합 UI 화면을 통해, 등록된 상대방의 아바타를 특정 가상 공간으로 초대하는 초대 메시지를 전송할 수 있으며, 초대 메시지를 수신한 아바타의 일측에는 초대 여부가 표시될 수 있다. 일 예로, 사용자는 가상 공간상의 자신의 전시회에 상대방을 초대하고자 하는 경우, 메타버스 통합 UI 화면상에 등록된 상대방 아바타 중 어느 하나를 선택하여 초대할 수 있다. 메타버스 내 가상 공간은 사용자 별 진입 권한이 제한될 수 있으며, 해당 가상 공간에 대한 소유권을 가지고 있는 사용자가 상대방을 초대한 경우에만, 초대 받은 상대방이 해당 가상 공간에 진입할 수 있다.
메타버스 통합 UI 화면은 위젯으로 구성되어 홈 화면상에 표시되며, 하나의 홈 화면은 복수의 메타버스 공간에 상응하는 채팅창 및 알림창이 구비될 수 있으며, 사용자는 해당 메타버스 공간에서의 실시간 채팅 메시지 및 특정 이벤트에 대한 알림 메시지를 확인할 수 있다.
일 예로, 키즈 메타버스 서비스의 경우, 가상 공간의 지정된 장소에 누군가가 방문한 경우, 해당 장소로의 방문 알림 메시지를 해당 메타버스의 가상 공간에 진입하지 않은 사용자의 홈 화면에 실시간 표시될 수 있다.
사용자 디바이스는 소정 시간 주기-예를 들면, 5초 또는 10초 주기-로 카메라를 구동하여 사용자의 얼굴을 촬영할 수 있으며, 촬영된 얼굴 영상에 기초한 감정을 분석하고, 분석된 감정을 해당 아바타의 표정을 통해 표현되도록 제어함으로써, 상대방이 자신의 감정 상태를 실시간 확인할 수 있도록 구현될 수 있다. 이때, 얼굴 인식을 통해 감정 분석을 수행하는 동안에는 타인의 표정 변화가 반영되지 않도록 제어될 수 있다.
실시 예로, 메타버스 가상 공간 내 특정 장소-예를 들면, 자신의 상점-에 상대방이 방문한 경우, 사용자 디바이스에는 노크 소리 또는 특정 알람 소리가 출력될 수 있으며, 방문 고객의 아바타를 통해 방문 고객의 현재 표정이 반영될 수 있다. 즉, 메타버스 공간상에서의 특정 행위가 실제 사용자 디바이스의 특정 동작을 통해 표출될 수 있다.
메타버스 에이전트 서버는 크게 AI 관리 모듈(AI Management Module), 메타버스 서비스 관리 모듈(Metabus Service Management Module) 및 메타버스 콘텐츠 생성 모듈(Metabus Contents Generation Module)을 포함하여 구성될 수 있다.
AI 관리 모듈은 인공 지능 서비스가 활성화된 경우, 입력된 데이터를 기계 학습을 통해 분석하는 기능을 수행할 수 있다.
일 예로, AI 관리 모듈은 Automatic Speech Recognition(ASR), Natural Language Understanding(NLU), Text To Speech(TTS) 등의 기능이 탑재되어 사용자의 의도를 분석하고, 분석된 의도를 메타버스 서비스 관리 모듈로 전송할 수 있다.
다른 일 예로, AI 관리 모듈은 카메라 촬영된 영상에 기초한 감정 인식, 표정 인식, 제스쳐 인식, 움직임 인식 등의 기능이 탑재되어 사용자의 의도 및 심리 상태를 분석하고, 분석된 의도 및 심리 상태에 대한 정보를 메타버스 서비스 관리 모듈로 전송할 수 있다.
또 다른 일 예로, AI 관리 모듈은 AI 에이전트 모드가 활성화된 경우, 메타버스 가상 공간에서의 각종 이벤트 및 상태를 감지하고, 감지된 이벤트 및 상태에 상응하여 해당 메타버스 서비스에 상응하여 등록된 아바타의 동작 및 상태를 사용자를 대신하여 제어할 수도 있다.
메타버스 서비스 관리 모듈은 수신한 사용자 의도 및 감정을 분석하여 사용자 의도 및 감정에 대응되는 콘텐츠를 메타버스 콘텐츠 생성 모듈로부터 획득할 수 있다.
또한, 메타버스 서비스 관리 모듈은 메타버스 에이전트 서버의 전체적인 동작 및 입출력을 관리할 수 있다.
메타버스 콘텐츠 생성 모듈은 사용자 디바이스 및 사용자 디바이스가 실행하는 메타버스서비스에 적합한 형태의 템플릿을 구성하고, 구성된 템블릿에 사용자 의도 및/또는 감정 상태에 대응되는 콘텐츠를 생성하여 메타버스 서비스 관리 모듈에 제공할 수 있다.
메타버스 에이전트 서버는 사용자 디바이스로부터 수신한 데이터를 분석하고, 분석된 결과에 대응되는 서비스를 판단할 수 있다. 이때, 사용자 디바이스로부터 수신하는 데이터는 사용자 음성 데이터, 사용자 모션 데이터, 사용자 생체 센싱 데이터-예를 들면, 뇌파, 심박수, 혈류량, 체온 등-일 수 있다.
일 실시 예로, 메타버스 에이전트 서버는 사용자 디바이스로부터 사용자 음성 데이터를 포함하는 오디오 데이터를 수신할 수 있다. 메타버스 에이전트 서버는 수신한 오디오 데이터를 처리하여 사용자 음성 데이터를 획득하고, 획득된 사용자 음성 데이터에 대한 기계 학습을 수행하여 사용자의 의도 및 감정 상태를 분석할 수 있다. 다만, 오디오 데이터로부터 사용자 음성 데이터를 획득하는 기능은 사용자 디바이스가 수행될 수도 있음은 물론이다.
다른 실시 예로, 메타버스 에이전트 서버는 사용자 디바이스로부터 사용자 모션 데이터를 포함하는 영상 데이터를 수신할 수 있다. 메타버스 에이전트 서버는 수신한 영상 데이터를 처리하여 사용자 모션 데이터를 획득하고, 획득된 사용자 모션 데이터에 대한 기계 학습을 수행하여 사용자의 의도 및 감정 상태를 분석할 수 있다. 다만, 영상 데이터로부터 사용자 모션 데이터를 획득하는 기능은 사용자 디바이스가 수행될 수도 있음은 물론이다.
또 다른 실시 예로, 메타버스 에이전트 서버는 사용자 디바이스로부터 사용자의 생체 센싱 데이터를 수신할 수 있다. 메타버스 에이전트 서버는 수신한 생체 센싱 데이터에 대한 기계 학습을 수행하여 사용자의 의도 및 감정 상태를 분석할 수 있다.
메타버스 서비스 관리 모듈은 AI 서비스 관리 모듈에 의해 분석된 사용자의 의도 및 감정 상태에 기반하여 제공할 템플릿을 결정할 수 있다.
메타버스 에이전트 서버는 메타버스 서비스 관리 모듈에 의해 결정된 템플릿에 획득된 콘텐츠를 부가하여 사용자 디바이스로 전송할 수 있다.
실시 예로, 메타버스 에이전트 서버는 사용자의 얼굴 데이터와 사용자 음성 데이터를 분석하여 사용자 의도 및 감정을 판단하고, 판단된 사용자 의도 및 감정에 따른 템플릿 및 콘텐츠를 획득할 수 있다. 예를 들어, "음악 틀어줘" 라는 사용자 음성 및 해당 시점의 사용자 얼굴 촬영 영상이 획득되면, 메타버스 에이전트 서버는 사용자 음성 및 사용자 얼굴 촬영 영상에 기반한 기계 학습을 통해 사용자의 감정 상태를 분석하고, 분석된 사용자 감정에 대응되는 음원 콘텐츠를 결정하고, 결정된 음원 콘텐츠를 음원 재생 템플릿을 추가하여 사용자 디바이스에 제공할 수 있다.
실시 예로, 메타버스 에이전트 서버는 사용자 감정 상태에 대응되는 그래픽 오브젝트에 대한 정보를 생성하여 사용자 디바이스로 전송할 수도 있다. 즉, 사용자의 감정이 "슬픔"인 경우, 메타버스 에이전트 서버는 해당 메타버스 서비스에 상응하여 등록된 아바타의 표정을 슬픈 상태의 구성하여 사용자 디바이스에 제공할 수 있다.
실시 예로, 메타버스 에이전트 서버는 해당 메타버스 서비스에 상응하여 등록된 다른 사용자의 감정 상태를 분석하고, 분석 결과에 따라 다른 사용자에 의해 등록된 아바타의 표정을 구성하여 사용자 디바이스에 제공할 수도 있다.
상기 실시 예를 통해, 사용자는 자신의 디바이스의 화면-예를 들면, 스마트폰의 홈화면-을 통해 메타버스 서비스 별 등록된 아바타의 현재 감정 상태를 확인할 수 있다. 일 예로, 사용자는 슬픈 표정을 한 다른 사용자의 아바타가 확인된 경우, 해당 아바타를 선택하여 안부 인사를 전달하거나 특정 아이템을 선물할 수도 있다.
일 예로, AI 관리 모듈에 의해 분석될 수 있는 사용자의 감정은 슬픔, 화, 두려움, 혐오/싫어함, 기쁨/흥분/신남/자신감, 놀람, 행복, 사랑, 기대, 욕심, 호감, 긍정, 부정, 당황, 부끄러움, 위로/격려, 속상함, 지루함/피곤한, 회피 등 다양할 수 있다. 한편, 상기에서 설명한 다양한 실시 예는 독립적으로 적용되는 것이 아니라 복합적으로 적용될 수 있음은 물론이다.
도 3은 실시 예에 따른 메타버스 에이전트 서비스를 위한 기계 학습 및 패턴 인식 절차를 설명하기 위한 도면이다.
상기 메타버스 에이전트 서비스를 위한 기계 학습 및 패턴 인식 수단은 상기 도 1 또는 도 2의 메타버스 에이전트 서버(120 또는 220)상에 구현될 수 있으나, 이는 하나의 실시 예에 불과하며, 다른 실시 예로, 사용자 디바이스상에 구현될 수도 있다.
실시 예에 따른 메타버스 에이전트 서버는 클라우드 환경에 적어도 하나가 배치되어 분산 처리를 수행할 수도 있다. 이하 설명의 편의를 위해, 메타버스 에이전트 서버를 간단히, “에이전트 서버“와 혼용하여 설명하기로 한다.
도 3을 참조하면, 에이전트 서버(300)는 빅데이터 데이터베이스(bigdata database, 310), 데이터 수신부(data receiving unit, 315), 테스트 데이터 생성부(test data generation uint, 320), 전처리부(pre-processing unit, 330), 특징 추출부(feature extraction unit, 340), 학습부(learning unit, 350), 학습 데이터 분류 및 인식부(learning data classification and recognition unit, 360), 학습 모델 갱신부(learning model update unit, 370), 결정부(decision unit, 380) 및 출력부(display unit, 390)을 포함하여 구성될 수 있다.
실시 예로, 에이전트 서버(300) 내부에 미리 수집된 빅데이터가 유지될 수 있으나, 이는 하나의 실시 예에 불과하며, 빅데이터는 에이전트 서버(300)와 네트워크 연결된 클라우드 환경의 별도 데이터베이스 서버(미도시)에 유지될 수 있다.
일 예로, 빅데이터는 사용자의 감정/표정/음성/제스쳐/움직임 등의 인식과 관련된 각종 데이터를 포함할 수 있다. 일 예로, 데이터는 음성 데이터, 영상 데이터, 생체 센싱 데이터, 터치 입력 데이터 등을 포함할 수 있으나, 이에 한정되지는 않는다.
데이터 수신부(310)는 사용자 디바이스로부터 데이터를 수신할 수 있다. 여기서, 데이터는 데이터는 음성 데이터, 영상 데이터, 생체 센싱 데이터 등을 포함할 수 있으나, 이에 한정되지는 않는다.
테스트 데이터 생성부(320)는 사전 정의된 규칙 및 설정에 따라 빅데이터로부터 학습 데이터를 선택 및 포맷 변환하여 테스트 데이터 집합을 생성할 수 있다.
전처리부(330)은 테스트 데이터 집합 및 사용자 디바이스로부터 수집된 데이터를 학습부(350)가 쉽게 인식할 수 있는 형태로 최적화(optimization) 또는 정규화(normalization)하는 작업을 수행할 수 있다.
특징 추출부(340)는 소정 특징 추출 과정을 통해 전처리된 데이터로부터 사용자의 감정/표정/음성/제스쳐/움직임 등을 검출하기 위한 가장 핵심적인 특성 및 패턴을 추출할 수 있다. 여기서, 패턴은 적어도 하나의 특성들의 조합으로 결정될 수 있으며, 특징 별 가중치가 부여될 수 있다.
특징 추출부(340)는 정제된 데이터 집합의 특성을 분석하여 사용자의 감정 패턴, 제스쳐 패턴, 음성 명령 패턴을 구분할 수 있는 기준-예를 들면, 결정경계- 및 해당 패턴에 상응하는 각 특성에 대한 가중치를 결정할 수 있다.
학습부(350)는 특징 추출부(340)에 의해 결정된 패턴 별 기준 및 특성 별 가중치에 기초한 학습 모델에 기반하여 데이터 집합에 대한 기계 학습을 수행할 수 있다. 여기서, 학습부(350)는 기계 학습을 통해 해당 데이터 집합의 패턴 점수(PATTERN SCORE)를 산출하여 출력할 수 있다. 여기서, 패턴 점수는 패턴 별 결정경계를 기준으로 어느 쪽에 얼만큼 이격되어 있는지에 기반하여 결정될 수 있다. 즉, PATTERN SCORE가 양의 큰 값일수록 해당 패턴일 가능성이 높으며, 음의 작은 값일 수록 해당 패턴일 가능성이 낮음을 의미할 수 있다.
결정부(380)는 학습부(350)로부터 수신된 패턴 점수를 소정 기준치와 비교하여 해당 데이터 집합에 대한 패턴을 판별할 수 있다.
학습 데이터 분류 및 인식부(360)는 학습부(350)의 학습 결과 및 특징 추출부(340)에 의해 결정된 패턴 및 특성에 기초하여 해당 데이터 집합이 어느 패턴에 해당되는지 분류할 수 있다. 또한, 학습 데이터 분류 및 인식부(360)는 패턴 분류에 대한 신뢰도를 산출할 수도 있다.
학습 모델 갱신부(370)는 학습 데이터 분류 및 인식부(360)의 패턴 분류 결과 및 신뢰도산출 결과에 기초하여 학습 모델을 갱신할 수 있다. 만약, 분류된 패턴의 신뢰도가 기준치 이하인 경우, 학습 모델 갱신부(370)는 해당 패턴의 특성들에 대한 가중치를 조절할 수 있다. 이때, 갱신된 학습 모델은 학습부(350)에 즉시 사용되어 다음 학습 데이터 집합에 적용될 수 있다.
출력부(390)는 학습부(350)의 학습 결과, 결정부(380)의 최종 패턴 판단 결과, 학습 데이터 분류 및 인식부(360)의 패턴 분류 및 신뢰도 산출 결과를 화면으로 구성하여 구비된 디스플레이에 출력할 수 있다. 이때, 출력부(390)에 의해 구성된 화면은 그래프, 도표 등을 포함할 수 있다.
여기서, 상기 최종 패턴 판단 결과는 에이전트 서버(300)가 사용자 디바이스에 상술한 메타버스 통합 UI 서비스를 제공하기 위해 사용될 수 있다.
도 4는 실시 예에 따른 사용자 디바이스에서의 메타버스 통합 UI를 제공하는 방법을 설명하기 위한 순서도이다.
도 4를 참조하면, 사용자 디바이스는 사용자 요청에 따라 메타버스 서비스 별 홈 화면에 표시될 상대방의 아바타를 등록할 수 있다(S410). 여기서, 메타버스 서비스 별 등록할 수 있는 상대 아바타의 최대 개수는 미리 설정될 수 있다.
사용자 디바이스는 등록된 아바타의 상태 정보를 메타버스 에이전트 서버로부터 획득할 수 있다(S420). 여기서, 아바타의 상태 정보는 가상 공간 진입 여부에 대한 정보, 현재 감정 상태 정보(또는 표정 식별자)를 포함할 수 있다.
사용자 디바이스는 획득된 상태 정보에 기반하여 등록된 아바타의 가상 공간 진입 여부 및 현재 감정 상태를 표시할 수 있다(S430).
사용자 디바이스는 특정 아바타의 상태 갱신 정보가 수신된 것에 기반하여 해당 아바타의 가상 공간 진입 여부 및/또는 감정 상태를 갱신할 수 있다(S440).
도 5는 다른 실시 예에 따른 사용자 디바이스에서의 메타버스 통합 UI를 제공하는 방법을 설명하기 위한 순서도이다.
도 5를 참조하면, 사용자 디바이스는 전원이 인가되거나 사용자 설정에 따라 홈 화면에 메타버스 통합 UI 화면을 구성하여 디스플레이에 표시할 수 있다(S510).
사용자 디바이스는 카메라를 통해 촬영된 영상으로부터 사용자 얼굴을 인식하여 현재 사용자의 감정을 분석할 수 있다(S520). 여기서, 카메라는 미리 설정된 일정 시간 간격-예를 들면, 5초 또는 10초-으로 자동 구동될 수 있으며, 감정 분석을 수행하는 동안에는 상대방 아바타의 감정 상태-즉, 표정-은 갱신되지 않도록 제어될 수 있다. 사용자의 아바타 표정 갱신이 완료된 경우, 상대방 아바타의 표정 갱신이 수행될 수 있다.
사용자 디바이스는 분석된 감정에 기초하여 표정을 결정할 수 있으며, 결정된 표정을 사용자의 아바타에 반영하여 표시할 수 있다(S530). 일 예로, 메타버스 서비스 별 사용자의 아바타 형상은 상이할 수 있으며, 감정 분석 결과에 기초한 표정은 각각의 사용자 아바타에 반영되어 표시될 수 있다.
사용자 디바이스는 표정이 반영된 아바타에 대한 정보를 해당 메타버스 서비스에 등록된 다른 사용자 디바이스로 전송하여 공유할 수 있다(S540).
도 6은 실시 예에 따른 사용자 디바이스 간 메타버스 가상 공간 아바타 상태 공유 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 제1 사용자 디바이스(610)와 제2 사용자 디바이스(620)의 홈 화면에는 메타버스 통합 UI 화면이 표시되어 적어도 하나의 메타버스 가상 공간의 아바타 상태를 사용자 간 공유할 수 있다. 제1 사용자 디바이스(610)와 제2 사용자 디바이스(620)는 통신망을 통해 실시간 자신의 아바타 상태 정보를 공유할 수 있다. 여기서, 자신의 아바타 상태 정보는 메타버스 서비스를 고유하게 식별하기 위한 메타버스 식별자 및 해당 메타버스 식별자에 상응하는 가상 공간의 진입 여부를 지시하는 진입 상태 식별자를 포함할 수 있다.
사용자 디바이스는 공유된 아바타 상태 정보에 기반하여 메타버스 서비스 별 아바타 진입 상태를 실시간 갱신할 수 있다. 일 예로, 가상 공간 진입(또는 입장) 여부는 아바타의 색깔을 다르게 표시하여 구분될 수 있으나, 이는 하나의 실시 예에 불과하며, 다른 표시 수단-예를 들면, 문자, 기호, 아이콘, 깜박임 효과 등-을 통해 아바타 별 가상 공간 입장 여부가 표시 및 식별될 수 있다.
사용자는 메타버스 통합 UI 화면에 구비된 아바타 추가 등록 아이콘(630)을 선택하여 메타버스 서비스 별 상대방 아바타를 추가 등록할 수 있다.
또한, 사용자는 메타버스 통합 UI 화면에 구비된 아바타 삭제 아이콘(640)을 선택하여 메타버스 서비스 별 등록된 상대방 아바타를 등록 해제(삭제)할 수 있다.
또한, 사용자는 메타버스 통합 UI 화면에 구비된 채팅 아이콘(650)을 선택하여 메타버스 서비스 별 채팅 창을 활성화시켜 상대방과 채팅을 수행할 수 있다.
또한, 사용자는 메타버스 통합 UI 화면에 구비된 초대 아이콘(660)을 선택하여 메타버스 서비스 별 초대하고자 하는 상대방의 아바타를 선택함으로써 특정 상대방을 자신의 가상 공간으로 초대할 수도 있다.
이때, 초대 요청된 상대방의 디바이스 홈 화면에는 어느 메타버스 서비스의 어느 아바타에 의해 초대 요청이 수신되었는지 표시될 수 있다. 즉, 사용자로부터 초대받은 상대방 아바타 일측에는 도면 부호 670에 도시된 바와 같이, 초대 알람(670)이 표시될 수 있다. 여기서, 초대 알람(670)은 어느 사용자(또는 아바타)에 의해 초대 요청되었는지에 대한 정보가 포함될 수 있다.
실시 예로, 사용자는 초대 아이콘(660)을 선택하여 초대할 상대방을 선택할 수 있을 뿐만 아니라 직접 초대 메시지를 입력할 수 있다. 여기서, 사용자의 의해 입력된 초대 메시지는 상대방이 초대 알람(670)을 선택하면 팝업 창 등을 통해 홈 화면(또는 홈 화면의 해당 메타버스 서비스 표시 영역)의 일측에 표시될 수 있다.
제2 사용자 디바이스(620)는 메타버스 서비스를 고유하게 식별하기 위한 메타버스 식별자, 초대 요청한 사용자를 식별하기 위한 사용자 식별자 및 초대 메시지 중 적어도 하나를 포함하는 초대 요청 메시지를 제1 사용자 디바이스(610)로부터 수신할 수 있다.
제2 사용자 디바이스(620)는 초대 요청 메시지가 수신되면, 해당 메타버스 식별자에 상응하는 자신의 아바타 일측에 초대 요청한 사용자 정보가 포함된 초대 알람(670)을 표시할 수 있다.
제2 사용자 디바이스(620)에 표시된 초대 알람(670)이 선택되면, 해당 초대 메시지가 홈 화면의 일측(또는 해당 메타버스 서비스 표시 영역의 일측 또는 초대 알람(670) 일측에 팝업 창(또는 말 풍선) 등으로 표시될 수 있으며, 제2 사용자 디바이스(620)의 사용자에 의해 초대 요청이 수락된 경우, 제2 사용자 디바이스(620)의 홈 화면은 초대 요청한 사용자의 가상 공간 화면으로 즉시 전환될 수 있다.
또한, 사용자는 메타버스 통합 UI 화면에 구비된 메타버스 진입 아이콘(690)을 선택하여 홈 화면을 원하는 메타버스 가상 공간 화면으로 전환시킬 수 있다. 일 예로, 사용자는 메타버스 진입 아이콘(690)을 선택하여 홈화면을 메타버스 서비스 별 사전 설정된 특정 가상 공간 화면으로 즉시 전환시킬 수 있다.
사용자는 초대에 응할 경우, 초대 알람(670)을 선택하거나(또는 초대 알람(670) 선택 후 초대 요청을 수락하여) 상대방에 의해 초대된 가상 공간으로 바로 진입할 수 있다. 만약, 사용자가 초대에 응하지 않을 경우, 초대 알람(670) 선택 후 초대 요청을 거절할 수 있다.
상대방이 자신의 가상 공간에 방문한 경우, 메타버스 통합 UI 화면에는 누가 자신의 가상 공간에 방문하였는지가 방문 알람(680)으로 표시될 수도 있다. 사용자는 방문 알람(680)을 선택하여 해당 자신의 가상 공간으로 즉시 진입할 수 있다.
상기 도 6의 실시 예에서는 홈 화면에 메타버스 서비스 관련 정보만이 표시되는 것으로 설명되고 있으나, 이는 하나의 실시 예에 불과하며, 사용자는 소정 메뉴 설정을 통해 특정 앱을 즉시 실행시키기 위한 앱 아이콘을 구성할 수도 있다. 일 예로, 앱 아이콘은 통화 앱 아이콘, 문자 메시지 앱 아이콘, 웹 브라우저 아이콘, 날씨 앱 아이콘, 게임 앱 아이콘, 금융 앱 아이콘 등을 포함할 수 있으나, 이에 한정되지는 않는다.
도 7은 실시 예에 따른 사용자 디바이스의 홈화면을 통해 메타버스 가상 공간의 아바타 상태를 실시간 공유하는 절차를 설명하기 위한 도면이다.
도 7을 참조하면, 자신의 홈화면에는 상대방의 메타버스 가상 공간 진입 여부가 실시간 공유되어 표시될 수 있다.
일 예로, 상대방이 메타버스 가상 공간에 진입한 경우, 상대방 디바이스의 홈화면은 메타버스 가상 공간 화면으로 전환될 수 있다. 이때, 자신의 홈화면에는 도면 번호 710에 보여지는 바와 같이, 상대방 아바타의 일측에 상대방이 메타버스 가상 공간에 진입하였음을 알리는 소정 입장 지시자가 표시될 수 있다.
사용자는 홈화면에 표시된 채팅 아이콘(720)을 선택하여 채팅창을 활성화시킬 수 있으며, 메타버스 가상 공간에 입장하지 않고도 해당 메터버스 가상 공간에 채팅 메시지를 날릴 수 있다.
메타버스 가상 공간 진입 여부에 따라 홈 화면 및 메타버스 가상 공간에 표시되는 아바타 형태는 상이할 수 있다.
일 예로, 자신의 아바타가 메타 버스 가상 공간에 입장한 경우, 상대방 단말의 홈화면 및 메타버스 가상 공간에는 자신의 아바타가 눈을 뜨고 있는 활성 상태로 표시되고, 자신의 아바타가 메타 버스 가상 공간에서 퇴장한 경우, 상대방의 홈화면 및 메타버스 가상 공간에는 자신의 아바타가 눈을 감고 있는 수면 상태로 표시될 수 있다.
본 명세서에 개시된 실시 예들과 관련하여 설명된 사용자 디바이스는 디스플레이, 외부 유/무선 통신망 및(또는) 근거리 무선 통신을 통해 외부 장치-예를 들면, 서버, 웨어러블 디바이스 등-과 신호를 송수신하기 위한 송수신기 및 디스플레이 및 송수신기와 연결되어 전체적인 동작을 제어하는 적어도 하나의 프로세서를 포함하여 구성될 수 있다. 물론 사용자 디바이스는 카메라, 각종 생체 센서, 마이크 등이 구비될 수 있으며, 프로세서는 카메라 촬영 영상을 기초로 얼굴 인식을 수행하여 사용자의 현재 감정 상태를 분석할 수 있다. 또한, 프로세서는 마이크를 통해 입력된 사용자의 음성에 기반하여 사용자의 현재 감정 상태를 분석할 수도 있다. 실시 예에 따른 프로세서는 사용자 감정 상태 분석을 위한 기계 학습 모델에 기반하여 사용자의 현재 감정 상태를 분석하고, 분석된 감정 상태에 기반하여 아바타 표정을 매칭하여 구비된 디스플레이의 홈 화면에 표시할 수도 있다.
다른 실시 예에 다른 프로세서는 통신망을 통해 외부 서버와 연동하여 사용자의 현재 감정 상태를 분석할 수도 있다. 일 예로, 프로세서는 상술한 바와 같이, 메타버스 에이전트 서버와 연동하여 사용자의 현재 감정 상태를 분석할 수 있다. 이 경우, 메타버스 에이전트 서버는 사용자 디바이스로부터 수신된 영상 데이터 및(또는) 음성 데이터를 학습하여 사용자의 현재 감정 상태를 분석할 수 있다. 메타버스 에이전트 서버는 분석된 감정 상태에 매칭되는 표정을 결정하고, 결정된 표정에 상응하는 표정 식별자를 사용자 디바이스로 전송할 수 있다. 사용자 디바이스는 표정 식별자에 기초하여 해당 아바타의 표정을 변경하여 홈 화면에 표시할 수 있다.
본 명세서에 개시된 실시 예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리 및/또는 스토리지)에 상주할 수도 있다.
예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
Claims (21)
- 사용자 디바이스에서 메타버스 통합 사용자 인터페이스를 제공하는 방법에 있어서,
메타버스 서비스 별 홈 화면에 표시될 상대방 아바타를 등록하는 단계;
상기 등록된 상대방 아바타의 상태 정보를 획득하는 단계; 및
상기 획득된 상태 정보에 기반하여 상기 등록된 아바타의 상태를 상기 홈 화면에 표시하는 단계
를 포함하는, 방법. - 제1항에 있어서,
상기 등록된 상대방 아바타의 상태 정보는 상기 메타버스 서비스 별 가상 공간 진입 여부에 관한 정보 및 상기 상대방의 감정 상태에 대한 정보 중 적어도 하나를 포함하는, 방법. - 제2항에 있어서,
상기 상대방의 감정 상태가 해당 상대방의 아바타의 표정으로 반영되어 상기 홈 화면에 표시되는, 방법. - 제3항에 있어서,
상기 등록된 상대방 아바타의 상태 갱신 정보를 수신하는 단계를 더 포함하되,
상기 상태 갱신 정보에 기반하여 해당 아바타의 상기 가상 공간 진입 여부 및 상기 표정 중 적어도 하나가 갱신되어 상기 홈 화면에 표시되는 것을 특징으로 하는, 방법. - 제1항에 있어서,
상기 사용자 디바이스는 통신망을 통해 메타버스 에이전트 서버와 연동되되,
상기 등록된 상대방 아바타의 상태 정보는 메타버스 에이전트 서버로부터 획득되는, 방법. - 제1항에 있어서,
상기 홈 화면은,
상기 메타버스 서비스 별 상기 상대방 아바타를 추가 등록하여 상기 홈 화면에 표시하기 위한 추가 등록 아이콘;
상기 메타버스 서비스 별 상기 상대방 아바타를 등록 해제하여 상기 홈 화면에서 삭제하기 위한 아바타 삭제 아이콘;
상기 메타버스 서비스 별 채팅 창을 활성화하기 위한 채팅창 아이콘;
상기 메타버스 서비스 별 자신의 가상 공간으로 특정 상대방을 초대하기 위한 초대 아이콘; 및
상기 메타버스 서비스 별 가상 공간 화면으로 전환시키기 위한 메타버스 진입 아이콘
중 적어도 하나를 포함하는, 방법. - 제1항에 있어서,
메타버스 서비스를 고유하게 식별하기 위한 메타버스 식별자, 초대 요청한 사용자를 식별하기 위한 사용자 식별자 및 초대 메시지 중 적어도 하나를 포함하는 초대 요청 메시지를 수신하는 단계를 더 포함하되,
상기 초대 요청 메시지가 수신되면, 상기 메타버스 식별자에 상응하는 자신의 아바타 일측에 상기 사용자 식별자에 대한 정보가 포함된 초대 알람이 표시되는 것을 특징으로 하는, 방법. - 제7항에 있어서,
상기 표시된 초대 알람이 선택되면, 상기 초대 메시지가 상기 홈 화면의 일측에 표시되되, 상기 초대 요청이 수락된 것에 기반하여, 상기 홈 화면이 상기 초대 요청한 사용자의 가상 공간 화면으로 전환되는 것을 특징으로 하는, 방법. - 제1항에 있어서,
메타버스 서비스를 고유하게 식별하기 위한 메타버스 식별자 및 상기 메타버스 식별자에 상응하는 자신의 가상 공간에 방문한 사용자를 식별하기 위한 사용자 식별자를 포함하는 방문 알람 메시지를 수신하는 단계; 및
상기 메타버스 식별자에 상응하는 자신의 아바타 일측에 상기 사용자 식별자에 대한 정보가 포함된 방문 알람을 표시하는 단계
를 더 포함하되, 상기 방문 알람이 선택되면, 상기 방문된 가상 공간으로 진입되는 것을 특징으로 하는, 방법. - 제1항에 있어서,
상기 사용자 디바이스에 구비된 카메라를 통해 촬영된 영상을 기초로 사용자 얼굴을 인식하여 사용자의 감정을 분석하는 단계;
상기 분석된 감정에 기초한 표정을 상기 사용자의 아바타에 반영하여 표시하는 단계; 및
상기 표정이 반영된 상기 사용자 아바타에 대한 정보를 상기 등록된 상대방 아바타에 상응하는 다른 사용자 디바이스에 전송하여 공유하는 단계
를 더 포함하는, 방법. - 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가 사용자 디바이스에서 메타버스 통합 사용자 인터페이스를 제공하기 위한 동작들을 수행하게 하는 명령을 포함하는 적어도 하나의 컴퓨터 프로그램을 저장하는 비휘발성 컴퓨터 판독 가능 기록 매체에 있어서,
상기 동작들은,
메타버스 서비스 별 홈 화면에 표시될 상대방 아바타를 등록하는 단계;
상기 등록된 상대방 아바타의 상태 정보를 획득하는 단계; 및
상기 획득된 상태 정보에 기반하여 상기 등록된 아바타의 상태를 상기 홈 화면에 표시하는 단계
를 포함하는, 기록매체. - 메타버스 서비스 별 가상 공간에서 발생되는 이벤트를 모니터링하는 메타버스 서비스 플랫폼;
상기 메타버스 서비스 플랫폼과 연동하여 상기 이벤트에 관한 정보를 수집하고, 상기 수집된 정보에 기반하여 아바타 별 상태를 관리하는 메타버스 에이전트 서버; 및
상기 메타버스 서비스 별 홈 화면에 표시될 상대방 아바타를 상기 메타버스 에이전트 서버에 등록하고, 상기 등록된 상대방 아바타의 상태 정보를 상기 메타버스 에이전트 서버로부터 획득하고, 상기 획득된 상태 정보에 기반하여 상기 등록된 아바타의 상태를 상기 홈 화면에 표시하는 사용자 디바이스
를 포함하는, 메타버스 서비스 시스템. - 디스플레이;
외부 장치와 신호를 송수신하는 송수신부; 및
상기 송수신부 및 상기 디스플레이와 연결되는 프로세서를 포함하고,
상기 프로세서는 상기 디스플레이에 표시된 메타버스 통합 사용자 인터페이스 화면을 통해 메타버스 서비스 별 홈 화면에 표시될 상대방 아바타를 등록하고, 상기 등록된 상대방 아바타의 상태 정보를 획득하고, 상기 획득된 상태 정보에 기반하여 상기 등록된 아바타의 상태를 상기 홈 화면에 표시하는 것을 특징으로 하는, 사용자 디바이스. - 제13항에 있어서,
상기 등록된 상대방 아바타의 상태 정보는 상기 메타버스 서비스 별 가상 공간 진입 여부에 관한 정보 및 상기 상대방의 감정 상태에 대한 정보 중 적어도 하나를 포함하는, 사용자 디바이스. - 제14항에 있어서,
상기 상대방의 감정 상태가 해당 상대방의 아바타의 표정으로 반영되어 상기 홈 화면에 표시되는, 사용자 디바이스. - 제15항에 있어서,
상기 사용자 디바이스는 통신망을 통해 메타버스 에이전트 서버와 연동되되,
상기 프로세서는 상기 등록된 상대방 아바타의 상태 갱신 정보를 상기 메타버스 에이전트 서버로부터 수신하고, 상기 상태 갱신 정보에 기반하여 해당 아바타의 상기 가상 공간 진입 여부 및 상기 표정 중 적어도 하나를 갱신하여 상기 홈 화면에 표시하는 것을 특징으로 하는, 사용자 디바이스. - 제13항에 있어서,
상기 홈 화면은,
상기 메타버스 서비스 별 상기 상대방 아바타를 추가 등록하여 상기 홈 화면에 표시하기 위한 추가 등록 아이콘;
상기 메타버스 서비스 별 상기 상대방 아바타를 등록 해제하여 상기 홈 화면에서 삭제하기 위한 아바타 삭제 아이콘;
상기 메타버스 서비스 별 채팅 창을 활성화하기 위한 채팅창 아이콘;
상기 메타버스 서비스 별 자신의 가상 공간으로 특정 상대방을 초대하기 위한 초대 아이콘; 및
상기 메타버스 서비스 별 가상 공간 화면으로 전환시키기 위한 메타버스 진입 아이콘
중 적어도 하나를 포함하는, 사용자 디바이스. - 제13항에 있어서,
상기 프로세서는,
메타버스 서비스를 고유하게 식별하기 위한 메타버스 식별자, 초대 요청한 사용자를 식별하기 위한 사용자 식별자 및 초대 메시지 중 적어도 하나를 포함하는 초대 요청 메시지를 수신하면, 상기 메타버스 식별자에 상응하는 자신의 아바타 일측에 상기 사용자 식별자에 대한 정보가 포함된 초대 알람을 표시하는 것을 특징으로 하는, 사용자 디바이스. - 제18항에 있어서,
상기 프로세서는,
상기 표시된 초대 알람이 선택되면, 상기 초대 메시지를 상기 홈 화면의 일측에 표시하되, 상기 초대 요청이 수락된 것에 기반하여, 상기 홈 화면은 상기 초대 요청한 사용자의 가상 공간 화면으로 전환되는 것을 특징으로 하는, 사용자 디바이스. - 제13항에 있어서,
상기 프로세서는,
메타버스 서비스를 고유하게 식별하기 위한 메타버스 식별자 및 상기 메타버스 식별자에 상응하는 자신의 가상 공간에 방문한 사용자를 식별하기 위한 사용자 식별자를 포함하는 방문 알람 메시지를 수신하는 수단;
상기 메타버스 식별자에 상응하는 자신의 아바타 일측에 상기 사용자 식별자에 대한 정보가 포함된 방문 알람을 표시하는 수단
을 더 포함하되, 상기 방문 알람이 선택되면, 상기 방문된 가상 공간으로 진입되는 것을 특징으로 하는, 사용자 디바이스. - 제13항에 있어서,
상기 프로세서는,
상기 사용자 디바이스에 구비된 카메라를 통해 촬영된 영상을 기초로 사용자 얼굴을 인식하여 사용자의 감정을 분석하는 수단;
상기 분석된 감정에 기초한 표정을 상기 사용자의 아바타에 반영하여 표시하는 수단; 및
상기 표정이 반영된 상기 사용자 아바타에 대한 정보를 상기 등록된 상대방 아바타에 상응하는 다른 사용자 디바이스에 전송하여 공유하는 수단
을 더 포함하는, 사용자 디바이스.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210131986A KR20230048959A (ko) | 2021-10-05 | 2021-10-05 | 메타버스 에이전트를 이용한 커뮤니케이션 방법 및 그를 위한 장치 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210131986A KR20230048959A (ko) | 2021-10-05 | 2021-10-05 | 메타버스 에이전트를 이용한 커뮤니케이션 방법 및 그를 위한 장치 및 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230048959A true KR20230048959A (ko) | 2023-04-12 |
Family
ID=85984080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210131986A KR20230048959A (ko) | 2021-10-05 | 2021-10-05 | 메타버스 에이전트를 이용한 커뮤니케이션 방법 및 그를 위한 장치 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230048959A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102644891B1 (ko) * | 2023-04-14 | 2024-03-07 | 신 라파엘 | 그리드 맵핑에 의한 메타버스 플랫폼 접속 시스템 및 방법 |
-
2021
- 2021-10-05 KR KR1020210131986A patent/KR20230048959A/ko unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102644891B1 (ko) * | 2023-04-14 | 2024-03-07 | 신 라파엘 | 그리드 맵핑에 의한 메타버스 플랫폼 접속 시스템 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11397507B2 (en) | Voice-based virtual area navigation | |
| JP4395687B2 (ja) | 情報処理装置 | |
| Shafer et al. | Interaction issues in context-aware intelligent environments | |
| US11083966B2 (en) | Method and apparatus for displaying virtual pet, terminal, and storage medium | |
| US20210352244A1 (en) | Simulating real-life social dynamics in a large group video chat | |
| CN107704169B (zh) | 虚拟人的状态管理方法和系统 | |
| CN110188177A (zh) | 对话生成方法及装置 | |
| KR102448382B1 (ko) | 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법 | |
| JP6292295B2 (ja) | 連携システム、装置、方法、および記録媒体 | |
| CN113014471B (zh) | 会话处理方法，装置、终端和存储介质 | |
| US20220224735A1 (en) | Information processing apparatus, non-transitory computer readable medium storing program, and method | |
| US9299178B2 (en) | Generation of animated gesture responses in a virtual world | |
| US11972761B2 (en) | Electronic device for sharing user-specific voice command and method for controlling same | |
| CN109428859A (zh) | 一种同步通信方法、终端及服务器 | |
| JP2020136921A (ja) | ビデオ通話システム、およびコンピュータプログラム | |
| US20230244799A1 (en) | Obscuring Objects in Data Streams Using Machine Learning | |
| KR20230048959A (ko) | 메타버스 에이전트를 이용한 커뮤니케이션 방법 및 그를 위한 장치 및 시스템 | |
| KR20230160918A (ko) | 햅틱 및 오디오 피드백 응답을 갖는 인터페이스 | |
| KR20230160905A (ko) | 햅틱 및 오디오 피드백 응답을 갖는 인터페이스 | |
| CN112870697B (zh) | 基于虚拟关系养成程序的交互方法、装置、设备及介质 | |
| CN109819341B (zh) | 视频播放方法、装置、计算设备及存储介质 | |
| CN114064173A (zh) | 即时会话页面创建方法、装置、介质及设备 | |
| KR102565196B1 (ko) | 가상 공간에서의 디지털 휴먼 제공 방법 및 시스템 | |
| US11443738B2 (en) | Electronic device processing user utterance and control method thereof | |
| CN111178305A (zh) | 信息显示方法及头戴式电子设备 |