KR102606862B1 - 메타버스 공간에서 사용자의 감정에 근거한 인터렉션 처리수행을 위한 서비스 운영서버 및 동작방법 - Google Patents

메타버스 공간에서 사용자의 감정에 근거한 인터렉션 처리수행을 위한 서비스 운영서버 및 동작방법 Download PDF

Info

Publication number
KR102606862B1
KR102606862B1 KR1020220008602A KR20220008602A KR102606862B1 KR 102606862 B1 KR102606862 B1 KR 102606862B1 KR 1020220008602 A KR1020220008602 A KR 1020220008602A KR 20220008602 A KR20220008602 A KR 20220008602A KR 102606862 B1 KR102606862 B1 KR 102606862B1
Authority
KR
South Korea
Prior art keywords
user
metaverse
emotional state
emotion
users
Prior art date
Application number
KR1020220008602A
Other languages
English (en)
Other versions
KR20230112390A (ko
Inventor
김보은
Original Assignee
주식회사 유비온
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유비온 filed Critical 주식회사 유비온
Priority to KR1020220008602A priority Critical patent/KR102606862B1/ko
Publication of KR20230112390A publication Critical patent/KR20230112390A/ko
Application granted granted Critical
Publication of KR102606862B1 publication Critical patent/KR102606862B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Optics & Photonics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

메타버스 공간 내에서 사용자의 감정에 근거한 인터랙션 처리를 수행하는 메타버스 서비스 운영 서버 및 그 작동 방법이 개시된다. 본 발명에 따른 메타버스 서비스 운영 서버는, 사용자의 VR(Virtual Reality) 헤드셋에 의해 감지되는 음성 정보를 수집하는 사용자정보 수집부; 음성 정보에 기초하여 사용자의 감정 상태를 판단하는 사용자감정 분석부; 및 메타버스 공간에서 사용자와 타 사용자의 인터랙션 재생시 사용자의 현재 감정 상태에 따라 재생할 인터랙션에 대응하는 아바타 행위의 종류 및 크기를 조정하는 사용자감정 반영부;를 포함할 수 있다.

Description

메타버스 공간에서 사용자의 감정에 근거한 인터렉션 처리수행을 위한 서비스 운영서버 및 동작방법{Metaverse server for processing interaction in metaverse space based on user emotion and method therefor}
본 발명은 메타버스 플랫폼(metaverse platform) 기술에 대한 것으로, 메타버스 공간 내에서 사용자들의 인터랙션이 발생할 때 해당 사용자의 실제 감정을 반영하여 아바타를 표현할 수 있는 메타버스 서비스 운영 서버 및 그 동작 방법에 관한 것이다.
메타버스(metaverse)는 '가상', '초월' 등을 뜻하는 영어 단어 '메타(meta)'와 우주를 뜻하는 '유니버스(universe)'의 합성어로, 현실 세계와 같은 사회ㆍ경제ㆍ문화적 활동이 이뤄지는 3차원의 가상 세계를 가리킨다. 메타버스는 가상 현실(Virtual Reality(VR), 컴퓨터로 만들어 놓은 가상의 세계에서 사람이 실제와 같은 체험을 할 수 있도록 하는 최첨단 기술)보다 한 단계 더 진화한 개념으로, 아바타(avatar)를 활용해 게임이나 가상 현실을 즐기는데 그치지 않고 실제 현실과 같은 사회ㆍ경제ㆍ문화적 활동을 할 수 있다는 특징이 있다.
메타버스가 현실과 연결되는 가상의 평행 세계라고 본다면, 메타버스 공간 내에서의 사용자들간 인터랙션(interaction)은 현실에서의 그것과 유사한 체험이어야 한다. 하지만, VR 컨트롤러(controller)와 아바타(avatar)의 표현 한계상 사용자 아바타들간의 인터랙션은 제한적이며 아바타는 사용자의 감정 상태를 반영하지 못한다. 이는, 메타버스 사용자들간의 제한된 인터랙션을 더욱 피상적인 것으로 만드는 한계로 작용하며, 현실과 메타버스 공간에서의 체험이 심리스(seamless)하게 연결되지 못하도록 한다는 문제가 있다.
한편, 메타버스 공간을 활용한 온라인 학습 서비스의 제공이 늘고 있는데, 학습자의 생각,　의견,　정서 등을 쉽게 표현할 수 있게 하는 것은 인지적,　사회적,　감성적 실재감에 긍정적인 영향을 미쳐 학습 성과가 높아질 수 있게 하는 효과가 있는바, 메타버스 플랫폼에서의 온라인 학습 설계시 이러한 부분을 고려해야 하며 특히 메타버스 공간에서의 학습 체험에 학습자의 실제 감정을 반영한다면 학습 효과가 극대화될 것이다.
본 발명은 상기와 같은 종래 기술의 문제점을 해소하기 위한 것으로, 메타버스 공간에 접속하여 활동하는 사용자의 실제 감정을 실시간으로 추정하고 추정된 사용자의 감정을 메타버스 공간 내에서 이뤄지는 사용자들간의 인터랙션에 반영함으로써 현실 세계와 메타버스 공간 사이에서 심리스한 현실 체험이 가능하도록 하여 현실감을 극대화한 메타버스 서비스를 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 메타버스 공간 내에서 사용자의 감정에 근거한 인터랙션 처리를 수행하는 메타버스 서비스 운영 서버는, 상기 사용자의 VR(Virtual Reality) 헤드셋에 의해 감지되는 음성 정보를 수집하는 사용자정보 수집부; 상기 음성 정보에 기초하여 상기 사용자의 감정 상태를 판단하는 사용자감정 분석부; 및 상기 메타버스 공간에서 상기 사용자와 타 사용자의 인터랙션 재생시 상기 사용자의 현재 감정 상태에 따라 상기 재생할 인터랙션에 대응하는 아바타 행위의 종류 및 크기를 조정하는 사용자감정 반영부;를 포함할 수 있다.
상기 사용자감정 분석부는, 상기 음성 정보의 파형을 분석하고 상기 음성 정보로부터 인식된 텍스트로부터 대화 내용을 분석하고, 상기 파형 및 대화 내용을 이용하여 상기 사용자의 감정 상태를 판정하는 음성정보 분석부;를 포함할 수 있다.
상기 사용자정보 수집부는, 상기 사용자의 VR 콘트롤러에 의해 감지되는 신체 정보를 더 수집하고, 상기 사용자감정 분석부는, 상기 신체 정보를 이용하여 상기 감정 상태의 정도를 수치적으로 환산하여 감정의 크기를 산출하는 신체정보 분석부;를 더 포함하고, 상기 사용자감정 반영부는, 상기 아바타 행위의 종류 및 크기를 조정함에 있어서 상기 산출된 감정의 크기를 추가로 반영할 수 있다.
상기 사용자감정 반영부는, 상기 사용자의 현재 감정 상태 및 감정의 크기에 따라 상기 메타버스 공간에서 상기 사용자를 대신하는 아바타의 표정을 변경할 수 있다.
본 발명의 일 실시예에 따른 메타버스 공간 내에서 사용자의 감정에 근거한 인터랙션 처리를 수행하는 방법은, 상기 메타버스 공간을 제공하는 메타버스 서비스 운영 서버가, 상기 사용자의 VR 헤드셋 및 콘트롤러에 의해 감지되는 음성 정보 및 신체 정보를 수집하는 단계; 상기 수집되는 음성 정보 및 신체 정보에 기초하여 상기 사용자의 감정 상태와 해당 감정의 크기를 산출하는 단계; 및 상기 메타버스 공간에서 상기 사용자와 타 사용자의 인터랙션 재생시 상기 사용자의 현재 감정 상태 및 감정의 크기에 따라 상기 재생할 인터랙션에 대응하는 아바타 행위의 종류 및 크기를 조정하는 단계;를 포함할 수 있다.
본 발명에 의하면, 메타버스 공간에 접속하여 활동하는 사용자의 실제 감정 상태와 정도를 VR 헤드셋 및 콘트롤러를 통해 실시간으로 추정하고 추정된 사용자의 감정 정보를 메타버스 공간 내에서 이뤄지는 사용자들간의 인터랙션에 반영함으로써 현실 세계와 메타버스 공간 사이에서 심리스한 현실 체험이 가능하도록 하여 현실감을 극대화한 메타버스 서비스를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 메타버스 공간 내에서 사용자의 감정에 근거한 인터랙션 처리를 수행하는 메타버스 서비스 운영 시스템의 네트워크 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따라 메타버스 공간 내에서 사용자의 감정에 근거한 인터랙션 처리를 수행하는 방법을 설명하기 위한 순서도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...수단", "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하에서는, 첨부된 도면을 참조하여 본 발명의 다양한 실시예에 따른 메타버스 공간 내에서 사용자의 감정에 근거한 인터랙션 처리를 수행하는 메타버스 서비스 운영 서버 및 그 동작 방법에 대해 구체적으로 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 메타버스 공간 내에서 사용자의 감정에 근거한 인터랙션 처리를 수행하는 메타버스 서비스 운영 시스템의 네트워크 구성을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명에 따른 시스템은 메타버스 서비스 운영 서버를 포함하는 메타버스 플랫폼(10)과, VR 헤드셋(Virtual Reality headset, 16) 및 VR 콘트롤러(17)를 포함하는 사용자 단말측 장비(15)를 포함하여 구성될 수 있다.
사용자 단말측 장비(15)는 VR 헤드셋(16)과 콘트롤러(17)에 더하여 스마트폰, 게임기, PC 등의 컴퓨팅 장치(도시되지 않음)로 구현되는 사용자 단말을 포함할 수 있으며, 이 사용자 단말에 설치된 애플리케이션을 통해 사용자가 원하는 메타버스 서비스를 제공하는 메타버스 플랫폼(10)에 접속한다. 사용자는 사용자 단말, VR 헤드셋(15) 및 VR 콘트롤러(17)를 이용하여 메타버스 서비스 운영 서버(10)에 접속하고 메타버스 가상 공간의 아바타를 제어하며 교육, 운동, 게임 등 다양한 메타버스 서비스를 이용한다.
VR 헤드셋(16)은 VR 체험을 위해 사용자가 머리에 장착하는 디스플레이 디바이스로, VR 영상의 원점을 기준으로 사용자의 회전이나 눈의 움직임에 기초하여 사용자의 시선을 감지하는 감지부와 감지된 시선에 따라 VR 영상 구동 중 대응하는 시야 영역을 표시하는 표시부를 구비할 수 있다. 감지부는, VR 헤드셋(16)의 회전을 감지하기 위해 각속도 센서, 자이로 센서 등을 구비할 수 있으며, 눈의 방향(시선)이나 움직임을 감지하는 아이트래킹 센서 등을 구비할 수 있다. 또한, VR 헤드셋(16)은 사용자의 음성을 녹음하는 모듈을 더 구비할 수 있다.
VR 콘트롤러(17)는 사용자로부터 선택 신호, 조작 신호 등을 입력받는 구성으로서, 다양한 조작 버튼과 사용자 손의 제스처를 인식할 수 있는 구성요소를 포함할 수 있다. 이에 따라, VR 콘트롤러(17)는 사용자의 손에 의한 버튼 누름, 각 손가락의 펼침, 각 손가락의 오므림 등의 제스처를 인식할 수 있다. 또한, VR 콘트롤러(17)는 사용자의 심박수, 체온 등의 신체 정보를 획득할 수 있다.
본 발명의 일 실시예에서, 사용자 단말은 VR 헤드셋(16)과 VR 콘트롤러(17)를 통해 사용자의 음성 정보 및/또는 심박수 등의 신체 상태 정보를 획득하여 메타버스 서비스 운영 서버(10)로 전송할 수 있다.
메타버스 서비스 운영 서버(10)는 메타버스 공간을 생성하고 메타버스 공간 내에서 사용자의 감정에 근거한 인터랙션 처리를 수행하며, 사용자 단말로부터 수신되는 사용자의 음성 정보와 신체 정보를 이용하여 사용자간 인터랙션을 처리하기 위해, 사용자정보 수집부(11), 사용자감정 분석부(12) 및 사용자감정 반영부(13)를 포함하여 구현될 수 있다.
사용자정보 수집부(11)는 사용자의 VR(Virtual Reality) 헤드셋(16)에 의해 감지되는 음성 정보를 수집한다.
사용자감정 분석부(12)는 수집된 음성 정보에 기초하여 사용자의 감정 상태를 추정할 수 있다. 사용자감정 분석부(12)는, 음성 정보의 파형을 분석하고 음성 정보로부터 인식된 텍스트로부터 대화 내용을 분석하고, 파형 및 대화 내용을 이용하여 사용자의 감정 상태를 판정하는 음성정보 분석부를 포함할 수 있다.
구체적으로, 음성정보 분석부는 소정의 알고리즘을 활용하여 음성의 파형으로부터 사용자가 화난 상태인지, 기쁜 상태인지, 흥분한 상태인지 등 감정 상태를 추정할 수 있다. 이때, 사용자 음성을 텍스트로 변환 인식함으로써 현재의 감정 상태를 추정하는데 참조할 수 있다. 인식된 텍스트로부터 사용자의 감정을 추정함에 있어서는 머신러닝(machine learning)을 이용하여 대화의 내용으로부터 사용자의 감정 상태를 더 높은 확률로 정확히 추정할 수 있을 것이다. 파형 분석을 통한 감정 상태 판정 결과와 내용 분석을 통한 감정 상태 판정 결과가 서로 다른 경우, 파형 분석을 통해 추정된 감정 상태를 사용하는 것이 바람직하다.
사용자감정 반영부(13)는, 메타버스 공간에서 사용자와 타 사용자의 인터랙션 재생시 사용자의 현재 감정 상태에 따라 재생할 인터랙션에 대응하는 아바타 행위의 종류 및 크기를 조정한다.
일 실시예에서, 사용자의 신체 상태를 모니터링하여 사용자의 감정 상태 판정을 더욱 정교화하는데 활용할 수 있다. 사용자의 음성을 분석하여 감정 상태가 결정되면 신체 상태 정보를 이용해 해당 감정의 정도를 수치적으로 환산하는 것이다.
이를 위해, 사용자정보 수집부(11)는 사용자가 손에 쥐고 있는 VR 콘트롤러(17)에 의해 감지되는 신체 정보를 사용자 단말로부터 수신하여 수집할 수 있다.
일 실시예에서, 본 발명에 따른 VR 헤드셋(16)은 사용자의 음성을 녹음하여 음성 정보를 획득하고 콘트롤러(17)는 사용자의 심박수를 측정하여 신체 정보를 획득할 수 있다. 음성 정보 및 신체 정보는 별도로 마련된 사용자 단말이나 VR 헤드셋 내부에 구현되는 통신 모듈을 통해 메타버스 서비스 운영 서버(10)의 사용자정보 수집부(11)로 전달될 수 있다.
이때, 사용자감정 분석부(12)는 수집된 신체 정보를 이용하여 사용자 감정 상태의 정도를 수치적으로 환산하여 감정의 크기를 산출하는 신체정보 분석부를 더 포함할 수 있다. 또한, 사용자감정 반영부(13)는, 아바타 행위의 종류 및 크기를 조정함에 있어서 상기에서 산출된 감정의 크기를 추가로 반영함으로써, 사용자 감정에 근거한 인터랙션 처리를 더 정교하고 정확하게 수행할 수 있을 것이다.
예를 들어, 사용자의 심장 박동이 소정 수치 이상이면서 웃음 소리가 소정 크기 이상으로 들린다고 판단되면, 사용자가 크게 기뻐하는 것이므로 감정 상태는 '기쁨', 감정의 크기는 1-5까지의 수치 중 '5'로 판정할 수 있을 것이다.
본 발명에 따른 메타버스 서비스 운영 서버는 사용자의 감정 상태를 실시간으로 추적하여 판정하고, 판정된 감정 정보를 사용자간 인터랙션에 반영할 수 있다. 해당 사용자와 다른 사용자의 인터랙션이 있는 경우 사용자의 감정 상태와 감정의 크기에 따라 다른 인터랙션이 재생되도록 제어하는 것이다.
구체적으로, 메타버스 공간 내에서 해당 사용자가 쥐고 있는 VR 콘트롤러(17)와 다른 사용자의 콘트롤러 간의 거리가 소정 간격 이내이거나, 사용자의 콘트롤러(17)와 다른 사용자의 신체가 소정 간격 이내로 가까워지고, 사용자의 콘트롤러(17) 조작이 있으면, 이에 대응하는 인터랙션을 애니메이션 처리하여 재생하게 되는데, 사용자의 감정 상태 및/또는 감정의 크기에 따라 서로 다른 인터랙션이 재생되도록 동적으로 제어한다. 이때, 사용자의 감정 크기에 따라 인터랙션의 파라메타값을 동적으로 수정하여 메타버스 공간에서의 아바타 행위의 종류 및/또는 크기를 달리할 수 있다.
예를 들어, 사용자와 다른 사용자의 손이 위에서 마주하는 인터랙션이 있는데 해당 사용자의 감정이 '기쁨 5'로 추정되는 경우, 아바타들이 펄쩍 뛰면서 하이파이브하도록 재생할 수 있다. 반면, 사용자와 다른 사용자의 손이 위에서 마주치는 인터랙션이 있는데 해당 사용자의 감정이 '기쁨 2'로 추정되는 경우는, 아바타들이 서 있는 상태로 살짝 하이파이브하도록 재생할 수 있다.
한편, 사용자감정 반영부(13)는, 사용자의 현재 감정 상태 및 감정의 크기에 따라 메타버스 공간에서 해당 사용자를 대신하는 아바타의 표정을 변경함으로써, 사용자의 실제 감정을 아바타를 통해 메타버스 공간에서 표현하도록 제어할 수 있다.
도 2는 본 발명의 일 실시예에 따라 메타버스 공간 내에서 사용자의 감정에 근거한 인터랙션 처리를 수행하는 방법을 설명하기 위한 순서도이다.
도 2를 참조하면, 단계 S21에서 메타버스 서비스 운영 서버(10)는 사용자의 VR 헤드셋(16) 및 콘트롤러(17)에 의해 감지되는 음성 정보 및 신체 정보를 사용자 단말로부터 수집한다.
단계 S22에서는, 수집되는 음성 정보 및 신체 정보에 기초하여 사용자의 감정 상태와 해당 감정의 크기를 판단한다. 사용자의 감정 상태 및 크기는 사용자가 VR 헤드셋(16)을 착용하고 콘트롤러(17)를 쥔 상태에서 메타버스 공간에서 활동하는 동안 지속적으로 추적될 것이다.
사용자의 감정 상태와 감정의 크기를 산출하기 위해, 메타버스 서비스 운영 서버(10)는, 사용자 음성 정보의 파형을 분석하고 음성 정보로부터 인식된 텍스트로부터 대화 내용을 분석한 후, 파형 및 대화 내용을 이용하여 사용자의 감정 상태를 판정하고, 사용자 신체 정보를 이용하여 감정 상태의 정도를 수치적으로 환산하여 감정의 크기를 산출한다.
단계 S23에서는, 메타버스 공간에서 사용자와 타 사용자의 인터랙션 재생시 사용자의 현재 감정 상태 및 감정의 크기에 따라 재생할 인터랙션에 대응하는 아바타 행위의 종류 및 크기를 조정한다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.
10: 메타버스 서비스 운영 서버
11: 사용자정보 수집부
12: 사용자감정 분석부
13: 사용자감정 반영부
15: 사용자 단말측 장비
16: VR 헤드셋
17: VR 콘트롤러

Claims (8)

  1. 메타버스 공간 내에서 사용자 및 타 사용자의 감정에 근거한 인터랙션 처리를 수행하는 메타버스 서비스 운영 서버에 있어서,
    상기 사용자 및 상기 타 사용자의 VR(Virtual Reality) 헤드셋에 의해 감지되는 음성 정보를 수집하는 사용자정보 수집부;
    상기 음성 정보에 기초하여 상기 사용자 및 상기 타 사용자의 감정 상태를 판단하는 사용자감정 분석부; 및
    상기 메타버스 공간에서 상기 사용자와 타 사용자의 인터랙션 재생시 상기 사용자의 현재 감정 상태 및 상기 타 사용자의 현재 감정 상태의 조합에 따라 상기 재생할 인터랙션에 대응하는 상기 사용자 및 상기 타 사용자의 아바타 간의 행위의 종류 및 크기를 조정하는 사용자감정 반영부;를 포함하되,
    이때, 상기 사용자정보 수집부는, 상기 사용자 및 상기 타 사용자의 VR 콘트롤러에 의해 감지되는 신체 정보를 더 수집하고,
    상기 사용자감정 분석부는, 상기 음성 정보의 파형을 분석하고 상기 음성 정보로부터 인식된 텍스트로부터 대화 내용을 분석하고, 상기 파형 및 대화 내용을 이용하여 상기 사용자의 감정 상태를 판정하는 음성정보 분석부; 및 상기 사용자감정 분석부는, 상기 신체 정보를 이용하여 상기 감정 상태의 정도를 수치적으로 환산하여 상기 판정된 사용자의 감정 상태의 감정의 크기를 산출하는 신체정보 분석부를 더 포함하되,
    상기 사용자감정 반영부는, 상기 사용자 및 상기 타 사용자의 아바타 간의 행위의 종류 및 크기를 조정할 때에, 상기 산출된 상기 사용자와 상기 타 사용자의 감정의 크기의 조합을 추가로 반영하는 것을 특징으로 하는 메타버스 서비스 운영 서버.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 사용자감정 반영부는, 상기 사용자 및 상기 타 사용자의 현재 감정 상태 및 감정의 크기에 따라 상기 메타버스 공간에서 상기 사용자 및 상기 타 사용자의 아바타의 표정을 변경하는 것을 특징으로 하는 메타버스 서비스 운영 서버.
  5. 메타버스 공간 내에서 사용자와 타 사용자의 감정에 근거한 인터랙션 처리를 수행하는 방법에 있어서, 상기 메타버스 공간을 제공하는 메타버스 서비스 운영 서버가,
    상기 사용자 및 상기 타 사용자의 VR 헤드셋 및 콘트롤러에 의해 감지되는 음성 정보 및 신체 정보를 수집하는 단계;
    상기 수집되는 음성 정보 및 신체 정보에 기초하여 상기 사용자 및 상기 타 사용자의 감정 상태와 상기 감정의 크기를 산출하는 단계; 및
    상기 메타버스 공간에서 상기 사용자의 아바타와 상기 타 사용자의 아바타 사이의 인터랙션 재생시 상기 사용자 및 상기 타 사용자의 현재 감정 상태의 조합에 따라 상기 재생할 인터랙션에 대응하는 아바타 행위의 종류 및 크기를 조정하는 단계;를 포함하되,
    상기 사용자 및 상기 타 사용자의 감정 상태와 감정의 크기를 산출하는 단계는,
    상기 음성 정보의 파형을 분석하고 상기 음성 정보로부터 인식된 텍스트로부터 대화 내용을 분석하고, 상기 파형 및 대화 내용을 이용하여 상기 사용자 및 상기 타 사용자의 감정 상태를 판정하는 단계; 및
    상기 신체 정보를 이용하여 상기 감정 상태의 정도를 수치적으로 환산하여 상기 판정된 감정 상태의 감정의 크기를 산출하는 단계;를 포함하며,
    상기 아바타 행위의 종류 및 크기를 조정하는 단계에서, 상기 산출된 상기 사용자와 상기 타 사용자의 감정의 크기의 조합을 추가로 반영하는 것을 특징으로 하는 방법.
  6. 삭제
  7. 제5항에 있어서,
    상기 사용자의 현재 감정 상태 및 감정의 크기에 따라 상기 메타버스 공간에서 상기 사용자를 대신하는 아바타의 표정을 변경하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
  8. 삭제
KR1020220008602A 2022-01-20 2022-01-20 메타버스 공간에서 사용자의 감정에 근거한 인터렉션 처리수행을 위한 서비스 운영서버 및 동작방법 KR102606862B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220008602A KR102606862B1 (ko) 2022-01-20 2022-01-20 메타버스 공간에서 사용자의 감정에 근거한 인터렉션 처리수행을 위한 서비스 운영서버 및 동작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220008602A KR102606862B1 (ko) 2022-01-20 2022-01-20 메타버스 공간에서 사용자의 감정에 근거한 인터렉션 처리수행을 위한 서비스 운영서버 및 동작방법

Publications (2)

Publication Number Publication Date
KR20230112390A KR20230112390A (ko) 2023-07-27
KR102606862B1 true KR102606862B1 (ko) 2023-11-29

Family

ID=87433226

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220008602A KR102606862B1 (ko) 2022-01-20 2022-01-20 메타버스 공간에서 사용자의 감정에 근거한 인터렉션 처리수행을 위한 서비스 운영서버 및 동작방법

Country Status (1)

Country Link
KR (1) KR102606862B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101923723B1 (ko) * 2012-09-17 2018-11-29 한국전자통신연구원 사용자 간 상호작용이 가능한 메타버스 공간을 제공하기 위한 메타버스 클라이언트 단말 및 방법
KR20200029716A (ko) * 2018-09-11 2020-03-19 현대자동차주식회사 차량 및 차량의 제어방법
KR102073979B1 (ko) * 2019-05-13 2020-02-05 윤준호 음성신호 기반 인공지능을 이용한 감정분석을 제공하는 감성일기 서비스 제공 서버 및 방법

Also Published As

Publication number Publication date
KR20230112390A (ko) 2023-07-27

Similar Documents

Publication Publication Date Title
US11398067B2 (en) Virtual reality presentation of body postures of avatars
US11052321B2 (en) Applying participant metrics in game environments
Hansberger et al. Dispelling the gorilla arm syndrome: the viability of prolonged gesture interactions
US10860345B2 (en) System for user sentiment tracking
Reifinger et al. Static and dynamic hand-gesture recognition for augmented reality applications
Varona et al. Hands-free vision-based interface for computer accessibility
US9965675B2 (en) Using virtual reality for behavioral analysis
US20160004299A1 (en) Systems and methods for assessing, verifying and adjusting the affective state of a user
CN103858073A (zh) 增强现实系统的免触摸界面
KR102222911B1 (ko) 로봇 상호작용 시스템 및 그를 위한 프로그램
US10671151B2 (en) Mitigating digital reality leakage through session modification
Dong et al. Touch-move-release: studies of surface and motion gestures for mobile augmented reality
WO2024064529A1 (en) Systems and methods for modifying user sentiment for playing a game
KR102606862B1 (ko) 메타버스 공간에서 사용자의 감정에 근거한 인터렉션 처리수행을 위한 서비스 운영서버 및 동작방법
CN117122890A (zh) 用于激活屏幕内容的选择性导航或放大的方法和系统
US11397858B2 (en) Utilizing widget content by virtual agent to initiate conversation
Schade et al. On the advantages of hand gesture recognition with data gloves for gaming applications
Taranta II et al. Machete: Easy, efficient, and precise continuous custom gesture segmentation
US11417042B2 (en) Animating body language for avatars
Nogueira et al. Multi-modal natural interaction in game design: a comparative analysis of player experience in a large scale role-playing game
Teófilo et al. Gemini: A generic multi-modal natural interface framework for videogames
WO2022224504A1 (ja) 情報処理装置、情報処理方法およびプログラム
Rosa-Pujazón et al. Drum-hitting gesture recognition and prediction system using Kinect
US20240165509A1 (en) Artificial Intelligence (AI) Player Modeling and Training
US20240066413A1 (en) Ai streamer with feedback to ai streamer based on spectators

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right