KR102461485B1 - 메타버스 기반 4d 실감형 서비스를 제공하기 위한 시스템 - Google Patents

메타버스 기반 4d 실감형 서비스를 제공하기 위한 시스템 Download PDF

Info

Publication number
KR102461485B1
KR102461485B1 KR1020220063500A KR20220063500A KR102461485B1 KR 102461485 B1 KR102461485 B1 KR 102461485B1 KR 1020220063500 A KR1020220063500 A KR 1020220063500A KR 20220063500 A KR20220063500 A KR 20220063500A KR 102461485 B1 KR102461485 B1 KR 102461485B1
Authority
KR
South Korea
Prior art keywords
user
server
movement
game
providing
Prior art date
Application number
KR1020220063500A
Other languages
English (en)
Inventor
성태연
Original Assignee
주식회사 야나두
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 야나두 filed Critical 주식회사 야나두
Priority to KR1020220063500A priority Critical patent/KR102461485B1/ko
Application granted granted Critical
Publication of KR102461485B1 publication Critical patent/KR102461485B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H04N5/23219—
    • H04N5/23299—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 메타버스를 통해 스포츠 플레이를 진행하고, 스포츠 플레이를 진행하면서 발생하는 소리, 진동 등을 사용자에게 제공하여 실재감 및 몰입감을 제공하는 메타버스 기반 4D 실감형 서비스를 제공하기 위한 시스템에 관한 것이다.
본 발명의 실시 예에 따른 메타버스 기반 4D 실감형 서비스를 제공하기 위한 시스템은 사용자의 움직임을 촬영하는 카메라와, 상기 사용자의 움직임을 감지하는 센서를 포함하는 운동 장치와, 상기 카메라 및 상기 운동 장치로부터 획득되는 사용자의 움직임을 분석하고, 가상 공간에 생성된 아바타가 상기 사용자의 움직임에 따라 동작하도록 제어하고, 상기 아바타의 동작에 따른 게임 플레이 결과를 상기 사용자에게 제공하는 서버와, 상기 서버로부터 제공되는 게임 플레이 결과가 표시되는 디스플레이 기기를 포함한다.

Description

메타버스 기반 4D 실감형 서비스를 제공하기 위한 시스템{SYSTEM FOR PROVIDIND MATAVERSE-BASED 4D IMMERSIVE SERVICE}
본 발명은 메타버스 기반 4D 실감형 서비스를 제공하기 위한 시스템에 관한 것으로, 보다 자세하게는 메타버스를 통해 스포츠 플레이를 진행하고, 스포츠 플레이를 진행하면서 발생하는 소리, 진동 등을 사용자에게 제공하여 실재감 및 몰입감을 제공하는 메타버스 기반 4D 실감형 서비스를 제공하기 위한 시스템에 관한 것이다.
현대사회는 고도의 과학화로 인한 생산력 증대 및 소득 수준의 증가로 생활의 가치관 및 의식 변화를 초래하여 개인적 즐거움을 추구하는 태도가 변화되고 있다. 이러한 변화들은 자연적으로 인간에게 많은 여가 시간을 갖게 하여 개인의 자아실현이나 즐거움의 욕구를 증대시켜 더 많은 여가 소비를 촉진시키고 있다. 여가는, 단순한 휴식이라는 개념에 국한되는 것이 아니라 개인의 행복증진과 생활만족 향상의 수단으로 변화하고 있다.
또한, 오늘날 건강에 대한 사용자들의 관심이 증대됨에 따라 운동의 중요성이 강조되고 있으며, 여가 시간을 운동을 통해 소비하는 사람들이 많아지고 있다. 운동은 신체적인 건강 증진뿐 아니라, 정신적인 건강증진과 삶의 질을 향상시키는 중요한 부분으로 인식되고 있다.
한편, 최근 코로나 이슈로 인해 실외활동이 줄어들고 헬스장에서 운동을 하기가 어려운 환경이 조성됨에 따라 흠트족이 늘어나고 있다. 홈트족이란, 홈(home)에서 트레이닝을 하는 사람들을 일컫는 신조어이다. 홈 트레이닝은, 다른 사용자들의 눈치를 보지 않아도 되며, 운동에 소비되는 비용과 시간을 최소화할 수 있다는 장점이 있다. 또한, 이러한 홈 트레이닝은, SNS나, 유튜브 등 다양한 인터넷 플랫폼을 통해 운동 방법에 관한 전문적인 지식이나 운동 영상 등을 용이하게 확보할 수 있어, 다양한 운동에 대한 접근이 용이하다는 장점이 있다.
그러나, 이러한 홈 트레이닝도 헬스, 필라테스, 요가 등으로 한정되며, 여러 사람들이 참여해야하는 스포츠 활동에서는 여전히 제약이 있다. 한편, 사용자가 컨트롤러를 잡고 흔드는 동작을 인식하여 스포츠 게임을 진행하고(예를 들어, 테니스 게임인 경우 사용자가 컨트롤러를 흔드는 동작을 인식하여 채를 흔드는 타이밍을 판단하여 게임 진행) 운동 효과까지 줄 수 있는 게임이 시중에 유통되고 있지만 이는, 주로 타이밍만을 중요시하는 것이며, 주로 한동작을 반복하는 것이 많아 사용자들이 지루함을 느끼는 문제가 있다.
본 발명이 해결하고자 하는 과제는 메타버스를 통해 스포츠 플레이를 진행하고, 스포츠 플레이를 진행하면서 발생하는 소리, 진동 등을 사용자에게 제공하여 실재감 및 몰입감을 제공하는 메타버스 기반 4D 실감형 서비스를 제공하기 위한 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 실시 예에 따른 메타버스 기반 4D 실감형 서비스를 제공하기 위한 시스템은 사용자의 움직임을 촬영하는 카메라, 상기 사용자의 움직임을 감지하는 센서를 포함하는 운동 장치, 상기 카메라 및 상기 운동 장치로부터 획득되는 사용자의 움직임을 분석하고, 가상 공간에 생성된 아바타가 상기 사용자의 움직임에 따라 동작하도록 제어하고, 상기 아바타의 동작에 따른 게임 플레이 결과를 상기 사용자에게 제공하는 서버 및 상기 서버로부터 제공되는 플레이 결과가 표시되는 디스플레이 기기를 포함할 수 있다.
또한, 상기 서버는, 상기 카메라를 통해 촬영된 상기 사용자의 움직임을 기초로, 상기 사용자의 자세를 판단하고, 상기 센서를 통해 감지된 상기 사용자의 움직임을 기초로, 상기 운동 장치가 움직이는 속도, 궤적, 세기, 방향 및 각도 중 적어도 하나를 포함하는 상기 운동 장치의 모션을 판단하고, 상기 사용자의 자세 및 상기 운동 장치의 모션을 판단한 결과를 기초로 플레이 결과를 예측할 수 있다.
또한, 상기 카메라는, 상기 사용자 및 상기 사용자가 사용하는 도구의 움직임을 촬영하고, 상기 서버는, 상기 카메라에서 촬영된 영상을 분석하여, 상기 사용자 및 상기 도구가 움직이는 각도, 방향 및 속도를 분석하여 레퍼런스화하고, 상기 사용자의 움직임 및 상기 도구의 움직임에 따른 플레이 결과를 학습할 수 있다.
또한, 상기 서버는, 상기 레퍼런스화된 상기 플레이어의 움직임 및 상기 도구의 움직임과, 상기 사용자의 자세 및 상기 운동 장치의 모션을 비교하고, 상기 비교한 결과를 기초로, 상기 사용자의 움직임에 따른 상기 도구의 움직임을 예측하고, 상기 사용자의 움직임 및 상기 도구의 움직임에 따른 게임 플레이 결과를 예측할 수 있다.
또한, 상기 서버는, 상기 예측된 플레이 결과를 상기 가상 공간 상에서 구현하되, 상기 가상 공간 상에서 사용되는 도구가 상기 아바타의 동작에 따라 움직이도록 구현하고, 상기 도구의 움직임에 따라 상기 예측된 플레이 결과를 구현할 수 있다.
또한, 상기 서버는, 상기 게임과 관련된 실제 경기를 플레이하는 장소 및 실제 경기를 플레이하는 플레이어의 주변환경을 촬영한 영상을 획득하고, 실제 경기를 플레이할 때 발생하는 소리 및 상기 플레이어의 움직임에 따라 발생하는 소리를 녹음한 음성을 획득하고, 상기 서버는, 상기 영상을 기초로, 상기 가상 공간 상에 상기 아바타의 주변환경을 구현하고, 상기 음성을 기초로, 상기 가상 공간 상의 소리를 구현할 수 있다.
또한, 상기 서버에서 수신되는 제어 신호에 따라 소리를 출력하는 스피커 및 상기 서버에서 수신되는 제어 신호에 따라 진동을 발생시키는 진동 장치를 더 포함하고, 상기 서버는, 가상 공간 상에서 플레이되는 게임 진행 상황 및 사용자의 움직임에 따라 발생시킬 소리를 결정하고, 결정된 소리가 상기 스피커에서 출력되도록 제어하고, 가상 공간 상에서 플레이되는 게임 진행 상황 및 사용자의 움직임에 따라 발생시킬 진동의 크기 및 시간을 결정하고, 결정된 진동이 상기 진동 장치에서 발생하도록 제어할 수 있다.
또한, 상기 서버는, 가상 공간 상에서 플레이할 게임별 인원수에 해당하는 사용자들이 접속되면, 상기 게임의 플레이를 진행하고, 각 사용자들의 움직임에 따른 게임 플레이 결과를 상기 게임에 참여한 모든 사용자들에게 동일하게 제공하고, 상기 게임의 진행을 가이드할 수 있다.
또한, 상기 서버는, 상기 사용자의 설정에 따라 영상의 해상도, 테마, 필터 중 적어도 하나를 포함하는 속성 정보를 변경하고, 상기 속성 정보가 적용된 영상을 상기 디스플레이 기기로 제공할 수 있다.
또한, 상기 서버는, 상기 게임 결과에 따라 각 사용자들에게 리워드를 제공하고, 상기 사용자로부터 상기 리워드를 이용하여 상기 아바타를 커스터마이징하기 위한 입력을 획득하고, 상기 사용자로부터 획득된 입력에 따라 상기 아바타를 생성할 수 있다.
또한, 상기 서버는, 상기 게임 결과에 따라 이에 대응하는 가상자산을 제공하는 것을 특징으로 할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 메타버스를 통해 스포츠 플레이를 진행하고, 스포츠 플레이를 진행하면서 발생하는 소리, 진동 등을 사용자에게 제공하여 실재감 및 몰입감을 제공할 수 있다.
서로 다른 장소의 사람들이 장소의 구애없이 참여할 수 있고, 감염병의 재확산 시에도 지속가능한 스포츠 활동을 가능하게 하여 국민의 건강 및 웰빙 증진에 기여할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시 예에 따른 메타버스 기반 4D 실감형 서비스를 제공하는 일 공간에 대한 예시도이다.
도 2는 본 발명의 실시 예에 따른 메타버스 기반 4D 실감형 서비스를 제공하기 위한 시스템의 구성을 나타내는 도면이다.
도 3은 본 발명의 실시 예에 따른 카메라 및 운동 장치를 통해 사용자의 동작을 인식하는 과정을 예시적으로 나타낸 예시도이다.
도 4는 본 발명의 실시 예에 따른 복수 개의 카메라 모듈의 구비 상황을 예시적으로 나타낸 예시도이다.
도 5는 본 발명의 실시 예에 따른 서버의 하드웨어 구성도이다.
도 6은 본 발명의 실시 예에 따른 메타버스 기반 4D 실감형 서비스를 제공하기 위한 방법을 나타내는 도면이다.
도 7은 본 발명의 실시 예에 따른 사용자가 4D 실감형 서비스를 제공받는 것을 나타낸 도면이다.
도 8은 본 발명의 일 실시예와 관련된 시뮬레이션 수행 결과 획득된 리워드의 활용 방안을 예시적으로 나타낸 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.
도 1은 본 발명의 실시 예에 따른 메타버스 기반 4D 실감형 서비스를 제공하는 일 공간에 대한 예시도이다.
본 발명의 실시 예에 따른 메타버스 기반 4D 실감형 서비스는, 4D 장치가 설치된 일 공간(10) 내에서 사용자들이 운동 장치를 이용한 운동을 실시함에 따라, 내부운동 또는 외부운동에 대한 한계 없이 실제 운동을 실시하는 것과 같은 실재감을 제공할 수 있는 서비스이다.
상기 일 공간에는 다수의 운동 장치들이 설치되며, 동일한 운동 장치를 이용하여 운동을 실시하는 사용자들간의 경쟁을 가능하게 할 수 있으며, 다른 공간 상에서 해당 운동 장치를 이용하여 운동을 실시하는 사용자와의 경쟁 또한 가능할 수 있다.
또한, 본 발명의 실시 예에 따른 메타버스 기반 4D 실감형 서비스는, 사용자의 시선에 따른 가상 공간을 제공할 수 있고, 가상 공간 내에서 발생하는 상황에 대해 4D 환경을 제공함으로써, 사용자들이 실재감을 느끼며 운동에 더 몰입하도록 할 수 있다.
예를 들어, 메타버스 기반 4D 실감형 서비스는 머리에 착용하는 VR기기를 통해 사용자에게 가상 공간을 제공하고, 가상 공간 내에서 발생하는 상황에 대해 바람을 발생시키거나, 물을 뿌리거나, 진동을 발생시키거나, 소리를 발생시킬 수 있으며, 각 효과들은 각각의 4D 장치를 통해 발생할 수 있다.
다른 예로, 머리에 착용하는 VR 기기가 아닌 일반적인 디스플레이 장치(도 7의 410)가 가상 공간에 대한 정보를 표시하기 위해 사용될 수도 있다.
본 발명의 실시 예에 따른 메타버스 기반 4D 실감형 서비스는, 4D 장치를 이용하여 더 몰입감있는 운동 프로세스를 제공할 수 있으며, 이를 통해 사용자들이 더 높은 흥미를 가지도록 함으로써, 사용자들에게 운동에 대한 지속적인 동기부여를 제공할 수 있다.
개시된 실시 예에서, 운동 장치들은 개방된 공간에 설치될 수도 있으나, 4D 실감형 서비스를 제공하기 위한 장비들이 구비된 부스(20) 내부에 설치되어, 사용자가 독립적인 공간에서 플레이할 수 있도록 지원할 수 있다.
한편, 본 발명의 실시 예에 따른 메타버스 기반 4D 실감형 서비스는, 런닝머신, 사이클 들의 운동 장치를 이용하여 신체를 단련할 수 있는 운동에 대한 서비스를 제공하는 것을 기본적인 실시예로 할 수 있으나, 야구, 골프, 양궁 등의 스포츠 운동, 혹은 다양한 1인칭 게임(예: 슈팅, RPG 등)에 대한 서비스를 제공하는 것 또한 가능할 수 있다.
도 2는 본 발명의 실시 예에 따른 메타버스 기반 4D 실감형 서비스를 제공하기 위한 시스템의 구성을 나타내는 도면이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 메타버스 기반 4D 실감형 서비스를 제공하기 위한 시스템(10)은 서버(100), 카메라(200), 운동 장치(300), 디스플레이 기기(400)를 포함할 수 있다. 도 2에서 도시되는 컴포넌트들은 예시적인 것으로서, 추가적인 컴포넌트들이 존재하거나 또는 도 2에서 도시되는 컴포넌트들 중 일부는 생략될 수 있다. 본 발명의 실시예들에 따른 서버(100), 카메라(200), 운동 장치(300) 및 디스플레이 기기(400)는 네트워크를 통해, 본 발명의 일 실시예들에 따른 시스템을 위한 데이터를 상호 송수신할 수 있다.
본 발명의 실시예들에 따른 네트워크는 공중전화 교환망(PSTN: Public Switched Telephone Network), xDSL(x Digital Subscriber Line), RADSL(Rate Adaptive DSL), MDSL(Multi Rate DSL), VDSL(Very High Speed DSL), UADSL(Universal Asymmetric DSL), HDSL(High Bit Rate DSL) 및 근거리 통신망(LAN) 등과 같은 다양한 유선 통신 시스템들을 사용할 수 있다.
또한, 여기서 제시되는 네트워크는 CDMA(Code Division Multi Access), TDMA(Time Division Multi Access), FDMA(Frequency Division Multi Access), OFDMA(Orthogonal Frequency Division Multi Access), SC-FDMA(Single Carrier-FDMA) 및 다른 시스템들과 같은 다양한 무선 통신 시스템들을 사용할 수 있다.
본 발명의 실시예들에 따른 네트워크는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN: Personal Area Network), 근거리 통신망(WAN: Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 네트워크는 공지의 월드와이드웹(WWW: World Wide Web)일 수 있으며, 적외선(IrDA: Infrared Data Association) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선 전송 기술을 이용할 수도 있다. 본 명세서에서 설명된 기술들은 위에서 언급된 네트워크들뿐만 아니라, 다른 네트워크들에서도 사용될 수 있다.
본 발명의 실시예에 따르면, 서버(100)는 사용자의 움직임을 기초로 가상 공간 상에서 움직이는 아바타를 통한 게임 플레이 서비스를 제공할 수 있다. 예를 들어, 서버(100)는 런닝, 달리기, 마라톤, 사이클 등의 운동 서비스를 제공할 수 있고, 가상 공간 상에 생성된 아바타가 사용자의 움직임에 따라 달리거나, 사이클의 페달을 밟도록 메타버스 환경을 제공할 수 있다.
또 다른 예로, 서버(100)는 야구, 골프, 양궁 등의 스포츠 경기 게임 서비스를 제공할 수 있고, 가상 공간 상에 생성된 아바타가 사용자의 움직임에 따라 야구배트를 휘둘러 야구공을 치거나, 골프채를 휘둘러 골프공을 치거나, 활을 이용하여 화살을 쏘도록 메타버스 환경을 제공할 수 있다. 그러나, 서버(100)에서 제공하는 게임은 스포츠로 한정되는 것은 아니다. 예를 들어, 서버(100)에서 제공하는 게임은 1인칭 슈팅 게임이나 RPG 게임 등 다양한 종류의 게임을 포함할 수 있다.
서버(100)는 실제 운동을 진행하는 장소의 상황과 유사하도록 가상 공간을 구현할 수 있다. 예를 들어, 서버(100)는 사이클 경기 서비스 또는 마라톤 경기 서비스를 제공하는 경우, 주행 경로에 따른 가로수, 건물, 차량 등을 가상 공간 상에 구현할 수 있고, 바람이나, 햇빛의 세기 등의 날씨 요인 또한 구현할 수 있다.
또한, 서버(100)는 사이클을 타는 중에 발생하는 소리(예를 들어, 바퀴가 굴러가는 소리, 경적울리는 소리, 브레이크로 인해 바퀴가 바닥에 끌리는 소리 등)를 구현할 수 있으며, 달리기를 하는 중에 발생하는 소리(예를 들어, 발과 바닥이 부딛히는 소리, 내딛는 소리 등)를 구현할 수 있다. 이러한 소리는 사용자의 움직임에 따라 생성된 아바타의 움직임과, 아바타가 포함된 가상공간 내부 환경 간의 상호작용에 기반하여 생성될 수 있다. 마찬가지로, 소리 외에도 아바타의 움직임에 따른 공기의 저항, 장애물과의 충돌, 바닥과의 마찰 등 다양한 가상공간 내부 환경과의 인터렉션을 통해 발생하는 피드백을 4D 시스템 상에서 제공할 수 있는 자극과 연동하여 사용자에게 실감형 서비스를 제공할 수 있다.
또 다른 예로, 서버(100)는 야구 경기 서비스를 제공하는 경우, 야구장 관객들, 응원단들을 구현할 수 있고, 가상 공간 내의 환경이 야외 구장으로 세팅된 경우 바람이나, 햇빛의 세기나 방향 등의 날씨 요인 또한 구현할 수 있다. 또한, 서버(100)는 야구장 관객석에서의 소리, 코치나 팀원들로부터의 소리, 심판으로부터 소리, 경기를 진행하는 중에 발생하는 소리(예를 들어, 야구배트로 공을 쳤을 때 나는 소리, 달려가는 소리 등)를 구현할 수 있다.
본 발명의 실시 예에 따른 서버(100)는 메타버스 환경에서 실제 운동 또는 경기를 진행하는 장소에서 실제 운동 또는 경기를 하고 있는 것처럼 환경을 구현할 수 있으며, 4D 장치를 통해, 소리나, 진동, 바람 등이 사용자에게 제공되도록 제어하여 사용자에게 실재감을 부여할 수 있다.
도 2에서는 1개의 서버(100)만을 도시하고 있으나, 이보다 많은 서버들 또한 본 발명의 범위에 포함될 수 있다는 점 그리고 서버(100)가 추가적인 컴포넌트들을 포함할 수 있다는 점은 당해 출원분야에 있어서 통상의 지식을 가진 자에게 명백할 것이다. 즉, 서버(100)는 복수 개의 컴퓨팅 장치로 구성될 수도 있다. 다시 말해, 복수의 노드의 집합이 서버(100)를 구성할 수 있다.
서버(100)는 단말 또는 컴퓨팅 장치일 수 있으며, 임의의 형태의 장치는 모두 포함할 수 있다. 서버(100)는 디지털 기기로서, 랩탑 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터, 웹 패드, 이동 전화기와 같이 프로세서를 탑재하고 메모리를 구비한 연산 능력을 갖춘 디지털 기기일 수 있다. 서버(100)는 서비스를 처리하는 웹 서버일 수 있다. 전술한 서버의 종류는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
본 발명의 일 실시예에 따르면, 서버(100)는 클라우드 컴퓨팅 서비스를 제공하는 서버일 수 있다. 보다 구체적으로, 서버(100)는 인터넷 기반 컴퓨팅의 일종으로 정보를 사용자의 컴퓨터가 아닌 인터넷에 연결된 다른 컴퓨터로 처리하는 클라우드 컴퓨팅 서비스를 제공하는 서버일 수 있다. 상기 클라우드 컴퓨팅 서비스는 인터넷 상에 자료를 저장해 두고, 사용자가 필요한 자료나 프로그램을 자신의 컴퓨터에 설치하지 않고도 인터넷 접속을 통해 언제 어디서나 이용할 수 있는 서비스일 수 있으며, 인터넷 상에 저장된 자료들을 간단한 조작 및 클릭으로 쉽게 공유하고 전달할 수 있다. 또한, 클라우드 컴퓨팅 서비스는 인터넷 상의 서버에 단순히 자료를 저장하는 것뿐만 아니라, 별도로 프로그램을 설치하지 않아도 웹에서 제공하는 응용프로그램의 기능을 이용하여 원하는 작업을 수행할 수 있으며, 여러 사람이 동시에 문서를 공유하면서 작업을 진행할 수 있는 서비스일 수 있다. 또한, 클라우드 컴퓨팅 서비스는 IaaS(Infrastructure as a Service), PaaS(Platform as a Service), SaaS(Software as a Service), 가상 머신 기반 클라우드 서버 및 컨테이너 기반 클라우드 서버 중 적어도 하나의 형태로 구현될 수 있다. 즉, 본 발명의 서버(100)는 상술한 클라우드 컴퓨팅 서비스 중 적어도 하나의 형태로 구현될 수 있다. 전술한 클라우드 컴퓨팅 서비스의 구체적인 기재는 예시일 뿐, 본 발명의 클라우드 컴퓨팅 환경을 구축하는 임의의 플랫폼을 포함할 수도 있다.
카메라(200)는 도 3에 도시된 바와 같이, 사용자의 신체로부터 기 설정된 거리에 이격되어 구비될 수 있다. 카메라(200)는 사용자를 촬영하도록 구비될 수 있고, 사용자의 자세를 판단하기 위해 사용자의 신체 전체가 촬영되도록 구비되는 것이 바람직할 수 있다.
카메라(200)는 RGB카메라, 적외선 프로젝터 및 깊이 센서(depth sensor)중 적어도 하나를 포함하고, RGB카메라로 촬영되는 색상 뷰(color view), 촬영된 영상의 깊이 뷰(depth view) 및 사용자의 골격 뷰(skeleton view) 중 적어도 하나에 기초하여, 사용자의 움직임을 촬영한 영상을 획득하는 것을 특징으로 할 수 있다.
카메라(200)에 관련한 구성은, 카메라를 구비한 디스플레이 기기(400) 및 서버(100)를 통해 대체될 수도 있다. 이 경우, 디스플레이 기기(400)를 통해 획득한 사용자의 움직임을 촬영한 영상이 서버(100)로 전송될 수 있으며, 서버(100)는 수신한 영상에 대한 분석을 통해 사용자의 자세 정보를 획득할 수 있다.
일 실시예에 따르면, 카메라(200)는, 사용자의 다양한 각도의 영상을 획득하도록 복수 개의 카메라 모듈로 구비될 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 제1카메라 모듈(210)은 사용자의 측면에 위치되고, 제2카메라 모듈(220)은 사용자의 정면에 위치될 수 있다. 추가적인 실시예에서, 사용자의 후면에 구비되는 제3카메라 모듈을 더 포함할 수 있다.
서버(100)는 복수 개의 카메라 모듈 각각을 통해 획득된 복수 개의 영상에 기초하여 사용자의 자세 정보를 획득할 수 있다. 예컨대, 정면에 하나의 카메라 모듈만을 구비하는 경우, 사용자의 자세를 판단하는 과정에 오류가 야기될 수 있다. 구체적인 예를 들어, 사용자가 사이클을 타는 경우, 정면에 구비된 카메라 모듈만으로는 해당 동작의 적정성 여부를 판별하기 어려울 수 있다. 예컨대, 사이클을 타는 동작은, 상체와 하체간의 각도, 허벅지와 종아리간의 각도 등에 따라 속도가 상이할 수 있으므로, 사이클을 타는 데 있어서 중요한 요소일 수 있다. 이러한 경우, 정면뿐만 아니라, 측면에 카메라 모듈을 추가적으로 구비하여 동작이 적정성 판단에 정확성을 향상시킬 수 있다.
본 발명의 실시예에 따르면, 운동 장치(300)는 운동 장치(300)에 부착된 센서를 이용하여 사용자의 움직임을 획득하는 것을 특징으로 할 수 있다. 본 발명의 실시 예에 따른 운동 장치(300)는 특정 운동 또는 스포츠에서 이용되는 도구일 수 있으며, 해당 도구에는 사용자의 움직임을 감지할 수 있는 복수의 센서가 구비될 수 있다. 예를 들어, 운동 장치(300)는 사이클머신 또는 런닝머신일 수 있으며, 사이클머신에는 속도를 감지하는 속도센서, 페달의 회전수를 감지하는 케이던스 센서, 이동량을 감지하는 거리센서 등이 구비될 수 있다. 또 다른 예로, 운동 장치(300)는 야구배트일 수 있으며, 야구배트에는 속도를 감지하는 속도센서, 방향을 감지하는 방향감지센서, 각도를 측정하는 각도센서 등이 구비될 수 있다. 다양한 실시 예에서, 도구는 특별한 센서 장비가 구비되지 않은 일반적인 운동 도구일 수 있으며, 이 경우 카메라로 촬영된 도구의 형태 및 움직임을 분석하여 가상공간 내의 도구의 움직임을 생성할 수 있다.
다양한 실시 예에서, 서버(100)는 촬영된 영상에 포함된 사용자 및 도구의 움직임을 기존에 알려진 모션 센싱 기술을 이용하여 분석할 수 있다. 모션 센싱 기술은 사용자의 신체 및 도구에 포함된 하나 이상의 기준점에 기반하여 스켈레톤 정보를 획득하고, 해당 스켈레톤의 움직임을 분석하여 동작을 인식 및 분석할 수 있으나, 이에 제한되는 것은 아니다.
사용자가 서버(100)에서 제공되는 사이클 경기를 플레이를 하면서, 사이클을 타는 경우, 사이클머신에 구비된 센서들은 사이클의 속도, 케이던스, 이동량 등을 측정할 수 있고, 측정된 결과를 서버(100)로 전송할 수 있다.
한편, 운동 장치(300)는 이에 한정되는 것은 아니며, 각각의 센서 모듈을 포함할 수도 있다. 예를 들어, 사용자가 사이클 경기를 플레이한다고 할 때, 센서 모듈을 기 설정된 위치에 배치시킨 후 사이클을 탈 수 있고, 이때, 기 설정된 위치에 배치된 센서 모듈들이 사용자의 좌우 밸런스, 페달을 밟는 세기 및 시간, 몸과 다리의 각도 등을 측정하여 서버(100)로 전송할 수 있다. 서버(100)는 이를 수신하여 사용자의 자세를 판단할 수 있다.
또한, 사용자가 서버(100)에서 제공되는 마라톤 경기를 플레이를 하면서, 달리는 경우, 런닝머신에 구비된 센서들은 사용자가 달리는 속도, 케이던스, 이동량 등을 측정할 수 있고, 측정된 결과를 서버(100)로 전송할 수 있다.
한편, 운동 장치(300)는 이에 한정되는 것은 아니며, 각각의 센서 모듈을 포함할 수도 있다. 예를 들어, 사용자가 마라톤 경기를 플레이한다고 할 때, 센서 모듈을 기 설정된 위치에 배치시킨 후 런닝머신 위에서 달리기를 할 수 있고, 이때, 기 설정된 위치에 배치된 센서 모듈들이 사용자의 좌우 밸런스, 지면 접촉시간, 체공시간, 규칙성 등을 측정하여 서버(100)로 전송할 수 있다. 서버(100)는 이를 수신하여 사용자의 자세를 판단할 수 있다.
다양한 실시 예에서, 사용자가 서버(100)에서 제공되는 야구 경기 게임을 플레이를 하면서, 야구배트를 휘두르는 경우, 야구배트에 구비된 센서들은 야구배트를 휘두르는 속도, 세기, 방향, 각도, 궤적 등을 측정할 수 있고, 측정된 결과를 서버(100)로 전송할 수 있다. 한편, 운동 장치(100)는 이에 한정되는 것은 아니며, 골프채, 양궁활과 화살, 공 등을 포함할 수 있고, 각각의 센서 모듈을 포함할 수도 있다. 예를 들어, 사용자는 야구 경기 게임을 플레이를 한다고 할 때, 센서 모듈을 기 설정된 위치에 배치시킨 후 야구배트를 들고 있는 자세를 취하고, 휘두르는 자세를 취할 수 있다. 이때, 기 설정된 위치에 배치된 센서 모듈들이 팔의 속도, 궤적, 방향 등을 측정하여 서버(100)로 전송할 수 있다. 서버(100)는 이를 수신하여 사용자가 야구배트를 들고 있었다는 가정하에 야구배트가 움직이는 속도, 궤적, 세기, 방향 등을 판단할 수 있다.
또한, 운동 장치(100)는 사용자의 다양한 신체 영역 각각에 부착되어 구비될 수 있으며, 구비된 위치에 관련한 센싱 정보(예컨대, 속도, 가속도 또는 위치 변화에 관한 정보)를 획득하여 사용자의 움직임을 식별할 수 있다. 예를 들어, 사용자의 다리에 부착된 센서로부터 왼쪽 무릎과 오른쪽 무릎 각각이 일정 주기를 가진 움직임 변화를 지속적으로 발생시키는 동작에 대한 결과를 획득한 경우 서버(100)는 사용자가 사이클에 관련된 운동을 하는 것으로 사용자의 움직임을 식별할 수 있으며, 움직임 변화에 대한 속도, 각도, 방향 등을 판단하여 사용자의 자세를 판단할 수 있다.
일 실시예에 따르면, 운동 장치(300)는 복수 개의 센서 모듈을 포함할 수 있고, 복수 개의 센서 모듈은, 자이로 센서, 가속도 센서, 압전 센서 및 GPS 센서 등을 포함할 수 있으나, 이에 한정되는 것은 아니며, 본 발명의 센서 모듈은 사용자의 움직임을 추정할 수 있는 다양한 센서들을 더 포함할 수 있다.
본 발명의 실시예에 따르면, 디스플레이 기기(400)는 서버(100)와의 정보 교환을 통해 메타버스 기반 4D 실감형 서비스를 제공받을 수 있는 단말로, 사용자가 소지한 단말을 의미할 수 있다. 디스플레이 기기(400)는 서버(100)에서 전송되는 신호에 기초하여 메타버스 기반 4D 실감형 서비스 화면을 디스플레이 하거나, 이와 관련한 음량 등을 출력할 수 있다.
디스플레이 기기(400)는 서버(100)가 제공하는 서비스 중 적어도 하나의 서비스에 관련한 선택 정보를 포함하는 서비스 요청 신호를 서버(100)로 전송할 수 있으며, 이에 대한 응답으로 메타버스 기반 4D 실감형 서비스를 제공받을 수 있다. 예컨대, 디스플레이 기기(400)의 사용자는 커스터마이징을 통해 생성된 아바타를 활용하여 가상 공간 내에서 아바타의 행동을 플레이할 수 있다. 이 경우, 아바타는, 사용자의 움직임에 기반하여 움직일 수 있다. 예컨대, 사이클을 하는 경우, 가상 공간 내에서의 아바타는 사용자가 실제로 사이클을 타는 속도에 따라 동일하게 사이클을 탈 수 있다.
또한, 마라톤을 하는 경우, 가상 공간내에서의 아바타는 사용자가 실제로 런닝머신을 타는 속도에 따라 동일하게 달릴 수 있다.
다양한 실시 예에서, 디스플레이 기기(400)가 사용자가 머리에 착용하는 형태의 VR 장비일 경우, 사용자가 운동을 수행하면서 장기간 착용할 시 답답함을 느끼거나, 어지러움을 느끼는 등 사용성 문제가 발생할 가능성이 있다.
이를 위해, 디스플레이 기기(400)는 사용자의 움직임 수준에 따라 표시되는 영상의 해상도나 주사율, latency 등을 조절하여 멀미나 어지러움을 감소시킬 수 있다.
예를 들어, 디스플레이 기기(400)는 사용자의 움직임이 기 설정된 수준 이상일 경우(예를 들어, 사용자의 머리가 상하 또는 좌우로 기 설정된 속도 혹은 거리 이상 이동할 경우) 영상의 주사율을 낮춰, 영상의 변화속도를 줄임으로써 사용자의 어지러움을 감소시킬 수 있다.
사용자의 움직임은 디스플레이 기기(400)에 구비된 센서나 운동 장치(300) 혹은 카메라를 통해 수집된 정보에 기반하여 판단될 수 있으나, 이에 제한되지 않는다.
즉, 사용자가 움직임이 클 경우 사용자는 운동에 집중하기 때문에 주변 환경을 보기 어려울 수 있다. 이때 영상의 주사율이 높아 영상의 변화가 크다면 사용자의 실재감에는 영향을 많이 미치지 못하면서, 어지러움은 증가할 수 있다. 따라서, 영상의 주사율을 낮춰 사용자의 어지러움을 감소시키면서, 실재감에는 큰 영향을 주지 않는 설정을 적용할 수 있다.
다양한 실시 예에서, 사이클이나 런닝 운동을 할 때 사용자의 속도가 빨라짐에 따라, 주변 환경을 흐리게 표시할 수 있다. 예를 들어, 사용자가 빠르게 이동하면 주변 환경이 빠르게 지나갈 것이고, 해당 부분은 자세히 보기 어려울 수 있다. 따라서, 빠르게 지나가는 주변 환경은 흐리게 표시함으로써 사용자의 어지러움을 감소시키고, 또한 영상 처리에 따른 부하를 감소시킬 수 있는 장점이 있다.
아바타가 동작하는 가상 공간은 다수의 사용자 간의 경쟁 또는 협업에 관한 시뮬레이션 환경이나, 퀘스트 형식의 시뮬레이션 환경 등을 포함할 수 있다. 다시 말해, 제한된 환경(예를 들어, 집 안)에서 아바타를 통해 다양한 시뮬레이션 상황에서 게임 플레이를 가능하게 할 수 있다. 또한, 단순히 게임 조작능력이 아닌, 실제 사용자의 움직임에 따라 결과가 제공되는 서비스임에 따라, 사용자가 올바른 자세 및 더 나은 역량을 발휘하기 위한 신체 활동을 유도할 수 있다.
실시예에서, 디스플레이 기기(400)는 서버(100)와 통신을 위한 메커니즘을 갖는 시스템에서의 임의의 형태의 엔티티(들)를 의미할 수 있다. 예를 들어, 이러한 서버(100)는 PC(personal computer), 노트북(note book), 모바일 단말기(mobile terminal), 스마트 폰(smart phone), 태블릿 PC(tablet pc) 및 웨어러블 디바이스(wearable device) 등을 포함할 수 있으며, 유/무선 네트워크에 접속할 수 있는 모든 종류의 단말을 포함할 수 있다. 또한, 서버(100)는 에이전트, API(Application Programming Interface) 및 플러그-인(Plug-in) 중 적어도 하나에 의해 구현되는 임의의 서버를 포함할 수도 있다. 또한, 서버(100)는 애플리케이션 소스 및/또는 클라이언트 애플리케이션을 포함할 수 있다. 이하, 도 5를 참조하여, 트레이닝 서비스 제공 방법을 수행하는 서버(100)의 하드웨어 구성에 대해 설명하도록 한다.
도 5는 본 발명의 실시 예에 따른 서버의 하드웨어 구성도이다.
도 5를 참조하면, 본 발명의 실시 예에 따른 메타버스 기반 4D 실감형 서비스를 제공하기 위한 방법을 수행하는 서버(100)는 하나 이상의 프로세서(110), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램(151)을 로드(Load)하는 메모리(120), 버스(130), 통신 인터페이스(140) 및 컴퓨터 프로그램(151)을 저장하는 스토리지(150)를 포함할 수 있다. 여기서, 도 5에는 본 발명의 실시예와 관련 있는 구성요소들만 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 5에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(110)는 통상적으로 서버(100)의 전반적인 동작을 처리할 수 있다. 프로세서(110)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(120)에 저장된 응용 프로그램을 구동함으로써, 사용자 또는 사용자 단말에게 적정한 정보 또는, 기능을 제공하거나 처리할 수 있다.
또한, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있으며, 서버(100)는 하나 이상의 프로세서를 구비할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(110)는 하나 이상의 코어로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치(GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit) 등의 데이터 분석, 딥러닝을 위한 프로세서를 포함할 수 있다.
프로세서(110)는 메모리(120)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 트레이닝 서비스 제공 방법을 제공할 수 있다.
다양한 실시예에서, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(120)는 본 발명의 다양한 실시예에 따른 방법/동작을 실행하기 위하여 스토리지(150)로부터 컴퓨터 프로그램(151)을 로드할 수 있다. 메모리(120)에 컴퓨터 프로그램(151)이 로드되면, 프로세서(110)는 컴퓨터 프로그램(151)을 구성하는 하나 이상의 인스트럭션들을 실행함으로써 상기 방법/동작을 수행할 수 있다. 메모리(120)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다.
버스(130)는 서버(100)의 구성 요소 간 통신 기능을 제공한다. 버스(130)는 주소 버스(address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
통신 인터페이스(140)는 서버(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(140)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(140)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 몇몇 실시예에서, 통신 인터페이스(140)는 생략될 수도 있다.
스토리지(150)는 컴퓨터 프로그램(151)을 비 임시적으로 저장할 수 있다. 서버(100)를 통해 트레이닝 서비스 제공 프로세스를 수행하는 경우, 스토리지(150)는 트레이닝 서비스를 제공하기 위한 프로세스를 제공하기 위하여 필요한 각종 정보를 저장할 수 있다.
스토리지(150)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(151)은 메모리(120)에 로드될 때 프로세서(110)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 상기 방법/동작을 수행할 수 있다.
일 실시예에서, 컴퓨터 프로그램(151)은 카메라 및 운동 장치로부터 획득되는 사용자의 움직임을 분석하는 단계, 가상 공간에 생성된 아바타가 사용자의 움직임에 따라 동작하도록 제어하는 단계, 아바타의 동작에 따른 게임 플레이 결과를 사용자에게 제공하는 단계를 포함하는 메타버스 기반 4D 실감형 서비스 제공 방법을 수행하도록 하는 하나 이상의 인스트럭션을 포함할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.
도 6은 본 발명의 실시 예에 따른 메타버스 기반 4D 실감형 서비스를 제공하기 위한 방법을 나타내는 도면이다. 도 6에 도시된 단계들은 필요에 의해 순서가 변경될 수 있으며, 적어도 하나 이상의 단계가 생략 또는 추가될 수 있다. 즉, 이하의 단계들은 본 발명의 일 실시 예에 불과할 뿐, 본 발명의 권리 범위는 이에 제한되지 않는다.
도 6을 참조하면, 서버(100)는 카메라(200) 및 운동 장치(300)로부터 획득되는 사용자의 움직임을 분석할 수 있다(S100). 서버(100)는 카메라(200)에서 촬영된 영상을 이용하여 사용자의 동작에 따라 관절의 연결이 변화하는 정보를 식별할 수 있고, 이를 통해 사용자의 자세 정보를 획득할 수 있다. 서버(100)는 사용자의 움직임에서 관절의 연결이 변화하는 정보를 획득하고, 이에 기반하여 사용자의 자세 정보를 생성할 수 있다. 서버는 사용자가 수행 중인 동작의 표준 동작의 각 관절에서의 관절 연결선 사이의 표준 관절 연결선 각도와 카메라(200)가 획득한 각 관절에서 관절 연결선 사이의 사용자 관절 연결선 각도를 각각 비교하여 사용자의 자세 정보를 획득할 수 있다.
또한, 서버(100)는 운동 장치(300)에서 감지된 사용자의 움직임을 기초로 사용자가 움직이는 속도, 이동량, 케이던스, 방향, 각도, 좌우 밸런스, 페달을 밟는 세기 및 시간, 몸과 다리의 각도 등의 대한 사용자의 자세 정보를 획득할 수 있다. 또한, 서버(100)는 운동 장치(300)가 움직이는 속도, 궤적, 세기, 방향, 각도 중 적어도 하나를 포함하는 운동 장치의 모션 정보를 획득할 수도 있다.
서버(100)는 사용자의 움직임을 판단한 결과를 기초로 플레이 결과를 예측할 수 있다(S200). 예를 들어, 서버(100)에서 제공하는 서비스가 사이클 경기인 경우, 서버(100)는 사용자가 실제 사이클을 타는 속도를 기초로 플레이 결과를 예측할 수 있다. 플레이 결과는, 여러 사용자들이 실제 사이클을 타는 속도를 기초로 사용자들의 순서를 매기는 것일 수 있으나, 이에 한정되는 것은 아니다.
또 다른 예로, 서버(100)에서 제공하는 서비스가 마라톤 경기인 경우, 서버(100)는 사용자가 실제 런닝머신 위에서 달리는 속도를 기초로 플레이 결과를 예측할 수 있다. 플레이 결과는, 여러 사용자들이 실제 런닝머신 위에서 달리는 속도를 기초로 사용자들의 순서를 매기는 것일 수 있으나, 이에 한정되는 것은 아니다.
또 다른 예로, 서버(100)에서 제공하는 게임 서비스가 야구 게임인 경우, 사용자는 타자의 역할로써, 날아오는 공을 야구배트로 치는 것을 게임 서비스로 제공받을 수 있다. 이런 경우, 서버(100)는 날아오는 공을 치는 사용자의 자세 및 운동 장치(200)의 못션을 판단한 결과를 이용하여 플레이 결과를 예측할 수 있다. 즉, 공이 야구배트에 맞았는지 여부, 야구배트에 공이 맞은 위치, 야구배트로 공을 친 세기, 야구배트로 공을 친 궤도 등을 예측할 수 있다.
또한, 서버(100)는 실제 플레이어의 움직임과, 사용자의 움직임을 비교하여 게임 플레이 결과를 예측할 수도 있다. 구체적으로, 서버(100)는 게임과 관련된 실제 경기를 플레이하는 실제 플레이어의 움직임, 플레이어의 움직임에 따라 경기별 사용되는 도구의 움직임을 분석할 수 있다. 여기서, 실제 경기를 플레이하는 실제 플레이어의 움직임, 플레이어의 움직임에 따라 경기별 사용되는 도구의 움직임은 카메라(200)에서 촬영된 영상을 통해 획득할 수 있다. 예를 들어, 카메라(200)는 실제 야구 경기를 플레이하는 선수의 움직임 및 선수의 움직임에 따른 도구(야구배트, 글러브, 공 등)의 움직임을 촬영할 수 있고, 촬영된 영상을 서버(100)로 전송할 수 있다. 서버(100)는 영상을 통해 실제 경기를 플레이하는 실제 플레이어의 움직임, 플레이어의 움직임에 따라 경기별 사용되는 도구의 움직임을 분석하고, 분석된 결과를 레퍼런스화할 수 있다. 또한, 서버(100)는 플레이어의 움직임 및 도구의 움직임에 따라 플레이 결과를 학습할 수 있다. 예를 들어, 플레이어의 다리 사이의 거리, 관절을 구부린 각도, 도구의 속도, 궤도, 방향, 각도를 분석하고, 분석된 결과에 따른 자세 및 모션에 해당할 때, 플레이 결과를 학습하는 것일 수 있다. 예컨대, 플레이 결과는 공이 날아가는 방향, 각도, 공이 날아간 거리, 위치 등일 수 있다. 그러나, 상기 예시는 서버(100)에서 제공하는 게임 서비스가 야구 경기일때의 예시로, 다른 게임에서의 플레이 결과를 나타내는 것은 상이할 수 있다.
한편, 서버(100)는 실제 경기에서 플레이하는 플레이어의 모든 움직임을 학습할 수 있다. 즉, 플레이어들이 좋은 자세로 좋은 결과를 냈을 때의 상황, 좋지 않은 자세로 좋은 결과를 냈을 때의 상황, 좋은 자세로 좋지 못한 결과를 냈을 때의 상황, 좋지 않은 자세로 좋지 못한 결과를 냈을 때의 상황 모두를 학습할 수 있다. 이는, 사용자는 해당 경기에 전문가가 아닐 수 있으며, 정석인 자세로 게임을 진행하지 않을 수 있음에 따라 모든 경우를 학습하여 보다 더 실재감을 줄 수 있는 게임을 구현할 수 있다. 즉, 서버(100)는 실제 발생할 수 있는 상황들을 최대한으로 학습함으로써, 사용자가 좋은 자세로 플레이를 하더라도 좋지 못한 결과를 예측하거나, 좋지 못한 자세로 플레이하더라도 좋은 결과를 예측하는 결과값을 출력함으로써 사용자에게 실재감을 줄 수 있으며, 게임에 더 몰입하고, 흥미를 느끼도록 할 수 있다.
또한, 서버(100)는 레퍼런스화된 선수들의 움직임 및 도구의 움직임과 사용자의 자세 및 운동 장치의 모션을 비교할 수 있다. 서버(100)는 레퍼런스화된 선수들의 움직임 및 도구의 움직임 중 사용자의 자세 및 운동 장치의 모션과 유사한 데이터를 추출하고, 그에 따른 플레이 결과를 예측 데이터 값으로 선정할 수 있다. 서버(100)는 각 레퍼런스화된 데이터들 각각과 사용자 데이터간의 유사도를 산출할 수 있고, 유사도가 가장 큰 데이터를 사용자 데이터와 가장 유사한 데이터인 것으로 선정할 수 있으나, 이에 한정되는 것은 아니다.
한편, 각 레퍼런스화된 데이터들 각각과 사용자 데이터간의 유사도를 산출한 결과, 각 데이터들의 유사도가 기 설정된 값보다 작은 경우, 서버(100)는 레퍼런스화된 데이터를 이용하여 플레이 결과를 예측할 수도 있다. 즉, 각 데이터들의 유사도가 기 설정된 값보다 작은 경우, 사용자의 움직임 및 도구의 움직임과 유사한 데이터가 없는 것으로 판단하여 새로운 학습 데이터를 생성하는 것일 수 있다. 예를 들어, 서버(100)는 게임과 관련된 경기에 있어서, 정석인 동작과 사용자 움직임간의 각도 차이, 위치 차이, 속도 차이 등을 산출하고, 산출된 차이로 인해 발생하는 다음 동작의 가동범위의 한계를 예측할 수 있고, 가동범위의 한계에 따른 플레이 결과를 예측할 수 있다. 예를 들어, 사용자가 야구배트를 들고 있을 때의 몸의 방향, 팔의 각도, 다리의 각도, 야구배트의 위치 등을 정석인 동작에서의 몸의 방향, 팔의 각도, 다리의 각도, 야구배트의 위치 등과 비교하고, 다음 동작인 야구배트를 휘둘렀을 때의 가동범위의 한계를 예측할 수 있다. 예를 들어, 사용자가 정석 동작에 비해 야구배트를 몸에 가까운 위치에서 들고 있는 경우, 야구배트를 휘두르는 범위는 정석인 동작에서의 범위보다 작아질 수 있다. 서버(100)는 이러한 가동범위를 예측하고, 가동범위에 따라 플레이 결과를 예측할 수 있다. 예를 들어, 날아오는 공의 위치가 정석인 동작에서의 가동범위에는 포함되는 것이나, 사용자의 움직임에서의 가동범위에는 포함되지 않는 것일 수 있다. 이에 따라 서버(100)는 사용자가 공을 치지 못한 것으로 결과값을 예측하거나, 공을 치더라도 잘못된 방향으로 날아가는 결과값을 예측할 수 있다. 여기서, 플레이 결과를 예측하기 위한 구성으로 가동범위를 사용하는 것으로 설명하였으나 이에 한정되는 것은 아니다.
또한, 서버(100)는 사용자의 자세에 따른 예측 결과를 학습하고, 학습된 결과를 이후 해당 사용자 또는 다른 사용자의 움직임을 판단하기 위한 레퍼런스 데이터로써 이용할 수 있다.
서버(100)는 사용자의 움직임을 분석한 결과를 기초로 가상 공간에 생성된 아바타가 사용자의 움직임에 따라 동작하도록 제어하고, 아바타의 동작에 따른 플레이 결과를 사용자에게 제공할 수 있다(S300).
서버(100)는 가상 공간 상의 아바타가 사용자의 움직임에 기반하여 움직이도록 제어할 수 있으며, 촬영된 영상 및 감지된 센서 정보를 이용하여 사용자의 움직임 및 도구의 움직임을 분석한 결과를 기초로 아바타의 움직임을 제어할 수 있다.
즉, 사이클 경기를 플레이하는 경우, 가상 공간 내에서의 아바타는, 사용자가 실제 사이클을 타는 자세에 따라 동일한 자세를 취하고, 사용자가 실제 사이클을 타는 속도에 따라 동일하게 사이클을 탈 수 있는 것이다. 또한, 서버(100)는 사이클을 타는 속도에 따른 플레이 결과를 제공할 수 있고, 플레이 결과는 상기 S200 단계에서 예측된 플레이 결과에 해당하는 것일 수 있다. 예를 들어, 예측된 플레이 결과에 따르면 해당 사용자가 3위로 사이클을 타고 있는 경우, 서버(100)는 사용자를 나타내는 아바타가 3위의 위치에서 사이클을 타고 있는 것을 디스플레이 기기(400)를 통해 사용자에게 제공할 수 있다.
또한, 마라톤 경기를 플레이하는 경우, 가상 공간 내에서의 아바타는, 사용자가 실제 런닝머신 위에서 달리는 자세에 따라 동일한 자세를 취하고, 사용자가 실제 런닝머신 위에서 달리는 속도에 따라 동일하게 달릴 수 있는 것이다. 또한, 서버(100)는 런닝머신 위에서 달리는 속도에 따른 플레이 결과를 제공할 수 있고, 플레이 결과는 상기 S200 단계에서 예측된 플레이 결과에 해당하는 것일 수 있다. 예를 들어, 예측된 플레이 결과에 따르면 해당 사용자가 3위로 달리고 있는 경우, 서버(100)는 사용자를 나타내는 아바타가 3위의 위치에서 달리고 있는 것을 디스플레이 기기(400)를 통해 사용자에게 제공할 수 있다.
또 다른 예로, 야구 경기를 플레이하는 경우, 가상 공간 내에서의 아바타는, 사용자가 야구배트를 실제로 휘두름에 따라, 사용자가 야구배트를 휘두르는 자세, 사용자가 휘두른 야구배트의 모션에 따라 동일하게 움직일 수 있는 것이다. 또한, 서버(100)는 아바타가 야구배트를 휘두름으로써, 공이 날아가는 게임 플레이 결과 또한 제공할 수 있다. 이때, 게임 플레이 결과는 상기 S200 단계에서 예측된 플레이 결과에 해당하는 것일 수 있다. 서버(100)는 이러한 과정을 디스플레이 기기(400)를 통해 제공하고, 디스플레이 기기(400)는 이러한 과정을 디스플레이할 수 있다.
즉, 사용자는 공이 날아오는 것, 본인의 움직임에 의해 공이 날아가는 상황, 1루수 베이스, 주변 다른 선수들, 경기 진행 상황 등을 디스플레이 기기(400)를 통해 확인할 수 있으며, 이를 통해 더 현실감 느끼는 게임을 진행할 수 있다.
한편, 서버(100)는 사용자의 입력에 따라 영상의 해상도, 테마, 필터 중 적어도 하나를 포함하는 속성 정보를 변경하고, 속성 정보가 적용된 영상을 디스플레이 기기(400)로 전송할 수 있다. 예를 들어, 서버(100)는 실제 영상과 같은 실사 환경, 게임처럼 느껴지는 3D 환경, 메타버스 환경, 사용자의 주변환경과 가상의 환경이 결합된 환경 등을 제공할 수 있고, 사용자가 설정한 환경에 해당하는 영상을 디스플레이 기기(400)로 제공할 수 있다.
또한, 서버(100)는 사용자의 설정에 따라 사용자의 안전과 편의를 위한 사용자의 움직임 수준에 따라 표시되는 영상의 해상도나 주사율, latency를 조절하여 멀미나 어지러움을 감소시키도록 제어할 수도 있다.
실시 예에 따르면, 서버(100)는 플레이 결과를 게임에 참여한 모든 사용자들에게 동일하게 제공할 수 있다. 즉, 서버(100)는 가상 공간 상에서 플레이할 게임별 인원수에 해당하는 사용자들을 모집할 수 있고, 게임에 필요한 인원수의 사용자들이 접속된 경우 게임의 플레이를 진행할 수 있다. 서버(100)는 각 사용자들의 움직임에 따라 발생하는 게임 플레이 결과를 해당 게임에 참여한 모든 사용자들에게 동일하게 제공할 수 있고, 이를 통해 사용자는 실제 경기를 하는 것 같은 실재감을 느낄 수 있다.
또한, 사용자는 해당 아바타의 시선에 따라 다른 사용자의 경기를 지켜볼 수 있으며, 게임 진행 상황 등을 확인하는 것 또한 가능할 수 있으며, 경기에 참여하는 것 또한 가능할 수 있다. 예를 들어, 사용자가 1루수에 서 있는 경우, 다른 타자가 공을 치는 상황을 지켜보고, 게임 상황에 따라 2루수로 달려가는 행동 등으로 게임에 참여할 수 있으며, 사용자의 팀이 수비일 때 또한 아바타의 시선에서 타자의 경기를 지켜보고, 게임 상황에 따라 날아오는 공을 잡는 등의 행동 등으로 게임에 참여하는 것 또한 가능할 수 있다.
여기서, 서버(100)는 카메라(200) 또는 운동 장치(300)를 통해 사용자의 시선을 파악하여 메타버스 내에 아바타에게 반영할 수 있다. 예를 들어, 아바타가 1루수에 서서 홈을 바라보고 있는 경우, 홈방향은 정면일 수 있다. 이때, 사용자가 고개를 오른쪽으로 돌린 경우 아바타 또한 오른쪽으로 고개를 돌리도록 제어할 수 있다. 그에 따라 서버(100)는 아바타의 시선에 따라 2루수 베이스, 2루수 선수 그 외 주변환경을 디스플레이 기기(400)로 제공할 수 있다.
또한, 서버(100)는 게임과 관련된 실제 경기를 플레이하는 장소 및 플레이어의 주변환경을 촬영한 영상을 이용하여 가상 공간 상에 아바타 주변환경을 구현할 수 있다. 여기서, 게임과 관련된 실제 경기를 플레이하는 장소 및 플레이어의 주변환경을 촬영한 영상은 카메라(200)에 의해 획득된 것일 수 있다.
또한, 서버(100)는 실제 경기를 플레이할 때 발생하는 소리 및 플레이어의 움직임에 따라 발생하는 소리 또한 가상 공간 상에 구현할 수 있다. 여기서, 게임과 관련된 실제 경기를 플레이할 때 발생하는 소리 및 플레이어의 움직임에 따라 발생하는 소리는 카메라(200)에 의해 획득된 것일 수 있다. 즉, 카메라(200)가 실제 경기를 촬영할 때 영상과 같이 녹음된 소리일 수 있고, 별도의 마이크를 통해 소리를 녹음하는 것 또한 가능할 수 있다.
도 7은 본 발명의 실시 예에 따른 사용자가 4D 실감형 서비스를 제공받는 것을 나타낸 도면이다.
도 7을 참조하면, 사용자는 소지한 4D 장치를 통해 4D 실감형 서비스를 제공받을 수 있다. 예를 들어, 스피커(500)는 서버(100)의 제어신호에 따라 가상 공간 내에서 구현되는 소리를 출력할 수 있으며, 진동 장치(600)는 서버(100)의 제어신호에 따라 진동을 발생시킬 수 있다.
서버(100)는 가상 공간 상에서 플레이되는 게임 진행 상황 및 사용자의 움직임에 따라 발생시킬 소리를 결정하고, 결정된 소리가 스피커(500)에서 출력되도록 제어할 수 있다. 예를 들어, 사이클 경기를 플레이 중에 사용자가 브레이크를 누른 경우 브레이크로 인해 바퀴가 바닥에 끌리는 소리가 출력되도록 제어할 수 있다. 또 다른 예로, 마라톤 경기를 플레이 중에 사용자가 달리면서 지면을 딛는 소리가 출력되도록 제어할 수 있다.
또한, 서버(100)는 가상 공간 상에서 플레이되는 게임 진행 상황 및 사용자의 움직임에 따라 발생시킬 진동의 크기 및 시간을 결정하고, 결정된 진동이 진동 장치(600)에서 발생하도록 제어할 수 있다. 예를 들어, 사이클 경기를 플레이 중에 사용자가 노면이 고르지 못한 지면에서 사이클을 타는 경우 사이클 안장에 구비된 진동 장치(600)에서 진동이 발생하도록 제어할 수 있다. 이때, 서버(100)는 노면이 고르지 못한 지면의 거리 및 고르지 못한 정도 등에 따라 진동의 크기 및 시간을 결정할 수 있고, 결정된 크기 및 시간에 따라 진동 장치(600)가 진동을 발생시키도록 제어할 수 있다. 한편, 진동 장치(600)가 운동 장치(200)에 구비되어 있는 것으로 설명하였으나, 이에 한정되지 않으며, 진동 장치(600)는 사용자의 몸에 구비될 수도 있다.
또 다른 예로, 마라톤 경기를 플레이 중에 사용자가 노면이 고르지 못한 지면에서 달리는 경우 런닝머신에 구비된 진동 장치(600)에서 진동이 발생하도록 제어할 수 있다. 이때, 서버(100)는 노면이 고르지 못한 지면의 거리 및 고르지 못한 정도 등에 따라 진동의 크기 및 시간을 결정할 수 있고, 결정된 크기 및 시간에 따라 진동 장치(600)가 진동을 발생시키도록 제어할 수 있다.
또 다른 예로, 야구 경기 게임을 진행 중에 사용자가 야구배트로 공을 친 경우, 야구배트에 공이 맞는 소리가 출력되도록 제어하고, 사용자가 1루수로 달려가는 경우, 달리는 소리가 출력되도록 제어할 수 있다. 그러나, 이에 한정되는 것은 아니며, 관객들의 응원 소리, 심판이 경기 결과를 알려주는 소리 등 실제 경기에서 발생하는 소리들을 상황에 맞추어 출력하도록 제어함으로써 사용자는 실재감을 경험할 수 있다.
또한, 서버(100)는 가상 공간 상에서 플레이되는 플레이되는 게임 진행 상황 및 사용자의 움직임에 따라 발생시킬 진동의 크기 및 시간을 결정하고, 결정된 진동이 진동 장치(600)에서 발생하도록 제어할 수 있다. 예를 들어, 야구 경기 게임을 진행 중에 사용자가 야구배트로 공을 친 경우, 야구배트에 구비된 진동 장치(600)에서 진동이 발생하도록 제어할 수 있다. 이때, 서버(100)는 공을 친 세기나 방향 등에 따라 진동의 크기 및 시간을 결정할 수 있고, 결정된 크기 및 시간에 따라 진동 장치(600)가 진동을 발생시키도록 제어할 수 있다.
다시 도 6을 참조하면, 서버(100)는 가상 공간 상에서 사용하는 아바타를 커스터마이징할 수 있는 서비스를 제공할 수 있다. 예를 들어, 서버(100)는 각 아바타의 외모를 변경할 수 있는 아이템들을 제공할 수 있고, 현금을 통한 구매 또는 게임 보상을 통해 획득된 코인 등을 통한 구매를 통해 아이템을 획득하도록 할 수 있다. 또한, 서버(100)는 사용자의 사진을 아바타에 합성하여 아바타를 생성할 수 있고, 사용자가 좋아하는 캐릭터나 연예인에 기반하여 자동으로 아바타를 생성할 수도 있다. 그러나, 이에 한정되는 것은 아니다.
또한, 서버(100)는 게임 결과에 따라 각 사용자들에게 리워드를 제공할 수 있다. 리워드는 가상 공간 상에서 아바타가 활용할 수 있는 아이템을 구매하는데 활용되거나 또는, 실생활에서 가상의 화폐로써 활용 가능할 수 있다. 구체적인 예를 들어, 리워드는, 도 8에 도시된 바와 같이, 실제 생활 속에서 커피 쿠폰을 획득하기 위한 사이버 머니로 활용될 수 있다.
다양한 실시 예에서, 서버(100)는 사용자의 게임 결과에 따른 보상을 제공할 수 있다. 예를 들어, 서버(100)는 사용자 단말을 통해 사용자에게 특정한 목표를 달성하도록 요청(예: 미션 부여)할 수 있다. 이후, 서버(100)는 사용자에 대하여 설정된 목표가 달성된 것으로 판단되는 경우, 사용자에게 목표에 따른 보상을 제공할 수 있다.
여기서, 보상은 서버(100)가 제공하는 애플리케이션 내에서 이용 가능한 재화(예: 포인트, 마일리지, 토큰 등)일 수 있으나, 이에 한정되지 않고, 보상은 애플리케이션 내에서 이용 가능한 복수의 서비스 중 유료 서비스를 이용함에 따라 결제된 금액에 대한 캐시 백이거나, 유료 서비스에 대한 할인 쿠폰을 포함할 수 있다.
다양한 실시 예에서, 제공되는 보상은 블록체인 기술에 기반하여 제공되는 가상자산(예: 코인 또는 토큰)의 형태로 제공될 수 있으나, 이에 제한되지 않는다. 예를 들어, 사용자가 공부나 운동 등 다양한 애플리케이션을 통해 제공되는 미션이나 특정한 조건을 달성할 시, 이에 따른 가상자산이 사용자에게 지급될 수 있다. 사용자는 해당 가상자산을 가상자산 지갑으로 이동시키거나, 다른 종류의 가상자산과 교환하거나, 현금화할 수 있다.
전술한 바와 같이 본 발명의 실시 예에 따르면 메타버스를 통해 스포츠 플레이를 진행하고, 스포츠 플레이를 진행하면서 발생하는 소리, 진동 등을 사용자에게 제공하여 실재감 및 몰입감을 제공하는 메타버스 기반 4D 실감형 서비스를 제공하기 위한 시스템을 실현할 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100: 서버
200: 카메라
300: 운동 장치
400: 디스플레이 기기
500: 스피커
600: 진동 장치

Claims (11)

  1. 메타버스 기반 4D 실감형 서비스를 제공하기 위한 시스템에 있어서,
    사용자 및 상기 사용자가 사용하는 운동 장치의 움직임을 촬영하는 카메라;
    상기 카메라로부터 촬영된 영상을 분석하여 상기 사용자 및 상기 운동 장치의 움직임을 분석하고, 가상 공간에 생성된 아바타가 상기 사용자의 움직임에 따라 동작하도록 제어하는 서버; 및
    상기 서버로부터 제공되는 가상 공간을 표시하는 디스플레이 기기; 를 포함하고,
    상기 서버는,
    상기 사용자 및 상기 운동 장치의 움직임과, 기 저장된 데이터베이스의 움직임을 비교하여, 상기 기 저장된 데이터베이스로부터 상기 사용자 및 상기 운동 장치의 움직임과 가장 유사한 레퍼런스 데이터를 선정하고, 상기 선정된 레퍼런스 데이터의 플레이 결과를 상기 사용자의 게임 플레이 결과로 선정하고,
    상기 사용자 및 상기 운동 장치의 움직임과, 상기 선정된 레퍼런스 데이터 사이의 유사도가 기 설정된 값보다 작은 경우, 상기 사용자 및 상기 운동 장치의 움직임과 상기 선정된 레퍼런스 데이터 사이의 차이를 산출하고, 산출된 차이에 기초하여 상기 사용자의 게임 플레이 결과를 예측하고,
    상기 기 저장된 데이터베이스는,
    실제 운동 경기 영상을 분석하여, 운동 경기를 수행하는 플레이어의 움직임, 상기 플레이어가 이용하는 운동 도구의 움직임 및 상기 플레이어의 움직임 및 상기 운동 도구의 움직임에 따른 결과를 레퍼런스화하여 저장한 레퍼런스 데이터들을 포함하는 것인,
    메타버스 기반 4D 실감형 서비스를 제공하기 위한 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 서버는,
    실제 운동 경기를 수행하는 장소 및 실제 운동 경기를 수행하는 플레이어의 주변환경을 촬영한 영상을 획득하고,
    실제 운동 경기를 수행할 때 발생하는 소리 및 실제 운동 경기를 수행하는 플레이어의 움직임에 따라 발생하는 소리를 녹음한 음성을 획득하고,
    상기 서버는,
    상기 획득된 영상을 기초로, 상기 가상 공간 상에 상기 아바타의 주변환경을 구현하고,
    상기 획득된 음성을 기초로, 상기 가상 공간 상의 소리를 구현하는,
    메타버스 기반 4D 실감형 서비스를 제공하기 위한 시스템.
  7. 제1항에 있어서,
    상기 서버에서 수신되는 제어 신호에 따라 소리를 출력하는 스피커; 및
    상기 서버에서 수신되는 제어 신호에 따라 진동을 발생시키는 진동 장치; 를 더 포함하고,
    상기 서버는,
    가상 공간 상에서 플레이되는 게임 진행 상황 및 상기 사용자의 움직임에 따라 발생시킬 소리를 결정하고, 결정된 소리가 상기 스피커에서 출력되도록 제어하고,
    가상 공간 상에서 플레이되는 게임의 진행 상황 및 상기 사용자의 움직임에 따라 발생시킬 진동의 크기 및 시간을 결정하고, 결정된 진동이 상기 진동 장치에서 발생하도록 제어하는,
    메타버스 기반 4D 실감형 서비스를 제공하기 위한 시스템.
  8. 제1항에 있어서,
    상기 서버는,
    가상 공간 상에서 플레이할 게임별 인원수에 해당하는 사용자들이 접속되면, 상기 게임의 플레이를 진행하고,
    각 사용자들의 움직임에 따른 게임 플레이 결과를 상기 게임에 참여한 모든 사용자들에게 동일하게 제공하고,
    상기 게임의 진행을 가이드하기 위한 정보를 제공하는,
    메타버스 기반 4D 실감형 서비스를 제공하기 위한 시스템.
  9. 제1항에 있어서,
    상기 서버는,
    상기 사용자의 설정에 따라 영상의 해상도, 테마, 필터 중 적어도 하나를 포함하는 속성 정보를 변경하고,
    상기 속성 정보가 적용된 영상을 상기 디스플레이 기기로 제공하는,
    메타버스 기반 4D 실감형 서비스를 제공하기 위한 시스템.
  10. 제1항에 있어서,
    상기 서버는,
    게임 결과에 따라 게임 참여자들에게 리워드를 제공하고,
    상기 사용자로부터 상기 리워드를 이용하여 상기 아바타를 커스터마이징하기 위한 입력을 획득하고,
    상기 사용자로부터 획득된 입력에 따라 상기 아바타를 생성하는,
    메타버스 기반 4D 실감형 서비스를 제공하기 위한 시스템.
  11. 제10 항에 있어서,
    상기 서버는,
    상기 게임 결과에 따라 이에 대응하는 가상자산을 제공하는 것을 특징으로 하는,
    메타버스 기반 4D 실감형 서비스를 제공하기 위한 시스템.
KR1020220063500A 2022-05-24 2022-05-24 메타버스 기반 4d 실감형 서비스를 제공하기 위한 시스템 KR102461485B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220063500A KR102461485B1 (ko) 2022-05-24 2022-05-24 메타버스 기반 4d 실감형 서비스를 제공하기 위한 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220063500A KR102461485B1 (ko) 2022-05-24 2022-05-24 메타버스 기반 4d 실감형 서비스를 제공하기 위한 시스템

Publications (1)

Publication Number Publication Date
KR102461485B1 true KR102461485B1 (ko) 2022-11-01

Family

ID=84042379

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220063500A KR102461485B1 (ko) 2022-05-24 2022-05-24 메타버스 기반 4d 실감형 서비스를 제공하기 위한 시스템

Country Status (1)

Country Link
KR (1) KR102461485B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140036555A (ko) * 2012-09-17 2014-03-26 한국전자통신연구원 사용자 간 상호작용이 가능한 메타버스 공간을 제공하기 위한 메타버스 클라이언트 단말 및 방법
KR20140133373A (ko) * 2013-05-11 2014-11-19 계명대학교 산학협력단 사용자 운동 패턴을 이용한 모션 인식 기반의 운동 시스템 및 방법
KR20160018436A (ko) * 2014-08-08 2016-02-17 그렉 반 쿠렌 가상 현실 시스템 및 이를 이용한 오디션 게임 시스템
KR102185016B1 (ko) * 2020-06-24 2020-12-02 대한민국 화학 사고 대응 훈련용 가상 현실 제어 시스템
KR102231586B1 (ko) * 2020-08-27 2021-03-24 (주)피닉스스튜디오 상황대처훈련 시뮬레이터 및 그 시뮬레이터의 구동방법, 그리고 컴퓨터 판독가능 기록매체
KR20210032786A (ko) * 2019-09-17 2021-03-25 경희대학교 산학협력단 다중사용자 가상환경 기반의 간호 교육 장치 및 간호 교육 콘텐츠 제공 방법
KR102255181B1 (ko) * 2019-12-06 2021-05-24 주식회사 두리번 다수의 카메라에 의한 증강 현실 영상 생성 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140036555A (ko) * 2012-09-17 2014-03-26 한국전자통신연구원 사용자 간 상호작용이 가능한 메타버스 공간을 제공하기 위한 메타버스 클라이언트 단말 및 방법
KR20140133373A (ko) * 2013-05-11 2014-11-19 계명대학교 산학협력단 사용자 운동 패턴을 이용한 모션 인식 기반의 운동 시스템 및 방법
KR20160018436A (ko) * 2014-08-08 2016-02-17 그렉 반 쿠렌 가상 현실 시스템 및 이를 이용한 오디션 게임 시스템
KR20210032786A (ko) * 2019-09-17 2021-03-25 경희대학교 산학협력단 다중사용자 가상환경 기반의 간호 교육 장치 및 간호 교육 콘텐츠 제공 방법
KR102255181B1 (ko) * 2019-12-06 2021-05-24 주식회사 두리번 다수의 카메라에 의한 증강 현실 영상 생성 방법 및 장치
KR102185016B1 (ko) * 2020-06-24 2020-12-02 대한민국 화학 사고 대응 훈련용 가상 현실 제어 시스템
KR102231586B1 (ko) * 2020-08-27 2021-03-24 (주)피닉스스튜디오 상황대처훈련 시뮬레이터 및 그 시뮬레이터의 구동방법, 그리고 컴퓨터 판독가능 기록매체

Similar Documents

Publication Publication Date Title
US20200314489A1 (en) System and method for visual-based training
US9914053B2 (en) Systems and methods for fitness and video games
KR101974911B1 (ko) 트램펄린을 이용한 증강현실 기반 스포츠 게임 시스템
Berkovsky et al. Physical activity motivating games: be active and get your own reward
CN104488022A (zh) 用于响应于移动装置的动作提供动态定制的体育教学的方法
KR101317001B1 (ko) 서로 다른 종류의 운동 또는 운동 기구를 이용하는 다참여자 운동 게임 방법 및 시스템
Mortazavi et al. Near-realistic mobile exergames with wireless wearable sensors
Nunes et al. Motivating people to perform better in exergames: Competition in virtual environments
KR102461484B1 (ko) 메타버스 트레이닝 서비스 제공 방법, 서버 및 컴퓨터 프로그램
Martin-Niedecken et al. The ExerCube: participatory design of an immersive fitness game environment
CN115634446A (zh) 作为游戏控制器的锻炼或体育器材
JP2014151027A (ja) 運動及び／またはゲーム装置
Wang et al. Evaluation of the game exermon–A strength exergame inspired by pokémon go
KR102461485B1 (ko) 메타버스 기반 4d 실감형 서비스를 제공하기 위한 시스템
EP4122565A1 (en) Health and wellness gamification
Brehmer et al. Activate your GAIM: a toolkit for input in active games
Koštomaj et al. Design and evaluation of user’s physical experience in an Ambient Interactive Storybook and full body interaction games
KR101283181B1 (ko) 단합된 운동 동작에 기초한 다참여자 운동 게임 시스템
Sinclair Feedback control for exergames
Woźniak et al. Health, fun, and engagement: Computing technologies that support physical activity
Mocanu et al. Improving Physical Activity Through Exergames.
Kobeissi et al. Development of a hardware/software system for proprioception exergaming
Neumann On the use of virtual reality in sport and exercise: applications and research findings
TW201729879A (zh) 移動式互動跳舞健身系統
KR102445543B1 (ko) 메타버스 트레이닝 서비스를 제공하기 위한 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant