KR20170059300A - Nui/nux 기반의 vr환경 게임 컨트롤을 시뮬레이션하는 방법 및 시스템 - Google Patents

Nui/nux 기반의 vr환경 게임 컨트롤을 시뮬레이션하는 방법 및 시스템 Download PDF

Info

Publication number
KR20170059300A
KR20170059300A KR1020150163514A KR20150163514A KR20170059300A KR 20170059300 A KR20170059300 A KR 20170059300A KR 1020150163514 A KR1020150163514 A KR 1020150163514A KR 20150163514 A KR20150163514 A KR 20150163514A KR 20170059300 A KR20170059300 A KR 20170059300A
Authority
KR
South Korea
Prior art keywords
gesture
user
game control
recognized
score
Prior art date
Application number
KR1020150163514A
Other languages
English (en)
Other versions
KR101756326B1 (ko
Inventor
조경은
치옥용
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020150163514A priority Critical patent/KR101756326B1/ko
Priority to PCT/KR2015/013874 priority patent/WO2017086533A1/ko
Publication of KR20170059300A publication Critical patent/KR20170059300A/ko
Application granted granted Critical
Publication of KR101756326B1 publication Critical patent/KR101756326B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/46—Computing the game score

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 NUI/NUX 기반의 VR환경 게임 컨트롤 시뮬레이션 방법 및 시스템에 관한 것으로, 설정된 명령을 적어도 하나 이상의 제스처로 정의하여 데이터베이스에 저장하는 단계와, 사용자의 동작과 상기 사용자의 근전도 데이터를 입력받는 단계와, 입력된 상기 사용자의 동작에 맵핑되는 제스처를 인식하는 단계와, 입력된 상기 사용자의 동작과 상기 근전도 데이터를 이용하여 인식된 상기 제스처를 평가하는 단계 및 인식된 상기 제스처에 대한 평가를 분석하여 상기 사용자에게 가장 적합한 제스처를 선정하는 단계를 포함하여 구성된다.
상기와 같이 구성된 본 발명에 따른 NUI/NUX 기반의 VR환경 게임 컨트롤 시뮬레이션 방법 및 시스템에 의하면, 정의된 제스처에 대해서 제스처 평가를 수행함으로써, 사용자에게 가장 적합한 제스처를 제공하는 효과가 있다.
또한, 본 발명에 따른 NUI/NUX 기반의 VR환경 게임 컨트롤 시뮬레이션 방법 및 시스템에 의하면, 손동작과 몸동작 및 근전도를 측정하여 사용자에게 가장 적합한 제스처를 선정함으로써, 사용자가 앉은 상태에서도 편하게 게임을 제어할 수 있다.

Description

NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 방법 및 시스템{SYSTEM AND METHOD FOR VIRTUAL REALITY GAME CONTROL SIMULATION BASED ON NATURAL USER INTERFACE AND NATURAL USER EXPERIENCE}
본 발명은 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 방법 및 시스템에 관한 것으로, 더욱 상세하게는 VR환경 게임 컨트롤 시 센서를 이용하여 사용자의 몸동작을 인식함으로써, 사용자가 NUI 방식으로 게임을 제어하는 방법 및 시스템에 관한 것이다.
기존의 게임 컨트롤 방식은 주로 게임 컨트롤러를 사용하고 있으며, 게임 컨트롤러는 앉거나 누워서 조작할 수 있어서 가장 인간공학에 적합한 게임 제어 장치로 인정받고 있다.
한편, 최근 VR(Virtual Reality) HMD(Head Mounted Display)의 개발에 따라 VR 게임의 제어 방식에 대한 연구가 많이 진행되고 있다. 현실감을 높이기 위한 VR 게임의 제어 방식은 손에 도구를 잡아서 동작을 인식하거나 웨어러블 장치를 통해 동작을 인식한다.
대부분 연구는 사용자가 서있는 것을 기준으로 게임 제어하는 방식으로 진행하고 있으며, 이러한 방식은 사용자가 몸 전체를 사용하므로 게임을 장시간 즐기기 어렵다는 문제가 있다.
따라서 앉은 상태에서 편하게 몸이나 손의 동작 인식을 통한 게임을 제어하는 방식이 필요하다.
대한민국 등록특허 제10-1231989호 (2013년 02월 04일)
본 발명은 상술한 종래기술의 문제점을 극복하기 위한 것으로서, 정의된 제스처에 대해서 제스처 평가를 수행함으로써, 사용자에게 가장 적합한 제스처를 제공하는 것에 그 목적이 있다.
또한, 본 발명은 손동작과 몸동작 및 근전도를 측정하여 사용자에게 가장 적합한 제스처를 선정함으로써, 사용자가 앉은 상태에서도 편하게 게임을 제어하는 것에 그 목적이 있다.
상기 목적을 달성하기 위해 본 발명은 설정된 명령을 적어도 하나 이상의 제스처로 정의하여 데이터베이스에 저장하는 단계와, 사용자의 동작과 상기 사용자의 근전도 데이터를 입력받는 단계와, 입력된 상기 사용자의 동작에 맵핑되는 제스처를 인식하는 단계와, 입력된 상기 사용자의 동작과 상기 근전도 데이터를 이용하여 인식된 상기 제스처를 평가하는 단계 및 인식된 상기 제스처에 대한 평가를 분석하여 상기 사용자에게 가장 적합한 제스처를 선정하는 단계를 포함하여 구성된다.
본 발명에 따른 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 방법에 있어서, 상기 제스처를 평가하는 단계는 상기 사용자의 동작에 따라 상기 제스처가 인식되는 인식률을 입력받는 단계와, 상기 적어도 하나 이상의 제스처에 대해서 상기 사용자의 동작 선호도를 입력받는 단계와, 상기 근전도 데이터를 이용하여 상기 사용자의 근육 피로도를 계산하는 단계 및 상기 인식률과 상기 동작 선호도 및 상기 근육 피로도를 이용하여 UX(User Experience) 점수를 계산하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 방법에 있어서, 상기 제스처를 평가하는 단계는 상기 인식률과 상기 동작 선호도 및 상기 근육 피로도 각각에 서로 다른 가중치를 부여하여 상기 UX 점수를 계산하는 것을 특징으로 한다.
본 발명에 따른 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 방법에 있어서, 상기 사용자에게 가장 적합한 제스처를 선정하는 단계는 인식된 상기 제스처에 해당하는 명령이 하나의 제스처로만 저장된 경우 상기 제스처의 UX 점수가 설정된 임계값 미만이면, 상기 제스처에 해당하는 명령에 대해서 새로운 동작을 입력받아 상기 제스처를 갱신하는 것을 특징으로 한다.
본 발명에 따른 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 방법에 있어서, 상기 사용자에게 가장 적합한 제스처를 선정하는 단계는 인식된 상기 제스처에 해당하는 명령이 복수 개의 제스처로 저장된 경우 상기 복수 개의 제스처에 대한 UX 점수를 각각 계산하여 가장 점수가 높은 제스처를 상기 사용자에게 가장 적합한 제스처로 선정하는 것을 특징으로 한다.
본 발명에 따른 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 방법에 있어서, 상기 사용자에게 가장 적합한 제스처를 선정하는 단계는 상기 복수 개의 제스처에 대한 UX 점수 계산 결과 가장 높은 값을 갖는 제스처가 복수 개일 경우, 상기 근육 피로도가 가장 낮은 제스처를 상기 사용자에게 가장 적합한 제스처로 선정하는 것을 특징으로 한다.
또한 본 발명은 설정된 명령을 적어도 하나 이상의 제스처로 정의하여 저장하는 데이터베이스와, 사용자의 동작과 상기 사용자의 근전도 신호를 측정하는 센서부와, 측정된 상기 사용자의 동작에 맵핑되는 제스처를 인식하는 인식부와, 측정된 상기 사용자의 동작과 상기 근전도 신호를 이용하여 인식된 상기 제스처를 평가하는 평가부 및 인식된 상기 제스처에 대한 평가를 분석하여 상기 사용자에게 가장 적합한 제스처를 선정하는 분석부를 포함하여 구성된다.
본 발명에 따른 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 시스템에 있어서, 상기 평가부는 상기 사용자의 동작에 따라 상기 제스처가 인식되는 인식률을 입력받고, 상기 적어도 하나 이상의 제스처에 대해서 상기 사용자의 동작 선호도를 입력받고, 상기 근전도 신호를 이용하여 상기 사용자의 근육 피로도를 계산하며, 상기 인식률과 상기 동작 선호도 및 상기 근육 피로도를 이용하여 UX(User Experience) 점수를 계산하는 것을 특징으로 한다.
본 발명에 따른 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 시스템에 있어서, 상기 평가부는 상기 인식률과 상기 동작 선호도 및 상기 근육 피로도 각각에 서로 다른 가중치를 부여하여 상기 UX 점수를 계산하는 것을 특징으로 한다.
본 발명에 따른 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 시스템에 있어서, 상기 분석부는 인식된 상기 제스처에 해당하는 명령이 하나의 제스처로만 저장된 경우 상기 제스처의 UX 점수가 설정된 임계값 미만이면, 상기 제스처에 해당하는 명령에 대해서 새로운 동작을 입력받아 상기 제스처를 갱신하는 것을 특징으로 한다.
본 발명에 따른 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 시스템에 있어서, 상기 분석부는 인식된 상기 제스처에 해당하는 명령이 복수 개의 제스처로 저장된 경우 상기 복수 개의 제스처에 대한 UX 점수를 각각 계산하여 가장 점수가 높은 제스처를 상기 사용자에게 가장 적합한 제스처로 선정하는 것을 특징으로 한다.
본 발명에 따른 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 시스템에 있어서, 상기 분석부는 상기 복수 개의 제스처에 대한 UX 점수 계산 결과 가장 높은 값을 갖는 제스처가 복수 개일 경우, 상기 근육 피로도가 가장 낮은 제스처를 상기 사용자에게 가장 적합한 제스처로 선정하는 것을 특징으로 한다.
상기와 같이 구성된 본 발명에 따른 NUI/NUX 기반의 VR환경 게임 컨트롤 시뮬레이션 방법 및 시스템에 의하면, 정의된 제스처에 대해서 제스처 평가를 수행함으로써, 사용자에게 가장 적합한 제스처를 제공하는 효과가 있다.
또한, 본 발명에 따른 NUI/NUX 기반의 VR환경 게임 컨트롤 시뮬레이션 방법 및 시스템에 의하면, 손동작과 몸동작 및 근전도를 측정하여 사용자에게 가장 적합한 제스처를 선정함으로써, 사용자가 앉은 상태에서도 편하게 게임을 제어할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 시스템을 나타내는 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 사용자의 동작 인식과 사용자의 근전도 측정을 위한 센서부의 구성을 나타내는 도면이다.
도 3은 본 발명의 바람직한 실시 예에 따른 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 방법을 나타내는 순서도이다.
도 4는 본 발명의 일 실시 예에 따른 제스처를 평가하는 방법을 나타내는 순서도이다.
도 5는 본 발명의 일 실시 예에 따른 게임 제어 시 사용되는 다양한 후보 제스처를 나타내는 도면이다.
본 발명은 다양한 변형 및 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 바람직한 실시 예에 대해서 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 시스템을 나타내는 구성도이다. 도 1을 참조하면, VR환경 게임 컨트롤 시뮬레이션 시스템(100)은 데이터베이스(110), 센서부(120), 인식부(130), 평가부(140), 분석부(150)를 포함한다.
데이터베이스(110)는 설정된 명령을 적어도 하나 이상의 제스처로 정의하여 저장한다. 즉, 개발자가 VR환경 게임 컨트롤 시뮬레이션 시스템(100) 상에 명령을 적어도 하나 이상의 제스처로 정의하고, 정의된 제스처들을 학습시켜 데이터베이스(110)에 저장한다.
센서부(120)는 사용자의 동작을 측정하기 위한 센서와 사용자의 근전도 신호를 측정하기 위한 센서를 포함한다. 여기서 센서부(120)에 대해서는 도 2를 참조하여 보다 더 상세하게 설명하겠다.
도 2는 본 발명의 일 실시 예에 따른 사용자의 동작 인식과 사용자의 근전도 측정을 위한 센서부의 구성을 나타내는 도면이다. 도 2를 살펴보면 제 1 센서와 제 2 센서 및 근전도 센서로 구성되어 있다. 제 1 센서와 제 2 센서는 3D 센서로 구현이 가능하며 이는 3D 센서로 한정하는 것은 아니다.
도 2와 같이 구성된 센서부는 제 1 센서를 이용하여 손 동작을 측정하고 제 2 센서를 이용하여 몸 동작을 측정할 수 있다. 또한 근전도 센서를 사용자의 근육에 부착하여 근전도 신호를 측정할 수 있다.
여기서 제 1 센서는 HMD(Head Mounted Display)에 설치되어 손의 동작 범위를 잡아서 손가락 기반의 동작을 측정할 수 있으며, 제 2 센서는 사용자의 위치와 원거리에 설치되어 사용자의 몸 동작을 측정할 수 있다. 또한 근전도 센서는 사용자 근육 부위에 장착하여 사용자의 근육에서 발생한 전자파 즉, 근전도 신호를 측정할 수 있다.
이러한 센서부(120)는 상기 설명한 바와 같이 2개의 센서를 이용하여 사용자의 동작을 측정할 수 있으며, 더 정밀한 측정을 위해서는 3개 이상의 센서를 활용할 수 있다. 또한 1개의 센서만으로도 사용자의 동작을 측정할 수 있으며, 이는 사용자의 설정에 따라 몸 동작 측정을 위한 센서의 갯수를 변동시킬 수 있다.
다음으로 다시 도 1로 돌아와 인식부(130)에 대해서 설명하겠다. 인식부(130)는 센서부(120)에서 측정한 사용자의 동작과 맵핑되는 제스처를 인식한다. 즉, 인식부(130)는 센서부(120)에서 적어도 하나 이상의 센서를 이용하여 측정한 사용자의 동작에 대해서 데이터베이스(110)에 저장된 제스처와 맵핑되는지를 확인하여 사용자의 동작과 맵핑되는 제스처를 인식한다.
평가부(140)는 센서부(120)에서 측정한 사용자의 동작과 근전도 신호를 이용하여 인식부(130)에서 인식된 제스처를 평가한다. 즉 인식부(130)에서 인식된 제스처에 대해서 센서부(120)에서 측정한 사용자의 동작과 근전도 신호를 이용하여 사용자가 해당 제스처 사용에 대한 평가 점수를 계산할 수 있다.
다음으로 분석부(150)는 인식부(130)에서 인식한 제스처에 대해서 평가부(140)가 평가한 내용을 분석하여 사용자에게 가장 적합한 제스처를 선정한다. 즉, 분석부(150)는 인식된 제스처에 대한 평가를 확인하여 사용자에게 더 적합한 제스처가 없는지 또는 대체할 제스처가 존재하는지 등에 대해서 다방면으로 분석하여 사용자에게 가장 적합한 제스처를 선정하여 안내할 수 있다.
이상과 같이 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 시스템에 대해서 설명하였다. 다음으로는 도 3을 참조하여 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 방법에 대해서 설명하겠다.
도 3은 본 발명의 바람직한 실시 예에 따른 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 방법을 나타내는 순서도이다.
도 3을 참조하면 먼저 VR환경 게임 컨트롤 시뮬레이션 시스템은 설정된 명령을 적어도 하나 이상의 제스처로 정의하여 데이터베이스에 저장한다(S10). 여기서 적어도 하나 이상의 제스처를 데이터베이스에 저장하는 단계(S10)는 VR환경 게임 컨트롤 시뮬레이션 시스템에 설정된 명령에 대한 동작을 개발자가 제스처로 정의하고, 정의된 제스처를 학습하여 데이터베이스에 저장한다.
특히, 개발자는 설정된 명령에 대해서 하나의 제스처로만 저장할 수 있으며, 복수 개의 후보군을 포함하여 저장할 수도 있다. 따라서 개발자는 VR환경 게임 컨트롤 시뮬레이션 시스템의 설정된 명령에 대해서 적어도 하나 이상의 제스처를 정의하여 저장한다.
다음으로 VR환경 게임 컨트롤 시뮬레이션 시스템이 사용자의 동작과 사용자의 근전도 데이터를 입력받는다(S20). 보다 구체적으로 VR환경 게임 컨트롤 시뮬레이션 시스템은 사용자의 동작과 사용자의 근전도 신호를 측정한 센서부로부터 사용자의 동작과 근전도 데이터를 입력받는다.
여기서 센서부는 적어도 하나 이상의 센서를 이용하여 사용자의 동작을 측정하며, 보다 구체적인 내용은 도 2에서 설명하였으므로 생략한다.
다음으로 VR환경 게임 컨트롤 시뮬레이션 시스템은 입력된 사용자의 동작에 맵핑되는 제스처를 인식한다(S30). 보다 구체적으로 VR환경 게임 컨트롤 시뮬레이션 시스템은 센서부로부터 입력받은 사용자의 동작을 분석하여 데이터베이스에 저장된 제스처 중 맵핑되는 제스처가 존재하는지 확인하고, 존재하는 경우 사용자의 동작을 해당 제스처로 인식한다. 여기서 사용자의 동작을 분석하는 방법은 다양한 동작 인식 알고리즘을 사용할 수 있다.
VR환경 게임 컨트롤 시뮬레이션 시스템은 사용자의 동작에 맵핑되는 제스처를 인식한 후 센서부로부터 입력받은 사용자의 동작과 근전도 데이터를 이용하여 인식된 제스처를 평가한다(S40). 보다 구체적으로 인식된 제스처를 평가하는 단계(S40)는 도 4를 참조하여 설명하겠다.
도 4는 본 발명의 일 실시 예에 따른 제스처를 평가하는 방법을 나타내는 순서도이다. 도 4를 참조하면, 제스처를 평가하는 단계(S40)는 먼저 사용자의 동작에 따라 제스처가 인식되는 인식률을 입력받는다(S41).
보다 구체적으로, 사용자가 인식된 제스처에 대한 동작을 여러 차례 반복 수행함으로써, 해당 제스처가 인식되는 인식률을 계산하여 VR환경 게임 컨트롤 시뮬레이션 시스템에 입력한다. 여기서 인식률은 인식된 제스처에 대한 동작을 수행한 횟수 대비 해당 동작이 제스처로 인식되는 비율을 백분율로 입력할 수 있으며, 이를 통해 사용자는 제스처가 얼마나 잘 인식되는지를 확인할 수 있다.
다음으로 적어도 하나 이상의 제스처에 대해서 사용자의 동작 선호도를 입력받는다(S42). 여기서 동작 선호도는 VR환경 게임 컨트롤 시뮬레이션 시스템의 제스처에 대해서 사용자의 주관적인 점수를 입력한다.
즉, 사용자가 저장된 제스처를 사용하기 위해 움직이는 동작에 대해서 주관적인 점수를 부여하여 해당 제스처를 VR환경 게임 컨트롤 시뮬레이션 시스템에 인식시키기 위해 움직이는 동작에 좋고 싫음을 수치상으로 입력할 수 있다.
또한, 사용하고자 하는 제스처에 설정된 명령에 대해서 후보군 제스처가 존재 시 사용자는 후보군 제스처에 대해서도 동작 선호도를 입력할 수 있다. 이를 통해 사용자는 인식된 제스처와 후보군 제스처 중 어느 제스처가 자신에게 더 좋은지 또는 더 적합한지를 비교할 수 있다.
동작 선호도 입력이 끝나면 VR환경 게임 컨트롤 시뮬레이션 시스템은 입력받은 근전도 데이터를 이용하여 사용자의 근육 피로도를 계산한다(S43). 여기서 근전도 데이터는 사람의 근육의 피로도에 따라 근전도의 진폭과 빈도가 감소하는 특징이 있다.
따라서, 제스처 인식률을 입력받는 과정에서 제스처의 사용 횟수를 기록하여 근전도의 진폭과 빈도 등 데이터를 저장하면 제스처를 취하면서 근전도의 빈도가 얼마나 빠르게 감소하는지 확인할 수 있다. 이런 특징을 이용하여 여러 제스처에 대하여 같은 횟수를 진행하면 제스처를 진행할 때의 근육 피로도를 계산할 수 있다.
근육 피로도 계산이 완료되면, VR환경 게임 컨트롤 시뮬레이션 시스템은 입력받은 인식률과 동작 선호도 및 계산된 근육 피로도를 이용하여 UX(User Experience) 점수를 계산한다(S44). 여기서 UX 점수는 수학식 1과 같이 계산할 수 있다.
Figure pat00001
수학식 1과 같이 제스처를 평가하는 단계(S40)에서 입력받고 계산한 인식률과 동작 선호도 및 근육 피로도를 이용하여 UX 점수를 계산한다. 여기서 근육 피로도는 점수는 피로영향이 낮을수록 점수가 높으며, 동작 선호도 및 인식률은 백분율 값을 이용하여 UX점수를 얻을 수 있다.
또한, 설정에 따라 각각의 값에 가중치를 부여할 수 있다. 즉, 사용자에 따라 근육 피로도, 동작 선호도, 인식률 각각에 차별적으로 서로 다른 가중치를 부여하고 해당 가중치 값을 각각 곱하여 UX 점수에 반영되는 지표에 대해서 조정이 가능하다.
또한, 가중치에 따라 UX 점수에 대해서도 조정이 가능하여 사용자는 자신이 가장 중요하게 생각하는 지표에 더 높은 가중치를 부여하고 그 가중치에 따라 조정된 UX 점수로 인식된 제스처를 평가할 수 있다.
이상과 같이 제스처를 평가하는 단계(S40)에 대해서 상세하게 설명하였다. 다시 도 3으로 돌아가 이후 단계에 대해서 설명하겠다.
제스처를 평가한 후 인식된 제스처에 대한 평가를 분석하여 사용자에게 가장 적합한 제스처를 선정한다(S50). 보다 구체적으로 VR환경 게임 컨트롤 시뮬레이션 시스템은 제스처를 평가하는 단계(S40)에서 계산한 UX 점수를 이용하여 사용자에게 가장 적합한 제스처를 선정할 수 있다.
여기서 사용자에게 가장 적합한 제스처를 선정 시 인식된 제스처에 해당하는 명령이 하나의 제스처로만 저장되는 경우 인식된 제스처의 UX 점수가 설정된 임계값 미만이면, 인식된 제스처에 해당하는 명령에 대해서 새로운 동작을 입력받아 제스처를 갱신할 수 있다.
즉, '스크롤'이란 명령에 대해서 손을 위에서 아래로 움직이는 동작에 대한 제스처만 저장된 경우에는 해당 제스처의 UX 점수가 설정된 임계값 미만이면 해당 제스처가 부적절하다고 판단하여 정의된 동작을 폐기하고 새로운 동작을 입력받아 '스크롤'이란 명령에 대한 제스처를 갱신할 수 있다.
또한, 사용자에게 가장 적합한 제스처를 선정 시 인식된 제스처에 해당하는 명령이 복수 개의 제스처로 저장되는 경우 복수 개의 제스처에 대한 UX 점수를 각각 계산하여 가장 점수가 높은 제스처를 사용자에게 가장 적합한 제스처로 선정할 수 있다.
이와 같이 VR환경 게임 컨트롤 시뮬레이션 시스템은 자신에게 적합한 제스처를 선정할 수 있다. 이러한 사용자에게 적합한 제스처 선정을 통해 사용자별로 개인화된 제스처 설정이 가능하며, 이러한 개인화된 제스처 설정에 대해서 도 5를 참조하여 설명하겠다.
도 5는 본 발명의 일 실시 예에 따른 게임 제어 시 사용되는 다양한 후보 제스처를 나타내는 도면이다. 도 5를 참조하면, '운전'에 대해서 미리 정의된 3가지 제스처인 (a), (b), (c)가 존재한다.
여기서 사용자가 3가지 제스처를 각각 사용하여 VR 운전 게임을 체험하는 경우 사용자는 3가지 제스처 중 어떤 제스처가 가장 운전에 적합한지 주관적으로 동작 선호도를 평가한다. 그 후 제스처의 인식률과 근육 피로도를 종합함으로써 가장 적합한 제스처를 선정할 수 있다.
예를 들어 사용자가 주관적으로 평가한 동작 선호도는 UXa=90%, UXb=80%, UXc=90%를 나타내고, 인식률은 a=97%, b=98%, c=96%이며, 근육 피로도는 a=61.11, b=74.48, c=64.8인 경우, UX 점수는 a=61.11, b=74.48, c=64.8로 나타난다. 따라서, 이와 같이 UX 점수를 계산함으로써 사용자에게 가장 적합한 제스처는 b임을 확인할 수 있다. 이러한 방식을 통해 개개인의 사용자별로 자신에게 가장 적합한 제스처를 선정할 수 있다.
또한, 복수 개의 제스처에 대한 UX 점수 계산 결과 가장 높은값을 갖는 제스처가 복수 개일 경우에는 근육 피로도가 가장 낮은 제스처를 사용자에게 가장 적합한 제스처로 선정할 수 있다.
여기서 근육 피로도가 가장 낮은 제스처 즉, 근육 피로도 점수가 가장 높은 제스처를 사용자에게 가장 적합한 제스처로 선정하는 이유는 UX 점수가 같더라도 장시간 게임을 진행하는 경우에는 근육 피로도로 인하여 사용자가 더 이상 게임을 진행할 수 없게 되는 상황을 방지하기 위함이다. 또한 근육 피로도가 높으면 사용자가 추후에도 해당 게임을 진행하고자 하는 의욕을 저하시킬 수 있다. 따라서 이러한 상황을 종합적으로 방지하기 위함이다.
이상으로, 본 발명의 바람직한 실시 예에 따른 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 방법에 대해서 설명하였다.
상기와 같이 구성된 본 발명에 따른 NUI/NUX 기반의 VR환경 게임 컨트롤 시뮬레이션 방법 및 시스템에 의하면, 정의된 제스처에 대해서 제스처 평가를 수행함으로써, 사용자에게 가장 적합한 제스처를 제공하는 효과가 있다.
또한, 본 발명에 따른 NUI/NUX 기반의 VR환경 게임 컨트롤 시뮬레이션 방법 및 시스템에 의하면, 손동작과 몸동작 및 근전도를 측정하여 사용자에게 가장 적합한 제스처를 선정함으로써, 사용자가 앉은 상태에서도 편하게 게임을 제어할 수 있다.
본 명세서에 기재된 본 발명의 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 관한 것이고, 발명의 기술적 사상을 모두 포괄하는 것은 아니므로, 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해해야 한다. 따라서 본 발명은 상술한 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 권리범위 내에 있게 된다.
100: VR환경 게임 컨트롤 시뮬레이션 시스템
110: 데이터베이스
120: 센서부
130: 인식부
140: 평가부
150: 분석부

Claims (13)

  1. 설정된 명령을 적어도 하나 이상의 제스처로 정의하여 데이터베이스에 저장하는 단계;
    사용자의 동작과 상기 사용자의 근전도 데이터를 입력받는 단계;
    입력된 상기 사용자의 동작에 맵핑되는 제스처를 인식하는 단계;
    입력된 상기 사용자의 동작과 상기 근전도 데이터를 이용하여 인식된 상기 제스처를 평가하는 단계; 및
    인식된 상기 제스처에 대한 평가를 분석하여 상기 사용자에게 가장 적합한 제스처를 선정하는 단계;를 포함하는 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 방법.
  2. 제 1 항에 있어서,
    상기 제스처를 평가하는 단계는,
    상기 사용자의 동작에 따라 상기 제스처가 인식되는 인식률을 입력받는 단계;
    상기 적어도 하나 이상의 제스처에 대해서 상기 사용자의 동작 선호도를 입력받는 단계;
    상기 근전도 데이터를 이용하여 상기 사용자의 근육 피로도를 계산하는 단계; 및
    상기 인식률과 상기 동작 선호도 및 상기 근육 피로도를 이용하여 UX(User Experience) 점수를 계산하는 단계;를 포함하는 것을 특징으로 하는 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 방법.
  3. 제 2 항에 있어서,
    상기 제스처를 평가하는 단계는,
    상기 인식률과 상기 동작 선호도 및 상기 근육 피로도 각각에 서로 다른 가중치를 부여하여 상기 UX 점수를 계산하는 것을 특징으로 하는 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 방법.
  4. 제 2 항에 있어서,
    상기 사용자에게 가장 적합한 제스처를 선정하는 단계는,
    인식된 상기 제스처에 해당하는 명령이 하나의 제스처로만 저장된 경우 상기 제스처의 UX 점수가 설정된 임계값 미만이면,
    상기 제스처에 해당하는 명령에 대해서 새로운 동작을 입력받아 상기 제스처를 갱신하는 것을 특징으로 하는 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 방법.
  5. 제 2 항에 있어서,
    상기 사용자에게 가장 적합한 제스처를 선정하는 단계는,
    인식된 상기 제스처에 해당하는 명령이 복수 개의 제스처로 저장된 경우 상기 복수 개의 제스처에 대한 UX 점수를 각각 계산하여 가장 점수가 높은 제스처를 상기 사용자에게 가장 적합한 제스처로 선정하는 것을 특징으로 하는 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 방법.
  6. 제 5 항에 있어서,
    상기 사용자에게 가장 적합한 제스처를 선정하는 단계는,
    상기 복수 개의 제스처에 대한 UX 점수 계산 결과 가장 높은 값을 갖는 제스처가 복수 개일 경우, 상기 근육 피로도가 가장 낮은 제스처를 상기 사용자에게 가장 적합한 제스처로 선정하는 것을 특징으로 하는 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 따른 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체.
  8. 설정된 명령을 적어도 하나 이상의 제스처로 정의하여 저장하는 데이터베이스;
    사용자의 동작과 상기 사용자의 근전도 신호를 측정하는 센서부;
    측정된 상기 사용자의 동작에 맵핑되는 제스처를 인식하는 인식부;
    측정된 상기 사용자의 동작과 상기 근전도 신호를 이용하여 인식된 상기 제스처를 평가하는 평가부; 및
    인식된 상기 제스처에 대한 평가를 분석하여 상기 사용자에게 가장 적합한 제스처를 선정하는 분석부;를 포함하는 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 시스템.
  9. 제 8 항에 있어서,
    상기 평가부는,
    상기 사용자의 동작에 따라 상기 제스처가 인식되는 인식률을 입력받고,
    상기 적어도 하나 이상의 제스처에 대해서 상기 사용자의 동작 선호도를 입력받고, 상기 근전도 신호를 이용하여 상기 사용자의 근육 피로도를 계산하며,
    상기 인식률과 상기 동작 선호도 및 상기 근육 피로도를 이용하여 UX(User Experience) 점수를 계산하는 것을 특징으로 하는 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 시스템.
  10. 제 9 항에 있어서,
    상기 평가부는,
    상기 인식률과 상기 동작 선호도 및 상기 근육 피로도 각각에 서로 다른 가중치를 부여하여 상기 UX 점수를 계산하는 것을 특징으로 하는 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 시스템.
  11. 제 9 항에 있어서,
    상기 분석부는,
    인식된 상기 제스처에 해당하는 명령이 하나의 제스처로만 저장된 경우 상기 제스처의 UX 점수가 설정된 임계값 미만이면,
    상기 제스처에 해당하는 명령에 대해서 새로운 동작을 입력받아 상기 제스처를 갱신하는 것을 특징으로 하는 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 시스템.
  12. 제 9 항에 있어서,
    상기 분석부는,
    인식된 상기 제스처에 해당하는 명령이 복수 개의 제스처로 저장된 경우 상기 복수 개의 제스처에 대한 UX 점수를 각각 계산하여 가장 점수가 높은 제스처를 상기 사용자에게 가장 적합한 제스처로 선정하는 것을 특징으로 하는 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 시스템.
  13. 제 12 항에 있어서,
    상기 분석부는,
    상기 복수 개의 제스처에 대한 UX 점수 계산 결과 가장 높은 값을 갖는 제스처가 복수 개일 경우, 상기 근육 피로도가 가장 낮은 제스처를 상기 사용자에게 가장 적합한 제스처로 선정하는 것을 특징으로 하는 NUI/NUX 기반의 VR환경 게임 컨트롤을 시뮬레이션하는 시스템.
KR1020150163514A 2015-11-20 2015-11-20 Nui/nux 기반의 vr환경 게임 컨트롤을 시뮬레이션하는 방법, 시스템 및 컴퓨터 판독가능 기록매체 KR101756326B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150163514A KR101756326B1 (ko) 2015-11-20 2015-11-20 Nui/nux 기반의 vr환경 게임 컨트롤을 시뮬레이션하는 방법, 시스템 및 컴퓨터 판독가능 기록매체
PCT/KR2015/013874 WO2017086533A1 (ko) 2015-11-20 2015-12-17 Nui/nux 기반의 vr환경 게임 컨트롤을 시뮬레이션하는 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150163514A KR101756326B1 (ko) 2015-11-20 2015-11-20 Nui/nux 기반의 vr환경 게임 컨트롤을 시뮬레이션하는 방법, 시스템 및 컴퓨터 판독가능 기록매체

Publications (2)

Publication Number Publication Date
KR20170059300A true KR20170059300A (ko) 2017-05-30
KR101756326B1 KR101756326B1 (ko) 2017-07-26

Family

ID=58717488

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150163514A KR101756326B1 (ko) 2015-11-20 2015-11-20 Nui/nux 기반의 vr환경 게임 컨트롤을 시뮬레이션하는 방법, 시스템 및 컴퓨터 판독가능 기록매체

Country Status (2)

Country Link
KR (1) KR101756326B1 (ko)
WO (1) WO2017086533A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200008227A (ko) * 2018-07-16 2020-01-28 (주)젠트정보기술 제스처 기반 nui를 이용한 조명효과 제어 시스템 및 방법
CN116650950A (zh) * 2023-06-08 2023-08-29 廊坊市珍圭谷科技有限公司 一种用于vr游戏的控制系统及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114217694A (zh) * 2022-02-21 2022-03-22 深圳市心流科技有限公司 一种仿生手及其手势控制方法、服务器及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060183980A1 (en) * 2005-02-14 2006-08-17 Chang-Ming Yang Mental and physical health status monitoring, analyze and automatic follow up methods and its application on clothing
KR101025510B1 (ko) * 2009-06-10 2011-04-04 연세대학교 산학협력단 감성인식장치의 개인별 최적화시스템 및 그 최적화 방법
KR101890717B1 (ko) * 2010-07-20 2018-08-23 삼성전자주식회사 생체 정보를 활용한 가상 세계 조작 장치 및 방법
WO2015102464A1 (ko) * 2014-01-06 2015-07-09 삼성전자 주식회사 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법
US20160042228A1 (en) * 2014-04-14 2016-02-11 Motionsavvy, Inc. Systems and methods for recognition and translation of gestures

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200008227A (ko) * 2018-07-16 2020-01-28 (주)젠트정보기술 제스처 기반 nui를 이용한 조명효과 제어 시스템 및 방법
CN116650950A (zh) * 2023-06-08 2023-08-29 廊坊市珍圭谷科技有限公司 一种用于vr游戏的控制系统及方法
CN116650950B (zh) * 2023-06-08 2024-02-06 廊坊市珍圭谷科技有限公司 一种用于vr游戏的控制系统及方法

Also Published As

Publication number Publication date
KR101756326B1 (ko) 2017-07-26
WO2017086533A1 (ko) 2017-05-26

Similar Documents

Publication Publication Date Title
CN109074166A (zh) 使用神经数据改变应用状态
US20180133551A1 (en) System and method for personalized exercise training and coaching
Conati et al. Further Results on Predicting Cognitive Abilities for Adaptive Visualizations.
CN110737339B (zh) 基于深度学习的视觉—触觉交互模型构建方法
JP7442596B2 (ja) ナビゲーション課題を使用するバイオマーカーの識別およびナビゲーション課題を使用する治療のためのプラットフォーム
KR20200128555A (ko) 면역-매개 및 신경-퇴행성 장애를 표적으로 하는 인지 스크린, 모니터 및 인지 치료
KR101756326B1 (ko) Nui/nux 기반의 vr환경 게임 컨트롤을 시뮬레이션하는 방법, 시스템 및 컴퓨터 판독가능 기록매체
JP7070252B2 (ja) パフォーマンス計測装置、パフォーマンス計測方法及びパフォーマンス計測プログラム
KR20220028654A (ko) 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치 및 방법
US11520947B1 (en) System and method for adapting graphical user interfaces to real-time user metrics
US11810136B2 (en) Systems and methods for assessing implicit associations
CN104023802A (zh) 使用神经分析的电子装置的控制
JPWO2020148969A1 (ja) 情報提供装置、情報提供システム、情報提供方法及びプログラム
KR20210076936A (ko) 인지 치료 최적화를 위한 노력 메트릭을 도출하기 위한 인지 플랫폼
KR20110044113A (ko) 운동관리시스템 및 그 방법
KR20190091755A (ko) 파킨슨병의 진단을 위한 입력 패턴 분석 장치 및 방법
KR102469149B1 (ko) 3차원 설계데이터 기반 실물 객체 다방향 인식시스템 및 그 방법
JP7165108B2 (ja) 作業訓練システム及び作業訓練支援方法
KR101447563B1 (ko) 물리객체 기반의 인지능력 평가 시스템 및 방법
KR101567984B1 (ko) 가상 공간 상에 위치한 가상 객체에 대한 감각 정보를 사용자에게 전달하기 위한 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US20210097884A1 (en) Work support apparatus, work support system, and work support method
CN106774881A (zh) 一种用于可佩戴设备的指令下发方法、装置及可佩戴设备
KR20210145931A (ko) 피트니스 센터 내 운동 지도 서비스 및 시스템
CN112686121B (zh) 一种面向孤独症的视觉运动整合能力智能化识别系统
Ponsa et al. A usability study case of a vision-based gesture interface

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant