KR102584832B1 - 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 딥러닝 모델 학습 방법 및 상기 방법을 수행하는 딥러닝 모델 학습 장치 - Google Patents

생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 딥러닝 모델 학습 방법 및 상기 방법을 수행하는 딥러닝 모델 학습 장치 Download PDF

Info

Publication number
KR102584832B1
KR102584832B1 KR1020230008973A KR20230008973A KR102584832B1 KR 102584832 B1 KR102584832 B1 KR 102584832B1 KR 1020230008973 A KR1020230008973 A KR 1020230008973A KR 20230008973 A KR20230008973 A KR 20230008973A KR 102584832 B1 KR102584832 B1 KR 102584832B1
Authority
KR
South Korea
Prior art keywords
user
data
learning model
deep learning
biosignal
Prior art date
Application number
KR1020230008973A
Other languages
English (en)
Inventor
최계원
천세원
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020230008973A priority Critical patent/KR102584832B1/ko
Application granted granted Critical
Publication of KR102584832B1 publication Critical patent/KR102584832B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시예에 따른 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 딥러닝 모델 학습 방법으로서, 사용자의 왼쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 왼발 동작에 관한 제1 생체 신호 데이터를 획득하는 단계; 상기 사용자의 오른쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 오른발 동작에 관한 제2 생체 신호 데이터를 획득하는 단계; 상기 제1 생체 신호 데이터를 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 왼발 동작에 대응되는 제1 라벨 데이터를 결정하는 단계; 상기 제2 생체 신호 데이터를 상기 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 오른발 동작에 대응되는 제2 라벨 데이터를 결정하는 단계; 및 상기 제1 라벨 데이터 및 상기 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 상기 딥러닝 모델을 학습시키는 단계를 포함할 수 있다.

Description

생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 딥러닝 모델 학습 방법 및 상기 방법을 수행하는 딥러닝 모델 학습 장치 {METHOD OF TRAINING DEEP LEARNING MODEL TO REALIZE MOTION OF AVATAR IN VIRTUAL WORLD BASED ON BIOSIGNAL ANALYSIS AND MENTAL DEEP LEARNING MODEL TRAINING DEVICE PERFORMING METHOD}
본 발명은 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 딥러닝 모델 학습 방법 및 상기 방법을 수행하는 딥러닝 모델 학습 장치에 관한 것이다.
인간과 컴퓨터의 상호작용을 위한 환경은 컴퓨터와 콘솔게임으로 모니터를 보며 즐기던 2차원 게임의 환경에서 3차원으로 체험하는 가상 현실, 증강 현실, 확장 현실과 같은 환경으로 변화하고 있다. 특히, 위의 환경들을 이용하여 현실과 비현실이 공존 가능한 세계인 메타버스(metaverse)는 인터넷의 시대를 넘어 다음 시대를 주도할 새로운 환경으로 주목 받고 있다.
사용자는 메타버스 환경 내에서 아바타가 특정 동작을 수행하도록 조작하면서 가상 현실 속 오브젝트와 상호작용하게 되는데, 키보드와 마우스와 같은 종래의 입력 장치로는 아바타의 조작에 대한 정밀도 혹은 정확도는 떨어질 수 밖에 없다는 한계가 있다.
또한, 종래에 존재하는 사용자의 움직임을 추정하는 시스템은 카메라와 여러 센서의 결과를 종합하여 아바타의 동작을 추정하는 방식이므로, 많은 장비를 필요로 함과 동시에 공간적, 비용적인 제약이 존재한다는 한계가 있는 실정이다.
한편, 딥러닝 기술이 발전함에 따라 이를 이용한 생체 신호 분석에 대한 관심이 커지고 있고, 생체 신호를 수집하기에 적합한 디바이스와 수집된 데이터를 분석하고 처리할 수 있는 시스템에 관한 연구가 활발히 진행 중이다.
생체 신호로부터 사용자의 작은 동작을 구분할 수 있으며, 실시간으로 수집된 생체 신호로부터 구분되는 사용자의 작은 동작에 따라 아바타의 동작을 조작하는 경우에는 비용적, 공간적, 시간적 제약을 극복할 수 있다.
이에, 본 발명자(들)은 사용자의 왼쪽 다리 및 오른쪽 다리에 부착되는 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 생체 신호 데이터를 획득하고, 상기 획득한 생체 신호 데이터를 사전 학습된 딥러닝 모델에 입력하여 상기 사용자에 대응되는 아바타의 동작을 추론할 수 있도록 하는 진보된 기술을 제안하는 바이다.
일본등록특허공보 제4078419호(2008.02.15)
본 발명이 해결하고자 하는 과제는, 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 딥러닝 모델 학습 방법으로서, 사용자의 왼쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 왼발 동작에 관한 제1 생체 신호 데이터를 획득하고, 상기 사용자의 오른쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 오른발 동작에 관한 제2 생체 신호 데이터를 획득하고, 상기 제1 생체 신호 데이터를 딥러닝 모델에 입력하여 대한 유사도 분석을 수행함으로써 상기 사용자의 왼발 동작에 대응되는 제1 라벨 데이터를 결정하고, 상기 제2 생체 신호 데이터를 상기 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 오른발 동작에 대응되는 제2 라벨 데이터를 결정하고, 상기 제1 라벨 데이터 및 상기 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 상기 딥러닝 모델을 학습시키는 딥러닝 모델 학습 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 다른 과제는, 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 아바타 제어 방법으로서, 사용자의 왼쪽 다리 및 오른쪽 다리에 부착되는 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 생체 신호 데이터를 획득하고. 상기 획득한 생체 신호 데이터를 사전 학습된 딥러닝 모델에 입력하여 상기 사용자에 대응되는 아바타의 동작을 추론하고, 상기 딥러닝 모델은, 상기 사용자의 왼발 동작에 대응되는 제1 라벨 데이터 및 상기 사용자의 오른발 동작에 대응되는 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 학습되는 것인 아바타 제어 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 딥러닝 모델 학습 방법은, 사용자의 왼쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 왼발 동작에 관한 제1 생체 신호 데이터를 획득하는 단계; 상기 사용자의 오른쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 오른발 동작에 관한 제2 생체 신호 데이터를 획득하는 단계; 상기 제1 생체 신호 데이터를 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 왼발 동작에 대응되는 제1 라벨 데이터를 결정하는 단계; 상기 제2 생체 신호 데이터를 상기 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 오른발 동작에 대응되는 제2 라벨 데이터를 결정하는 단계; 및 상기 제1 라벨 데이터 및 상기 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 상기 딥러닝 모델을 학습시키는 단계를 포함할 수 있다.
여기서, 상기 제1 생체 신호 데이터 및 상기 제2 생체 신호 데이터는 시간의 흐름에 기초하여 연속적으로 획득될 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제1 생체 신호 데이터 및 상기 제2 생체 신호 데이터를 전처리하는 단계를 더 포함하고, 상기 제1 생체 신호 데이터 및 상기 제2 생체 신호 데이터를 전처리하는 단계는, 교류 전압 및 고조파에 관한 노이즈를 제거하는 단계를 포함할 수 있다.
또한, 상기 제1 라벨 데이터는 상기 제1 생체 신호 데이터 중에서 상기 사용자의 왼발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 왼발의 방향을 정하는 동작 중 적어도 하나의 동작에 관한 제1 생체 신호 데이터에 기초하여 결정되고, 상기 제2 라벨 데이터는 상기 제2 생체 신호 데이터 중에서 상기 사용자의 오른발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 오른발의 방향을 정하는 동작 중 적어도 하나의 동작에 관한 제2 생체 신호 데이터에 기초하여 결정될 수 있다.
여기서, 상기 제1 라벨 데이터는 상기 사용자의 왼발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 왼발의 방향을 정하는 동작 중 적어도 하나의 동작에 대한 과정에 대응되는 소정의 시점 구간의 제1 생체 신호 시퀀스 데이터에 기초하여 결정되고, 상기 제2 라벨 데이터는 상기 사용자의 오른발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 오른발의 방향을 정하는 동작 중 적어도 하나의 동작에 대한 과정에 대응되는 소정의 시점 구간의 제2 생체 신호 시퀀스 데이터에 기초하여 결정될 수 있다.
한편, 본 발명의 일 실시예에 따른 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 아바타 제어 방법은, 사용자의 왼쪽 다리 및 오른쪽 다리에 부착되는 적어도 하나의 전극 내 적어도 하나의 채널으로부터 생체 신호 데이터를 획득하는 단계; 및 상기 획득한 생체 신호 데이터를 사전 학습된 딥러닝 모델에 입력하여 상기 사용자에 대응되는 아바타의 동작을 추론하는 단계를 포함할 수 있다.
여기서, 상기 딥러닝 모델은, 상기 사용자의 왼발 동작에 대응되는 제1 라벨 데이터 및 상기 사용자의 오른발 동작에 대응되는 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 학습될 수 있다.
본 발명의 다른 실시예에 따른 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 딥러닝 모델 학습 장치는, 딥러닝 모델 학습 프로그램이 저장된 메모리; 및 상기 메모리에서 상기 딥러닝 모델 학습 프로그램을 로드하여, 상기 딥러닝 모델 학습 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는, 사용자의 왼쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 왼발 동작에 관한 제1 생체 신호 데이터를 획득하고, 상기 사용자의 오른쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 오른발 동작에 관한 제2 생체 신호 데이터를 획득하고, 상기 제1 생체 신호 데이터를 딥러닝 모델에 입력하여 대한 유사도 분석을 수행함으로써 상기 사용자의 왼발 동작에 대응되는 제1 라벨 데이터를 결정하고, 상기 제2 생체 신호 데이터를 상기 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 오른발 동작에 대응되는 제2 라벨 데이터를 결정하고, 상기 제1 라벨 데이터 및 상기 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 상기 딥러닝 모델을 학습시킬 수 있다.
여기서, 상기 프로세서는, 상기 제1 생체 신호 데이터 및 상기 제2 생체 신호 데이터를 시간의 흐름에 기초하여 연속적으로 획득할 수 있다.
또한, 상기 프로세서는, 상기 제1 생체 신호 데이터 및 상기 제2 생체 신호 데이터에 대하여 교류 전압 및 고조파에 관한 노이즈를 제거하는 전처리를 수행할 수 있다.
또한, 상기 프로세서는, 상기 제1 생체 신호 데이터 중에서 상기 사용자의 왼발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 왼발의 방향을 정하는 동작 중 적어도 하나의 동작에 관한 제1 생체 신호 데이터에 기초하여 상기 제1 라벨 데이터를 결정하고, 상기 제2 생체 신호 데이터 중에서 상기 사용자의 오른발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 오른발의 방향을 정하는 동작 중 적어도 하나의 동작에 관한 제2 생체 신호 데이터에 기초하여 상기 제2 라벨 데이터를 결정할 수 있다.
또한, 상기 프로세서는, 상기 사용자의 왼발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 왼발의 방향을 정하는 동작 중 적어도 하나의 동작에 대한 과정에 대응되는 소정의 시점 구간의 제1 생체 신호 시퀀스 데이터에 기초하여 상기 제1 라벨 데이터를 결정하고, 상기 사용자의 오른발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 오른발의 방향을 정하는 동작 중 적어도 하나의 동작에 대한 과정에 대응되는 소정의 시점 구간의 제2 생체 신호 시퀀스 데이터에 기초하여 상기 제2 라벨 데이터를 결정할 수 있다.
본 발명의 다른 실시예에 따른 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 아바타 제어 장치는, 아바타 제어 프로그램이 저장된 메모리; 및 상기 메모리에서 상기 아바타 제어 프로그램을 로드하여, 상기 아바타 제어 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는, 사용자의 왼쪽 다리 및 오른쪽 다리에 부착되는 적어도 하나의 전극 내 적어도 하나의 채널으로부터 생체 신호 데이터를 획득하고, 상기 획득한 생체 신호 데이터를 사전 학습된 딥러닝 모델에 입력하여 상기 사용자에 대응되는 아바타의 동작을 추론할 수 있다.
여기서, 상기 딥러닝 모델은, 상기 사용자의 왼발 동작에 대응되는 제1 라벨 데이터 및 상기 사용자의 오른발 동작에 대응되는 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 사전 학습될 수 있다.
본 발명의 다른 일 실시예에 따른 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체는, 사용자의 왼쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 왼발 동작에 관한 제1 생체 신호 데이터를 획득하는 단계; 상기 사용자의 오른쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 오른발 동작에 관한 제2 생체 신호 데이터를 획득하는 단계; 상기 제1 생체 신호 데이터를 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 왼발 동작에 대응되는 제1 라벨 데이터를 결정하는 단계; 상기 제2 생체 신호 데이터를 상기 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 오른발 동작에 대응되는 제2 라벨 데이터를 결정하는 단계; 및 상기 제1 라벨 데이터 및 상기 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 상기 딥러닝 모델을 학습시키는 단계를 포함하는 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 딥러닝 모델 학습 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.
본 발명의 다른 일 실시예에 따른 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램은, 사용자의 왼쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 왼발 동작에 관한 제1 생체 신호 데이터를 획득하는 단계; 상기 사용자의 오른쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 오른발 동작에 관한 제2 생체 신호 데이터를 획득하는 단계; 상기 제1 생체 신호 데이터를 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 왼발 동작에 대응되는 제1 라벨 데이터를 결정하는 단계; 상기 제2 생체 신호 데이터를 상기 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 오른발 동작에 대응되는 제2 라벨 데이터를 결정하는 단계; 및 상기 제1 라벨 데이터 및 상기 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 상기 딥러닝 모델을 학습시키는 단계를 포함하는 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 딥러닝 모델 학습 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.
본 발명의 실시예에 의하면, 사용자의 연속적인 움직임에 대응되는 생체 신호 시퀀스 데이터에 기초하여 라벨 데이터가 결정됨으로써, 사용자에 대응되는 아바타의 연속적인 동작을 추론할 수 있을 뿐만 아니라, 가상 세계에서 아바타의 동작을 실시간으로 부드럽게 구현할 수 있게 되는 효과가 달성될 수 있다.
또한, 본 발명의 실시예에 의하면, 사용자의 왼발 동작에 대응되는 아바타의 동작 및 사용자의 오른발 동작에 대응되는 아바타의 동작이 동시에 수행되도록 딥러닝 모델을 학습시킴으로써, 가상 세계에서 아바타의 다양한 동작을 구현할 수 있는 효과가 달성될 수 있다.
도 1은 본 발명의 실시예에 따른 딥러닝 모델 학습 장치를 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 딥러닝 모델 학습 프로그램의 기능을 개념적으로 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 딥러닝 모델 학습 방법을 나타내는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 생체 신호 시퀀스 데이터에 기초하여 라벨 데이터를 결정하는 과정을 예시적으로 나타내는 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 사용자에 대응되는 아바타의 동작 및 상기 아바타의 동작을 추론하기 위하여 결정되는 제1 라벨 데이터 및 제2 라벨 데이터를 예시적으로 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 제1 라벨 데이터 및 제2 라벨 데이터의 조합을 예시적으로 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 아바타 제어 프로그램의 기능을 개념적으로 나타내는 블록도이다.
도 9는 본 발명의 일 실시예에 따른 딥러닝 모델의 학습 방법을 나타내는 블록도이다.
도 10은 본 발명의 일 실시예에 따른 아바타 제어 방법을 나타내는 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 딥러닝 모델 학습 장치를 나타내는 블록도이다.
도 1을 참조하면, 딥러닝 모델 학습 장치(100)는 프로세서(110), 입출력 장치(120) 및 메모리(130)를 포함할 수 있다.
프로세서(110)는 딥러닝 모델 학습 장치(100)의 동작을 전반적으로 제어할 수 있다.
프로세서(110)는, 입출력 장치(120)를 이용하여, 사용자의 왼발 동작에 관한 제1 생체 신호 데이터를 입력 받을 수 있다. 또한, 프로세서(110)는, 입출력 장치(120)를 이용하여, 사용자의 오른발 동작에 관한 제2 생체 신호 데이터를 입력 받을 수 있다.
본 발명의 일 실시예에 따른 입출력 장치(120)는 사용자의 왼쪽 다리 및 오른쪽 다리에 부착된 적어도 하나의 전극을 포함할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 입출력 장치(120)는 왼쪽 다리의 앞쪽의 앞정강근에 부착된 한 쌍의 전극, 왼쪽 다리의 앞쪽의 긴엄지폄근에 부착된 한 쌍의 전극, 왼쪽 다리의 뒤쪽의 장단지근에 부착된 두 쌍의 전극, 왼쪽 다리의 뒤쪽의 가자미근에 부착된 두 쌍의 전극, 왼쪽 다리의 뒤쪽의 긴종아리근에 부착된 두 쌍의 전극을 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 입출력 장치(120)는 오른쪽 다리의 앞쪽의 앞정강근에 부착된 한 쌍의 전극, 오른쪽 다리의 앞쪽의 긴엄지폄근에 부착된 한 쌍의 전극, 오른쪽 다리의 뒤쪽의 장단지근에 부착된 두 쌍의 전극, 오른쪽 다리의 뒤쪽의 가자미근에 부착된 두 쌍의 전극, 오른쪽 다리의 뒤쪽의 긴종아리근에 부착된 두 쌍의 전극을 포함할 수 있다.
보다 구체적으로, 본 발명의 일 실시예에 따른 한 쌍의 전극 사이의 거리는 1cm가 넘지 않으며, 상기 전극은 직물(fabric)로 구성될 수 있으며, 어레이의 형태(즉, 한 쌍의 전극들이 평행하게 위치하는 형태)로 배치될 수 있다.
본 발명의 일 실시예에 따라 한 쌍의 전극으로부터 1개의 채널이 형성될 수 있으며, 입출력 장치(120)는 총 16개의 채널을 이용하여 사용자의 왼발 동작에 관한 제1 생체 신호 데이터 및 사용자의 오른발 동작에 관한 제2 생체 신호 데이터를 입력받을 수 있다.
다만, 본 발명의 일 실시예에 따라 입출력 장치(120)에 포함되는 전극의 수, 한 쌍의 전극 사이의 거리, 종류 및 배치 형태는 예시일 뿐, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다.
본 발명에서는, 사용자의 왼발 동작에 관한 제1 생체 신호 데이터 및 사용자의 오른발 동작에 관한 제2 생체 신호 데이터는 입출력 장치(120)를 통해 입력되는 것으로 설명하였지만, 이에 한정되지 않는다. 즉, 실시예에 따라, 딥러닝 모델 학습 장치(100)는 송수신기(미도시)를 포함할 수 있고, 딥러닝 모델 학습 장치(100)는 송수신기(미도시)를 이용하여 사용자의 왼발 동작에 관한 제1 생체 신호 데이터 및 사용자의 오른발 동작에 관한 제2 생체 신호 데이터 중 적어도 하나를 수신할 수도 있으며, 사용자의 왼발 동작에 관한 제1 생체 신호 데이터 및 사용자의 오른발 동작에 관한 제2 생체 신호 데이터 중 적어도 하나는 딥러닝 모델 학습 장치(100) 내에서 생성될 수도 있다.
여기서, 생체 신호 데이터는, 사용자의 근육 세포가 전기적으로 혹은 신경적으로 활성화될 때 발생하는 전기적인 포텐셜에 관한 근전도(EMG, electromyogram) 데이터를 의미할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 제1 생체 신호 데이터는 사용자의 왼쪽 다리의 근육 세포에 대한 근전도 데이터를 의미할 수 있다. 또한, 본 발명의 일 실시예예 따른 제2 생체 신호 데이터는 사용자의 오른쪽 다리의 근육 세포에 대한 근전도 데이터를 의미할 수 있다.
프로세서(110)는 사용자의 왼쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 왼발 동작에 관한 제1 생체 신호 데이터를 획득하고, 상기 사용자의 오른쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 오른발 동작에 관한 제2 생체 신호 데이터를 획득하고, 상기 제1 생체 신호 데이터를 딥러닝 모델에 입력하여 대한 유사도 분석을 수행함으로써 상기 사용자의 왼발 동작에 대응되는 제1 라벨 데이터를 결정하고, 상기 제2 생체 신호 데이터를 상기 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 오른발 동작에 대응되는 제2 라벨 데이터를 결정하고, 상기 제1 라벨 데이터 및 상기 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 상기 딥러닝 모델을 학습시킬 수 있다.
입출력 장치(120)는 하나 이상의 입력 장치 및/또는 하나 이상의 출력 장치를 포함할 수 있다. 예컨대, 입력 장치는 마이크, 키보드, 마우스, 터치 스크린 등을 포함하고, 출력 장치는 디스플레이, 스피커 등을 포함할 수 있다.
메모리(130)는 딥러닝 모델 학습 프로그램(200) 및 딥러닝 모델 학습 프로그램(200)의 실행에 필요한 정보를 저장할 수 있다.
본 명세서에서 딥러닝 모델 학습 프로그램(200)은 사용자의 왼발 동작에 관한 제1 생체 신호 데이터 및 사용자의 오른발 동작에 관한 제2 생체 신호 데이터를 입력 받고, 상기 사용자에 대응되는 아바타의 동작을 추론하도록 딥러닝 모델을 학습시키기 위한 명령어들을 포함하는 소프트웨어를 의미할 수 있다.
프로세서(110)는 딥러닝 모델 학습 프로그램(200)을 실행하기 위하여 메모리(130)에서 딥러닝 모델 학습 프로그램(200) 및 딥러닝 모델 학습 프로그램(200)의 실행에 필요한 정보를 로드할 수 있다.
프로세서(110)는, 딥러닝 모델 학습 프로그램(200)을 실행하여, 사용자에 대응되는 아바타의 동작을 추론하도록 딥러닝 모델을 학습시킬 수 있다.
딥러닝 모델 학습 프로그램(200)의 기능 및/또는 동작에 대하여는 도 2를 통해 상세하게 살펴보기로 한다.
도 2는 본 발명의 실시예에 따른 딥러닝 모델 학습 프로그램의 기능을 개념적으로 나타내는 블록도이다.
도 2를 참조하면, 딥러닝 모델 학습 프로그램(200)은 생체 신호 데이터 수집부(210), 라벨 데이터 결정부(220) 및 딥러닝 모델 학습부(230)를 포함할 수 있다.
도 2에 도시된 생체 신호 데이터 수집부(210), 라벨 데이터 결정부(220) 및 딥러닝 모델 학습부(230)는 딥러닝 모델 학습 프로그램(200)의 기능을 쉽게 설명하기 위하여 딥러닝 모델 학습 프로그램(200)의 기능을 개념적으로 나눈 것으로서, 이에 한정되지 않는다. 실시예들에 따라, 생체 신호 데이터 수집부(210), 라벨 데이터 결정부(220) 및 딥러닝 모델 학습부(230)의 기능은 병합/분리 가능하며, 하나의 프로그램에 포함된 일련의 명령어들로 구현될 수도 있다.
먼저, 생체 신호 데이터 수집부(210)는, 사용자의 왼쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 왼발 동작에 관한 제1 생체 신호 데이터를 획득할 수 있다.
예를 들어, 생체 신호 데이터 수집부(210)는 사용자의 왼쪽 다리의 앞쪽의 앞정강근에 부착된 한 쌍의 전극, 왼쪽 다리의 앞쪽의 긴엄지폄근에 부착된 한 쌍의 전극, 왼쪽 다리의 뒤쪽의 장단지근에 부착된 두 쌍의 전극, 왼쪽 다리의 뒤쪽의 가자미근에 부착된 두 쌍의 전극, 왼쪽 다리의 뒤쪽의 긴종아리근에 부착된 두 쌍의 전극 내 총 8개의 채널을 이용하여 상기 사용자의 왼발 동작에 관한 제1 근전도 데이터를 획득할 수 있다.
또한, 생체 신호 데이터 수집부(210)는, 사용자의 오른쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 오른발 동작에 관한 제1 생체 신호 데이터를 획득할 수 있다.
예를 들어, 생체 신호 데이터 수집부(210)는 사용자의 오른쪽 다리의 앞쪽의 앞정강근에 부착된 한 쌍의 전극, 오른쪽 다리의 앞쪽의 긴엄지폄근에 부착된 한 쌍의 전극, 오른쪽 다리의 뒤쪽의 장단지근에 부착된 두 쌍의 전극, 오른쪽 다리의 뒤쪽의 가자미근에 부착된 두 쌍의 전극, 오른쪽 다리의 뒤쪽의 긴종아리근에 부착된 두 쌍의 전극 내 총 8개의 채널을 이용하여 상기 사용자의 오른발 동작에 관한 제2 근전도 데이터를 획득할 수 있다.
상기 근육들은 피부에 가깝게 위치하므로 피부 표면에서 근전도가 쉽게 수집될 수 있는 효과가 달성될 수 있다.
또한, 상기 근육들은 하체의 근육 중에서 움직임이 가장 큰 종아리와 연관된 근육으로서, 사용자의 작은 동작으로부터 큰 크기의 근전도가 발생하고, 사용자의 작은 동작과 사용자에 대응되는 아바타의 큰 동작을 매칭시킬 경우에 가상 세계에서 사용자에 대응되는 아바타의 큰 동작을 구현하는 데 있어서 누적되는 피로가 적어지는 효과가 달성될 수 있다.
한편, 생체 신호 데이터 수집부(210)는, 시간의 흐름에 기초하여 상기 제1 생체 신호 데이터 및 상기 제2 생체 신호 데이터를 연속적으로 획득할 수 있다.
예를 들어, 생체 신호 데이터 수집부(210)는 250Hz 이상의 주파수로 일정한 간격마다 제1 근전도 데이터 및 제2 근전도 데이터를 정밀하게 수집할 수 있다.
다른 예를 들어, 생체 신호 데이터 수집부(210)는 아날로그 신호인 제1 근전도 데이터 및 제2 근전도 데이터가 디지털 신호로 변환될 때, 생체 신호가 적절하게 수집될 수 있도록 주파수에 대한 필터(예를 들어, 대역 필터) 설정을 변경할 수 있다.
한편, 생체 신호 데이터 수집부(210)는, 상기 제1 생체 신호 데이터 및 상기 제2 생체 신호 데이터를 전처리할 수 있다.
예를 들어, 생체 신호 데이터 수집부(210)는 교류 전압 및 고조파에 관한 노이즈를 제거할 수 있다.
본 발명의 일 실시예에 따른 제1 생체 신호 데이터 및 제2 생체 신호 데이터를 수집하는 과정에서 일반적인 전원에 의해 만들어지는 60Hz나 50Hz의 교류 전압이 같이 수집되므로, 교류 전압 및 고조파에 관한 노이즈가 제거될 필요성이 있다.
또한, 본 발명의 일 실시예에 따라 노이즈가 제거된 제1 생체 신호 데이터 및 제2 생체 신호 데이터는 후술할 딥러닝 모델에 입력될 수 있다.
다음으로, 라벨 데이터 결정부(220)는, 상기 제1 생체 신호 데이터를 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 왼발 동작에 대응되는 제1 라벨 데이터를 결정할 수 있다.
또한, 라벨 데이터 결정부(220)는, 상기 제2 생체 신호 데이터를 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 오른발 동작에 대응되는 제2 라벨 데이터를 결정할 수 있다.
여기서, 본 발명의 일 실시예에 따른 딥러닝 모델은 시계열 데이터에 대한 유사도 분석에 큰 성능을 지닌 트랜스포머(transformer) 계열의 모델을 의미할 수 있다. 구체적으로, 상기 딥러닝 모델에 제1 생체 신호 데이터 및 제2 생체 신호 데이터가 입력되는 경우, 제1 생체 신호 데이터 사이의 유사도 및 제2 생체 신호 데이터 사이의 유사도를 비교하여 시간에 따라 입력되는 생체 신호 데이터에 대응되는 사용자의 동작, 행동 또는 자세가 분류될 수 있다.
구체적으로, 라벨 데이터 결정부(220)는, 상기 제1 생체 신호 데이터 중에서 상기 사용자의 왼발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 왼발의 방향을 정하는 동작 중 적어도 하나의 동작에 관한 제1 생체 신호 데이터에 기초하여 상기 제1 라벨 데이터를 결정할 수 있다.
또한, 라벨 데이터 결정부(220)는, 상기 제2 생체 신호 데이터 중에서 상기 사용자의 오른발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 오른발의 방향을 정하는 동작 중 적어도 하나의 동작에 관한 제2 생체 신호 데이터에 기초하여 상기 제2 라벨 데이터를 결정할 수 있다.
보다 구체적으로, 라벨 데이터 결정부(220)는 제1 생체 신호 데이터 및 제2 생체 신호 데이터가 입력되어 딥러닝 모델이 출력하는 결과에 라벨 스무딩(label smoothing)을 적용함으로써 결정되는 상기 제1 생체 신호 데이터 및 제2 생체 신호 데이터의 피크(peak)가 임계값을 넘는 경우, 상기 적어도 하나의 동작에 관한 제1 생체 신호 데이터에 기초하여 제1 라벨 데이터를 결정할 수 있고, 상기 적어도 하나의 동작에 관한 제2 생체 신호 데이터에 기초하여 제2 라벨 데이터를 결정할 수 있다.
한편, 라벨 데이터 결정부(220)는, 상기 사용자의 왼발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 왼발의 방향을 정하는 동작 중 적어도 하나의 동작에 대한 과정에 대응되는 소정의 시점 구간의 제1 생체 신호 시퀀스 데이터에 기초하여 상기 제1 라벨 데이터를 결정할 수 있다.
또한, 라벨 데이터 결정부(220)는, 상기 사용자의 오른발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 오른발의 방향을 정하는 동작 중 적어도 하나의 동작에 대한 과정에 대응되는 소정의 시점 구간의 제2 생체 신호 시퀀스 데이터에 기초하여 상기 제2 라벨 데이터를 결정할 수 있다.
보다 구체적으로, 라벨 데이터 결정부(220)는 상기 적어도 하나의 동작에 대한 과정(예를 들어, 동작이 발생하고, 상기 동작에 따른 자세가 유지되고, 그리고 원래대로 돌아오기까지의 과정)에 대응되는 소정의 시점 구간의 제1 생체 신호 시퀀스 데이터 및 제2 생체 신호 시퀀스 데이터에 기초하여 제1 라벨 데이터 및 제2 라벨 데이터를 각각 결정할 수 있다.
이를 통해, 사용자의 연속적인 움직임에 대응되는 생체 신호 시퀀스 데이터에 기초하여 라벨 데이터가 결정됨으로써, 사용자에 대응되는 아바타의 연속적인 동작을 추론할 수 있을 뿐만 아니라 가상 세계에서 아바타의 동작을 실시간으로 부드럽게 구현할 수 있게 되는 효과가 달성될 수 있다.
다음으로, 딥러닝 모델 학습부(230)는, 상기 제1 라벨 데이터 및 상기 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 상기 딥러닝 모델을 학습시킬 수 있다.
예를 들어, 딥러닝 모델 학습부(230)는 사용자의 왼발 동작에 대응되는 제1 라벨 데이터 및 사용자의 오른발 동작에 대응되는 제2 라벨 데이터에 대한 조합을 통해 결정되는 제3 라벨 데이터에 기초하여 사용자에 대응되는 아바타의 다양한 동작을 추론하도록 상기 딥러닝 모델을 학습시킬 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 사용자의 왼발 동작(예를 들어, 왼발의 뒷꿈치를 드는 동작 및 왼발의 방향을 바깥쪽으로 하는 동작)에 대응되는 제1 라벨 데이터(예를 들어, 2차원의 [+, +])과 사용자의 오른발 동작(오른발의 뒷꿈치를 드는 동작 및 오른발의 방향을 안쪽으로 하는 동작)에 대응되는 제2 라벨 데이터(예를 들어, 2차원의 [+, -])를 조합에 기초하여 제3 라벨 데이터(예를 들어, 4차원의 [0, +, +, -])가 결정될 수 있다.
이를 통해, 아바타가 제1 라벨 데이터에 대응되는 동작 및 제2 라벨 데이터에 대응되는 동작을 동시에 수행하도록 함으로써, 가상 세계에서 아바타의 동작의 다양성을 확보할 수 있다는 효과가 달성될 수 있다.
도 3은 본 발명의 일 실시예에 따른 딥러닝 모델 학습 방법을 나타내는 흐름도이다.
도 2 및 도 3을 참조하면, 생체 신호 데이터 수집부(210)는, 사용자의 왼쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 왼발 동작에 관한 제1 생체 신호 데이터를 획득하고, 상기 사용자의 오른쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 오른발 동작에 관한 제2 생체 신호 데이터를 획득할 수 있고(S310), 라벨 데이터 결정부(220)는, 상기 제1 생체 신호 데이터를 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 왼발 동작에 대응되는 제1 라벨 데이터를 결정하고, 상기 제2 생체 신호 데이터를 상기 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 오른발 동작에 대응되는 제2 라벨 데이터를 결정할 수 있고(S320), 딥러닝 모델 학습부(230)는, 상기 제1 라벨 데이터 및 상기 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 상기 딥러닝 모델을 학습시킬 수 있다(S330).
도 4는 본 발명의 일 실시예에 따른 생체 신호 시퀀스 데이터에 기초하여 라벨 데이터를 결정하는 과정을 예시적으로 나타내는 도면이다.
도 2 내지 도 4를 참조하면, 연속적인 움직임에 대응되는 생체 신호 시퀀스 데이터는 동작이 취해지는 구간(401), 자세가 유지되는 구간(402) 및 기존 자세로 돌아오는 구간(403)을 포함할 수 있고, 라벨 데이터 결정부(220)는 상기 생체 신호 시퀀스 데이터에 기초하여 라벨 데이터를 결정할 수 있다.
이를 통해, 사용자에 대응되는 아바타의 연속적인 동작을 추론할 수 있을 뿐만 아니라 가상 세계에서 아바타의 동작을 부드럽게 구현할 수 있게 되는 효과가 달성될 수 있다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 사용자에 대응되는 아바타의 동작 및 상기 아바타의 동작을 추론하기 위하여 결정되는 제1 라벨 데이터 및 제2 라벨 데이터를 예시적으로 나타내는 도면이다.
도 5를 참조하면, 아바타의 1번 동작(또는 행동)은 정지 상태를 의미할 수 있고, 아바타의 2, 3 및 4번 동작(또는 행동)은 화살표에 나타난 방향으로 앞으로 걷는 동작을 의미할 수 있고, 아바타의 5, 6 및 7번 동작(또는 행동)은 화살표에 나타난 방향으로 뒤로 걷는 동작을 의미할 수 있고, 아바타의 8 및 9번 동작(또는 행동)은 각각 좌 방향 또는 우 방향으로 회전하는 동작을 의미할 수 있고, 아바타의 10번 동작(또는 행동)은 점프하는 동작을 의미할 수 있다.
또한, 도 2, 도 5 및 도 6을 참조하면, 라벨 데이터 결정부(220)는 사용자의 왼발 동작에 대응되는 2차원의 제1 라벨 데이터 및 사용자의 오른발 동작에 대응되는 2차원의 제2 라벨 데이터를 결정할 수 있다.
여기서, 제1 라벨 데이터 및 제2 라벨 데이터의 0차원은 뒷꿈치를 드는 동작 또는 앞꿈치를 드는지에 관한 라벨(예를 들어, 뒷꿈치를 드는 것은 '+', 앞꿈치를 드는 것은 '-')을 의미할 수 있고, 상기 제1 라벨 데이터 및 제2 라벨 데이터의 1차원은 발의 방향이 바깥쪽인지 또는 안쪽인지에 관한 라벨(예를 들어, 발의 바깥쪽 방향은 '+', 발의 안쪽 방향은 '-')을 의미할 수 있다.
예를 들어, 라벨 데이터 결정부(220)는 아바타의 1번 동작에 대응되는 사용자의 왼발 동작에 관한 제1 라벨 데이터를 [0, 0]으로 결정할 수 있고, 아바타의 1번 동작에 대응되는 사용자의 오른발 동작에 관한 제2 라벨 데이터를 [0, 0]으로 결정할 수 있다.
다른 예를 들어, 라벨 데이터 결정부(220)는 아바타의 5번 동작에 대응되는 사용자의 왼발 동작에 관한 제1 라벨 데이터를 [-, -]로 결정할 수 있고, 아바타의 5번 동작에 대응되는 사용자의 오른발 동작에 관한 제2 라벨 데이터를 [-, +]로 결정할 수 있다.
다만, 본 발명의 일 실시예에 따라 결정되는 라벨 데이터의 차원 및 의미는 예시일 뿐, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다.
도 7은 본 발명의 일 실시예에 따른 제1 라벨 데이터 및 제2 라벨 데이터의 조합을 예시적으로 나타내는 도면이다.
도 2 및 도 7을 참조하면, 딥러닝 모델 학습부(230)는 상기 제1 라벨 데이터 및 상기 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 딥러닝 모델을 학습시킬 수 있다.
구체적으로, 라벨 데이터 결정부(220)는 사용자의 왼발 동작에 대응되는 2차원의 제1 라벨 데이터 및 사용자의 오른발 동작에 대응되는 2차원의 제2 라벨 데이터에 대한 조합을 통해 4차원의 제3 라벨 데이터를 결정할 수 있다. 예를 들어, 제3 라벨 데이터는 아바타의 4번 동작에 대응되는 사용자의 왼발 동작에 관한 제1 라벨 데이터인 [+, -]과 아바타의 10번 동작에 대응되는 사용자의 오른발 동작에 관한 제2 라벨 데이터인 [+, 0]을 조합하여 [+, -, +, 0]으로 결정될 수 있다.
그 다음에, 딥러닝 모델 학습부(230)는 제3 라벨 데이터에 기초하여 사용자에 대응되는 아바타의 동작을 추론하도록 딥러닝 모델을 학습시킬 수 있다.
이를 통해, 사용자의 간단한 동작들을 조합함으로써, 가상 세계에서 아바타의 다양한 동작을 구현할 수 있는 효과가 달성될 수 있다.
도 8은 본 발명의 일 실시예에 따른 아바타 제어 프로그램의 기능을 개념적으로 나타내는 블록도이다.
본 발명의 일 실시예에 따른 아바타 제어 프로그램(300)은 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 아바타 제어 장치(미도시됨)에서 실행될 수 있으며, 상기 아바타 제어 장치는 프로세서(미도시됨) 및 메모리(미도시됨)를 포함할 수 있다.
상기 프로세서(미도시됨)는 아바타 제어 장치(미도시됨)의 동작을 전반적으로 제어할 수 있다.
프로세서(미도시됨)는, 사용자의 왼쪽 다리 및 오른쪽 다리에 부착되는 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 생체 신호 데이터를 획득하고, 상기 획득한 생체 신호 데이터를 사전 학습된 딥러닝 모델에 입력하여 상기 사용자에 대응되는 아바타의 동작을 추론할 수 있다.
여기서, 상기 딥러닝 모델은, 상기 사용자의 왼발 동작에 대응되는 제1 라벨 데이터 및 상기 사용자의 오른발 동작에 대응되는 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 사전 학습될 수 있다.
메모리(미도시됨)는 아바타 제어 프로그램(300) 및 아바타 제어 프로그램(300)의 실행에 필요한 정보를 저장할 수 있다.
본 명세서에서 아바타 제어 프로그램(300)은 사용자의 왼쪽 다리 및 오른쪽 다리에 부착되는 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 생체 신호 데이터를 입력 받고, 상기 획득한 생체 신호 데이터를 사전 학습된 딥러닝 모델에 입력하여 상기 사용자에 대응되는 아바타의 동작을 추론하기 위한 명령어들을 포함하는 소프트웨어를 의미할 수 있다.
프로세서(미도시됨)는 아바타 제어 프로그램(300)을 실행하기 위하여 메모리(미도시됨)에서 아바타 제어 프로그램(300) 및 아바타 제어 프로그램(300)의 실행에 필요한 정보를 로드할 수 있다.
프로세서(미도시됨)는, 아바타 제어 프로그램(300)을 실행하여, 사용자에 대응되는 아바타의 동작을 추론할 수 있다.
아바타 제어 프로그램(300)의 기능 및/또는 동작에 대하여는 도 8을 통해 상세하게 살펴보기로 한다.
도 8에 도시된 생체 신호 데이터 획득부(310) 및 아바타 동작 추론부(320)는 아바타 제어 프로그램(300)의 기능을 쉽게 설명하기 위하여 아바타 제어 프로그램(300)의 기능을 개념적으로 나눈 것으로서, 이에 한정되지 않는다. 실시예들에 따라, 생체 신호 데이터 획득부(310) 및 아바타 동작 추론부(320)의 기능은 병합/분리 가능하며, 하나의 프로그램에 포함된 일련의 명령어들로 구현될 수도 있다.
먼저, 생체 신호 데이터 획득부(310)는, 사용자의 왼쪽 다리 및 오른쪽 다리에 부착되는 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 생체 신호 데이터를 획득할 수 있다.
본 발명의 일 실시예에 따른 생체 신호 데이터는 사용자의 근육 세포가 전기적으로 혹은 신경적으로 활성화될 때 발생하는 전기적인 포텐셜에 관한 근전도 데이터를 의미할 수 있다.
다음으로, 아바타 동작 추론부(320)는, 상기 획득한 생체 신호 데이터를 사전 학습된 딥러닝 모델에 입력하여 상기 사용자에 대응되는 아바타의 동작을 추론할 수 있다.
여기서, 본 발명의 일 실시예에 따른 딥러닝 모델은 상기 사용자의 왼발 동작에 대응되는 제1 라벨 데이터 및 상기 사용자의 오른발 동작에 대응되는 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 학습될 수 있다.
도 9는 본 발명의 일 실시예에 따른 딥러닝 모델의 학습 방법을 나타내는 블록도이다.
도 8 및 도 9를 참조하면, 상기 딥러닝 모델(321)은 상기 생체 신호 획득부(310)가 획득한 사용자의 왼발 동작에 관한 제1 생체 신호 데이터 및 사용자의 오른발 동작에 관한 제2 생체 신호 데이터를 입력 받고, 상기 사용자의 왼발 동작에 대응되는 제1 라벨 데이터 및 상기 사용자의 오른발 동작에 대응되는 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 학습될 수 있다.
도 10은 본 발명의 일 실시예에 따른 아바타 제어 방법을 나타내는 흐름도이다.
도 8및 도 10을 참조하면, 생체 신호 데이터 획득부(310)는, 사용자의 왼쪽 다리 및 오른쪽 다리에 부착되는 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 생체 신호 데이터를 획득하고(S410), 아바타 동작 추론부(320)는, 상기 획득한 신호 데이터를 사전 학습된 딥러닝 모델에 입력하여 상기 사용자에 대응되는 아바타의 동작을 추론할 수 있다(S420).
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 딥러닝 모델 학습 장치
200: 딥러닝 모델 학습 프로그램
210: 생체 신호 데이터 수집부
220: 라벨 데이터 결정부
230: 딥러닝 모델 학습부
300: 아바타 제어 프로그램
310: 생체 신호 데이터 획득부
320: 아바타 동작 추론부

Claims (14)

  1. 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위하여 딥러닝 모델 학습 장치를 이용한 딥러닝 모델 학습 방법으로서,
    사용자의 왼쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 왼발 동작에 관한 제1 생체 신호 데이터를 획득하는 단계;
    상기 사용자의 오른쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 오른발 동작에 관한 제2 생체 신호 데이터를 획득하는 단계;
    상기 제1 생체 신호 데이터를 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 왼발 동작에 대응되는 제1 라벨 데이터를 결정하는 단계;
    상기 제2 생체 신호 데이터를 상기 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 오른발 동작에 대응되는 제2 라벨 데이터를 결정하는 단계; 및
    상기 제1 라벨 데이터 및 상기 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 상기 딥러닝 모델을 학습시키는 단계를 포함하고,
    상기 제1 라벨 데이터는 상기 제1 생체 신호 데이터 중에서 상기 사용자의 왼발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 왼발의 방향을 정하는 동작 중 적어도 하나의 동작에 관한 제1 생체 신호 데이터에 기초하여 결정되고,
    상기 제2 라벨 데이터는 상기 제2 생체 신호 데이터 중에서 상기 사용자의 오른발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 오른발의 방향을 정하는 동작 중 적어도 하나의 동작에 관한 제2 생체 신호 데이터에 기초하여 결정되는
    딥러닝 모델 학습 방법.
  2. 제1 항에 있어서,
    상기 제1 생체 신호 데이터 및 상기 제2 생체 신호 데이터는 시간의 흐름에 기초하여 연속적으로 획득되는
    딥러닝 모델 학습 방법.
  3. 제1 항에 있어서,
    상기 제1 생체 신호 데이터 및 상기 제2 생체 신호 데이터를 전처리하는 단계를 더 포함하고,
    상기 제1 생체 신호 데이터 및 상기 제2 생체 신호 데이터를 전처리하는 단계는,
    교류 전압 및 고조파에 관한 노이즈를 제거하는 단계를 포함하는
    딥러닝 모델 학습 방법.
  4. 삭제
  5. 제1 항에 있어서,
    상기 제1 라벨 데이터는 상기 사용자의 왼발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 왼발의 방향을 정하는 동작 중 적어도 하나의 동작에 대한 과정에 대응되는 소정의 시점 구간의 제1 생체 신호 시퀀스 데이터에 기초하여 결정되고,
    상기 제2 라벨 데이터는 상기 사용자의 오른발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 오른발의 방향을 정하는 동작 중 적어도 하나의 동작에 대한 과정에 대응되는 소정의 시점 구간의 제2 생체 신호 시퀀스 데이터에 기초하여 결정되는
    딥러닝 모델 학습 방법.
  6. 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위하여 아바타 제어 장치를 이용한 아바타 제어 방법으로서,
    사용자의 왼쪽 다리 및 오른쪽 다리에 부착되는 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 생체 신호 데이터를 획득하는 단계; 및
    상기 획득한 생체 신호 데이터를 사전 학습된 딥러닝 모델에 입력하여 상기 사용자에 대응되는 아바타의 동작을 추론하는 단계를 포함하고,
    상기 딥러닝 모델은, 상기 사용자의 왼발 동작에 대응되는 제1 라벨 데이터 및 상기 사용자의 오른발 동작에 대응되는 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 학습되는 것이고,
    상기 제1 라벨 데이터는 상기 생체 신호 데이터 중에서 상기 사용자의 왼발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 왼발의 방향을 정하는 동작 중 적어도 하나의 동작에 관한 제1 생체 신호 데이터에 기초하여 결정되고,
    상기 제2 라벨 데이터는 상기 생체 신호 데이터 중에서 상기 사용자의 오른발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 오른발의 방향을 정하는 동작 중 적어도 하나의 동작에 관한 제2 생체 신호 데이터에 기초하여 결정되는
    아바타 제어 방법.
  7. 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 딥러닝 모델 학습 장치로서,
    딥러닝 모델 학습 프로그램이 저장된 메모리; 및
    상기 메모리에서 상기 딥러닝 모델 학습 프로그램을 로드하여, 상기 딥러닝 모델 학습 프로그램을 실행하는 프로세서를 포함하고,
    상기 프로세서는,
    사용자의 왼쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 왼발 동작에 관한 제1 생체 신호 데이터를 획득하고,
    상기 사용자의 오른쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 오른발 동작에 관한 제2 생체 신호 데이터를 획득하고,
    상기 제1 생체 신호 데이터를 딥러닝 모델에 입력하여 대한 유사도 분석을 수행함으로써 상기 사용자의 왼발 동작에 대응되는 제1 라벨 데이터를 결정하고,
    상기 제2 생체 신호 데이터를 상기 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 오른발 동작에 대응되는 제2 라벨 데이터를 결정하고,
    상기 제1 라벨 데이터 및 상기 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 상기 딥러닝 모델을 학습시키고,
    상기 제1 생체 신호 데이터 중에서 상기 사용자의 왼발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 왼발의 방향을 정하는 동작 중 적어도 하나의 동작에 관한 제1 생체 신호 데이터에 기초하여 상기 제1 라벨 데이터를 결정하고,
    상기 제2 생체 신호 데이터 중에서 상기 사용자의 오른발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 오른발의 방향을 정하는 동작 중 적어도 하나의 동작에 관한 제2 생체 신호 데이터에 기초하여 상기 제2 라벨 데이터를 결정하는
    딥러닝 모델 학습 장치.
  8. 제7 항에 있어서,
    상기 프로세서는,
    상기 제1 생체 신호 데이터 및 상기 제2 생체 신호 데이터를 시간의 흐름에 기초하여 연속적으로 획득하는
    딥러닝 모델 학습 장치.
  9. 제7 항에 있어서,
    상기 프로세서는,
    상기 제1 생체 신호 데이터 및 상기 제2 생체 신호 데이터에 대하여 교류 전압 및 고조파에 관한 노이즈를 제거하는 전처리를 수행하는
    딥러닝 모델 학습 장치.
  10. 삭제
  11. 제7 항에 있어서,
    상기 프로세서는,
    상기 사용자의 왼발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 왼발의 방향을 정하는 동작 중 적어도 하나의 동작에 대한 과정에 대응되는 소정의 시점 구간의 제1 생체 신호 시퀀스 데이터에 기초하여 상기 제1 라벨 데이터를 결정하고,
    상기 사용자의 오른발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 오른발의 방향을 정하는 동작 중 적어도 하나의 동작에 대한 과정에 대응되는 소정의 시점 구간의 제2 생체 신호 시퀀스 데이터에 기초하여 상기 제2 라벨 데이터를 결정하는
    딥러닝 모델 학습 장치.
  12. 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 아바타 제어 장치로서,
    아바타 제어 프로그램이 저장된 메모리; 및
    상기 메모리에서 상기 아바타 제어 프로그램을 로드하여, 상기 아바타 제어 프로그램을 실행하는 프로세서를 포함하고,
    상기 프로세서는, 사용자의 왼쪽 다리 및 오른쪽 다리에 부착되는 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 생체 신호 데이터를 획득하고,
    상기 획득한 생체 신호 데이터를 사전 학습된 딥러닝 모델에 입력하여 상기 사용자에 대응되는 아바타의 동작을 추론하고,
    상기 생체 신호 데이터 중에서 상기 사용자의 왼발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 왼발의 방향을 정하는 동작 중 적어도 하나의 동작에 관한 제1 생체 신호 데이터에 기초하여 제1 라벨 데이터를 결정하고,
    상기 생체 신호 데이터 중에서 상기 사용자의 오른발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 오른발의 방향을 정하는 동작 중 적어도 하나의 동작에 관한 제2 생체 신호 데이터에 기초하여 제2 라벨 데이터를 결정하고,
    상기 딥러닝 모델은, 상기 사용자의 왼발 동작에 대응되는 상기 제1 라벨 데이터 및 상기 사용자의 오른발 동작에 대응되는 상기 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 사전 학습되는 것인
    아바타 제어 장치.
  13. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    사용자의 왼쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 왼발 동작에 관한 제1 생체 신호 데이터를 획득하는 단계;
    상기 사용자의 오른쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 오른발 동작에 관한 제2 생체 신호 데이터를 획득하는 단계;
    상기 제1 생체 신호 데이터를 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 왼발 동작에 대응되는 제1 라벨 데이터를 결정하는 단계;
    상기 제2 생체 신호 데이터를 상기 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 오른발 동작에 대응되는 제2 라벨 데이터를 결정하는 단계; 및
    상기 제1 라벨 데이터 및 상기 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 상기 딥러닝 모델을 학습시키는 단계를 포함하고,
    상기 제1 라벨 데이터는 상기 제1 생체 신호 데이터 중에서 상기 사용자의 왼발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 왼발의 방향을 정하는 동작 중 적어도 하나의 동작에 관한 제1 생체 신호 데이터에 기초하여 결정되고,
    상기 제2 라벨 데이터는 상기 제2 생체 신호 데이터 중에서 상기 사용자의 오른발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 오른발의 방향을 정하는 동작 중 적어도 하나의 동작에 관한 제2 생체 신호 데이터에 기초하여 결정되는 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 딥러닝 모델 학습 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 판독 가능한 기록매체.
  14. 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
    사용자의 왼쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 왼발 동작에 관한 제1 생체 신호 데이터를 획득하는 단계;
    상기 사용자의 오른쪽 다리에 부착된 적어도 하나의 전극 내 적어도 하나의 채널을 이용하여 상기 사용자의 오른발 동작에 관한 제2 생체 신호 데이터를 획득하는 단계;
    상기 제1 생체 신호 데이터를 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 왼발 동작에 대응되는 제1 라벨 데이터를 결정하는 단계;
    상기 제2 생체 신호 데이터를 상기 딥러닝 모델에 입력하여 유사도 분석을 수행함으로써 상기 사용자의 오른발 동작에 대응되는 제2 라벨 데이터를 결정하는 단계; 및
    상기 제1 라벨 데이터 및 상기 제2 라벨 데이터의 조합에 기초하여 상기 사용자에 대응되는 아바타의 동작을 추론하도록 상기 딥러닝 모델을 학습시키는 단계를 포함하고,
    상기 제1 라벨 데이터는 상기 제1 생체 신호 데이터 중에서 상기 사용자의 왼발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 왼발의 방향을 정하는 동작 중 적어도 하나의 동작에 관한 제1 생체 신호 데이터에 기초하여 결정되고,
    상기 제2 라벨 데이터는 상기 제2 생체 신호 데이터 중에서 상기 사용자의 오른발의 앞꿈치 또는 뒷꿈치를 드는 동작 및 상기 사용자의 오른발의 방향을 정하는 동작 중 적어도 하나의 동작에 관한 제2 생체 신호 데이터에 기초하여 결정되는 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 딥러닝 모델 학습 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 프로그램.
KR1020230008973A 2023-01-20 2023-01-20 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 딥러닝 모델 학습 방법 및 상기 방법을 수행하는 딥러닝 모델 학습 장치 KR102584832B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230008973A KR102584832B1 (ko) 2023-01-20 2023-01-20 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 딥러닝 모델 학습 방법 및 상기 방법을 수행하는 딥러닝 모델 학습 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230008973A KR102584832B1 (ko) 2023-01-20 2023-01-20 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 딥러닝 모델 학습 방법 및 상기 방법을 수행하는 딥러닝 모델 학습 장치

Publications (1)

Publication Number Publication Date
KR102584832B1 true KR102584832B1 (ko) 2023-10-04

Family

ID=88290116

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230008973A KR102584832B1 (ko) 2023-01-20 2023-01-20 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 딥러닝 모델 학습 방법 및 상기 방법을 수행하는 딥러닝 모델 학습 장치

Country Status (1)

Country Link
KR (1) KR102584832B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170091963A (ko) * 2016-02-02 2017-08-10 삼성전자주식회사 근전도 신호를 이용한 동작 분류 방법 및 장치
CN108829252A (zh) * 2018-06-14 2018-11-16 吉林大学 基于肌电信号的手势输入计算机字符装置及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170091963A (ko) * 2016-02-02 2017-08-10 삼성전자주식회사 근전도 신호를 이용한 동작 분류 방법 및 장치
CN108829252A (zh) * 2018-06-14 2018-11-16 吉林大学 基于肌电信号的手势输入计算机字符装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Maged S. AL-Quraishi et al.,"EEG-Based Control for Upper and Lower Limb Exoskeletons and Prostheses: A Systematic Review," sensors (2018.10.07.)* *

Similar Documents

Publication Publication Date Title
Scherer et al. Toward self-paced brain–computer communication: navigation through virtual worlds
Fang et al. A multichannel surface EMG system for hand motion recognition
Tariq et al. Mu-Beta event-related (de) synchronization and EEG classification of left-right foot dorsiflexion kinaesthetic motor imagery for BCI
Long et al. A hybrid brain computer interface to control the direction and speed of a simulated or real wheelchair
Renard et al. Openvibe: An open-source software platform to design, test, and use brain–computer interfaces in real and virtual environments
JP6067808B2 (ja) ブレイン−マシンインタフェース装置および方法
Jeunet et al. Continuous tactile feedback for motor-imagery based brain-computer interaction in a multitasking context
EP3659016A1 (en) Armband for tracking hand motion using electrical impedance measurement
JPWO2010050113A1 (ja) 移動体制御装置及び移動体制御方法
JPWO2017213202A1 (ja) 運動教示システム及び運動教示方法
Tryon et al. Performance evaluation of EEG/EMG fusion methods for motion classification
Topalović et al. EMG map image processing for recognition of fingers movement
Abbasi-Asl et al. Brain-computer interface in virtual reality
KR102584832B1 (ko) 생체 신호 분석에 기초하여 가상 세계에서 아바타의 동작을 구현하기 위한 딥러닝 모델 학습 방법 및 상기 방법을 수행하는 딥러닝 모델 학습 장치
Özdenizci et al. EEG-based texture roughness classification in active tactile exploration with invariant representation learning networks
Kim et al. Decoding electroencephalographic signals for direction in brain-computer interface using echo state network and Gaussian readouts
Chang et al. Wearable emg-based gesture recognition systems during activities of daily living: An exploratory study
Esfahani et al. Application of NSGA-II in channel selection of motor imagery EEG signals with common spatio-spectral patterns in BCI systems
Baig et al. Analyzing novice and expert user’s cognitive load in using a multi-modal interface system
Rosca et al. Design of a brain-controlled video game based on a BCI system
Wu et al. Classification and simulation of process of linear change for grip force at different grip speeds by using supervised learning based on sEMG
Abhishek et al. Stress analysis of a computer game player using electroencephalogram
Ahmed et al. A non Invasive Brain-Computer-Interface for Service Robotics
Sheng et al. A hand gesture recognition using single-channel electrodes based on artificial neural network
Fernandez-Vargas et al. Real-time hand motion reconstruction system for trans-humeral amputees using EEG and EMG

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant