KR102325269B1 - 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템 - Google Patents

깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템 Download PDF

Info

Publication number
KR102325269B1
KR102325269B1 KR1020190145137A KR20190145137A KR102325269B1 KR 102325269 B1 KR102325269 B1 KR 102325269B1 KR 1020190145137 A KR1020190145137 A KR 1020190145137A KR 20190145137 A KR20190145137 A KR 20190145137A KR 102325269 B1 KR102325269 B1 KR 102325269B1
Authority
KR
South Korea
Prior art keywords
unit
hand
user
emg
arm
Prior art date
Application number
KR1020190145137A
Other languages
English (en)
Other versions
KR20210059079A (ko
Inventor
김도현
임지윤
천해광
Original Assignee
주식회사 지엘
경일대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 지엘, 경일대학교산학협력단 filed Critical 주식회사 지엘
Priority to KR1020190145137A priority Critical patent/KR102325269B1/ko
Publication of KR20210059079A publication Critical patent/KR20210059079A/ko
Application granted granted Critical
Publication of KR102325269B1 publication Critical patent/KR102325269B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 깊이 카메라의 깊이 이미지 정보와 근전도 센서의 근전도 신호를 기반으로 가상공간에서 사용자의 팔 및 손과 상호작용이 가능한 객체를 생성할 수 있는 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템에 관한 것으로, 촬영 영역 내의 사용자의 팔과 손을 촬영하여 사용자의 팔과 손이 포함되는 깊이 이미지 정보를 획득하는 카메라(100); 카메라(100)보다 하측에 위치되는 사용자의 팔에 부착되어 사용자의 팔과 손에 대한 근전도 신호를 측정하고, 근전도 신호를 실시간으로 갱신하는 센서(200); 가상공간에서 상호작용이 가능한 제1 객체를 생성하며, 깊이 이미지 정보와 근전도 신호를 기반으로 가상공간에서 사용자의 팔 및 손과 상호작용이 가능하면서 제1 객체에 도달하여 이벤트 정보를 발생시키는 제2 객체를 생성하고, 제1 객체와 제2 객체가 가상공간에서 상호작용이 가능한지 여부를 판단하는 핸드트래킹 모듈(400); 및 제1 객체가 생성될 제1 생성 좌표, 제1 객체의 크기 정보 및 모양 정보를 생성하여 핸드트래킹 모듈(400)로 송신하며, 핸드트래킹 모듈(400)로부터 가상공간에서 상호작용이 가능한 것으로 판단된 제1 객체와 제2 객체를 가상공간에 출력하는 단말(300);을 포함하는 것을 특징으로 한다.

Description

깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템{Hand tracking system using epth camera and electromyogram sensors}
본 발명은 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템에 관한 것으로, 보다 상세하게는 깊이 카메라의 깊이 이미지 정보와 근전도 센서의 근전도 신호를 기반으로 가상공간에서 사용자의 팔 및 손과 상호작용이 가능한 객체를 생성할 수 있는 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템에 관한 것이다.
종래의 일반적인 게임은 사용자가 모니터를 보면서 조이스틱이나 키보드와 같은 간단한 조작장치를 이용하여 화면에 출력되는 게임 상황에 따라 게임을 즐기게 되므로, 사용자는 게임의 상황을 실제로 경험하는 것과 같은 체험은 할 수 없었다. 하지만 가상현실(VR: Virtual Reality)을 게임에 적용하는 경우 사용자가 실제 상황처럼 오감을 이용해 게임 상황을 경험할 수 있게 되므로 게임의 몰입도를 증가시킬 수 있다.
가상현실이란 컴퓨터를 이용하여 구축한 가상공간(Virtual Environmental) 속에서 인간감각계(sensory system)와의 상호작용을 통해 물리적, 공간적 제약에 의해 현실세계에서는 직접 경험하기 어려운 상황을 간접체험할 수 있도록 만든 정보활동 분야이다. 가상현실을 구현해 내는 시스템들이 사용자의 시점과 동작이 실현되는 가상환경을 제공하게 되면, 일반적으로 사용자의 시점이나 동작의 변화를 가상공간에 실제로 반영하거나 가상공간에서 인간의 신체를 대신하여 행위를 수행하는 존재를 통하여 그 환경을 경험할 수 있다.
또한, 최근 들어 컴퓨터 게임 및 멀티미디어 애플리케이션은 카메라 및 소프트웨어 제스처 인식 엔진을 이용한 내츄럴 사용자 인터페이스(NUI: Natural User Interface)를 제공하기 시작하였다. 이러한 내츄럴 사용자 인터페이스는 원 관절 데이터(raw joint data), 사용자의 제스처를 탐지, 해석 및 사용하여 가상공간의 객체(아바타)나 애플리케이션의 기타 양태들을 제어하게 된다.
그리고 내츄럴 사용자 인터페이스의 과제 중 하나는 카메라 또는 센서의 시야에 있는 사용자를 구분하고, 시야 내에서 사용자의 팔과 손을 포함하는 신체 부위의 위치를 정확하게 식별하는 것이다. 종래에는 사용자의 팔, 손, 다리, 머리 및 상체를 트래킹하는 루틴이 공개된 바 있다.
그러나 상기의 트래킹을 통해 사용자의 팔과 손의 감지하기 힘든 세부 사항과 매우 다양한 위치가 제공된다 하여도, 종래의 핸드트레킹 시스템은 사용자의 팔과 손에 대한 위치를 포함하는 사용자의 신체럴 충분히 인식하고 트래킹할 수 없는 문제점이 있었다.
대한민국 등록특허 제10-1748126호 대한민국 공개특허공보 제10-2012-0010374호
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 깊이 카메라를 통해 획득된 깊이 이미지 정보로 사용자의 팔과 손의 위치를 추출하며, 근전도 센서를 통해 생성된 근전도 신호로 사용자의 팔과 손의 모양을 인식하고, 상기 깊이 이미지 정보와 상기 근전도 신호를 기반으로 가상공간에서 사용자의 팔 및 손과 상호작용이 가능한 객체를 생성할 수 있는 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템을 제공하는데 그 목적이 있다.
그리고 본 발명은 사용자에 팔 또는 손에 부착된 센서로부터 송신되는 추적 신호를 기반으로 사용자의 팔과 손을 추적하는 깊이 카메라 및 사용자의 팔과 손에 대한 추적이 완료되면 깊이 카메라로부터 송신되는 촬영 신호를 기반으로 사용자의 팔과 손에 대한 근전도 신호를 측정할 수 있는 센서를 포함하는 핸드트래킹 시스템을 제공하는데 그 목적이 있다.
또한, 본 발명은 사용자의 팔과 손에 대한 근전도 신호를 측정할 때, 센서가 깊이 카메라로 추적 신호가 송신할 때 및 센서가 깊이 카메라로부터 촬영 신호를 수신할 때 중 적어도 하나일 때 빛을 발생시키거나 빛을 점멸시켜 사용자에게 안내할 수 있는 LED부를 포함하는 핸드트래킹 시스템을 제공하는데 그 목적이 있다.
한편, 본 발명에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 기술적 수단으로서, 본 발명에 따른 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템은, 촬영 영역 내의 사용자의 팔과 손을 촬영하여 사용자의 팔과 손이 포함되는 깊이 이미지 정보를 획득하는 카메라(100); 카메라(100)보다 하측에 위치되는 사용자의 팔에 부착되어 사용자의 팔과 손에 대한 근전도 신호를 측정하고, 근전도 신호를 실시간으로 갱신하는 센서(200); 가상공간에서 상호작용이 가능한 제1 객체를 생성하며, 깊이 이미지 정보와 근전도 신호를 기반으로 가상공간에서 사용자의 팔 및 손과 상호작용이 가능하면서 제1 객체에 도달하여 이벤트 정보를 발생시키는 제2 객체를 생성하고, 제1 객체와 제2 객체가 가상공간에서 상호작용이 가능한지 여부를 판단하는 핸드트래킹 모듈(400); 및 제1 객체가 생성될 제1 생성 좌표, 제1 객체의 크기 정보 및 모양 정보를 생성하여 핸드트래킹 모듈(400)로 송신하며, 핸드트래킹 모듈(400)로부터 가상공간에서 상호작용이 가능한 것으로 판단된 제1 객체와 제2 객체를 가상공간에 출력하는 단말(300);을 포함하는 것을 특징으로 한다.
그리고 카메라(100)는, 사용자의 팔과 손보다 상측에 위치되도록 구조물의 상단에 설치되어 촬영 영역 내에 위치되는 사용자의 팔과 손을 촬영하며, 촬영을 통해 깊이 이미지 정보를 획득하는 깊이 카메라부(110); 촬영 전에, 센서(200)로부터 추적 신호를 수신하여 사용자의 팔과 손을 추적하는 추적부(120); 추적부(120)를 통해 추적된 사용자의 팔과 손이 촬영 영역 내에 위치되도록 줌-인 또는 줌-아웃을 이용하여 촬영 영역을 조절하는 촬영 영역 조절부(130); 깊이 카메라부(110)가 촬영 영역 내의 사용자의 팔과 손을 촬영할 때, 촬영 신호를 생성하여 센서(200)로 송신하는 촬영 신호 생성부(140); 깊이 카메라부(110)로부터 획득된 깊이 이미지 정보를 핸드트래킹 모듈(400)로 송신하는 통신부(150); 및 촬영 영역 조절부(130)를 통해 사용자의 팔과 손이 촬영 영역 내에 위치되면, 깊이 카메라부(110)로부터 촬영이 실시되도록 하는 제어부(160);를 포함하는 것을 특징으로 한다.
또한, 센서(200)는, 사용자의 팔 또는 손에 부착되어 사용자의 팔과 손에 대한 근전도 신호를 측정하는 전극부(210); 전극부(210)로부터 측정된 근전도 신호를 취합하는 근전도 취합부(220); 전극부(210)에 설치되며, 추적부(120)가 사용자의 팔과 손을 추적하도록 추적부(120)에 추적 신호를 송신하는 추적센서부(230); 전극부(210)에 설치되며, 촬영 신호 생성부(140)로부터 생성된 촬영 신호를 수신하는 감지센서부(240); 근전도 취합부(220)로부터 취합된 근전도 신호를 핸드트래킹 모듈(400)로 송신하는 통신부(250); 및 감지센서부(240)가 촬영 신호를 수신하면, 전극부(210)로부터 근전도 신호가 측정되도록 하는 제어부(260);를 포함하는 것을 특징으로 한다.
그리고 단말(300)은, 제1 생성 좌표, 제1 객체의 크기 정보 및 모양 정보를 결정하여 생성하는 제1 객체 생성부(310); 제1 생성 좌표, 제1 객체의 크기 정보 및 모양 정보를 핸드트래킹 모듈(400)로 송신하는 통신부(320); 및 제1 객체와 상기 제2 객체를 중심 좌표가 포함되는 가상공간에 출력하는 출력부(330);를 포함하는 것을 특징으로 한다.
또한, 핸드트래킹 모듈(400)은, 깊이 이미지 정보, 근전도 신호, 제1 생성 좌표, 제1 객체의 크기 정보 및 모양 정보를 수신하는 통신부(410); 제1 객체의 크기 및 모양을 제1 객체의 크기 정보 및 모양 정보를 기반으로 결정하고, 크기 및 모양이 결정된 제1 객체를 제1 생성 좌표에 생성하는 제1 객체 처리부(420); 깊이 이미지 정보로부터 제2 객체가 생성될 제2 생성 좌표를 검출하는 좌표 검출부(430); 사용자의 팔과 손에 대한 근전도 신호 패턴이 하나 이상 기저장되는 근전도 신호 패턴 저장부(440); 근전도 신호와 기저장된 근전도 신호 패턴을 비교하여 제2 객체의 크기 및 모양을 결정하고, 크기 및 모양이 결정된 제2 객체를 제2 생성 좌표에 생성하는 제2 객체 처리부(450); 및 제2 객체가 제1 객체에 도달하여 이벤트 정보가 발생하는지 여부를 판단하는 제어부(460);를 포함하는 것을 특징으로 한다.
그리고 제어부(460)는, 이벤트 정보가 발생하는 경우, 제1 객체, 제1 생성 좌표, 제2 객체, 제2 생성 좌표에 대한 정보를 통신부(410)를 통해 단말(300)로 송신하는 것을 특징으로 한다.
또한, 단말(300)은, 제1 생성 좌표의 제1 객체와 제2 생성 좌표의 제2 객체를 중심 좌표가 포함되는 가상공간에 출력하는 것을 특징으로 한다.
그리고 제어부(460)는, 이벤트 정보가 발생하지 않는 경우, 제1 생성 좌표로부터 제1 객체가 삭제되도록 하거나, 제2 생성 좌표로부터 제2 객체가 삭제되도록 하고, 단말(300)로부터 제1 생성 좌표가 조정된 후 제1 객체 처리부(420)로부터 조정된 제1 생성 좌표에 제1 객체가 재생성되도록 하거나, 좌표 검출부(430)로부터 제2 생성 좌표가 조정된 후 제2 객체 처리부(450)로부터 조정된 제2 생성 좌표에 제2 객체가 재생성되도록 하는 것을 특징으로 한다.
또한, 센서(200)는, 전극부(210)에 설치되며, 전극부(210)가 사용자의 팔과 손에 대한 근전도 신호를 측정할 때, 추적센서부(230)가 추적 신호를 송신할 때 및 감지센서부(240)가 촬영 신호를 수신할 때 중 적어도 하나일 때 빛을 발생시키거나 빛을 점멸시키는 LED부(270);를 더 포함하는 것을 특징으로 한다.
그리고 전극부(210)는, 감지센서부(240)가 설치되며, 사용자의 팔에 부착되어 사용자의 팔에 대한 근전도 신호를 측정하는 제1 전극부(211); 및 추적센서부(230)가 설치되며, 사용자의 손가락에 부착되어 사용자의 손에 대한 근전도 신호를 측정하는 제2 전극부(212);를 포함하는 것을 특징으로 할 수 있다.
또한, 센서(200)는, 제1 전극부(211)에 설치되며, 제1 전극부(211)가 사용자의 팔에 대한 근전도 신호를 측정할 때 및 감지센서부(240)가 촬영 신호를 수신할 때 중 적어도 하나일 때 빛을 발생시키거나 빛을 점멸시키는 제1 LED부(271); 및 제2 전극부(212)에 설치되며, 제2 전극부(212)가 사용자의 손에 대한 근전도 신호를 측정할 때 및 추적센서부(230)가 추적 신호를 송신할 때 중 적어도 하나일 때 제1 LED부(271)와 동일 방식 또는 다른 방식으로 빛을 발생시키거나 빛을 점멸시키는 제2 LED부(272);를 더 포함하는 것을 특징으로 할 수 있다.
본 발명에 따르면, 사용자의 팔과 손에 대한 깊이 이미지 정보와 근전도 신호를 기반으로 가상공간에서 사용자의 팔 및 손과 상호작용이 가능한 객체를 생성할 수 있는 핸드트레킹 시스템을 제공할 수 있게 된다.
그리고 본 발명에 따르면, 사용자에 팔 또는 손에 부착된 센서로부터 송신되는 추적 신호를 기반으로 사용자의 팔과 손을 추적하는 깊이 카메라 및 사용자의 팔과 손에 대한 추적이 완료되면 깊이 카메라로부터 송신되는 촬영 신호를 기반으로 사용자의 팔과 손에 대한 근전도 신호를 측정할 수 있는 센서를 포함하는 핸드트래킹 시스템을 제공할 수 있게 된다.
또한, 본 발명에 따르면, 사용자의 팔과 손에 대한 근전도 신호를 측정할 때, 센서가 깊이 카메라로 추적 신호가 송신할 때 및 센서가 깊이 카메라로부터 촬영 신호를 수신할 때 중 적어도 하나일 때 빛을 발생시키거나 빛을 점멸시켜 사용자에게 안내할 수 있는 LED부를 포함하는 핸드트래킹 시스템을 제공할 수 있게 된다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 제1 실시예에 따른 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템을 나타내는 개략도이다.
도 2는 카메라의 구성을 나타내는 블록도이다.
도 3은 센서의 구성을 나타내는 사시도이다.
도 4는 센서의 구성을 나타내는 블록도이다.
도 5는 사용자의 팔과 손을 추적하는 과정 및 근전도 신호를 측정하는 과정을 나타내는 흐름도이다.
도 6은 LED부가 빛을 발생시키기 위해 연동되는 구성을 나타내는 블록도이다.
도 7은 단말의 구성을 나타내는 블록도이다.
도 8은 핸드트래킹 모듈의 구성을 나타내는 블록도이다.
도 9는 제1 객체와 제2 객체를 생성하는 과정을 나타내는 흐름도이다.
도 10은 이벤트 정보가 발생하는지 여부에 따른 핸드트래킹 모듈의 제어부의 동작 과정을 나타내는 흐름도이다.
도 11은 단말의 출력부를 통해 출력되는 가상공간을 나타내는 이미지이다.
도 12는 본 발명의 제2 실시예에 따른 전극부를 나타내는 개략도이다.
도 13은 제1 LED부와 제2 LED부가 빛을 발생시키기 위해 연동되는 구성을 나타내는 블록도이다.
이하에서는, 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시 예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시 예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시 예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
이하에서는, 첨부된 도면들을 참조하여 본 발명의 제1 실시예에 따른 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템(이하에서는 "핸드트래킹 시스템"이라 한다.)에 대해 자세히 설명하도록 하겠다.
도 1은 본 발명의 제1 실시예에 따른 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템을 나타내는 개략도이며, 도 2는 카메라의 구성을 나타내는 블록도이고, 도 3은 센서의 구성을 나타내는 사시도이며, 도 4는 센서의 구성을 나타내는 블록도이고, 도 5는 사용자의 팔과 손을 추적하는 과정 및 근전도 신호를 측정하는 과정을 나타내는 흐름도이며, 도 6은 LED부가 빛을 발생시키기 위해 연동되는 구성을 나타내는 블록도이고, 도 7은 단말의 구성을 나타내는 블록도이며, 도 8은 핸드트래킹 모듈의 구성을 나타내는 블록도이고, 도 9는 제1 객체와 제2 객체를 생성하는 과정을 나타내는 흐름도이며, 도 10은 이벤트 정보가 발생하는지 여부에 따른 핸드트래킹 모듈의 제어부의 동작 과정을 나타내는 흐름도이고, 도 11은 단말의 출력부를 통해 출력되는 가상공간을 나타내는 이미지이다.
도 1을 참조하면, 본 발명의 핸드트래킹 시스템은 사용자가 팔과 손의 근전도 신호를 측정하는 센서(200)를 팔에 부착하고, 카메라(100)로 사용자의 팔과 손에 대한 깊이 이미지 정보의 획득이 가능하며, 단말(300) 및 핸드트래킹 모듈(400)이 연동을 통해 깊이 이미지 정보와 근전도 신호를 기반으로 가상공간(331)과 상기 가상공간(331)에서 상호작용이 가능한 제1 객체(332)와 제2 객체(333)를 생성하여 사용자에게 핸드트래킹을 제공할 수 있다.
이를 위해, 본 발명의 핸드트래킹 시스템은 카메라(100), 센서(200), 단말(300) 및 핸드트래킹 모듈(400)을 포함하도록 구성된다.
도 2를 참조하면, 카메라(100)는 사용자의 팔과 손에 대한 깊이 이미지 정보를 획득하기 위해 마련되며, 깊이 카메라부(110), 추적부(120), 촬영 영역 조절부(130), 촬영 신호 생성부(140), 통신부(150) 및 제어부(160)를 포함하도록 구성된다.
깊이 카메라부(110)는 사용자의 팔과 손보다 상측에 위치되도록 구조물(미도시)의 상단에 설치되어 사용자가 하측에 위치되도록 하며, 촬영 영역 내의 사용자의 팔과 손을 촬영하여 사용자의 팔과 손이 적어도 포함되는 깊이 이미지 정보를 획득한다. 여기서, 깊이 카메라부(110)는 촬영된 이미지의 각 픽셀에 대한 깊이 데이터를 획득하는 것이며, 깊이는 객체인 사용자의 팔과 손으로부터 깊이 카메라부(110)까지의 거리를 의미하며, 깊이 이미지 정보는 깊이별로 다른 색상으로 표현될 수 있다.
그리고 깊이 카메라부(110)는 깊이 이미지 정보를 획득하기 위해 TOF(Time-Of-Flight)(스캐닌 TOF 또는 어레이 TOF), 구조화 광, 레이더 반점(speckle) 패턴 기술, 스테레오 카메라 및 능동 스테레오 카메라 등으로 구현될 수 있다.
추적부(120)는 깊이 카메라부(110)로부터 깊이 이미지 정보를 획득하는 촬영이 진행되기 전에, 후술될 센서(200)의 추적센서부(230)로부터 추적 신호를 수신하여 사용자의 팔과 손을 추적한다. 이러한 추적부(120)는 도면에 미도시되었으나, 깊이 카메라부(110)의 일측에 설치되어 사용자의 팔과 손을 추적할 수 있다.
촬영 영역 조절부(130)는 추적부(120)로부터 추적되는 사용자의 팔과 손이 촬영 영역 내에 위치되도록 깊이 카메라부(110)의 촬영 영역을 조절한다. 여기서, 촬영 영역 조절부(130)는 줌-인 또는 줌-아웃을 이용하여 깊이 카메라부(110)의 촬영 영역을 조절한다. 다만, 촬영 영역의 조절을 줌-인 또는 줌-아웃으로 한정하는 것은 아니며, 카메라 렌즈의 회전을 통해 깊이 카메라부(110)의 촬영 영역을 조절할 수 있다.
촬영 신호 생성부(140)는 깊이 카메라부(110)가 사용자의 팔과 손을 촬영할 때, 촬영 신호를 생성하여 후술될 센서(200)의 감지센서부(240)로 촬영 신호를 송신한다.
통신부(150)는 깊이 카메라부(110)로부터 획득된 깊이 이미지 정보를 핸드트래킹 모듈(400)로 송신한다. 여기서, 통신부(150)는 후술될 핸드트래킹 모듈(400)의 통신부(410)와의 통신을 통해 깊이 이미지 정보를 핸드트래킹 모듈(400)로 송신하며, 이를 위한 통신 방식으로는 와이파이, 블루투스, 지그비 등의 무선 방식이 사용될 수 있다. 다만, 통신부(150)는 상기의 무선 방식으로 통신 방식을 한정하는 것은 아니며, 유선 방식을 이용하여 깊이 이미지 정보의 송신이 가능할 수 있다.
제어부(160)는 상기 카메라(100)의 구성들을 제어할 뿐만 아니라, 깊이 카메라부(110)의 촬영 영역이 촬영 영역 조절부(130)에 의해 조절되어 사용자의 팔과 손이 촬영 영역 내에 위치하게 되면, 깊이 카메라부(110)로부터 촬영이 실시되도록 깊이 카메라부(110)를 제어한다.
도 3 내지 도 6을 참조하면, 센서(200)는 사용자의 팔과 손에 대한 근전도 신호를 측정 및 취합하기 위해 마련되며, 전극부(210), 근전도 취합부(220), 추적센서부(230), 감지센서부(240), 통신부(250), 제어부(260) 및 LED부(270)를 포함하도록 구성된다.
전극부(210)는 사용자의 팔 또는 손에 부착되어 사용자의 팔과 손에 대한 근전도 신호를 측정하며, 사용자의 팔에 부착되기 위해 악세사리(예: 밴드 등)에 결합되는 복수의 전극(210a, 210b, 210c, 210d, …)으로 이루어질 수 있다. 즉, 전극부(210)는 복수의 전극(210a, 210b, 210c, 210d, …)을 이용하여 사용자의 팔과 손에 대한 근전도 신호를 측정할 수 있다.
근전도 취합부(220)는 전극부(210) 중 하나인 전극(210b)에 구성되며, 전극부(210)로부터 측정된 근전도 신호를 취합한다. 이와 같이, 근전도 취합부(220)가 근전도 신호를 취합하도록, 전극부(210)는 근전도 신호를 송수신할 수 있는 회로를 통해 서로 연결될 수 있다.
추적센서부(230)는 전극부(210) 중 하나인 전극(210a)에 구성되고, 추적부(120)가 사용자의 팔과 손을 추적하도록 추적부(120)에 추적 신호를 송신한다. 즉, 추적부(120)는 추적 신호를 수신하면, 상기 추적 신호를 감지하여 사용자의 팔과 손을 추적한다.
감지센서부(240)는 전극부(210) 중 하나인 전극(210a)에 구성되며, 전극부(210)가 사용자의 팔과 손에 대한 근전도 신호를 측정하도록 촬영 신호 생성부(140)로부터 촬영 신호를 수신한다. 즉, 전극부(210)는 감지센서부(240)가 촬영 신호를 수신하면, 사용자의 팔과 손에 대한 근전도 신호를 측정하게 된다.
통신부(250)는 전극부(210) 중 하나인 전극(210c)에 구성되고, 근전도 취합부(220)로부터 취합된 근전도 신호를 핸드트래킹 모듈(400)로 송신한다. 여기서, 통신부(250)는 핸드트래킹 모듈(400)의 통신부(410)와의 통신을 통해 취합된 근전도 신호를 핸드트래킹 모듈(400)로 송신한다. 그리고 통신부(250)는 와이파이, 블루투스, 지그비 등의 무선 방식이 사용될 수 있으며, 무선 방식 대신 유선 방식이 사용될 수 있다.
제어부(260)는 전극부(210) 중 하나인 전극(210d)에 구성되며, 상기 센서(200)의 구성들을 제어할 뿐만 아니라, 감지센서부(240)가 촬영 신호 생성부(140)로부터 촬영 신호를 수신하면, 전극부(210)로부터 근전도 신호가 측정되도록 전극부(210)를 제어한다.
LED부(270)는 전극부(210) 중 하나인 전극(210a)에 구성되고, 전극부(210)로부터 근전도 신호가 측정될 때, 추적센서부(230)가 추적 신호를 추적부(120)로 송신할 때 및 감지센서부(240)가 촬영 신호 생성부(140)로부터 촬영 신호를 수신할 때 중 적어도 하나일 때 빛을 발생시킨다.
더 나아가, LED부(270)는 사용자가 상기 3가지 경우를 판단할 수 있도록, 서로 다른 색상으로 빛을 발생시키거나, 서로 다른 방식으로 빛을 점멸시킨다.
구체적인 일례로, LED부(270)는 전극부(210)로부터 근전도 신호가 측정될 때 초록색의 빛을 발생시키며, 추적센서부(230)가 추적 신호를 추적부(120)로 송신할 때 빨간색의 빛을 발생시키고, 감지센서부(240)가 촬영 신호 생성부(140)로부터 촬영 신호를 수신할 때 파란색의 빛을 발생시킬 수 있다.
다른 예로, LED부(270)는 전극부(210)로부터 근전도 신호가 측정될 때 1초 이하의 간격으로 빛을 점멸시키며, 추적센서부(230)가 추적 신호를 추적부(120)로 송신할 때 2초 이상 3초 이하의 간격으로 빛을 점멸시키고, 감지센서부(240)가 촬영 신호 생성부(140)로부터 촬영 신호를 수신할 때 4초 이상 5초 이하의 간격으로 빛을 점멸시킬 수 있다.
즉, 상기 센서(200)의 구성들 중 추적센서부(230), 감지센서부(240), LED부(270)는 하나의 전극부(210a)에 설치될 수 있고, 나머지 구성인 근전도 취합부(220), 통신부(250), 제어부(260)는 서로 다른 전극부(210b, 210c, 210d)에 각각 설치될 수 있다.
도 7 및 도 11을 참조하면, 단말(300)은 가상공간(331)을 적어도 포함하는 가상현실 컨텐츠를 사용자에게 제공하기 핸드트래킹 모듈(400)과 연동되며, 제1 객체 생성부(310), 통신부(320) 및 출력부(330)를 포함하도록 구성된다.
제1 객체 생성부(310)는 가상공간에서 상호작용이 가능한 제1 객체(332)가 생성될 제1 생성 좌표, 제1 객체(332)의 크기 정보 및 모양 정보를 결정하여 생성한다. 여기서, 제1 객체(332)는 가상공간의 객체를 의미하고, 제1 생성 좌표는 제1 객체(332)가 가상공간에서 타격, 충돌, 투척, 파지 등에 의한 이벤트 정보를 기반으로 움직이게 되면 갱신되며, 제1 객체(332)의 크기 정보 및 모양 정보는 제1 객체(332)가 가상공간에서 결합, 흡수, 절단, 삭제 등에 의한 이벤트 정보를 기반으로 크기 및 모양이 변경되면 갱신된다.
통신부(320)는 제1 객체 생성부(330)에 생성된 제1 생성 좌표, 제1 객체(332)의 크기 정보 및 모양 정보를 핸드트래킹 모듈(400)로 송신한다. 여기서, 통신부(320)는 핸드트래킹 모듈(400)의 통신부(410)와의 통신을 통해 제1 생성 좌표, 제1 객체(332)의 크기 정보 및 모양 정보를 핸드트래킹 모듈(400)로 송신한다. 또한, 통신부(320)는 와이파이, 블루투스, 지그비 등의 무선 방식이 사용될 수 있으며, 무선 방식 대신에 유선 방식이 사용될 수 있다.
더 나아가, 통신부(320)는 핸드트래킹 모듈(400)의 통신부(410)로부터 핸드트래킹 모듈(400)에서 생성된 제1 객체(331)에 대한 정보와 제2 객체(332)에 대한 정보를 수신한다.
출력부(330)는 도 11에 도시된 바와 같이, 가상공간(331)에 통신부(320)가 수신하는 제1 객체(332)와 제2 객체(333)를 출력한다. 이때, 출력부(330)는 가상공간(331)의 중심 좌표(331a)가 제1 객체(332) 및 제2 객체(333)와 함께 가상공간(331)에 출력되도록 한다. 여기서, 중심 좌표(331a)는 가상공간(331)의 x, y, z 좌표계의 중심을 이루는 좌표를 의미하며, 사용자에게 가상공간(331)에서의 위치를 안내하기 위해 출력될 수 있다.
상기 단말(300)은 도면에 미도시되었으나, 출력부(330)가 출력하는 가상공간(331)을 생성하는 가상공간 생성부(미도시) 및 상기 단말(300)의 구성들을 제어하는 제어부(미도시)가 더 포함되는 것이 바람직할 것이다.
도 8 내지 도 10을 참조하면, 핸드트래킹 모듈(400)은 가상공간에서 상호작용이 가능한 제1 객체(332)와 제2 객체(333)를 생성하기 위해 단말(300)과 연동되며, 통신부(410), 제1 객체 처리부(420), 좌표 검출부(430), 근전도 신호 패턴 저장부(440), 제2 객체 처리부(450) 및 제어부(460)를 포함하도록 구성된다.
통신부(410)는 카메라(100)의 통신부(150)로부터 깊이 이미지 정보를 수신하며, 센서(200)의 통신부(250)로부터 취합된 근전도 신호를 수신하고, 단말(300)의 통신부(320)로부터 제1 생성 좌표, 제1 객체(332)의 크기 정보 및 모양 정보를 수신한다.
제1 객체 처리부(420)는 통신부(410)가 수신한 제1 객체(332)의 크기 정보 및 모양 정보를 기반으로 제1 객체(332)의 크기 및 모양을 결정하고, 통신부(410)가 수신한 제1 생성 좌표에 제1 객체(332)를 생성한다.
좌표 검출부(430)는 통신부(410)가 수신한 깊이 이미지 정보를 통해 깊이 카메라(110)로부터 사용자의 팔과 손의 깊이를 판단하여 제2 생성 좌표를 검출한다.
근전도 신호 패턴 저장부(440)는 하나 이상의 근전도 신호 패턴(예: 주먹을 쥔 상태, 손가락을 모두 펼친 상태, 엄지와 검지만 펴고 나머지 손가락은 접은 패턴 등)이 기저장된다.
제2 객체 처리부(450)는 통신부(410)가 수신한 취합된 근전도 신호와 근전도 신호 패턴 저장부(440)에 기저장된 근전도 신호 패턴을 비교하여 제2 객체(333)의 크기 및 모양을 결정하고, 좌표 검출부(430)로부터 생성된 제2 생성 좌표에 제2 객체(333)를 생성한다. 여기서, 취합된 근전도 신호와 근전도 신호 패턴을 비교하는 것은 사용자 개인 또는 사용자 개인의 신체 컨디션에 따라 격차가 큰 근전도 신호의 오차를 현저히 감소시키기 위함이다. 그리고 제2 객체(333)는 가상공간에서 사용자의 팔 및 손과 상호작용이 가능하면서 제2 생성 좌표의 갱신에 따라 제1 객체(332)에 도달하여 이벤트 정보를 발생시킬 수 있는 객체를 의미한다.
제어부(460)는 도 10에 도시된 바와 같이, 제1 객체 처리부(420)로부터 제1 객체(332)가 생성되며, 제2 객체 처리부(450)로부터 제2 객체(333)가 생성되면(S10), 제2 객체(333)가 제1 객체(332)에 도달하여 이벤트 정보가 발생하는지 여부를 판단한다(S20).
이때 만약, 이벤트 정보가 발생하는 경우(S20-YES), 제어부(460)는 제1 객체 처리부(420)로부터 생성되는 제1 생성 좌표의 제1 객체(332)를 가상공간(331)에 적용될 최종적인 제1 객체(332)로 판단하며, 제2 객체 처리부(450)로부터 생성되는 제2 생성 좌표의 제2 객체(333)를 가상공간(331)에 적용될 최종적인 제2 객체(333)로 판단하고, 통신부(410)를 통해 단말(300)로 송신한다(S30).
이때, 통신부(320)는 통신부(410)로부터 최종적인 제1 객체(332)에 대한 정보와 제2 객체(333)에 대한 정보를 각각 수신하며, 출력부(330)는 최종적인 제1 객체(332) 및 제2 객체(333)를 가상공간(331)에 출력한다.
이와 달리 만약, 이벤트 정보가 발생하지 않는 경우(S20-NO), 제1 객체 처리부(420)와 제2 객체 처리부(450)를 각각 제어하여 제1 객체 처리부(420)의 제1 객체(332)와 제2 객체 처리부(450)의 제2 객체(333)가 각각 삭제되도록 한다(S40).
그 후, 제어부(460)는 통신부(410)를 통해 제1 객체(332)가 삭제된 것을 제1 객체 생성부(310)에 전달하고, 제2 객체(333)가 삭제된 것을 제2 좌표 검출부(430)에 전달한다.
그 후, 제1 객체 생성부(310)는 제1 생성 좌표를 조정하며, 제1 객체 처리부(420)는 제1 객체 생성부(310)로부터 조정된 제1 생성 좌표에 제1 객체(332)를 재생성한다(S50).
또한, 좌표 검출부(430)는 제2 생성 좌표를 조정하며, 제2 객체 처리부(450)는 좌표 검출부(430)로부터 조정된 제2 생성 좌표에 제2 객체(333)를 재생성한다(S50).
이와 같이, 제어부(460)는 이벤트 정보가 발생하지 않는 경우(S20-NO), 제1 생성 좌표와 제2 생성 좌표를 조정하여 제1 객체(332)와 제2 객체(333)를 재생성하나, 이를 한정하는 것은 아니며 이벤트 정보가 발생하지 않는 경우(S20-NO), 제1 생성 좌표, 제1 객체(332)의 크기 정보 및 모양 정보, 제2 생성 좌표, 제2 객체(333)의 크기 정보 및 모양 정보를 조정하여 제1 객체(332)와 제2 객체(333)를 재생성할 수 있다.
구체적인 일례로, 제1 객체 생성부(310)는 제1 생성 좌표, 제1 객체(332)의 크기 정보 및 모양 정보를 조정하며, 제1 객체 처리부(420)는 제1 객체 생성부(310)로부터 조정된 제1 객체(332)의 크기 정보 및 모양 정보를 기반으로 제1 객체(332)의 크기 및 모양을 결정하고, 조정된 제1 생성 좌표에 제1 객체(332)를 재생성할 수 있다.
또한, 좌표 검출부(430)는 제2 생성 좌표를 조정하며, 제2 객체 처리부(450)는 취합된 근전도 신호와 근전도 신호 패턴 저장부(440)의 근전도 신호 패턴을 다시 비교하여 제2 객체(333)의 크기 및 모양을 결정하고, 조정된 제2 생성 좌표에 제2 객체(333)를 재생성할 수 있다.
즉, 제어부(460)는 상기 판단의 과정을 기반으로 제1 객체(332)와 제2 객체(333)를 최종적으로 생성하며, 통신부(410)를 통해 최종적인 제1 객체(332)와 제2 객체(333)를 단말(300)로 송신한다. 이때, 단말(300)은 도 11에 도시된 바와 같이 출력부(330)를 통해 가상공간(331)에 최종적인 제1 객체(332)와 제2 객체(333)를 출력한다.
본 발명의 제2 실시예에서는, 상술한 본 발명의 제1 실시예와 구성 및 방식이 일부 동일하나, 본 발명의 제1 실시예와 달리, 사용자의 팔에 대한 근전도 신호와 측정하는 전극부와 사용자의 손에 대한 근전도 신호를 측정하는 전극부를 나누며, 사용자의 팔에 대한 근전도 신호를 측정하는지 여부와 사용자의 손에 대한 근전도 신호를 측정하는지 여부를 안내하는 LED부가 별도로 나누어지는 것이다.
이하에서는, 본 발명의 제1 실시예와 달리하는 전극부(210)와 LED부(270)를 중점적으로 설명하도록 하겠으며, 본 발명의 제1 실시예와 중복되는 구성 및 방식에 대한 자세한 설명은 편의상 생략하도록 하겠다.
도 12를 참조하면, 전극부(210)는 제1 전극부(211) 및 제2 전극부(212)를 포함하도록 구성된다.
제1 전극부(211)는 사용자의 팔에 부착되어 사용자의 팔에 대한 근전도 신호를 측정한다. 이러한 제1 전극부(211)는 일측에 감지센서부(240)와 후술될 제1 LED부(271)가 각각 설치된다.
제2 전극부(212)는 사용자의 손에 부착되어 사용자의 손에 대한 근전도 신호를 측정한다. 이러한 제2 전극부(212)는 일측에 추적센서부(230)와 후술될 제2 LED부(272)가 각각 설치된다.
한편, 전극부(210)를 제1 전극부(211)와 제2 전극부(212)로 나누는 것은, 사용자의 팔에 대한 근전도 신호와 사용자의 손에 대한 근전도 신호를 각각의 전극으로 측정하여 본 발명의 제1 실시예보다 정확하게 사용자의 팔과 손에 대한 근전도 신호를 측정하기 위함이다.
또한, 제1 전극부(211)와 제2 전극부(212)는 RMS, 파워 스펙트럼, Median Frequency, Mean Frequency, RMS-확률분포, RMS-상관함수, MVIC Normalzation 등 중 적어도 하나의 측정 방식으로 근전도 신호를 측정할 수 있으며, 서로 다른 방식으로 사용자의 팔 및 사용자의 손에 대한 근전도 신호를 측정할 수 있다.
구체적인 일례로, 제1 전극부(211)는 RMS 방식을 이용하여 사용자의 팔에 대한 근전도 신호를 측정할 수 있고, 제2 전극부(212)는 RMS-확률분포를 이용하여 사용자의 손에 대한 근전도 신호를 측정할 수 있다. 다만, 제1 전극부(211)와 제2 전극부(212)는 설계 변경 또는 설정 변경을 통해 동일한 측정방식으로 사용자의 팔 및 사용자의 손에 대한 근전도 신호를 측정할 수도 있다.
더 나아가, 제1 전극부(211)와 제2 전극부(212)는 별도의 회로를 통해 각각 동작될 수 있으나, 회로가 구성되는 악세사리(예: 장갑 등)를 통해 하나의 전극장치로서 동작될 수 있고, 사용자의 팔에 대한 근전도 신호와 사용자의 손에 대한 근전도 신호는 근전도 취합부(220)로부터 취합될 수 있다.
도 13을 참조하면, LED부(270)는 제1 LED부(271)와 제2 LED부(272)를 포함하도록 구성된다.
제1 LED부(271)는 제1 전극부(211)의 일측에 설치되며, 제1 전극부(211)가 사용자의 팔에 대한 근전도 신호를 측정할 때 또는 감지센서부(240)가 촬영 신호 생성부(140)로부터 촬영 신호를 수신할 때 빛을 발생시키거나 빛을 점멸시킨다.
더 나아가, 제1 LED부(271)는 사용자가 상기 2가지 경우를 판단할 수 있도록, 서로 다른 색상으로 빛을 발생시키거나, 서로 다른 방식으로 빛을 점멸시킨다.
구체적인 일례로, 제1 LED부(271)는 제1 전극부(211)가 사용자의 팔에 대한 근전도 신호를 측정할 때 초록색의 빛을 발생시키고, 감지센서부(240)가 촬영 신호 생성부(140)로부터 촬영 신호를 수신할 때 빨간색의 빛을 발생시킨다.
다른 예로, 제1 LED부(271)는 제1 전극부(211)가 사용자의 팔에 대한 근전도 신호를 측정할 때 1초 이하의 간격으로 빛을 점멸시키며, 감지센서부(240)가 촬영 신호 생성부(140)로부터 촬영 신호를 수신할 때 2초 이상 3초 이하의 간격으로 빛을 점멸시킨다.
제2 LED부(272)는 제2 전극부(212)의 일측에 설치되고, 제2 전극부(212)가 사용자의 손에 대한 근전도 신호를 측정할 때 또는 추적센서부(230)가 추적 신호를 추적부(120)로 송신할 때 빛을 발생시키거나 빛을 점멸시킨다. 이때, 제2 LED부(272)는 서로 동일 방식 또는 다른 방식으로 빛을 발생시키거나 빛을 점멸시킨다.
구체적인 일례로, 제2 LED부(272)는 제2 전극부(212)가 사용자의 손에 대한 근전도 신호를 측정할 때 초록색의 빛을 발생시키고, 추적센서부(230)가 추적 신호를 추적부(120)로 송신할 때 빨간색의 빛을 발생시킨다.
다른 예로, 제2 LED부(272)는 제2 전극부(212)가 사용자의 손에 대한 근전도 신호를 측정할 때 1초 이하의 간격으로 빛을 점멸시키며, 추적센서부(230)가 추적 신호를 추적부(120)로 송신할 때 2초 이상 3초 이하의 간격으로 빛을 점멸시킨다.
한편, LED부(270)를 제1 LED부(271)와 제2 LED부(272)로 나누는 것은, 빛의 발생 또는 빛의 점멸을 통해 사용자의 팔과 손을 각각 측정하기 위해 나누어진 제1 전극부(211)와 제2 전극부(212)의 동작 여부를 사용자에게 안내하기 위함이다.
더 나아가, 제1 LED부(271)와 제2 LED부(272)는 별도의 회로를 통해 각각 동작될 수 있으나, 회로가 구성되는 악세사리(예: 장갑 등)를 통해 하나의 LED로서 동작될 수 있다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시 예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시 예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시 예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.
100: 카메라, 110: 깊이 카메라부,
120: 추적부, 130: 촬영 영역 조절부,
140: 촬영 신호 생성부, 150: 통신부,
160: 제어부, 200: 센서,
210: 전극부, 211: 제1 전극부,
212: 제2 전극부, 220: 근전도 취합부,
230: 추적센서부, 240: 감지센서부,
250: 통신부, 260: 제어부,
270: LED부, 271: 제1 LED부,
272: 제2 LED부, 300: 단말,
310: 제1 객체 생성부, 320: 통신부,
330: 출력부, 331: 가상공간,
331a: 중심 좌표, 332: 제1 객체,
333: 제2 객체, 400: 핸드트래킹 모듈,
410: 통신부, 420: 제1 객체 처리부,
430: 좌표 검출부, 440: 근전도 신호 패턴 저장부,
450: 제2 객체 처리부, 460: 제어부.

Claims (11)

  1. 촬영 영역 내의 사용자의 팔과 손을 촬영하여 상기 사용자의 팔과 손이 포함되는 깊이 이미지 정보를 획득하는 카메라(100);
    상기 카메라(100)보다 하측에 위치되는 상기 사용자의 팔에 부착되어 상기 사용자의 팔과 손에 대한 근전도 신호를 측정하고, 상기 근전도 신호를 실시간으로 갱신하는 센서(200);
    가상공간에서 상호작용이 가능한 제1 객체를 생성하며, 상기 깊이 이미지 정보와 상기 근전도 신호를 기반으로 상기 가상공간에서 상기 사용자의 팔 및 손과 상호작용이 가능하면서 상기 제1 객체에 도달하여 이벤트 정보를 발생시키는 제2 객체를 생성하고, 상기 제1 객체와 상기 제2 객체가 상기 가상공간에서 상호작용이 가능한지 여부를 판단하는 핸드트래킹 모듈(400); 및
    상기 제1 객체가 생성될 제1 생성 좌표, 상기 제1 객체의 크기 정보 및 모양 정보를 생성하여 상기 핸드트래킹 모듈(400)로 송신하며, 상기 핸드트래킹 모듈(400)로부터 상기 가상공간에서 상호작용이 가능한 것으로 판단된 상기 제1 객체와 상기 제2 객체를 상기 가상공간에 출력하는 단말(300);을 포함하고,
    상기 카메라(100)는,
    상기 사용자의 팔과 손보다 상측에 위치되도록 구조물의 상단에 설치되어 상기 촬영 영역 내에 위치되는 사용자의 팔과 손을 촬영하며, 상기 촬영을 통해 상기 깊이 이미지 정보를 획득하는 깊이 카메라부(110);
    상기 촬영 전에, 상기 센서(200)로부터 추적 신호를 수신하여 상기 사용자의 팔과 손을 추적하는 추적부(120);
    상기 추적부(120)를 통해 추적된 사용자의 팔과 손이 상기 촬영 영역 내에 위치되도록 줌-인 또는 줌-아웃을 이용하여 상기 촬영 영역을 조절하는 촬영 영역 조절부(130);
    상기 깊이 카메라부(110)가 상기 촬영 영역 내의 사용자의 팔과 손을 촬영할 때, 촬영 신호를 생성하여 상기 센서(200)로 송신하는 촬영 신호 생성부(140);
    상기 깊이 카메라부(110)로부터 획득된 상기 깊이 이미지 정보를 상기 핸드트래킹 모듈(400)로 송신하는 통신부(150); 및
    상기 촬영 영역 조절부(130)를 통해 상기 사용자의 팔과 손이 상기 촬영 영역 내에 위치되면, 상기 깊이 카메라부(110)로부터 상기 촬영이 실시되도록 하는 제어부(160);를 포함하는 것을 특징으로 하는 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 센서(200)는,
    상기 사용자의 팔 또는 손에 부착되어 상기 사용자의 팔과 손에 대한 근전도 신호를 측정하는 전극부(210);
    상기 전극부(210)로부터 측정된 근전도 신호를 취합하는 근전도 취합부(220);
    상기 전극부(210)에 설치되며, 상기 추적부(120)가 상기 사용자의 팔과 손을 추적하도록 상기 추적부(120)에 상기 추적 신호를 송신하는 추적센서부(230);
    상기 전극부(210)에 설치되며, 상기 촬영 신호 생성부(140)로부터 생성된 상기 촬영 신호를 수신하는 감지센서부(240);
    상기 근전도 취합부(220)로부터 취합된 근전도 신호를 상기 핸드트래킹 모듈(400)로 송신하는 통신부(250); 및
    상기 감지센서부(240)가 상기 촬영 신호를 수신하면, 상기 전극부(210)로부터 상기 근전도 신호가 측정되도록 하는 제어부(260);를 포함하는 것을 특징으로 하는 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템.
  4. 제 1 항에 있어서,
    상기 단말(300)은,
    상기 제1 생성 좌표, 상기 제1 객체의 크기 정보 및 모양 정보를 결정하여 생성하는 제1 객체 생성부(310);
    상기 제1 생성 좌표, 상기 제1 객체의 크기 정보 및 모양 정보를 상기 핸드트래킹 모듈(400)로 송신하는 통신부(320); 및
    상기 제1 객체와 상기 제2 객체를 중심 좌표가 포함되는 상기 가상공간에 출력하는 출력부(330);를 포함하는 것을 특징으로 하는 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템.
  5. 제 1 항에 있어서,
    상기 핸드트래킹 모듈(400)은,
    상기 깊이 이미지 정보, 상기 근전도 신호, 상기 제1 생성 좌표, 상기 제1 객체의 크기 정보 및 모양 정보를 수신하는 통신부(410);
    상기 제1 객체의 크기 및 모양을 상기 제1 객체의 크기 정보 및 모양 정보를 기반으로 결정하고, 상기 크기 및 모양이 결정된 제1 객체를 상기 제1 생성 좌표에 생성하는 제1 객체 처리부(420);
    상기 깊이 이미지 정보로부터 상기 제2 객체가 생성될 제2 생성 좌표를 검출하는 좌표 검출부(430);
    상기 사용자의 팔과 손에 대한 근전도 신호 패턴이 하나 이상 기저장되는 근전도 신호 패턴 저장부(440);
    상기 근전도 신호와 상기 기저장된 근전도 신호 패턴을 비교하여 상기 제2 객체의 크기 및 모양을 결정하고, 상기 크기 및 모양이 결정된 제2 객체를 상기 제2 생성 좌표에 생성하는 제2 객체 처리부(450); 및
    상기 제2 객체가 상기 제1 객체에 도달하여 상기 이벤트 정보가 발생하는지 여부를 판단하는 제어부(460);를 포함하는 것을 특징으로 하는 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템.
  6. 제 5 항에 있어서,
    상기 제어부(460)는,
    상기 이벤트 정보가 발생하는 경우, 상기 제1 객체, 상기 제1 생성 좌표, 상기 제2 객체, 상기 제2 생성 좌표에 대한 정보를 상기 통신부(410)를 통해 상기 단말(300)로 송신하는 것을 특징으로 하는 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템.
  7. 제 6 항에 있어서,
    상기 단말(300)은,
    상기 제1 생성 좌표의 제1 객체와 상기 제2 생성 좌표의 제2 객체를 중심 좌표가 포함되는 상기 가상공간에 출력하는 것을 특징으로 하는 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템.
  8. 제 5 항에 있어서,
    상기 제어부(460)는,
    상기 이벤트 정보가 발생하지 않는 경우, 상기 제1 생성 좌표로부터 상기 제1 객체가 삭제되도록 하거나, 상기 제2 생성 좌표로부터 상기 제2 객체가 삭제되도록 하고,
    상기 단말(300)로부터 상기 제1 생성 좌표가 조정된 후 상기 제1 객체 처리부(420)로부터 상기 조정된 제1 생성 좌표에 상기 제1 객체가 재생성되도록 하거나, 상기 좌표 검출부(430)로부터 상기 제2 생성 좌표가 조정된 후 상기 제2 객체 처리부(450)로부터 상기 조정된 제2 생성 좌표에 상기 제2 객체가 재생성되도록 하는 것을 특징으로 하는 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템.
  9. 제 3 항에 있어서,
    상기 센서(200)는,
    상기 전극부(210)에 설치되며, 상기 전극부(210)가 상기 사용자의 팔과 손에 대한 근전도 신호를 측정할 때, 상기 추적센서부(230)가 상기 추적 신호를 송신할 때 및 상기 감지센서부(240)가 상기 촬영 신호를 수신할 때 중 적어도 하나일 때 빛을 발생시키거나 빛을 점멸시키는 LED부(270);를 더 포함하는 것을 특징으로 하는 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템.
  10. 제 3 항에 있어서,
    상기 전극부(210)는,
    상기 감지센서부(240)가 설치되며, 상기 사용자의 팔에 부착되어 상기 사용자의 팔에 대한 근전도 신호를 측정하는 제1 전극부(211); 및
    상기 추적센서부(230)가 설치되며, 상기 사용자의 손가락에 부착되어 상기 사용자의 손에 대한 근전도 신호를 측정하는 제2 전극부(212);를 포함하는 것을 특징으로 하는 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템.
  11. 제 10 항에 있어서,
    상기 센서(200)는,
    상기 제1 전극부(211)에 설치되며, 상기 제1 전극부(211)가 상기 사용자의 팔에 대한 근전도 신호를 측정할 때 및 상기 감지센서부(240)가 상기 촬영 신호를 수신할 때 중 적어도 하나일 때 빛을 발생시키거나 빛을 점멸시키는 제1 LED부(271); 및
    상기 제2 전극부(212)에 설치되며, 상기 제2 전극부(212)가 상기 사용자의 손에 대한 근전도 신호를 측정할 때 및 상기 추적센서부(230)가 상기 추적 신호를 송신할 때 중 적어도 하나일 때 상기 제1 LED부(271)와 동일 방식 또는 다른 방식으로 빛을 발생시키거나 빛을 점멸시키는 제2 LED부(272);를 더 포함하는 것을 특징으로 하는 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템.
KR1020190145137A 2019-11-13 2019-11-13 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템 KR102325269B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190145137A KR102325269B1 (ko) 2019-11-13 2019-11-13 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190145137A KR102325269B1 (ko) 2019-11-13 2019-11-13 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템

Publications (2)

Publication Number Publication Date
KR20210059079A KR20210059079A (ko) 2021-05-25
KR102325269B1 true KR102325269B1 (ko) 2021-11-12

Family

ID=76145396

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190145137A KR102325269B1 (ko) 2019-11-13 2019-11-13 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템

Country Status (1)

Country Link
KR (1) KR102325269B1 (ko)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101196291B1 (ko) 2010-07-26 2012-11-09 이종우 손가락의 움직임을 인식하여 ３ｄ인터페이스를 제공하는 단말기 및 그 방법
KR101256046B1 (ko) * 2011-08-12 2013-04-18 한국과학기술원 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
KR101748126B1 (ko) 2012-09-10 2017-06-28 한국전자통신연구원 사용자 인터페이싱 장치 및 방법, 그리고 이를 이용하는 단말 장치
KR101763636B1 (ko) * 2015-10-15 2017-08-02 한국과학기술원 헤드 마운트 디스플레이를 이용한 협업 방법
CN109804331B (zh) * 2016-12-02 2021-06-22 皮松科技股份有限公司 检测和使用身体组织电信号
KR20180069288A (ko) * 2016-12-15 2018-06-25 김태원 웨어러블 디바이스를 이용한 매니퓰레이터 제어 시스템
KR20190007910A (ko) * 2017-07-14 2019-01-23 한국과학기술원 가상 현실 컨텐츠 제어를 위한 생체신호 기반 착용형 hmd 컨트롤러, hmd 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ONDREJ KAINZ 외 1인. Approach to Hand Tracking and Gesture Recognition Based on Depth-Sensing Cameras and EMG Monitoring. Acta Informatica Pragensia. 2014년3월, 104-112 페이지. 1부.*

Also Published As

Publication number Publication date
KR20210059079A (ko) 2021-05-25

Similar Documents

Publication Publication Date Title
US10691216B2 (en) Combining gestures beyond skeletal
JP6155448B2 (ja) ３ｄ撮像し、マッピングし、ネットワーク化しおよびインタフェースするための無線手首コンピューティングおよびコントロールするデバイスおよび方法
EP1704465B1 (en) Method and apparatus for light input device
KR101658937B1 (ko) 제스처 숏컷
US8856691B2 (en) Gesture tool
KR101945553B1 (ko) 수동 및 카메라 기반 아바타 제어
US20180307396A1 (en) Operation control device and operation control method
JP7326328B2 (ja) 光学式位置追跡デバイスの電力管理
US8553935B2 (en) Computer interface employing a manipulated object with absolute pose detection component and a display
US20090009469A1 (en) Multi-Axis Motion-Based Remote Control
US20100194687A1 (en) Remote input device
US20110118877A1 (en) Robot system and method and computer-readable medium controlling the same
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
WO2009120299A2 (en) Computer pointing input device
JP6834614B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20140173524A1 (en) Target and press natural user input
KR102325269B1 (ko) 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템
TWI599389B (zh) 結合人體手勢辨識及骨架追蹤之虛擬人物控制系統
KR20130090458A (ko) 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치
KR20230031765A (ko) 감각 전달이 가능한 핸드 트래킹 시스템
KR20220048403A (ko) 이중 라이다 센서 구조의 모션 트래킹 장치
Islam et al. ThirdHand: A novel and cost-effective hci for physically handicapped people
CN106546402B (zh) 碰撞测试方法、装置及系统
KR20220082632A (ko) 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템 및 이를 이용한 제스처 기반의 비접촉 멀티미디어 장치 제어 방법
Jeong et al. Multi-modal Interaction System for Enhanced User Experience

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right