KR102057705B1 - 동작 인식을 위한 지능형 장치 및 그 제어 방법 - Google Patents
동작 인식을 위한 지능형 장치 및 그 제어 방법 Download PDFInfo
- Publication number
- KR102057705B1 KR102057705B1 KR1020180012015A KR20180012015A KR102057705B1 KR 102057705 B1 KR102057705 B1 KR 102057705B1 KR 1020180012015 A KR1020180012015 A KR 1020180012015A KR 20180012015 A KR20180012015 A KR 20180012015A KR 102057705 B1 KR102057705 B1 KR 102057705B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- hand
- finger
- imu sensor
- motion
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B33—ADDITIVE MANUFACTURING TECHNOLOGY
- B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
- B33Y80/00—Products made by additive manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Abstract
본 발명은 동작 인식을 위한 지능형 장치 및 그 제어 방법에 관한 것으로서, 보다 구체적으로는 동작 인식을 위한 지능형 장치로서, 사용자의 제스처 인식을 위한 손과 손가락의 동작 신호를 측정하고, 측정되는 동작 신호를 디지털 신호로 변환하여 각각 출력하는 3개의 IMU(Inertial Motion Unit) 센서 모듈; 상기 3개의 IMU 센서 모듈의 동작 신호를 각각 입력받고, 상기 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 출력하는 제어(MCU) 모듈; 및 상기 제어 모듈로부터 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 무선근거리 통신을 통해 전송받아 전처리 과정과, N 차원의 DTW(Dynamic Time Warping) 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 그에 해당하는 제어를 수행하는 모바일 기기(Mobile Device)를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 동작 인식을 위한 지능형 장치 및 그 제어 방법에 따르면, 사용자의 손 등과 엄지 및 검지에 각각 배치되는 3개의 IMU 센서 모듈과, 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 출력하는 제어 모듈과, 동작 신호들의 시계열에 따른 전처리 과정과, N 차원의 DTW 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 제어하는 모바일 기기를 포함하여 구성함으로써, 3개의 IMU 센서 모듈로부터 측정되는 동작 신호들을 이용하여 22개의 다양한 제스처 동작 인식이 가능하도록 할 수 있다.
또한, 본 발명에 따르면, 손 등과 2개의 손가락에 장착되는 3개의 IMU 센서 모듈과 제어 모듈을 사용자 착용(wearable)형으로 구성함으로써, 기존의 장갑 형태의 동작 인식 장치보다 훨씬 간단하게 구현할 수 있음은 물론, DTW 알고리즘의 적용을 통한 동작 인식의 다양한 제스처를 정확하게 인식 가능하고, 간단하고 사용하기 쉬운 소형화로 구현될 수 있도록 할 수 있다.
뿐만 아니라, 본 발명은, 사물인터넷(IoT) 개념의 유연한 PCB 회로 설계로 와이파이 또는 기타 인터넷 연결 옵션을 사용하는 모든 어플리케이션에 연결하여 다양한 전자 장치들의 원격 제어에 범용으로 활용하는 것이 가능하도록 할 수 있다.
본 발명에서 제안하고 있는 동작 인식을 위한 지능형 장치 및 그 제어 방법에 따르면, 사용자의 손 등과 엄지 및 검지에 각각 배치되는 3개의 IMU 센서 모듈과, 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 출력하는 제어 모듈과, 동작 신호들의 시계열에 따른 전처리 과정과, N 차원의 DTW 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 제어하는 모바일 기기를 포함하여 구성함으로써, 3개의 IMU 센서 모듈로부터 측정되는 동작 신호들을 이용하여 22개의 다양한 제스처 동작 인식이 가능하도록 할 수 있다.
또한, 본 발명에 따르면, 손 등과 2개의 손가락에 장착되는 3개의 IMU 센서 모듈과 제어 모듈을 사용자 착용(wearable)형으로 구성함으로써, 기존의 장갑 형태의 동작 인식 장치보다 훨씬 간단하게 구현할 수 있음은 물론, DTW 알고리즘의 적용을 통한 동작 인식의 다양한 제스처를 정확하게 인식 가능하고, 간단하고 사용하기 쉬운 소형화로 구현될 수 있도록 할 수 있다.
뿐만 아니라, 본 발명은, 사물인터넷(IoT) 개념의 유연한 PCB 회로 설계로 와이파이 또는 기타 인터넷 연결 옵션을 사용하는 모든 어플리케이션에 연결하여 다양한 전자 장치들의 원격 제어에 범용으로 활용하는 것이 가능하도록 할 수 있다.
Description
본 발명은 동작 인식을 위한 지능형 장치 및 그 제어 방법에 관한 것으로서, 보다 구체적으로는 사용자의 손 등과 엄지 및 검지에 각각 배치되는 3개의 IMU 센서 모듈을 이용하여 22개의 제스처 동작 인식이 구현될 수 있도록 하는 동작 인식을 위한 지능형 장치 및 그 제어 방법에 관한 것이다.
현재 전자기술의 발달에 힘입어 기계와 사용자 간의 인터랙션(interaction) 방법은 더욱 다양해지고 있다. 특히, 최근에는 인간-컴퓨터 상호작용(Human Computer Interaction, HCI) 기술에 대한 관심도가 높아짐에 따라 사용자의 인지적, 감성적, 그리고 생활 경험을 증진시킬 수 있는 인터랙션에 대한 다양한 연구가 진행되고 있으며, 제스처 동작 인식은 지능적이고 자연스러운 인터페이스로 인기 있는 연구 분야 중 하나로 각광받고 있다. 이와 같은 HCI 분야와 관련하여, 음성, 비전, 제스처, 혹은 그 외에도 다른 혁신적인 입출력 채널을 이용하는 사용자 친화적인 인터페이스 개발을 위해 많은 노력이 이루어지고 있다. 이 연구 분야에 있어서 가장 난이도가 높은 접근 방법 중 하나는 인간의 신경 체계의 전기적인 특성을 이용하여 인간의 신경 신호와 컴퓨터를 연결하는 것이다. 이와 같은 신경과 컴퓨터 간의 연결을 위해 다양한 생체의학적인 신호들이 사용되어 질 수 있는데, 대부분은 특별한 신체조직, 장기 또는 신경 체계와 같은 세포 조직으로부터 얻을 수 있게 된다.
생체신호는 인체에서 발생되는 전기적 또는 자기적 신호를 의미하며, 대표적으로 근전도(EMG), 심전도(ECG), 뇌전도(EDG), 안전도(EOG), 피부 전도도(GSR) 등의 신호를 포함한다. 이러한 생체신호는 종래 의료분야에서 치료 또는 재활의 목적으로 주로 활용되어 왔으나, 최근에는 인간-컴퓨터 인터페이스(HCI) 분야에서 사용자의 동작 의도를 추론하여 컴퓨터, 기계, 로봇 등의 동작을 제어하는 용도로 그 활용범위가 넓어지고 있다. 이러한 생체신호를 이용하여 컴퓨터, 기계, 로봇 등을 제어하기 위해서는 생체신호를 정확하게 검출하는 기술은 물론이고, 검출된 생체신호로부터 사용자의 동작의도를 정확하게 추론하는 기술이 매우 중요하다.
사용자의 동작 의도를 추론하는 가장 간단한 방법은, 여러 대의 고속 적외선 카메라를 사용하여 모션을 캡처하는 비전 시스템이나, 단일 EMG 및 IMU를 사용하는 제스처 제어 시스템, 및 생체신호 검출장치가 생체신호의 특정 인자 값이 설정된 임계값을 초과하면 사용자가 동작을 개시한 것으로 판단하고, 해당 동작에 대응하는 제어동작을 수행하는 방법 등이 사용될 수 있다. 이때, 비전 시스템의 경우 여러 대의 고속 적외선 카메라를 사용하여 모션을 캡처하는 방식으로 구현되는 장비의 소형화에 문제가 있으며, 단일 EMG 및 IMU를 사용하는 제스처 제어 시스템의 경우에는 다양한 사용자 동작을 인식하는데 한계가 있었다. 또한, 생체신호(EMG 신호)는 장치 고유의 잡음, 전자기적인 복사, 동작 잡음, 그리고 다른 조직과의 상호 작용 등에 의해서 유발되는 복잡한 형태의 잡음들을 포함하게 되므로, 이와 같이 EMG와 같은 생체신호에 포함된 노이즈는 주변 환경이나 사용자의 신체상태, 센서와 신체의 접촉상태에 따라 지속적으로 변하기 때문에 정확한 임계값을 설정하기가 어려운 문제가 있었으며, 이러한 문제 해결을 위해서는 사용자의 동작여부를 정확하게 판단할 수 있는 방안이 요구된다. 대한민국 공개특허공보 제10-2016-0133306호와, 대한민국 등록특허공보 제10-1000869호가 선행기술 문헌으로 개시되고 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 사용자의 손 등과 엄지 및 검지에 각각 배치되는 3개의 IMU 센서 모듈과, 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 출력하는 제어 모듈과, 동작 신호들의 시계열에 따른 전처리 과정과, N 차원의 DTW 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 제어하는 모바일 기기를 포함하여 구성함으로써, 3개의 IMU 센서 모듈로부터 측정되는 동작 신호들을 이용하여 22개의 다양한 제스처 동작 인식이 가능하도록 하는, 동작 인식을 위한 지능형 장치 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 손 등과 2개의 손가락에 장착되는 3개의 IMU 센서 모듈과 제어 모듈을 사용자 착용(wearable)형으로 구성함으로써, 기존의 장갑 형태의 동작 인식 장치보다 훨씬 간단하게 구현할 수 있음은 물론, DTW 알고리즘의 적용을 통한 동작 인식의 다양한 제스처를 정확하게 인식 가능하고, 간단하고 사용하기 쉬운 소형화로 구현될 수 있도록 하는, 동작 인식을 위한 지능형 장치 및 그 제어 방법을 제공하는 것을 또 다른 목적으로 한다.
뿐만 아니라, 본 발명은, 사물인터넷(IoT) 개념의 유연한 PCB 회로 설계로 와이파이 또는 기타 인터넷 연결 옵션을 사용하는 모든 어플리케이션에 연결하여 다양한 전자 장치들의 원격 제어에 범용으로 활용하는 것이 가능하도록 하는, 동작 인식을 위한 지능형 장치 및 그 제어 방법을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 동작 인식을 위한 지능형 장치는,
동작 인식을 위한 지능형 장치로서,
사용자의 제스처 인식을 위한 손과 손가락의 동작 신호를 측정하고, 측정되는 동작 신호를 디지털 신호로 변환하여 각각 출력하는 3개의 IMU(Inertial Motion Unit) 센서 모듈;
상기 3개의 IMU 센서 모듈의 동작 신호를 각각 입력받고, 상기 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 출력하는 제어(MCU) 모듈; 및
상기 제어 모듈로부터 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 무선근거리 통신을 통해 전송받아 전처리 과정과, N 차원의 DTW(Dynamic Time Warping) 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 그에 해당하는 제어를 수행하는 모바일 기기(Mobile Device)를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 3개의 IMU 센서 모듈은,
3개의 IMU 센서 모듈 중 하나의 IMU 센서 모듈은 사용자의 손 등에 장착되고, 나머지 2개의 IMU 센서 모듈은 사용자의 2개의 손가락에 각각 장착될 수 있다.
더욱 바람직하게는, 상기 3개의 IMU 센서 모듈은,
상기 사용자의 손 등에 장착되는 IMU 센서 모듈은 사용자의 손 방향을 측정하기 위한 모션 센서로 기능하고, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈은 사용자의 손가락 방향을 측정하기 위한 동작 센서로 기능할 수 있다.
더욱 더 바람직하게는,
상기 사용자의 손 등에 장착되어 모션 센서로 기능하는 IMU 센서 모듈은, 가속도계(Accelerometer) 센서로 구성할 수 있다.
더욱 더 바람직하게는,
상기 사용자의 손가락에 장착되어 동작 센서로 기능하는 2개의 IMU 센서 모듈은 사용자의 엄지와 검지에 각각 배치하되, 검지에 배치되는 IMU 센서 모듈은 자이로스코프(Gyroscope) 센서로 구성하고, 엄지에 배치되는 IMU 센서 모듈은 자력계(Magnetometer) 센서로 구성할 수 있다.
바람직하게는, 상기 3개의 IMU 센서 모듈은,
사용자의 손 등에 장착되는 1개의 IMU 센서 모듈과, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈에서 측정되는 손 방향과 손가락 방향의 동작 신호들을 통해 미리 설정된 사용자의 동작 22개의 제스처를 표현할 수 있다.
더욱 바람직하게는, 상기 22개의 제스처는,
6개의 단순(simple) 제스처와, 6개의 표준(normal) 제스처와, 6개의 복잡(complex) 제스처, 및 2개의 손가락만을 사용한 4개의 제스처로 구성할 수 있다.
더욱 더 바람직하게는, 상기 복합 제스처는,
손가락과 손 방향을 모두 사용하는 제스처이다.
바람직하게는, 상기 제어 모듈은,
상기 3개의 IMU 센서 모듈에서 측정한 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 상기 모바일 기기로 전송하기 위한 블루투스 모듈을 더 포함할 수 있다.
더욱 바람직하게는, 상기 제어 모듈은,
상기 모바일 기기와 저전력 통신을 위한 저전력 블루투스 4.0 BLE 보드로 구현될 수 있다.
더욱 바람직하게는,
상기 3개의 IMU 센서 모듈과, 블루투스 모듈을 구비하는 제어 모듈은 케이싱에 수용 설치되어 사용자의 손가락과 손 등에 체결되는 착용(wearable)으로 구성될 수 있다.
더욱 더 바람직하게는, 상기 케이싱은,
3D 프린터로 제작될 수 있다.
더욱 바람직하게는, 상기 모바일 기기는,
상기 제어 모듈로부터 블루투스 통신으로 입력받은 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 시계열(Time series)을 전처리 과정을 통해 분류하고, 미리 설정된 클래스 ID와 N차원의 DTW 거리를 구하여 미리 설정된 22개의 제스처를 참조하여 비교한 결과로 사용자가 취한 제스처를 인식하고 그에 해당하는 동작 수행이 가능하도록 제어할 수 있다.
더욱 더 바람직하게는, 상기 모바일 기기는,
상기 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 패턴을 측정하기 위한 동적 시간 워핑(DTW) 알고리즘을 탑재하여 사용할 수 있다.
더더욱 바람직하게는, 상기 동적 시간 워핑 알고리즘은,
6배 교차 검증 방법으로 훈련될 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 동작 인식을 위한 지능형 장치의 제어 방법은,
3개의 IMU 센서 모듈과 제어 모듈 및 모바일 기기를 구비하는 지능형 장치를 이용한 동작 인식 제어 방법으로서,
(1) 상기 제어 모듈이 상기 3개의 IMU 센서 모듈로부터 사용자의 제스처 인식을 위한 손과 손가락을 통해 측정되어 디지털 신호로 변환된 동작 신호들을 각각 입력받는 단계;
(2) 상기 제어 모듈이 상기 단계 (1)을 통해 각각 입력받은 상기 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 상기 모바일 기기로 전송하는 단계; 및
(3) 상기 모바일 기기가 상기 제어 모듈로부터 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 무선근거리 통신을 통해 전송받아 전처리 과정과, N 차원의 DTW(Dynamic Time Warping) 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 그에 해당하는 제어를 수행하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (1)에서,
상기 3개의 IMU 센서 모듈 중 하나의 IMU 센서 모듈은 사용자의 손 등에 장착되고, 나머지 2개의 IMU 센서 모듈은 사용자의 2개의 손가락에 각각 장착하되,
상기 사용자의 손 등에 장착되는 IMU 센서 모듈은 사용자의 손 방향을 측정하기 위한 모션 센서로 기능하고, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈은 사용자의 손가락 방향을 측정하기 위한 동작 센서로 기능할 수 있다.
더욱 바람직하게는, 상기 3개의 IMU 센서 모듈은,
상기 사용자의 손 등에 장착되어 모션 센서로 기능하는 IMU 센서 모듈이 가속도계(Accelerometer) 센서로 구성되고, 상기 사용자의 손가락에 장착되어 동작 센서로 기능하는 2개의 IMU 센서 모듈은 사용자의 엄지와 검지에 각각 배치하되, 검지에 배치되는 IMU 센서 모듈은 자이로스코프(Gyroscope) 센서로 구성되며, 엄지에 배치되는 IMU 센서 모듈은 자력계(Magnetometer) 센서로 구성될 수 있다.
더욱 더 바람직하게는, 상기 3개의 IMU 센서 모듈은,
사용자의 손 등에 장착되는 1개의 IMU 센서 모듈과, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈에서 측정되는 손 방향과 손가락 방향의 동작 신호들을 통해 미리 설정된 사용자의 동작 22개의 제스처를 표현하되,
상기 22개의 제스처는,
6개의 단순(simple) 제스처와, 6개의 표준(normal) 제스처와, 6개의 복잡(complex) 제스처, 및 2개의 손가락만을 사용한 4개의 제스처로 구성되고, 상기 복합 제스처는 손가락과 손 방향을 모두 사용하는 제스처이다.
더더욱 바람직하게는, 상기 단계 (3)에서,
상기 모바일 기기는 상기 제어 모듈로부터 블루투스 통신으로 입력받은 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 시계열(Time series)을 전처리 과정을 통해 분류하고, 미리 설정된 클래스 ID와 N차원의 DTW 거리를 구하여 미리 설정된 22개의 제스처를 참조하여 비교한 결과로 사용자가 취한 제스처를 인식하고 그에 해당하는 동작 수행이 가능하도록 제어하며, 상기 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 패턴을 측정하기 위한 동적 시간 워핑(DTW) 알고리즘을 탑재하여 사용할 수 있다.
본 발명에서 제안하고 있는 동작 인식을 위한 지능형 장치 및 그 제어 방법에 따르면, 사용자의 손 등과 엄지 및 검지에 각각 배치되는 3개의 IMU 센서 모듈과, 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 출력하는 제어 모듈과, 동작 신호들의 시계열에 따른 전처리 과정과, N 차원의 DTW 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 제어하는 모바일 기기를 포함하여 구성함으로써, 3개의 IMU 센서 모듈로부터 측정되는 동작 신호들을 이용하여 22개의 다양한 제스처 동작 인식이 가능하도록 할 수 있다.
또한, 본 발명에 따르면, 손 등과 2개의 손가락에 장착되는 3개의 IMU 센서 모듈과 제어 모듈을 사용자 착용(wearable)형으로 구성함으로써, 기존의 장갑 형태의 동작 인식 장치보다 훨씬 간단하게 구현할 수 있음은 물론, DTW 알고리즘의 적용을 통한 동작 인식의 다양한 제스처를 정확하게 인식 가능하고, 간단하고 사용하기 쉬운 소형화로 구현될 수 있도록 할 수 있다.
뿐만 아니라, 본 발명은, 사물인터넷(IoT) 개념의 유연한 PCB 회로 설계로 와이파이 또는 기타 인터넷 연결 옵션을 사용하는 모든 어플리케이션에 연결하여 다양한 전자 장치들의 원격 제어에 범용으로 활용하는 것이 가능하도록 할 수 있다.
도 1은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 구성을 기능블록으로 도시한 도면.
도 2는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 시스템 구조도를 도시한 도면.
도 3은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 IMU 센서 모듈들과 제어 모듈의 구현 일례의 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 착용 상태의 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치를 이용한 22개의 제스처 표현 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법의 동작 흐름을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법의 처리 과정을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법을 이용한 유클리드 거리 및 DTW의 그래프를 도시한 도면.
도 9는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법에서, 다차원 DTW의 그래프를 도시한 도면.
도 10은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법에서, 전처리 과정의 그래프를 도시한 도면.
도 11은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법에서, ND-DTW 알고리즘을 사용하여 제스처 인식 정확도의 검증 실험 결과를 도시한 도면.
도 12는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법과 관련 시스템과의 비교를 도시한 도면.
도 2는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 시스템 구조도를 도시한 도면.
도 3은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 IMU 센서 모듈들과 제어 모듈의 구현 일례의 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 착용 상태의 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치를 이용한 22개의 제스처 표현 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법의 동작 흐름을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법의 처리 과정을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법을 이용한 유클리드 거리 및 DTW의 그래프를 도시한 도면.
도 9는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법에서, 다차원 DTW의 그래프를 도시한 도면.
도 10은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법에서, 전처리 과정의 그래프를 도시한 도면.
도 11은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법에서, ND-DTW 알고리즘을 사용하여 제스처 인식 정확도의 검증 실험 결과를 도시한 도면.
도 12는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법과 관련 시스템과의 비교를 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 구성을 기능블록으로 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 시스템 구조도를 도시한 도면이며, 도 3은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 IMU 센서 모듈들과 제어 모듈의 구현 일례의 구성을 도시한 도면이고, 도 4는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 착용 상태의 구성을 도시한 도면이며, 도 5는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치를 이용한 22개의 제스처 표현 구성을 도시한 도면이다. 도 1 내지 도 5에 각각 도시된 바와 같이, 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치(100)는, 3개의 IMU 센서 모듈(110), 제어 모듈(120), 및 모바일 기기(130)를 포함하여 구성될 수 있다.
3개의 IMU 센서 모듈(110)은, 사용자의 제스처 인식을 위한 손과 손가락의 동작 신호를 측정하고, 측정되는 동작 신호를 디지털 신호로 변환하여 각각 출력하는 3개의 IMU(Inertial Motion Unit) 센서의 구성이다. 이러한 3개의 IMU 센서 모듈(110)에서, 3개의 IMU 센서 모듈(110) 중 하나의 IMU 센서 모듈(110)은 사용자의 손 등에 장착되고, 나머지 2개의 IMU 센서 모듈(110)은 사용자의 2개의 손가락에 각각 장착될 수 있다. 여기서, 3개의 IMU 센서 모듈(110)에서, 사용자의 손 등에 장착되는 IMU 센서 모듈(110)은 사용자의 손 방향을 측정하기 위한 모션 센서로 기능하고, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈(110)은 사용자의 손가락 방향을 측정하기 위한 동작 센서로 기능할 수 있다.
또한, 3개의 IMU 센서 모듈(110)에서, 사용자의 손 등에 장착되어 모션 센서로 기능하는 IMU 센서 모듈(110)은 가속도계(Accelerometer) 센서로 구성되고, 사용자의 손가락에 장착되어 동작 센서로 기능하는 2개의 IMU 센서 모듈(110)은 사용자의 엄지와 검지에 각각 배치하되, 검지에 배치되는 IMU 센서 모듈(110)은 자이로스코프(Gyroscope) 센서로 구성하고, 엄지에 배치되는 IMU 센서 모듈(110)은 자력계(Magnetometer) 센서로 구성될 수 있다.
또한, 3개의 IMU 센서 모듈(110)은 도 3 내지 도 5에 각각 도시된 바와 같이, 사용자의 손 등에 장착되는 1개의 IMU 센서 모듈(110)과, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈(110)에서 측정되는 손 방향과 손가락 방향의 동작 신호들을 통해 미리 설정된 사용자의 동작 22개의 제스처를 표현할 수 있다. 여기서, 22개의 제스처는 도 5의 (a) 내지 (d)에 도시된 바와 같이, 6개의 단순(simple) 제스처와, 6개의 표준(normal) 제스처와, 6개의 복잡(complex) 제스처, 및 2개의 손가락만을 사용한 4개의 제스처로 구성될 수 있다. 여기서, 복합 제스처는 손가락과 손 방향을 모두 사용하는 제스처로 정의 될 수 있다.
제어 모듈(120)은, 3개의 IMU 센서 모듈(110)의 동작 신호를 각각 입력받고, 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 출력하는 제어부의 구성이다. 이러한 제어 모듈(120)은 3개의 IMU 센서 모듈(110)에서 측정한 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 모바일 기기(130)로 전송하기 위한 블루투스 모듈(121)을 더 포함하여 구성할 수 있다. 여기서, 제어 모듈(120)은 모바일 기기(130)와 저전력 통신을 위한 저전력 블루투스 4.0 BLE 보드로 구현될 수 있다.
또한, 본 발명의 동작 인식을 위한 지능형 장치(100)에서, 3개의 IMU 센서 모듈(110)과, 블루투스 모듈(121)을 구비하는 제어 모듈(120)은 도 3 및 도 4에 도시된 바와 같이, 케이싱(101)에 수용 설치되어 사용자의 손가락과 손 등에 체결되는 착용(wearable)으로 구성될 수 있다. 여기서, 케이싱(101)은 3D 프린터로 제작될 수 있다.
모바일 기기(130)는, 제어 모듈(120)로부터 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 무선근거리 통신을 통해 전송받아 전처리 과정과, N 차원의 DTW(Dynamic Time Warping) 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 그에 해당하는 제어를 수행하는 장치의 구성이다. 이러한 모바일 기기(Mobile Device)(130)는 제어 모듈(120)로부터 블루투스 통신으로 입력받은 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 시계열(Time series)을 전처리 과정을 통해 분류하고, 미리 설정된 클래스 ID와 N차원의 DTW 거리를 구하여 미리 설정된 22개의 제스처를 참조하여 비교한 결과로 사용자가 취한 제스처를 인식하고 그에 해당하는 동작 수행이 가능하도록 제어할 수 있다.
또한, 모바일 기기(130)는 3개의 IMU 센서 모듈(110)의 3개의 영역을 통해 22개의 동작 인식을 구현하고, 인식을 원하는 추가 동작을 설정하는 것도 가능하다. 즉, 다양한 응용 프로그램에 더 많은 기능을 포함시켜 사용자가 직접 사용자 정의 제스처를 허용할 수 있다.
또한, 모바일 기기(130)는 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 패턴을 측정하기 위한 동적 시간 워핑(DTW) 알고리즘을 탑재하여 사용할 수 있다. 여기서, 동적 시간 워핑 알고리즘은 6배 교차 검증 방법으로 훈련될 수 있다. 또한, 모바일 기기(130)는 제어 모듈(120)과 블루투스 통신을 수행하기 위한 블루투스 모듈을 내장형으로 구성한다.
도 6은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법의 동작 흐름을 도시한 도면이고, 도 7은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법의 처리 과정을 도시한 도면이며, 도 8은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법을 이용한 유클리드 거리 및 DTW의 그래프를 도시한 도면이고, 도 9는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법에서, 다차원 DTW의 그래프를 도시한 도면이며, 도 10은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법에서, 전처리 과정의 그래프를 도시한 도면이다. 도 6 내지 도 10에 각각 도시된 바와 같이, 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법은, 3개의 IMU 센서 모듈로부터 사용자의 제스처 인식을 위한 손과 손가락을 통해 측정되어 디지털 신호로 변환된 동작 신호들을 각각 입력받는 단계(S110), 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 상기 모바일 기기로 전송하는 단계(S120), 및 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 이용하여 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 그에 해당하는 제어를 수행하는 단계(S130)를 포함하여 구현될 수 있다.
본 발명에 따른 동작 인식을 위한 지능형 장치(100)의 제어 방법에서, 단계 S110에서는, 제어 모듈(120)이 3개의 IMU 센서 모듈(110)로부터 사용자의 제스처 인식을 위한 손과 손가락을 통해 측정되어 디지털 신호로 변환된 동작 신호들을 각각 입력받는다. 이러한 단계 S110에서, 3개의 IMU 센서 모듈(110) 중 하나의 IMU 센서 모듈(110)은 사용자의 손 등에 장착되고, 나머지 2개의 IMU 센서 모듈(110)은 사용자의 2개의 손가락에 각각 장착하되, 사용자의 손 등에 장착되는 IMU 센서 모듈(110)은 사용자의 손 방향을 측정하기 위한 모션 센서로 기능하고, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈(110)은 사용자의 손가락 방향을 측정하기 위한 동작 센서로 기능할 수 있다.
또한, 3개의 IMU 센서 모듈(110)은 사용자의 손 등에 장착되어 모션 센서로 기능하는 IMU 센서 모듈(110)이 가속도계(Accelerometer) 센서로 구성되고, 상기 사용자의 손가락에 장착되어 동작 센서로 기능하는 2개의 IMU 센서 모듈(110)은 사용자의 엄지와 검지에 각각 배치하되, 검지에 배치되는 IMU 센서 모듈(110)은 자이로스코프(Gyroscope) 센서로 구성되며, 엄지에 배치되는 IMU 센서 모듈(110)은 자력계(Magnetometer) 센서로 구성될 수 있다.
또한, 3개의 IMU 센서 모듈(110)은 사용자의 손 등에 장착되는 1개의 IMU 센서 모듈(110)과, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈(110)에서 측정되는 손 방향과 손가락 방향의 동작 신호들을 통해 미리 설정된 사용자의 동작 22개의 제스처를 표현할 수 있다. 여기서, 22개의 제스처는 6개의 단순(simple) 제스처와, 6개의 표준(normal) 제스처와, 6개의 복잡(complex) 제스처, 및 2개의 손가락만을 사용한 4개의 제스처로 구성되고, 복합 제스처는 손가락과 손 방향을 모두 사용하는 제스처로 구현될 수 있다.
본 발명에 따른 동작 인식을 위한 지능형 장치(100)의 제어 방법에서, 단계 S120에서는, 제어 모듈(120)이 단계 S110을 통해 각각 입력받은 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 모바일 기기(130)로 전송한다.
본 발명에 따른 동작 인식을 위한 지능형 장치(100)의 제어 방법에서, 단계 S130에서는 모바일 기기(130)가 제어 모듈(120)로부터 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 무선근거리 통신을 통해 전송받아 전처리 과정과, N 차원의 DTW(Dynamic Time Warping) 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 그에 해당하는 제어를 수행할 수 있다.
또한, 단계 S130에서 모바일 기기(130)는 제어 모듈(120)로부터 블루투스 통신으로 입력받은 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 시계열(Time series)을 전처리 과정을 통해 분류하고, 미리 설정된 클래스 ID와 N차원의 DTW 거리를 구하여 미리 설정된 22개의 제스처를 참조하여 비교한 결과로 사용자가 취한 제스처를 인식하고 그에 해당하는 동작 수행이 가능하도록 제어하며, 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 패턴을 측정하기 위한 동적 시간 워핑(DTW) 알고리즘을 탑재하여 사용할 수 있다.
도 7은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법의 처리 과정으로서, 3개의 동작 신호의 시계열(Time Series)처리와, 전처리(Pre Processing) 과정과, 분류(Classification) 처리와, 클래스 ID 및 NC-DTW Distance 추출 과정을 나타내고 있다. 도 8은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법을 이용한 유클리드 거리 및 DTW의 그래프를 나타내고 있다. 즉, 도 8의 (a)는 유클리드 거리(Euclidean Distance)를 나타내고, 도 8의 (b)는 Dynamic Time Warping의 그래프를 나타내고 있다. 도 9는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법에서, 다차원 DTW의 그래프를 나타내고 있다.
여기서, 수학식 1은 N 차원의 DTW를 나타내며, 주어진 2개의 시계열 사이의 거리를 계산하고, 모든 N 차원에 걸친 총 거리는 유클리드 거리로 워핑 행렬을 구성하는데 사용된다.
도 10은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법에서, 전처리 과정의 그래프를 나타낸다.
여기서, 수학식 2는 신호처리의 전처리 과정을 나타낸다. 즉, 보완적인 필터 방법을 사용하여 가속도계의 잡음을 제거(가속도계+자이로스코프)할 수 있다. 이때, 통합된 자이로스코프의 각 추정치는 하이패스 필터와 유사하고, 저역통과 필터와 거의 동일한 시간 상수를 갖게 된다.
또한, 전처리 과정 이후의 분류 과정에서, 분류 임계값(Classification Threshold)은 아래의 수학식 3 내지 5로 표현될 수 있다.
즉, N 차원 입력 시계열 X가 템플릿의 제스처와 일치하지 않은 경우, 잘못된 분류 문제는 훈련 단계에서 템플릿의 각 제스처에 대한 분류를 정의하여 해결하고 있다. 이때, 알고리즘은 특정 제스처가 일치하지 않음을 나타내며, d는 총 정규화 된 워핑 거리이고, 감마는 훈련 단계에서 초기에 임의의 숫자로 설정 될 수 있으며, 나중에 사용자에 의해 조정될 수도 있다.
도 11은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법에서, ND-DTW 알고리즘을 사용하여 제스처 인식 정확도의 검증 실험 결과를 도시한 도면이고, 도 12는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법과 관련 시스템과의 비교를 도시한 도면이다. 도 11은 ND-DTW 알고리즘을 사용하여 제스처 인식 정확도를 검증하기 위한 실험이 수행된 결과이다. 본 실험에는 6 명의 오른 손잡이 피험자가 실험에 참여하고, 각 피 실험자는 22 회의 제스처를 25 번 반복하며, 제스처는 18 개의 손 제스처와 4 개의 손가락 제스처로 구성되었다. 또한, 사용된 IMU 센서의 양에 근거한 정확도 비율에 대한 영향도 고려되며, ND-DTW 모델은 6배 교차 검증 방법을 사용하여 훈련되었다. 도 12는 본 발명에 따른 동작 인식을 위한 지능형 장치 및 그 제어 방법과 관련 시스템과의 실험 결과를 비교하여 나타내고 있다. 본 발명은 3개의 IMU 센서 모듈을 사용하여 평균 정확도 96.78%를 나타내고 있다.
본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치 및 그 제어 방법에서는 제스처 인식으 위한 손과 손가락을 이용한 스마트 웨어러블 컨트롤러 시스템의 설계 및 구현이 가능하고, 이러한 본 발명은 3개의 IMU 센서를 사용하여 평균 정확도 96.78 %의 저비용에서 DTW 알고리즘으로 총 22 개의 미리 정의된 제스처를 인식할 수 있으며, 3.7V, 240mA의 배터리로 10시간의 낮은 에너지 소비로 잘 수행되었다. 즉, 본 발명은 전력 소비 및 착용 할 수 있는 편안함과 함께 크기를 줄이기 위한 차원의 관점에서 PCB 설계가 최적화되고, 다양한 소프트웨어 플랫폼과 호환되는 독립 실행형 시스템으로서 임베디드 하드웨어에서 인식 알고리즘이 구현되며, 손과 손가락 움직임을 활용하여 3차원 제스처와 관련된 복잡한 제스처를 인식하고, 다양한 응용 프로그램에 더 많은 기능을 포함시키고 사용자가 직접 사용자 정의 제스처를 허용하는 것이 가능하게 구현될 수 있다.
상술한 바와 같이, 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치 및 그 제어 방법은, 사용자의 손 등과 엄지 및 검지에 각각 배치되는 3개의 IMU 센서 모듈과, 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 출력하는 제어 모듈과, 동작 신호들의 시계열에 따른 전처리 과정과, N 차원의 DTW 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 제어하는 모바일 기기를 포함하여 구성함으로써, 3개의 IMU 센서 모듈로부터 측정되는 동작 신호들을 이용하여 22개의 다양한 제스처 동작 인식이 가능하도록 할 수 있게 된다. 또한, 손 등과 2개의 손가락에 장착되는 3개의 IMU 센서 모듈과 제어 모듈을 사용자 착용(wearable)형으로 구성함으로써, 기존의 장갑 형태의 동작 인식 장치보다 훨씬 간단하게 구현할 수 있음은 물론, DTW 알고리즘의 적용을 통한 동작 인식의 다양한 제스처를 정확하게 인식 가능하고, 간단하고 사용하기 쉬운 소형화로 구현될 수 있도록 할 수 있으며, 특히, 사물인터넷(IoT) 개념의 유연한 PCB 회로 설계로 와이파이 또는 기타 인터넷 연결 옵션을 사용하는 모든 어플리케이션에 연결하여 다양한 전자 장치들의 원격 제어에 범용으로 활용하는 것이 가능하도록 할 수 있게 된다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 본 발명의 일실시예에 따른 지능형 장치
101: 케이싱
110: IMU 센서 모듈
120: 제어(MCU) 모듈
130: 모바일 기기
S110: 3개의 IMU 센서 모듈로부터 사용자의 제스처 인식을 위한 손과 손가락을 통해 측정되어 디지털 신호로 변환된 동작 신호들을 각각 입력받는 단계
S120: 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 상기 모바일 기기로 전송하는 단계
S130: 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 이용하여 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 그에 해당하는 제어를 수행하는 단계
101: 케이싱
110: IMU 센서 모듈
120: 제어(MCU) 모듈
130: 모바일 기기
S110: 3개의 IMU 센서 모듈로부터 사용자의 제스처 인식을 위한 손과 손가락을 통해 측정되어 디지털 신호로 변환된 동작 신호들을 각각 입력받는 단계
S120: 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 상기 모바일 기기로 전송하는 단계
S130: 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 이용하여 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 그에 해당하는 제어를 수행하는 단계
Claims (20)
- 동작 인식을 위한 지능형 장치(100)로서,
사용자의 제스처 인식을 위한 손과 손가락의 동작 신호를 측정하고, 측정되는 동작 신호를 디지털 신호로 변환하여 각각 출력하는 3개의 IMU(Inertial Motion Unit) 센서 모듈(110);
상기 3개의 IMU 센서 모듈(110)의 동작 신호를 각각 입력받고, 상기 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 출력하는 제어(MCU) 모듈(120); 및
상기 제어 모듈(120)로부터 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 무선근거리 통신을 통해 전송받아 전처리 과정과, N 차원의 DTW(Dynamic Time Warping) 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 그에 해당하는 제어를 수행하는 모바일 기기(Mobile Device)(130)를 포함하되,
상기 3개의 IMU 센서 모듈(110)은,
3개의 IMU 센서 모듈(110) 중 하나의 IMU 센서 모듈(110)은 사용자의 손 등에 장착되고, 나머지 2개의 IMU 센서 모듈(110)은 사용자의 2개의 손가락에 각각 장착하되, 상기 사용자의 손 등에 장착되는 IMU 센서 모듈(110)은 사용자의 손 방향을 측정하기 위한 모션 센서로 기능하고, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈(110)은 사용자의 손가락 방향을 측정하기 위한 동작 센서로 기능하고,
상기 사용자의 손 등에 장착되어 모션 센서로 기능하는 IMU 센서 모듈(110)은, 가속도계(Accelerometer) 센서로 구성하며,
상기 사용자의 손가락에 장착되어 동작 센서로 기능하는 2개의 IMU 센서 모듈(110)은 사용자의 엄지와 검지에 각각 배치하되, 검지에 배치되는 IMU 센서 모듈(110)은 자이로스코프(Gyroscope) 센서로 구성하고, 엄지에 배치되는 IMU 센서 모듈(110)은 자력계(Magnetometer) 센서로 구성하며,
상기 3개의 IMU 센서 모듈(110)은,
사용자의 손 등에 장착되는 1개의 IMU 센서 모듈(110)과, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈(110)에서 측정되는 손 방향과 손가락 방향의 동작 신호들을 통해 미리 설정된 사용자의 동작 22개의 제스처를 표현하고,
상기 22개의 제스처는,
6개의 단순(simple) 제스처와, 6개의 표준(normal) 제스처와, 6개의 복합(complex) 제스처, 및 2개의 손가락만을 사용한 4개의 제스처로 구성하며,
복합 제스처는,
손가락과 손 방향을 모두 사용하는 제스처이고,
상기 제어 모듈(120)은,
상기 3개의 IMU 센서 모듈(110)에서 측정한 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 상기 모바일 기기(130)로 전송하기 위한 블루투스 모듈(121)을 더 포함하되, 상기 제어 모듈(120)은 상기 모바일 기기(130)와 저전력 통신을 위한 저전력 블루투스 4.0 BLE 보드로 구현되며,
상기 3개의 IMU 센서 모듈(110)과, 블루투스 모듈(121)을 구비하는 제어 모듈(120)은 케이싱(101)에 수용 설치되어 사용자의 손가락과 손 등에 체결되는 착용(wearable)으로 구성되고, 상기 케이싱(101)은 3D 프린터로 제작되고,
상기 모바일 기기(130)는,
상기 제어 모듈(120)로부터 블루투스 통신으로 입력받은 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 시계열(Time series)을 전처리 과정을 통해 분류하고, 미리 설정된 클래스 ID와 N차원의 DTW 거리를 구하여 미리 설정된 22개의 제스처를 참조하여 비교한 결과로 사용자가 취한 제스처를 인식하고 그에 해당하는 동작 수행이 가능하도록 제어하며,
상기 모바일 기기(130)는,
상기 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 패턴을 측정하기 위한 동적 시간 워핑(DTW) 알고리즘을 탑재하여 사용하되, 상기 동적 시간 워핑 알고리즘은 6배 교차 검증 방법으로 훈련되고,
상기 모바일 기기(130)는,
상기 3개의 IMU 센서 모듈(110)의 3개의 영역을 통해 22개의 동작 인식을 구현하되, 사용자가 사용자 정의 제스처를 통해 인식을 원하는 추가 동작을 더 설정할 수 있으며,
상기 모바일 기기(130)는 제어 모듈(120)과 블루투스 통신을 수행하기 위한 블루투스 모듈을 내장형으로 구성하는 것을 특징으로 하는, 동작 인식을 위한 지능형 장치.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 3개의 IMU 센서 모듈(110)과 제어 모듈(120) 및 모바일 기기(130)를 구비하는 지능형 장치(100)를 이용한 동작 인식 제어 방법으로서,
(1) 상기 제어 모듈(120)이 상기 3개의 IMU 센서 모듈(110)로부터 사용자의 제스처 인식을 위한 손과 손가락을 통해 측정되어 디지털 신호로 변환된 동작 신호들을 각각 입력받는 단계;
(2) 상기 제어 모듈(120)이 상기 단계 (1)을 통해 각각 입력받은 상기 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 상기 모바일 기기(130)로 전송하는 단계; 및
(3) 상기 모바일 기기(130)가 상기 제어 모듈(120)로부터 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 무선근거리 통신을 통해 전송받아 전처리 과정과, N 차원의 DTW(Dynamic Time Warping) 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 그에 해당하는 제어를 수행하는 단계를 포함하되,
상기 단계 (1)에서,
상기 3개의 IMU 센서 모듈(110) 중 하나의 IMU 센서 모듈(110)은 사용자의 손 등에 장착되고, 나머지 2개의 IMU 센서 모듈(110)은 사용자의 2개의 손가락에 각각 장착하되, 상기 사용자의 손 등에 장착되는 IMU 센서 모듈(110)은 사용자의 손 방향을 측정하기 위한 모션 센서로 기능하고, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈(110)은 사용자의 손가락 방향을 측정하기 위한 동작 센서로 기능하고,
상기 3개의 IMU 센서 모듈(110)은,
상기 사용자의 손 등에 장착되어 모션 센서로 기능하는 IMU 센서 모듈(110)이 가속도계(Accelerometer) 센서로 구성되고, 상기 사용자의 손가락에 장착되어 동작 센서로 기능하는 2개의 IMU 센서 모듈(110)은 사용자의 엄지와 검지에 각각 배치하되, 검지에 배치되는 IMU 센서 모듈(110)은 자이로스코프(Gyroscope) 센서로 구성되며, 엄지에 배치되는 IMU 센서 모듈(110)은 자력계(Magnetometer) 센서로 구성되며,
상기 3개의 IMU 센서 모듈(110)은,
사용자의 손 등에 장착되는 1개의 IMU 센서 모듈(110)과, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈(110)에서 측정되는 손 방향과 손가락 방향의 동작 신호들을 통해 미리 설정된 사용자의 동작 22개의 제스처를 표현하되,
상기 22개의 제스처는,
6개의 단순(simple) 제스처와, 6개의 표준(normal) 제스처와, 6개의 복합(complex) 제스처, 및 2개의 손가락만을 사용한 4개의 제스처로 구성되고, 복합 제스처는 손가락과 손 방향을 모두 사용하는 제스처이며,
상기 단계 (2)에서의 제어 모듈(120)은,
상기 3개의 IMU 센서 모듈(110)에서 측정한 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 상기 모바일 기기(130)로 전송하기 위한 블루투스 모듈(121)을 더 포함하되, 상기 제어 모듈(120)은 상기 모바일 기기(130)와 저전력 통신을 위한 저전력 블루투스 4.0 BLE 보드로 구현되며,
상기 3개의 IMU 센서 모듈(110)과, 블루투스 모듈(121)을 구비하는 제어 모듈(120)은 케이싱(101)에 수용 설치되어 사용자의 손가락과 손 등에 체결되는 착용(wearable)으로 구성되고, 상기 케이싱(101)은 3D 프린터로 제작되고,
상기 단계 (3)에서의 모바일 기기(130)는,
상기 제어 모듈(120)로부터 블루투스 통신으로 입력받은 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 시계열(Time series)을 전처리 과정을 통해 분류하고, 미리 설정된 클래스 ID와 N차원의 DTW 거리를 구하여 미리 설정된 22개의 제스처를 참조하여 비교한 결과로 사용자가 취한 제스처를 인식하고 그에 해당하는 동작 수행이 가능하도록 제어하며, 상기 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 패턴을 측정하기 위한 동적 시간 워핑(DTW) 알고리즘을 탑재하여 사용하되, 상기 동적 시간 워핑 알고리즘은 6배 교차 검증 방법으로 훈련되며,
상기 모바일 기기(130)는,
상기 3개의 IMU 센서 모듈(110)의 3개의 영역을 통해 22개의 동작 인식을 구현하되, 사용자가 사용자 정의 제스처를 통해 인식을 원하는 추가 동작을 더 설정할 수 있으며,
상기 모바일 기기(130)는 제어 모듈(120)과 블루투스 통신을 수행하기 위한 블루투스 모듈을 내장형으로 구성하는 것을 특징으로 하는, 동작 인식을 위한 지능형 장치의 제어 방법. - 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180012015A KR102057705B1 (ko) | 2018-01-31 | 2018-01-31 | 동작 인식을 위한 지능형 장치 및 그 제어 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180012015A KR102057705B1 (ko) | 2018-01-31 | 2018-01-31 | 동작 인식을 위한 지능형 장치 및 그 제어 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190098806A KR20190098806A (ko) | 2019-08-23 |
| KR102057705B1 true KR102057705B1 (ko) | 2019-12-19 |
Family
ID=67763906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180012015A KR102057705B1 (ko) | 2018-01-31 | 2018-01-31 | 동작 인식을 위한 지능형 장치 및 그 제어 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102057705B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102260022B1 (ko) | 2020-05-25 | 2021-06-02 | 전남대학교산학협력단 | 딥러닝 기반 이미지 내 객체 분류 시스템 및 방법 |
| KR20210126354A (ko) * | 2020-04-10 | 2021-10-20 | 한국항공대학교산학협력단 | 웨어러블 디바이스 기반 적응형 dtw을 이용한 손동작 인식기 및 인식 방법 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210100850A (ko) * | 2020-02-07 | 2021-08-18 | 삼성전자주식회사 | 사용자 입력을 처리하는 전자 장치 및 방법 |
| CN111913575B (zh) * | 2020-07-24 | 2021-06-11 | 合肥工业大学 | 一种手语词的识别方法 |
| CN112817450A (zh) * | 2021-01-28 | 2021-05-18 | Oppo广东移动通信有限公司 | 动作识别方法、装置、电子设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013506216A (ja) * | 2009-09-29 | 2013-02-21 | モベア エス．アー | ジェスチャを認識するためのシステムおよび方法 |
-
2018
- 2018-01-31 KR KR1020180012015A patent/KR102057705B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013506216A (ja) * | 2009-09-29 | 2013-02-21 | モベア エス．アー | ジェスチャを認識するためのシステムおよび方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210126354A (ko) * | 2020-04-10 | 2021-10-20 | 한국항공대학교산학협력단 | 웨어러블 디바이스 기반 적응형 dtw을 이용한 손동작 인식기 및 인식 방법 |
| KR102316556B1 (ko) | 2020-04-10 | 2021-10-22 | 한국항공대학교산학협력단 | 웨어러블 디바이스 기반 적응형 dtw을 이용한 손동작 인식기 및 인식 방법 |
| KR102260022B1 (ko) | 2020-05-25 | 2021-06-02 | 전남대학교산학협력단 | 딥러닝 기반 이미지 내 객체 분류 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190098806A (ko) | 2019-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102057705B1 (ko) | 동작 인식을 위한 지능형 장치 및 그 제어 방법 | |
| CN109804331B (zh) | 检测和使用身体组织电信号 | |
| US11281262B2 (en) | Detecting a gesture made by a person wearing a wearable electronic device | |
| KR102271432B1 (ko) | 웨어러블 디바이스 및 그 제어 방법 | |
| EP3586266B1 (en) | Biometric system | |
| EP2875778B1 (en) | Wearable mobile device and method of measuring biological signal with the same | |
| Bulling et al. | Wearable EOG goggles: Seamless sensing and context-awareness in everyday environments | |
| KR101963694B1 (ko) | 동작 인식 및 제어를 위한 웨어러블 장치 및 이를 이용한 동작 인식 제어 방법 | |
| Milosevic et al. | Design challenges for wearable EMG applications | |
| KR20140124377A (ko) | 심전도 신호 기반의 연속적 생체인식 장치 및 방법 | |
| CN105014676A (zh) | 一种机器人运动控制方法 | |
| Gorur et al. | Glossokinetic potential based tongue–machine interface for 1-D extraction | |
| WO2018120635A1 (zh) | 生理数据的监测方法及装置 | |
| Soltani et al. | Design of a novel wearable human computer interface based on electrooculograghy | |
| CN107943285B (zh) | 一种基于生物肌电的人机交互腕环、系统及方法 | |
| English et al. | EyePhone: A mobile EOG-based human-computer interface for assistive healthcare | |
| US11918379B2 (en) | Wearable sensors | |
| US9996168B2 (en) | Wearable wireless tongue controlled devices | |
| KR101520462B1 (ko) | 상지 장애인용 인터페이스장치 | |
| Peters | An assessment of single-channel emg sensing for gestural input | |
| CN115844427A (zh) | 眼睛检测方法和设备 | |
| RU2661756C2 (ru) | Устройство мозг-машинного интерфейса для дистанционного управления экзоскелетными конструкциями | |
| CN108594937A (zh) | 便携式终端 | |
| CN108391049A (zh) | 拍摄控制方法及相关设备 | |
| Kirbis et al. | Mobile device for electronic eye gesture recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |