KR102316556B1 - 웨어러블 디바이스 기반 적응형 dtw을 이용한 손동작 인식기 및 인식 방법 - Google Patents

웨어러블 디바이스 기반 적응형 dtw을 이용한 손동작 인식기 및 인식 방법 Download PDF

Info

Publication number
KR102316556B1
KR102316556B1 KR1020200044059A KR20200044059A KR102316556B1 KR 102316556 B1 KR102316556 B1 KR 102316556B1 KR 1020200044059 A KR1020200044059 A KR 1020200044059A KR 20200044059 A KR20200044059 A KR 20200044059A KR 102316556 B1 KR102316556 B1 KR 102316556B1
Authority
KR
South Korea
Prior art keywords
dtw
data
hand gesture
wearable device
hand
Prior art date
Application number
KR1020200044059A
Other languages
English (en)
Other versions
KR20210126354A (ko
Inventor
정윤호
최원영
김민우
조재찬
Original Assignee
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단 filed Critical 한국항공대학교산학협력단
Priority to KR1020200044059A priority Critical patent/KR102316556B1/ko
Publication of KR20210126354A publication Critical patent/KR20210126354A/ko
Application granted granted Critical
Publication of KR102316556B1 publication Critical patent/KR102316556B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06K9/00375—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Abstract

웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식 방법이 제공되며, 웨어러블 디바이스에서 인식된 시계열 데이터인 손동작 데이터를 수신하여 저장하고, 손동작 데이터의 인식 결과인 인식 데이터를 수신하여 출력하는 GIU(Global Input Unit) 및 GIU에서 수신한 손동작 데이터를 입력받고, 입력된 손동작 데이터와 기 저장된 템플릿(Template)을 비교하며, 비교 결과 손동작 데이터와 가장 유사한 템플릿의 라벨(Label) 정보를 출력 결과인 인식 결과로 GIU로 전송하는 ADU(Adaptive Dynamic Time Warping Unit)를 포함한다.

Description

웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기 및 인식 방법{WEARABLE DEVICE BASED HAND GESTURE RECOGNIZER USING ADAPTIVE DYNAMIC TIME WARPING WINDOW AND METHOD USING THEREOF}
본 발명은 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기에 관한 것으로, 제약 기반 적응형 DTW 윈도우를 이용하여 데이터 간 특성에 따른 최적의 정렬 패턴을 반영한 제약 조건을 도입함으로써 복잡도를 감소할 수 있는 장치를 제공한다.
최근 스마트폰 다음 세대를 이끌어갈 기술로 웨어러블 디바이스가 각광받고 있다. 웨어러블 디바이스는 사용자의 움직임을 방해하거나 제한하지 않고 개인의 활동을 지속적으로 측정할 수 있는 장치로, 측정된 데이터를 사용하여 HMI(Human Machine Interactions)을 포함한 다양한 기술로 확장하여 사용자의 편의와 안전을 위하여 사용할 수 있는 장치이다. 이 중 웨어러블 센서를 사용하여 간단한 움직임으로 자유롭게 제어할 수 있는 웨어러블 기반 HMI 기술은 스마트 카, 스마트 홈과 같은 다양한 응용에서 필요성이 대두되고 있다. 특히, IMU(Inertial Measurement Unit) 센서 기반 손동작 데이터를 학습 및 인식하여 효율적으로 기기를 제어할 수 있는 기계학습 기반 손동작 인식 시스템에 대한 연구가 활발히 진행되고 있다.
이때, IMU 센서 및 DTW(Dynamic Time Warping) 알고리즘을 이용한 손동작 인식 방법이 연구 및 개발되었는데, 이와 관련하여 선행기술인 한국공개특허 제2019-0098806호(2019년08월23일 공개)에는, 사용자의 제스처 인식을 위한 손과 손가락의 동작 신호를 측정하고, 측정되는 동작 신호를 디지털 신호로 변환하여 각각 출력하는 IMU(Inertial Motion Unit) 센서 모듈, IMU 센서 모듈의 동작 신호를 각각 입력받고, 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 출력하는 제어(MCU) 모듈, 제어 모듈로부터 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 무선근거리 통신을 통해 전송받아 전처리 과정과, N 차원의 DTW(Dynamic Time Warping) 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 그에 해당하는 제어를 수행하는 모바일 기기의 구성이 개시되어 있다.
다만, 상술한 구성을 이용한다고 할지라도 DTW 알고리즘은 두 데이터의 시퀀스를 정렬하는 과정을 거쳐 가능한 모든 정렬 중 최적의 정렬을 찾아 유사도를 측정 및 손동작을 인식하는 알고리즘이기 때문에, DTW를 사용하여 유사도를 측정하는 과정에서 정렬가능한 모든 경우의 수를 고려할 수 밖에 없고, 이에 비례하여 연산량이 증가하는 것이 필연적이며, 컴퓨팅 자원 및 네트워킹 자원을 모두 다량 소모하게 된다. 또, 다이나믹 프로그래밍(Dynamic Programing) 기법을 적용하여 메모리 요구량이 높은 문제도 발생하고 있어서 DTW 기반 유사도 측정은 높은 성능에도 불구하고 응용분야가 제한된다는 한계가 존재한다. 이에, IMU 센서를 기반으로 한 손동작 인식에 사용된 제한(Constraints) 기법을 기반으로 한 DTW 알고리즘을 이용하면서도, 데이터 시퀀스 사이의 길이 차이에 따른 특성이 최적의 정렬에 끼치는 영향을 고려한 프로세서의 연구 및 개발이 요구된다.
본 발명의 일 실시예는, IMU 센서를 기반으로 추출된 손동작 데이터가, 사용자가 손동작을 하는 과정에서 발생하는 속도 차이에 의해, 동일한 제스처라도 손동작 데이터의 길이 차이가 발생한다는 점에 착안함으로써, 손동작 데이터의 길이 차이에 따라 최적 정렬에 특정 패턴이 형성되면, 입력된 손동작 데이터와 기 저장된 손동작 데이터 간의 길이 차이에 따라 정렬 작업을 수행하고, 정렬 작업을 수행하 특정 범위에 적응성(Adaptability)을 부여한 제한(Constraint) 기법 기반 적응형 DTW 알고리즘을 제공할 수 있고, 웨어러블 디바이스에 적용가능한 최적화된 하드웨어 구조 및 FPGA(Field-Programmable Gate Array) 구현 결과를 제공할 수 있는, 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 웨어러블 디바이스에서 인식된 시계열 데이터인 손동작 데이터를 수신하여 저장하고, 손동작 데이터의 인식 결과인 인식 데이터를 수신하여 출력하는 GIU(Global Input Unit) 및 GIU에서 수신한 손동작 데이터를 입력받고, 입력된 손동작 데이터와 기 저장된 템플릿(Template)을 비교하며, 비교 결과 손동작 데이터와 가장 유사한 템플릿의 라벨(Label) 정보를 출력 결과인 인식 결과로 GIU로 전송하는 ADU(Adaptive Dynamic Time Warping Unit)를 포함한다.
본 발명의 다른 실시예는, 웨어러블 디바이스에서 인식된 손동작 데이터를 수신하여 저장하는 단계, 수신된 손동작 데이터와 기 저장된 템플릿(Template)을 비교하는 단계 및 비교 결과 손동작 데이터와 가장 유사한 템플릿의 라벨(Label) 정보를 출력 결과인 인식 결과로 출력하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, IMU 센서를 기반으로 추출된 손동작 데이터가, 사용자가 손동작을 하는 과정에서 발생하는 속도 차이에 의해, 동일한 제스처라도 손동작 데이터의 길이 차이가 발생한다는 점에 착안함으로써, 손동작 데이터의 길이 차이에 따라 최적 정렬에 특정 패턴이 형성되면, 입력된 손동작 데이터와 기 저장된 손동작 데이터 간의 길이 차이에 따라 정렬 작업을 수행하고, 정렬 작업을 수행하 특정 범위에 적응성(Adaptability)을 부여한 제한(Constraint) 기법 기반 적응형 DTW 알고리즘을 제공할 수 있고, 웨어러블 디바이스에 적용가능한 최적화된 하드웨어 구조 및 FPGA(Field-Programmable Gate Array) 구현 결과를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기를 설명하기 위한 도면이다.
도 2는 도 1에서 이용하는 DTW에서 두 개의 데이터 시퀀스를 정렬하는 과정을 설명하기 위한 도면이다.
도 3은 도 1에서 이용하는 DTW의 비용행렬 및 최적 경로를 가지는 누적비용행렬을 설명하기 위한 도면이다.
도 4는 도 1에서 이용하는 DTW에서 누적비용행렬을 이용한 계산복잡도를 비교하기 위한 도면이다.
도 5는 도 1에서 이용하는 DTW의 종류에 따른 누적비용행렬을 비교한 도면이다.
도 6은 본 발명의 일 실시예에 따른 데이터셋의 히스토그램을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 데이터 시퀀스를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 두 개의 데이터 시퀀스의 정렬 프로세스를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 최적 경로를 가지는 누적비용행렬을 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 누적비용행렬의 활성화 영역을 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 적어도 하나의 종류의 DTW에 따른 DTW 윈도우를 도시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 밴드 퍼센트 값을 도시한 도면이다.
도 13은 본 발명의 일 실시예에 따른 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기의 연산량 및 정확도를 측정한 그래프이다.
도 14는 본 발명의 일 실시예에 따른 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기의 누적 비용에 따른 계산 순서를 도시한 도면이다.
도 15는 본 발명의 일 실시예에 따른 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기의 테스트 플랫폼 및 구성을 도시한 도면이다.
도 16은 본 발명의 일 실시예에 따른 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기를 위하여 구축된 데이터셋을 도시한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기를 설명하기 위한 도면이다. 도 1을 참조하면, 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기(1)는, GIU(Global Input Unit, 100) 및 ADU(Adpative Dynamic Time Warping Unit, 300)을 포함할 수 있다. 이때, GIU(100)는, IFM(Input Feature Memeory, 110), GPR(Global Parameter Register, 120), OU(Output Register, 130)를 포함할 수 있다. 그리고, ADU(300)는, MC(Main Controller, 310), AD(Adaptive Dynamic Time Warping, 320), MVDU(Minimum Value Detection Unit, 330)를 포함할 수 있다. 이때, AD(320)는, FM(Feature Memory, 321), TM(Template Memory, 322), WA(Window Allocator, 323), ADC(Adaptive Dynamic Time Warping Caculator, 324), DCU(Distance Calculation Unit, 325)를 포함할 수 있다. 또, WA(323)는, MCP(Meaningful Data Length Comparator, 323a) 및 WDB(Window Decision Block, 323b)를 포함할 수 있다. DCU(325)는, AM(Accumulated Memory, 325a), DCP(Data Comparator, 325b) 및 ADDC(A-DTW Distance Calculator, 325c)를 포함할 수 있다. 다만, 이러한 도 1의 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기(1)는, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.
GIU(100)는, 웨어러블 디바이스에서 인식된 시계열 데이터인 손동작 데이터를 수신하여 저장하고, 손동작 데이터의 인식 결과인 인식 데이터를 수신하여 출력할 수 있다. IFM(110)은, 손동작 인식을 위한 기준 데이터셋인 템플릿 데이터셋(DataSet)이 저장될 수 있다. GPR(120)은, 템플릿 데이터셋의 전송을 위한 설정을 입력받고, 템플릿 데이터셋의 전송 신호를 출력할 수 있다. OR(130)은, 손동작 데이터를 인식한 결과인 인식 데이터를 출력할 수 있다.
ADU(300)는, GIU(100)에서 수신한 손동작 데이터를 입력받고, 입력된 손동작 데이터와 기 저장된 템플릿(Template)을 비교하며, 비교 결과 손동작 데이터와 가장 유사한 템플릿의 라벨(Label) 정보를 출력 결과인 인식 결과로 GIU(100)로 전송할 수 있다. ADU(300)는 누적비용행렬을 계산할 때 적어도 하나의 레지스터를 이용하여 한 번의 메모리 엑세스로 누적비용을 연산할 수 있도록 설정될 수 있다.
MC(310)는, 템플릿 데이터셋이 IFM(110)에 저장되고, GPR(120)에 템플릿 데이터셋의 전송을 위한 설정이 완료되면, GPR(120)로부터 출력된 전송 신호를 받아 IFM(110)의 템플릿 데이터셋과 GPR(120)의 MDLs(Meaningful Data Length)의 정보를 전송할 수 있다.
AD(320)는, 템플릿 데이터셋 및 MDLs를 저장하여 템플릿 설정을 완료하고, 손동작 데이터가 입력되면 적응형 DTW 거리를 연산하여 출력할 수 있다. MVDU(330)는, AD(320) 중 최솟값(Minimum Value)을 가진 AD(320)의 라벨 정보를 OR(130)로 전송하여 인식을 수행할 수 있다. ADU(300)는 누적비용행렬을 계산할 때 적어도 하나의 레지스터를 이용하여 한 번의 메모리 엑세스로 누적비용을 연산할 수 있도록 설정될 수 있다.
FM(321)은, 손동작 인식을 위한 입력 데이터에 대응하는 손동작 데이터인 손동작 데이터 셋을 저장할 수 있다. TM(322)은, 템플릿 데이터셋을 저장할 수 있다. WA(323)는, 기 저장된 템플릿의 MDL 정보와 GPR(120)로부터 받은 MDL 정보를 기반으로 MDL 정보 간의 차이인 β 신호를 연산하는 MCP(323a) 및 MCP(323a)로부터 β 신호를 수신하여 윈도우(Window)를 결정하고 β 신호를 전송하는 WDB(323b)를 포함할 수 있다. AC(324)는, WDB(323b)에서 결정된 윈도우에 대응하도록 FM(321) 및 TM(322)의 출력신호를 제어할 수 있다.
DCU(325)는, AC(324)에 의하여 각 블록의 동작이 관리될 수 있다. 이때, DCU(325)는, 누적비용행렬(Accumulated Cost Matrix)를 연산할 때 라인 버퍼(Line Buffer) 역할을 수행하는 AM(325a), 적어도 하나의 레지스터(Register)와 AM(325a)으로부터 신호를 받아 최솟값(Minimum Value)를 출력하는 DCP(325b), 누적비용행렬을 연산하는 ADC(325c)를 포함할 수 있다. ADU(300)의 구성요소 중 하나인 DCU(325)의 AM(325a)은 누적비용행렬을 연산할 때 메모리 뎁스(Depth)가 최대 밴드 퍼센트값(Band Percentage Value) r이 0.3까지 수용되도록 설계될 수 있다. ADU(300)의 구성요소 중 하나인 DCU(325)의 DCP(325b)는 두 개의 레지스터(Register)를 포함할 수 있다.
웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기(1)는, XYZ축의 가속도를 측정하는 관성측정장치인 IMU(Inertial Measurement Unit) 센서를 포함할 수 있다. 또, 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기(1)는, 적응형 DTW 알고리즘 중 제약(Constraint) 기법에 기반한 적응형 DTW 알고리즘을 이용하고, 적어도 하나의 제약 조건 데이터 간 특성에 따른 최적의 정렬 패턴을 반영한 제약 조건이 이용될 수 있다. 그리고, 제약 기법에 기반한 적응형 DTW 알고리즘에, 입력 데이터 간 특성에 기반하여 영역을 결정하는 적응형 윈도우(Adaptive Window)를 이용할 수 있다.
손동작 인식기(1)에서 실행되는 손동작 인식 방법은, 손동작 인식기(1)에서 웨어러블 디바이스에서 인식된 손동작 데이터를 수신하여 저장하고, 수신된 손동작 데이터와 기 저장된 템플릿(Template)을 비교하고, 비교 결과 손동작 데이터와 가장 유사한 템플릿의 라벨(Label) 정보를 출력 결과인 인식 결과로 출력할 수 있다. 이때, 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식 방법은, 적응형 DTW(Dynamic Time Warping) 알고리즘 중 제약(Constraint) 기법에 기반한 적응형 DTW 알고리즘을 이용할 수 있다.
손동작 인식기(1)에서 수신된 손동작 데이터와 기 저장된 템플릿(Template)을 비교할 때, 수신된 손동작 데이터와 기 저장된 템플릿을 비교할 때, 손동작 데이터와 기 저장된 템플릿 간의 MDL(Meaningful Data Length)의 차이만큼 윈도우(Window)의 중심을 이동시켜 최적 경로(Optimal Path)와 근접한 위치에 윈도우 영역을 형성하고, 윈도우 영역을 중심으로 DTW 거리를 연산할 수 있다.
또, 손동작 인식기(1)에서 수신된 손동작 데이터와 기 저장된 템플릿(Template)을 비교할 때, 수신된 손동작 데이터에 대한 누적비용행렬(Accumlated Cost Matrix)과 최적 경로를 추출할 수 있고, 손동작 데이터와 기 저장된 템플릿의 데이터 시퀀스의 길이를 맞추기 위하여 제로 패딩(Zero padding)을 진행할 수 있다. 윈도우 영역은, SC(Sakoe-Chiba)-DTW 윈도우 및 A-SC(Adaptive Sakoe-Chiba)-DTW 윈도우를 포함할 수 있으나, 이에 한정되는 것은 아니다.
손동작 인식기(1)에서, 웨어러블 디바이스에서 인식된 손동작 데이터를 수신하여 저장하기 전에, 웨어러블 디바이스에서 사용자의 손동작 시작을 알리는 역할을 하는 푸시버튼(Push Button)의 입력이 감지되면 I2C(Inter-Integrated Circuit) 인터페이스를 통하여 로우 데이터(Raw Data)를 IMU(Inertial Measurement Unit) 센서로부터 읽어들일 수 있고, 웨어러블 디바이스에서 인식된 손동작 데이터에 대한 전처리 과정을 진행할 수 있다.
또, 손동작 인식기(1)에서 웨어러블 디바이스에서 인식된 손동작 데이터에 대한 전처리 과정을 진행할 때, 사용자의 손동작 데이터 중 MDL(Meaningful Data Length)을 제외한 나머지 부분을 제로 패딩(Zero Pedding)을 진행하여 손동작 데이터의 길이를 기 설정된 길이로 고정함으로써 손동작 데이터의 모든 데이터 길이를 일치시킬 수 있다. 그리고, 사용자의 손동작 데이터의 첫 인덱스(Index)를 MDL(Meaningful Data Length) 정보를 가지도록 설정할 수도 있다. 그리고, 손동작 데이터의 값을 정규화하여 정규화 데이터(Normalized Data)로 변환할 수 있다.
여기서, 손동작 인식기(1)에서 웨어러블 디바이스에서 인식된 손동작 데이터에 대한 전처리 과정을 진행한 후, 전처리 과정을 진행한 손동작 데이터를 UART(Universal Asynchronous Receiver/Transmitter) 통신을 통하여 전송할 수도 있고, 비교 결과 손동작 데이터와 가장 유사한 템플릿의 라벨(Label) 정보를 출력 결과인 인식 결과로 출력한 후, 손동작 데이터가 그래픽화된 인식 결과를 모니터로 디스플레이할 수도 있다. 이때, 기 저장된 템플릿은, 기 설정된 샘플링률(Sampling Rate)로 3축에 대한 가속도 값을 포함하는 데이터셋(DatSet)에 기반한 템플릿일 수도 있다. 손동작 인식기(1)는 FPGA 보드(Field-Programable Gate Array Board)로 구현될 수 있다.
도 2는 도 1에서 이용하는 DTW에서 두 개의 데이터 시퀀스를 정렬하는 과정을 설명하기 위한 도면이고, 도 3은 도 1에서 이용하는 DTW의 비용행렬 및 최적 경로를 가지는 누적비용행렬을 설명하기 위한 도면이고, 도 4는 도 1에서 이용하는 DTW에서 누적비용행렬을 이용한 계산복잡도를 비교하기 위한 도면이고, 도 5는 도 1에서 이용하는 DTW의 종류에 따른 누적비용행렬을 비교한 도면이다. 이때, 도 2 내지 도 5에서 본 발명의 일 실시예에 따른 DTW에 대한 기본 개념을 설명한 후 도 6 이하에서는 중복하여 설명하지 않기로 한다.
DTW는, 도 2의 (b)와 같이 비선형적 방법의 정렬과정을 거쳐 두 개의 데이터를 시간축 상에서 일치시켜 거리(Distance)를 연산한다. 이는 손동작 데이터와 같이 시간 의존적인(Time-Dependent) 특성을 갖는 데이터들 간의 유사도 측정에서, DTW 거리 측정 방식이 (a)와 같은 유클라디안 거리 측정 방식에 비해 더 좋은 성능을 나타낼 수 있게 한다. 두 데이터의 시퀀스를 최대한 완벽히 일치시키기 위해서는 가능한 모든 정렬들 중 최적의 정렬 작업을 수행해야 한다. 이러한 최적의 정렬을 찾기 위해서는 두 데이터의 서로 다른 두 점들 사이의 차이를 모두 연산하는 작업이 선행되어야 한다. 그리고, 최적의 정렬을 찾기 위한 조건들을 만족시키면서 이 차이들을 누적함으로써 최적의 정렬 작업을 수행할 수 있게 된다. 이러한 두 점 사이의 차이와 이에 대한 누적은 각각 비용행렬(Cost Matrix) 및 누적비용행렬(Accumulated Cost Matrix)로 표현된다. 두 데이터 x, y의 DTW 거리에 대한 비용행렬은 이하 수학식 1 및 수학식 2와 같다. 이때, 비용행렬은, C(n,m)이고, n,m은 행렬의 좌표를 의미하고, C(n,m) ∈ Rd1xd2이고, 1≤n≤d1, 1≤m≤d2, d1 및 d2는 두 개의 데이터의 길이를 각각 의미하며, 도 3의 (a)의 비용행렬은 누적비용행렬을 연산하기 위하여 사용된다.
Figure 112020037556732-pat00001
Figure 112020037556732-pat00002
누적비용행렬을 연산하는 과정에서 최적의 정렬에 직접적인 영향을 준 인덱스의 집합인 최적 경로(Optimal Path, p)는 이하 수학식 3 및 수학식 4와 같이 정의된다.
Figure 112020037556732-pat00003
Figure 112020037556732-pat00004
여기서, L은 최적 경로의 길이를 의미한다. 누적비용행렬의 최적 경로 p는, 경계조건(Boundary Condition), 단조성조건(Monotonicity Condition), 이동크기조건(Step Size Condition)을 만족시키며 도 3의 (b)와 같이 연산된다. 상술한 조건은 각각 이하의 수학식 5 내지 7과 같이 정의될 수 있다.
경계조건은, 최적 경로에서 시작점과 끝점은 수학식 5와 같이 정의된다.
Figure 112020037556732-pat00005
단조성조건은, 최적 경로에서, 인덱스 값은 이전 인덱스 값보다 크거나 같아야 한다.
Figure 112020037556732-pat00006
이동크기조건은, 최적 경로에서, 이웃된 값들의 차이는 이동크기를 가진다.
Figure 112020037556732-pat00007
누적비용행렬의 공식인 A(n,m) ∈ Rd1xd2, 1≤n≤d1, 1≤m≤d2 은 이하 수학식 8과 같이 표현할 수 있다. 여기서, 누적비용행렬은 A(n,m)이고, n,m은 비용행렬과 같이 행렬의 XY 좌표이다.
Figure 112020037556732-pat00008
누적비용행렬을 생성한 후, 최적 경로는 도 3의 (b)와 같이 A(d1, d2)에서 A(1,1) 방향으로 작은 값을 따라가며 연산될 수 있다. 최적 경로의 인덱스 값들의 집합은 도 2의 정렬된 화살표와 일치하며, DTW 거리 값은 수학식 9와 같이 표현된다.
Figure 112020037556732-pat00009
도 4를 참조하면, 도 4의 적색 영역은 유클라디안 거리와, DTW 거리의 연산량을 보여준다. 유클라디안은 거리 측정을 위해 o(n)만큼의 연산이 필요하지만, DTW는 o(n2) 만큼의 연산을 필요로 한다. 즉, 두 개의 데이터 시퀀스의 길이가 길어지면, 유클라디안은 선형적으로 연산량이 증가한다면, DTW는 제곱으로 증가하는 것이다. 하지만, DTW 거리를 연산하는데 있어, 반드시 모든 정렬에 대한 경우의 수를 다 감안해서 최적 경로를 찾을 필요는 없다.
이때, 제약 DTW 중 가장 대표적인 SC-DTW(Sakoe-Chiba DTW)와 최근에 발표된 I-DTW(Incremental DTW)에 대한 누적비용행렬은 도 5와 같다. 여기서 적색 영역은 최적 경로이다. 여기서, 적색 영역을 포함한 청색 영역은 모든 정렬을 고려하는 것이 아니라, 특정 영역의 정렬만을 고려하기 위한 윈도우 영역을 나타낸다. 도 5와 같이, SC-DTW는 최적 경로가 가로축과 세로축의 인덱스들이 일치하는 부분인 n = m 인 라인에 형성된다는 가정하에 전체 누적비용행렬의 윈도우 밴드 퍼센트 값인 r을 DTW 대비 적절한 정확도가 나오도록 설정하여 연산량의 감소를 꾀하는 방법이다. 청색 영역인 윈도우의 길이 파란 부분인 l은 이하 수학식 10과 같이 연산될 수 있다.
Figure 112020037556732-pat00010
d1가 d2는 두 개의 데이터 시퀀스 각각의 길이를 의미한다. 여기서는, 가장 대표적으로 사용되는 밴드 퍼센트 값인 r = 0.1을 사용한 경우로, DTW 대비 연산량을 약 80% 줄일 수 있다. I-DTW는 시퀀스 상의 초기 데이터 영역보다 후기 데이터 영역이 더 중요하다는 데이터 특성을 사용하여 n=m을 중심으로 누적비용행렬의 인덱스가 커짐에 따라 밴드 영역을 점층적으로 증가시키는 방법이다. I-DTW 윈도우의 길이 l은 이하 수학식 11과 같이 연산될 수 있다.
Figure 112020037556732-pat00011
ni와 mi는 해당하는 인덱스 i에 대한 두 개의 데이터 시퀀스의 길이를 각각 의미한다. 이 두 방법들은 모두 DTW와 비교했을 때, 상당한 연산량 감소를 기대할 수 있다. 하지만, 이들은 IMU 센서를 기반으로 한 손동작 데이터의 특성이 최적 경로에 끼치는 영향에 대해 고려하지 않고, n=m를 최적 경로라고 가정한 결정 윈도우(Deterministic Window)를 가진다.
이에 따라, 본 발명의 일 실시예에서는 IMU 센서를 기반으로 한 손동작 데이터들 간의 최적 경로를 분석한 결과, 손동작 데이터 간의 길이 차이가 최적 경로의 위치에 끼치는 영향을 발견 및 인지하고, 여기에서부터 본 발명의 일 실시예가 도출된다. n = m을 중심으로 한 윈도우를 가지는, 제약 기법을 기반으로 한 DTW 알고리즘에 비하여, 본 발명의 일 실시예는 최적 경로의 대략적인 위치를 가정할 수 있도록 함으로써, 더욱 유동적인 윈도우를 가질 수 있도록 한다. 이는 이하에서 도 6 내지 도 16을 참조로 설명하기로 한다.
도 6은 본 발명의 일 실시예에 따른 데이터셋의 히스토그램을 도시한 도면이다. 도 6을 참조하면, 손동작은 사람에 따라, 주어진 상황에 따라, 수행하는 속도에서 차이를 보이고, 이는 데이터의 길이 차이를 야기한다. 예를 들어, A 사용자가 그리는 숫자 "7"과, B 사용자가 그리는 숫자 "7"이 다를 수 있고, 동일 사용자일지라도, 즉 A 사용자가 C 상황에서 그리는 숫자 "7"과, D 상황에서 그리는 숫자 "7"은 또 다를 수 있다. 도 6에는 IMU 센서를 이용하여 얻은 숫자 0 내지 9를 사용자가 그린 손동작 데이터 길이에 따른 각 숫자의 히스토그램을 보여준다. 같은 숫자라고 할지라도 손동작 데이터의 길이가 다양하게 형성되어 있음을 알 수 있다. 그리고, 상술한 바와 같이 이러한 손동작 데이터의 길이 차이는 최적 경로에 영향을 주게 된다.
도 7은 본 발명의 일 실시예에 따른 데이터 시퀀스를 도시한 도면이다. 도 7을 참조하면, 숫자 "7"을 속도를 다르게 하여 3 번 수행한 결과이다. 즉, 데이터 시퀀스를 보여주는데, 수행하는 속도에 따라 의미있는 데이터 길이인 MDL(Meaningful Data Length)가 D1=5, D2=8, D3=10으로 다양하게 형성됨을 확인할 수 있다. 그리고 n = m를 기준으로 와핑 윈도우(Warping Window)를 형성하는 제약 기법의 특성상 비교하고자 하는 두 개의 데이터 시퀀스의 길이를 맞춰주어야 한다. 따라서, 본 발명의 일 실시예에서는, 3 개의 데이터 시퀀스 길이를 맞추기 위해 제로 패딩(Zero Padding)을 진행할 수 있다.
도 8은 본 발명의 일 실시예에 따른 두 개의 데이터 시퀀스의 정렬 프로세스를 도시한 도면이다. 도 8을 참조하면, (a)는 D1과 D2 데이터 시퀀스를 정렬하는 프로세스이고, (b)는 D1과 D3 데이터 시퀀스를 정렬하는 프로세스이다. 도 8은, v1=3, v2=5, v3=6, v4=4, v5=1일 때, 이에 대한 D1과 D2, D1과 D3의 각각에 대한 누적비용행렬을 도시한다. 이때, 적색 영역은 최적 경로를 의미한다. 여기서, 최적 경로는 n=m에서 MDL의 차이만큼 떨어져서 형성됨을 알 수 있다. 이러한 특성을 이용하여, 윈도우 영역을 선택할 때, 본 발명의 일 실시예에 따른 적응적 DTW는, n=m을 중심으로 하는 윈도우 영역을 사용하는 종래기술과 다르게, MDL의 차이만큼 윈도우의 중심을 이동시켜, 더 최적 경로와 가까운 위치에 윈도우 영역을 형성할 수 있도록 한다.
본 발명의 일 실시예는, IMU 센서를 기반으로 한 손동작 데이터의 특성을 고려하지 않은 결정 윈도우를 사용한 종래기술에 따른 제한 기법 기반 DTW 알고리즘과는 달리, 적응적 DTW를 이용한다. 본 발명의 일 실시예에 따른 적응적 DTW는 두 개의 데이터의 MDL 차이에 따라 최적 경로가 다르게 형성된다는 특성을 이용함으로써 결정 윈도우에 적응성을 부여한 적응적 윈도우를 사용함으로써, 더 효율적으로 DTW 거리를 연산할 수 있도록 하는 것이다.
도 9는 본 발명의 일 실시예에 따른 최적 경로를 가지는 누적비용행렬을 도시한 도면이다. 도 9를 참조하면, 실제로 숫자 "6"을 그리는 손동작 데이터에 대한 누적비용행렬 및 최적 경로를 도시한다. (a) 및 (b)의 MDL은 세로축은 151이고, 가로축은 각각 140과 126이다. 그리고, 두 개의 데이터 시퀀스 간의 길이를 맞추어 주기 위해 제로 패딩을 진행할 수 있다. 도 9를 통하여 알 수 있듯이, MDL의 차이가 클수록 최적 경로가 n=m에서 멀리 떨어져 형성됨을 확인할 수 있다.
한편, 최적 경로는 n=m 부분인 A(1,1)에서 시작하며, A(151, 151)에서 종료된다. 이는, 두 개의 데이터 간의 MDL 차이가 크더라도, 본 발명의 일 실시예에 따른 적응형(적응적) DTW 윈도우는 항상 n=m 영역을 포함하고 있어야 하는 것이며, 이는 적응형 DTW 윈도우의 적응적 범위를 규정한다. 도 9는 r = 0.28인 SC-DTW 윈도우와 후술할 A-SC-DTW(Adaptive Sakoe-Chiba DTW) 윈도우를 포함한다.
도 10은 본 발명의 일 실시예에 따른 누적비용행렬의 활성화 영역을 도시한 도면이고, 도 11은 본 발명의 일 실시예에 따른 적어도 하나의 종류의 DTW에 따른 DTW 윈도우를 도시한 도면이다.
SC-DTW에 적응성(Adaptability)을 부여한 A-SC-DTW에 대한 설계는 다음과 같이 진행된다. 도 10 및 도 11에서 도시된 바와 같이, 점선은 A-SC-DTW 윈도우의 적응적 범위를 나타내며, 굵은선은 A-SC-DTW의 윈도우를 나타낸다. 이 두 개의 윈도우는 약 2 배의 크기 차이를 가지고 있고, SC-DTW 윈도우 크기와 비교했을 때, A-SC-DTW는 약 반절의 크기의 윈도우로, 같은 범위 영역을 커버할 수 있는 것을 의미한다. 이에 대한 실험 결과는 도 12에 도시된다.
A-SC-DTW 윈도우 길이 l은 SC-DTW window의 길이 l에 대한 상술한 수학식 10을 적용하여 산출할 수 있으며, I-DTW에 적응성을 부여한 적응적(Adaptability, A) I-DTW를 설계하기 위해서는 수학식 11을 적응적 I-DTW 윈도우의 길이 li에 적용시키면 된다. 그리고 α는 윈도우의 중심을 결정하는 역할을 하며, 두 개의 데이터의 MDL 차이는 β로 나타낸다. 이러한 l, α 및 β를 이하의 수학식 12 및 수학식 13에 적용하면, A-SC-DTW의 누적비용행렬을 연산할 수 있다.
Figure 112020037556732-pat00012
Figure 112020037556732-pat00013
도 12는 본 발명의 일 실시예에 따른 밴드 퍼센트 값을 도시한 도면이다. 본 발명의 일 실시예에 따라 구축한 테스트 플랫폼으로부터 획득한 2000개의 손동작 데이터 셋(Set)으로 5겹 교차검증(5-Fold Cross Validation)을 이용하여 성능평가를 진행한다. SC-DTW 및 A-SC-DTW와, I-DTW 및 A-I-DTW의 밴드 퍼센트 값 r의 변화에 따른 정확률 및 연산량의 결과가 도 12에 도시되어 있다. 도 12의 (a) 및 (b)는 사용자 종속적(User Dependent)인 경우이고, (c) 및 (d)는 사용자 독립적(User Independent)인 경우이다.
도 12에서 볼 수 있듯이 본 발명의 일 실시예의 정확도는, 종래기술에 따른 결정 DTW와 유사한 형태의 그래프를 가지고 있지만, 연산량의 경우에는 사용자 종속적인 경우나 독립적인 경우 모두 2 배 정도의 차이가 있음을 확인할 수 있다. 그래프의 정확률 및 연산량은 모든 객체의 평균을 나타내며, 테스트 플랫폼과 획득한 데이터셋은 도 15 및 도 16을 통해 확인할 수 있다.
표 1 내지 표 4는 사용자 종속적인 경우 및 사용자 독립적인 경우의 밴드 퍼센트 값 r이 각각 0.22, 0.28일 때, 본 발명의 일 실시예에 따른 손동작 인식기의 컨퓨전 행렬(Confusion Matrix)이며, 평균 인식률은 순서대로 99.5%, 99.2%, 80.5% 그리고 82.25%이다. 표 1은 사용자 종속적 A-SC-DTW, 표 2는 사용자 종속적 A-I-DTW, 표 3은 사용자 독립적 A-SC-DTW, 표 4는 사용자 독립적 A-I-DTW이다.
Figure 112020037556732-pat00014
Figure 112020037556732-pat00015
Figure 112020037556732-pat00016
Figure 112020037556732-pat00017
도 13은 본 발명의 일 실시예에 따른 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기의 연산량 및 정확도를 측정한 그래프이다. 도 13을 참조하면, SC-DTW, A-SC-DTW, I-DTW 그리고 A-I-DTW에 대한 정확률과 연산량의 비교 결과를 도시한다. 사용자 종속적 및 사용자 독립적 밴드 퍼센트 값은 각각 0.22, 0.28이다. 정확률은 순서대로 하면, 사용자 종속적인 경우 99.45%, 99.5%, 99.15% 그리고 99.2%, 사용자 독립적인 경우 79.5%, 81.75%, 80.5% 그리고 82.25%가 된다.
또한, 사용자 종속적인 경우 3,690,209, 1,886,407, 2,123,875 그리고 1,063,047, 사용자 독립적인 경우 45,069,296, 23,189,765, 26,838,052 그리고 13,391,363의 연산량을 갖는다. 이 결과들은 본 발명의 적응적 DTW가 종래기술에 따른 결정 DTW에 비해, 사용자 종속적인 경우 정확률은 각 0.05%씩 높으며, 연산 복잡도는 각각 약 48.88%, 49.95% 낮은 것을 나타내고, 사용자 독립적인 경우 각각 2.25%, 1.75% 높은 정확률과 49.55%, 50.1% 낮은 연산 복잡도를 가짐을 보여준다.
도 14는 본 발명의 일 실시예에 따른 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기의 누적 비용에 따른 계산 순서를 도시한 도면이다. 도 14를 참조하면, 누적비용행렬의 연산순서를 알 수 있다. 굵은실선으로 이루어진 영역의 누적비용(3,3)을 연산하기 위해서는, 바로 전의 연산결과인 ①과, 이전 행(Row)의 ②, ③의 누적 비용 값들이 필요하다. 즉, 현재의 행을 연산할 때, 이전의 행에 대한 누적 비용을 알고 있어야 하는 것이다. 따라서, 행 크기의 라인 버퍼를 이용할 수 있다. 또한, 굵은실선으로 이루어진 영역의 연산에 사용되었던 ③과, 연산결과인 A(3,3)은 다음 연산 순서인 A(3,4)를 연산할 때 사용된다. 이는, 레지스터들을 적절히 잘 사용하면 한 번의 메모리 엑세스 만으로 누적 비용을 연산할 수 있다.
도 15는 본 발명의 일 실시예에 따른 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기의 테스트 플랫폼 및 구성을 도시한 도면이다. 도 15와 같이, 본 발명의 일 실시예에 따른 알고리즘의 성능 평가를 위한 테스트 플랫폼이 구축하였다. IMU 센서, 아두이노 그리고 FPGA 보드로 구성되어 있으며, 각각 로우(Raw) 손동작 데이터 생성, 데이터 전처리 그리고 인식기의 역할을 수행한다. 여기서, IMU 센서는 x, y 그리고 z 축의 가속도를 측정할 수 있는 MPU-6050을 사용하였다.
전체 동작 순서는 다음과 같다.
사용자의 손동작 시작을 알리는 역할을 하는 푸시버튼을 누르면 아두이노에서 I2C(Inter-Integrated Circuit) 인터페이스를 통해 로우 데이터를 IMU 센서로부터 받아와 저장하기 시작한다. 사용자가 손동작을 마치고 푸시버튼을 오프하면 아두이노는 이를 인식해 저장한 로우 데이터에 대한 전처리 과정을 진행한다. 사용자의 손동작 데이터 중 가장 큰 MDL은 도 6서 확인한 결과 240이였으며, 모든 데이터의 길이를 일치시켜 주기 위해, 전처리 과정에서 MDL을 제외한 나머지 부분은 제로패딩을 진행하여 데이터의 길이를 ‘256’로 고정하였으며, 데이터의 첫 인덱스는 MDL 정보를 갖도록 설계하였다.
또한, -32768 ~ 32768의 값을 갖는 로우 데이터를 0 내지 255의 정규화 데이터로 변환하는 전처리 과정을 진행하였다. 전처리 과정의 수행을 완료한 다음, 아두이노는 UART(Universal Asynchronous Receiver/Transmitter) 통신을 통해 FPGA 보드로 전처리된 데이터를 전송한다. FPGA 보드는 이를 받아, 메모리에 저장한 후, 사용자의 제어를 받아 인식기의 역할을 수행하며 그 결과를 모니터로 디스플레이한다.
도 16은 본 발명의 일 실시예에 따른 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기를 위하여 구축된 데이터셋을 도시한 도면이다. 본 발명의 일 실시예에 따른 손동작 인식 알고리즘의 정확한 성능 평가를 위하여, 종래기술에서 사용한 손동작 데이터와 유사한 형태를 가지는 3D 숫자 데이터 셋이 도 16과 같이 구축된다. 총 10명의 참가자들이 "0"에서 "9"까지 10개의 숫자에 대한 손동작을 각 20번씩 수행하여 총 2,000개의 데이터 셋을 수집하였다. 손동작은 점에서 시작하며, 화살표 방향으로 진행된다. 데이터 셋은 33Hz의 샘플링률로 3축에 대한 가속도 값들을 획득하였다.
표 5는 본 발명의 일 실시예에 따른 적응형 DTW 프로세서의 FPGA 실행 결과이다. A-SC-DTW 및 A-I-DTW는 각각 1.417k, 4.765k 슬라이스와 각 4.943K 비트 메모리를 사용하였고, 최대 동작 주파수는 105.7M, 105,8MH임을 확인할 수 있다. 종래기술에 따른 제약 기법 기반의 DTW인 SC-DTW 및 I-DTW와, 본 발명의 일 실시예에 따른 A-SC-DTW 및 A-I-DTW의 FPGA 실행 결과는 표 6과 같다.
Figure 112020037556732-pat00018
Figure 112020037556732-pat00019
4개 프로세서의 슬라이스는 ADC(325c)와 WA(320) 블록에서 차이를 보이며, 조금 더 복잡한 알고리즘을 갖는 본 발명의 일 실시예에 따른 적응형 DTW 프로세서가, 종래기술에 따른 DTW 프로세서들보다 비교적 더 많은 슬라이스를 사용한 것으로 확인할 수 있다. 반면, 메모리 측면에서는 약 절반 크기의 윈도우를 갖는 본 발명의 일 실시예에 따른 적응형 DTW 프로세서가 종래 기술에 따른 DTW 프로세서 보다 AM(325a)가 거의 절반 크기인 것을 확인할 수 있다. 즉, 전체 슬라이스 측면에서는 A-SC-DTW 및 A-I-DTW 프로세서가 종래기술에 따른 SC-DTW 및 I-DTW 프로세서 보다 각각 약 3.96%, 11.07%의 증가가 있으며, 전체 메모리 측면에서는 약 14.47%씩의 감소가 있음을 확인할 수 있다.
결론적으로, 본 발명의 일 실시예는, 두 개의 손동작 데이터의 길이 차이에 따라 최적 경로가 달리 형성된다는 특성을 파악할 수 있었다. 이는 DTW 복잡도 개선을 위한 여러 연구 방향 중 제약 기법에 기반한 DTW 알고리즘이, 웨어러블 디바이스를 위한 손동작 데이터 인식 알고리즘에 가장 적합함을 보였다. 이에, 본 발명의 일 실시예는, 두 개의 데이터 시퀀스 간 길이 차이에 따라 최적 경로가 달리 형성된다는 특성을 이용한다.
본 발명의 일 실시예는, 종래기술에 따른 제약 기법을 기반으로 한 DTW 알고리즘들이 사용중인 결정적 제약 윈도우에 적응성를 부여하고, 두 개의 데이터의 길이 차이에 따라 적응적 제약 윈도우를 갖도록 설계하는 알고리즘을 제공할 수 있다. 그리고, 웨어러블 디바이스에 응용되기 위해 제안된 알고리즘에 맞는 최적화된 하드웨어 구조 및 구현 결과를 제시하였으며, 이를 위한 실험 환경을 구축해 데이터셋을 확보하고, 설계 결과를 확인하였다. 구축한 데이터 셋을 사용하여 5겹 교차검증을 기반으로 한 성능 평가를 진행하였고, 본 발명의 일 실시예에 따른 A-SC-DTW 및 A-I-DTW 알고리즘의 인식 성능이 사용자 종속적인 경우 각 99.5% 및 99.2%, 사용자 독립적인 경우 각 81.75% 및 82.25%를 보임을 확인할 수 있었다.
본 발명의 일 실시예는, 종래기술에 따른 제약 기법을 기반한 DTW 알고리즘 중 대표적인 SC-DTW 및 최근의 I-DTW와 비교했을 때, A-SC-DTW 및 A-I-DTW는 사용자 종속적인 경우 0.05%씩, 사용자 독립적인 경우 2.25% 및 1.75%의 정확도가 상승한 것이며, 연산량은 사용자 종속적인 경우 약 48.88% 및 49.95%, 사용자 독립적인 경우 약 49.55% 및 50.1% 낮아진 것을 확인할 수 있었다.
도 1 내지 14를 통해 설명된 일 실시예에 따른 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 일 실시예에 따른 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기
100: GIU(Global Input Unit)
110: IFM(Input Feature Memeory)
120: GPR(Global Parameter Register)
130: OU(Output Register)
300: ADU(Adpative Dynamic Time Warping Unit)
310: MC(Main Controller)
320: AD(Adaptive Dynamic Time Warping)
321: FM(Feature Memory)
322: TM(Template Memory)
323: WA(Window Allocator)
323a: MCP(Meaningful Data Length Comparator)
323b: WDB(Window Decision Block)
324: ADC(Adaptive Dynamic Time Warping Caculator)
325: DCU(Distance Calculation Unit)
325a: AM(Accumulated Memory)
325b: DCP(Data Comparator)
325c: ADDC(A-DTW Distance Calculator)
330: MVDU(Minimum Value Detection Unit)

Claims (30)

  1. 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기에 있어서,
    상기 웨어러블 디바이스에서 인식된 시계열 데이터인 손동작 데이터를 수신하여 저장하고, 상기 손동작 데이터의 인식 결과인 인식 데이터를 수신하여 출력하는 GIU(Global Input Unit); 및
    상기 GIU에서 수신한 손동작 데이터를 입력받고, 상기 입력된 손동작 데이터와 기 저장된 템플릿(Template)을 비교하며, 비교 결과 상기 손동작 데이터와 가장 유사한 템플릿의 라벨(Label) 정보를 출력 결과인 인식 결과로 상기 GIU로 전송하는 ADU(Adaptive Dynamic Time Warping Unit)를 포함하고,
    상기 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기는,
    적응형 DTW 알고리즘 중 제약(Constraint) 기법에 기반한 적응형 DTW 알고리즘을 이용하고, 적어도 하나의 제약 조건 데이터 간 특성에 따른 최적의 정렬 패턴을 반영한 제약 조건이 이용되고, 상기 제약 기법에 기반한 적응형 DTW 알고리즘에, 입력 데이터 간 특성에 기반하여 영역을 결정하는 적응형 윈도우(Adaptive Window)를 이용하는 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기.
  2. 제 1 항에 있어서,
    상기 GIU는,
    손동작 인식을 위한 기준 데이터셋인 템플릿 데이터셋(DataSet)이 저장되는 IFM(Input Feature Memory);
    상기 템플릿 데이터셋의 전송을 위한 설정을 입력받고, 상기 템플릿 데이터셋의 전송 신호를 출력하는 GPR(Global Parameter Registers);
    상기 손동작 데이터를 인식한 결과인 인식 데이터를 출력하는 OR(Output Registers);
    을 포함하는 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기.
  3. 제 2 항에 있어서,
    상기 템플릿 데이터셋이 상기 IFM에 저장되고, 상기 GPR에 상기 템플릿 데이터셋의 전송을 위한 설정이 완료되면, 상기 GPR로부터 출력된 전송 신호를 받아 상기 IFM의 템플릿 데이터셋과 상기 GPR의 MDLs(Meaningful Data Length)의 정보를 전송하는 MC(Main Controller);
    상기 템플릿 데이터셋 및 MDLs를 저장하여 템플릿 설정을 완료하고, 상기 손동작 데이터가 입력되면 적응형 DTW 거리를 연산하여 출력하는 ADs(Adaptive Dynamic Time Warping);
    상기 ADs 중 최솟값(Minimum Value)을 가진 AD의 라벨 정보를 상기 OR로 전송하여 인식을 수행하는 MVDU(Minimum Value Detection Unit);
    을 포함하는 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기.
  4. 제 3 항에 있어서,
    상기 ADs를 이루는 각각의 AD는,
    상기 손동작 인식을 위한 입력 데이터에 대응하는 손동작 데이터인 손동작 데이터 셋을 저장하는 FM(Feature Memory);
    상기 템플릿 데이터셋을 저장하는 TM(Template Memory);
    기 저장된 템플릿의 MDL 정보와 상기 GPR로부터 받은 MDL 정보를 기반으로 상기 MDL 정보 간의 차이인 β 신호를 연산하는 MCP(Meaningful Data Length Comparator) 및 상기 MCP로부터 β 신호를 수신하여 윈도우(Window)를 결정하고 상기β 신호를 전송하는 WDB(Window Decision Block)를 포함하는 WA(Window Allocator);
    상기 WDB에서 결정된 윈도우에 대응하도록 상기 FM 및 TM의 출력신호를 제어하는 ADC(Adaptive Dynamic Time Warping Caculator); 및
    상기 ADC에 의하여 각 블록의 동작이 관리되는 DCU(Distance Calculation Unit)를 포함하는 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기.
  5. 제 4 항에 있어서,
    상기 DCU는,
    누적비용행렬(Accumulated Cost Matrix)를 연산할 때 라인 버퍼(Line Buffer) 역할을 수행하는 AM(Accumulated Memory);
    적어도 하나의 레지스터(Register)와 상기 AM으로부터 신호를 받아 최솟값(Minimum Value)를 출력하는 DCP(Data Comparator);
    상기 누적비용행렬을 연산하는 ADDC(A-DTW Distance Calculator);
    를 포함하는 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기.
  6. 제 1 항에 있어서,
    상기 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기는,
    XYZ축의 가속도를 측정하는 관성측정장치인 IMU(Inertial Measurement Unit) 센서;
    를 더 포함하는 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기.
  7. 삭제
  8. 삭제
  9. 제 1 항에 있어서,
    상기 ADU는 누적비용행렬을 계산할 때 적어도 하나의 레지스터를 이용하여 한 번의 메모리 엑세스로 누적비용을 연산할 수 있도록 설정되는 것인 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기.
  10. 제 9 항에 있어서,
    상기 ADU의 구성요소 중 하나인 DCU(Distance Calculation Unit)의 AM(Accumulated Memory)은 상기 누적비용행렬을 연산할 때 메모리 뎁스(Depth)가 최대 밴드 퍼센트값(Band Percentage Value) r이 0.3까지 수용되도록 설계되는 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기.
  11. 제 9 항에 있어서,
    상기 ADU의 구성요소 중 하나인 DCU(Distance Calculation Unit)의 DCP(Data Comparator)는 두 개의 레지스터(Register)를 포함하는 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기.
  12. 웨어러블 디바이스 기반 적응형 DTW를 이용한 손동작 인식기의 손동작 인식 방법에 있어서,
    상기 웨어러블 디바이스에서 인식된 손동작 데이터를 수신하여 저장하는 단계;
    상기 수신된 손동작 데이터와 기 저장된 템플릿(Template)을 비교하는 단계; 및
    상기 비교 결과 상기 손동작 데이터와 가장 유사한 템플릿의 라벨(Label) 정보를 출력 결과인 인식 결과로 출력하는 단계를 포함하고,
    상기 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식 방법은,
    적응형 DTW(Dynamic Time Warping) 알고리즘 중 제약(Constraint) 기법에 기반한 적응형 DTW 알고리즘을 이용하고,
    상기 수신된 손동작 데이터와 기 저장된 템플릿(Template)을 비교하는 단계는,
    상기 수신된 손동작 데이터와 기 저장된 템플릿을 비교할 때, 상기 손동작 데이터와 기 저장된 템플릿 간의 MDL(Meaningful Data Length)의 차이만큼 윈도우(Window)의 중심을 이동시켜 최적 경로(Optimal Path)와 근접한 위치에 윈도우 영역을 형성하는 단계; 및
    상기 윈도우 영역을 중심으로 DTW 거리를 연산하는 단계를 포함하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기의 손동작 인식 방법.
  13. 삭제
  14. 삭제
  15. 제 12 항에 있어서,
    상기 수신된 손동작 데이터와 기 저장된 템플릿(Template)을 비교하는 단계는,
    상기 수신된 손동작 데이터에 대한 누적비용행렬(Accumlated Cost Matrix)과 최적 경로를 추출하는 단계;
    상기 손동작 데이터와 기 저장된 템플릿의 데이터 시퀀스의 길이를 맞추기 위하여 제로 패딩(Zero Padding)을 진행하는 단계;
    를 포함하는 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기의 손동작 인식 방법.
  16. 제 12 항에 있어서,
    상기 윈도우 영역은, SC(Sakoe-Chiba)-DTW 윈도우 및 A-SC(Adaptive Sakoe-Chiba)-DTW 윈도우를 포함하는 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기의 손동작 인식 방법.
  17. 제 16 항에 있어서,
    상기 A-SC-DTW 윈도우의 길이와 상기 SC-DTW 윈도우의 길이는 같고, 이하의 수학식을 통하여 연산되는 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기의 손동작 인식 방법:
    Figure 112021098161383-pat00020

    상기 l은 윈도우의 길이이고, 상기 r은 밴드 퍼센트 값(Band Percentage Value)이고, d1은 상기 손동작 데이터의 길이이고, d2는 상기 기 저장된 템플릿의 데이터의 길이이다.
  18. 제 15 항에 있어서,
    상기 수신된 손동작 데이터에 대한 누적비용행렬(Accumlated Cost Matrix)과 최적 경로를 추출하는 단계는,
    A-SC(Adaptive Sakoe-Chiba)-DTW의 누적비용행렬을 연산하기 위해서 이하의 수학식을 이용하는 단계;
    를 포함하는 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기의 손동작 인식 방법:
    Figure 112021098161383-pat00021

    Figure 112021098161383-pat00022

    상기 n은 누적비용행렬의 x 좌표값이고, m은 누적비용행렬의 y 좌표값이며, A는 누적비용행렬이고, C는 비용행렬이며, α는 윈도우의 중심을 결정하는 파라미터이고, 상기 β는 손동작 데이터 및 기 설정된 템플릿 간의 MDL(Meaningful Data Length) 차이이다.
  19. 제 12 항에 있어서,
    상기 웨어러블 디바이스에서 인식된 손동작 데이터를 수신하여 저장하는 단계 이전에,
    상기 웨어러블 디바이스에서 사용자의 손동작 시작을 알리는 역할을 하는 푸시버튼(Push Button)의 입력이 감지되면 I2C(Inter-Integrated Circuit) 인터페이스를 통하여 로우 데이터(Raw Data)를 IMU(Inertial Measurement Unit) 센서로부터 읽어들이는 단계;
    를 더 포함하는 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기의 손동작 인식 방법.
  20. 제 12 항에 있어서,
    상기 웨어러블 디바이스에서 인식된 손동작 데이터를 수신하여 저장하는 단계 이전에,
    상기 웨어러블 디바이스에서 인식된 손동작 데이터에 대한 전처리 과정을 진행하는 단계;
    를 더 포함하는 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기의 손동작 인식 방법.
  21. 제 20 항에 있어서,
    상기 웨어러블 디바이스에서 인식된 손동작 데이터에 대한 전처리 과정을 진행하는 단계는,
    사용자의 상기 손동작 데이터 중 MDL(Meaningful Data Length)을 제외한 나머지 부분을 제로 패딩(Zero Pedding)을 진행하여 상기 손동작 데이터의 길이를 기 설정된 길이로 고정함으로써 상기 손동작 데이터의 모든 데이터 길이를 일치시키는 단계;
    를 더 포함하는 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기의 손동작 인식 방법.
  22. 제 20 항에 있어서,
    상기 웨어러블 디바이스에서 인식된 손동작 데이터에 대한 전처리 과정을 진행하는 단계는,
    사용자의 상기 손동작 데이터의 첫 인덱스(Index)를 MDL(Meaningful Data Length) 정보를 가지도록 설정하는 단계;
    를 포함하는 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기의 손동작 인식 방법.
  23. 제 20 항에 있어서,
    상기 웨어러블 디바이스에서 인식된 손동작 데이터에 대한 전처리 과정을 진행하는 단계는,
    상기 손동작 데이터의 값을 정규화하여 정규화 데이터(Normalized Data)로 변환하는 단계;
    를 포함하는 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기의 손동작 인식 방법.
  24. 제 20 항에 있어서,
    상기 웨어러블 디바이스에서 인식된 손동작 데이터에 대한 전처리 과정을 진행하는 단계 이후에,
    상기 전처리 과정을 진행한 손동작 데이터를 UART(Universal Asynchronous Receiver/Transmitter) 통신을 통하여 전송하는 단계;
    를 더 포함하는 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기의 손동작 인식 방법.
  25. 제 12 항에 있어서,
    상기 비교 결과 상기 손동작 데이터와 가장 유사한 템플릿의 라벨(Label) 정보를 출력 결과인 인식 결과로 출력하는 단계 이후에,
    상기 손동작 데이터가 그래픽화된 상기 인식 결과를 모니터로 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기의 손동작 인식 방법.
  26. 제 12 항에 있어서,
    상기 기 저장된 템플릿은,
    기 설정된 샘플링률(Sampling Rate)로 3축에 대한 가속도 값을 포함하는 데이터셋(DatSet)에 기반한 템플릿인 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기의 손동작 인식 방법.
  27. 제 12 항에 있어서,
    상기 손동작 인식기는 FPGA 보드(Field-Programmable Gate Array Board)로 구현되는 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기의 손동작 인식 방법.
  28. 제 12 항에 있어서,
    상기 손동작 인식기는,
    웨어러블 디바이스에서 인식된 시계열 데이터인 손동작 데이터를 수신하여 저장하고, 상기 손동작 데이터의 인식 결과인 인식 데이터를 수신하여 출력하는 GIU(Global Input Unit);
    상기 GIU에서 수신한 손동작 데이터를 입력받고, 상기 입력된 손동작 데이터와 기 저장된 템플릿(Template)을 비교하며, 비교 결과 상기 손동작 데이터와 가장 유사한 템플릿의 라벨(Label) 정보를 출력 결과인 인식 결과로 상기 GIU로 전송하는 ADU(Adaptive Dynamic Time Warping Unit);
    를 포함하는 것을 특징으로 하는 웨어러블 디바이스 기반 적응형 DTW을 이용한 손동작 인식기의 손동작 인식 방법.
  29. 제 12 항, 제 15 항 내지 제 28 항 중 어느 한 항의 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
  30. 삭제
KR1020200044059A 2020-04-10 2020-04-10 웨어러블 디바이스 기반 적응형 dtw을 이용한 손동작 인식기 및 인식 방법 KR102316556B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200044059A KR102316556B1 (ko) 2020-04-10 2020-04-10 웨어러블 디바이스 기반 적응형 dtw을 이용한 손동작 인식기 및 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200044059A KR102316556B1 (ko) 2020-04-10 2020-04-10 웨어러블 디바이스 기반 적응형 dtw을 이용한 손동작 인식기 및 인식 방법

Publications (2)

Publication Number Publication Date
KR20210126354A KR20210126354A (ko) 2021-10-20
KR102316556B1 true KR102316556B1 (ko) 2021-10-22

Family

ID=78268262

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200044059A KR102316556B1 (ko) 2020-04-10 2020-04-10 웨어러블 디바이스 기반 적응형 dtw을 이용한 손동작 인식기 및 인식 방법

Country Status (1)

Country Link
KR (1) KR102316556B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101299031B1 (ko) 2011-12-02 2013-09-16 재단법인대구경북과학기술원 손 제스처 인식 장치 및 그 방법
KR101511146B1 (ko) 2014-07-29 2015-04-17 연세대학교 산학협력단 스마트 3차원 제스처 인식 장치 및 방법
KR101604552B1 (ko) 2014-10-27 2016-03-18 한국과학기술원 전자 장치, 및 이의 동작 방법
KR102035860B1 (ko) 2018-02-06 2019-10-23 한림대학교 산학협력단 연속 제스처 인식 시스템
KR102046707B1 (ko) 2018-02-27 2019-11-19 세종대학교산학협력단 관성 측정 유닛을 사용하여 콘볼루션 신경망 기반의 제스처 인식을 수행하는 기법
KR102057705B1 (ko) 2018-01-31 2019-12-19 계명대학교 산학협력단 동작 인식을 위한 지능형 장치 및 그 제어 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101299031B1 (ko) 2011-12-02 2013-09-16 재단법인대구경북과학기술원 손 제스처 인식 장치 및 그 방법
KR101511146B1 (ko) 2014-07-29 2015-04-17 연세대학교 산학협력단 스마트 3차원 제스처 인식 장치 및 방법
KR101604552B1 (ko) 2014-10-27 2016-03-18 한국과학기술원 전자 장치, 및 이의 동작 방법
KR102057705B1 (ko) 2018-01-31 2019-12-19 계명대학교 산학협력단 동작 인식을 위한 지능형 장치 및 그 제어 방법
KR102035860B1 (ko) 2018-02-06 2019-10-23 한림대학교 산학협력단 연속 제스처 인식 시스템
KR102046707B1 (ko) 2018-02-27 2019-11-19 세종대학교산학협력단 관성 측정 유닛을 사용하여 콘볼루션 신경망 기반의 제스처 인식을 수행하는 기법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAILIN LI 외 1인. Similarity Measure Based on Incremental Warping Window for Time Series Data. IEEE Access Volume 7, 3909-3917 페이지. 2019년01월. 1부.*

Also Published As

Publication number Publication date
KR20210126354A (ko) 2021-10-20

Similar Documents

Publication Publication Date Title
Li et al. Deep Fisher discriminant learning for mobile hand gesture recognition
US10691909B2 (en) User authentication method using fingerprint image and method of generating coded model for user authentication
Seto et al. Multivariate time series classification using dynamic time warping template selection for human activity recognition
Jordao et al. Novel approaches to human activity recognition based on accelerometer data
WO2020061489A1 (en) Training neural networks for vehicle re-identification
CN109344793B (zh) 用于识别空中手写的方法、装置、设备以及计算机可读存储介质
CN110826466A (zh) 基于lstm音像融合的情感识别方法、装置及存储介质
CN112148128B (zh) 一种实时手势识别方法、装置及人机交互系统
WO2020164272A1 (zh) 上网设备的识别方法、装置及存储介质、计算机设备
Cenedese et al. Home automation oriented gesture classification from inertial measurements
CN110059794A (zh) 人机识别方法及装置、电子设备、存储介质
US20200012946A1 (en) Delimitation in unsupervised classification of gestures
CN105973449A (zh) 一种光纤振源识别方法、装置及系统
Liu et al. Novel algorithm for hand gesture recognition utilizing a wrist-worn inertial sensor
US20150293951A1 (en) Control method, computer product, and control apparatus
CN116563302B (zh) 智慧医疗信息管理系统及其方法
KR102035860B1 (ko) 연속 제스처 인식 시스템
CN111126268A (zh) 关键点检测模型训练方法、装置、电子设备及存储介质
CN114139630A (zh) 姿态识别方法、装置、存储介质和电子设备
KR102316556B1 (ko) 웨어러블 디바이스 기반 적응형 dtw을 이용한 손동작 인식기 및 인식 방법
CN109992106B (zh) 手势轨迹识别方法、电子设备及存储介质
CN111639318A (zh) 移动终端上基于手势监测的风控方法及相关装置
KR102338296B1 (ko) RCE-NN(Restricted Coulomb Energy Neural Network) 기반 손 제스처 인식 방법
CN115701866B (zh) 一种电商平台风险识别模型训练方法和装置
KR101276204B1 (ko) 멀티모달 융합을 위한 환경변수 측정방법

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant