KR102456872B1 - 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법 - Google Patents
영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법 Download PDFInfo
- Publication number
- KR102456872B1 KR102456872B1 KR1020210192663A KR20210192663A KR102456872B1 KR 102456872 B1 KR102456872 B1 KR 102456872B1 KR 1020210192663 A KR1020210192663 A KR 1020210192663A KR 20210192663 A KR20210192663 A KR 20210192663A KR 102456872 B1 KR102456872 B1 KR 102456872B1
- Authority
- KR
- South Korea
- Prior art keywords
- hand
- sensor
- hand motion
- motion tracking
- unit
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 269
- 238000000034 method Methods 0.000 title claims abstract description 127
- 230000004927 fusion Effects 0.000 title claims abstract description 99
- 238000010168 coupling process Methods 0.000 title claims abstract description 77
- 230000008878 coupling Effects 0.000 title claims abstract description 76
- 238000005859 coupling reaction Methods 0.000 title claims abstract description 76
- 210000001145 finger joint Anatomy 0.000 claims abstract description 13
- 239000003550 marker Substances 0.000 claims description 71
- 230000008569 process Effects 0.000 claims description 59
- 210000003811 finger Anatomy 0.000 claims description 50
- 230000036544 posture Effects 0.000 claims description 35
- 230000000007 visual effect Effects 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 23
- 230000009466 transformation Effects 0.000 claims description 22
- 230000001133 acceleration Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 15
- 210000004247 hand Anatomy 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 210000003813 thumb Anatomy 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 238000012800 visualization Methods 0.000 claims description 5
- 230000001427 coherent effect Effects 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 210000000707 wrist Anatomy 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 39
- 230000003993 interaction Effects 0.000 description 28
- 238000010801 machine learning Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012417 linear regression Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910001338 liquidmetal Inorganic materials 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 손과 손가락의 움직임을 인식하여 손동작을 추적하기 위한 장치 및 방법에 관한 것으로, 본 발명에 따르면, 디지털 환경에서 사람의 손 및 손동작을 인식하고 구현하기 위해 카메라로 촬영된 영상을 이용하는 기존의 영상기반 기술은 손이 가려지거나 카메라 시야 밖으로 벗어나는 경우는 추적이 불가능하고 다양한 조건이나 환경에 취약한 단점이 있고, 관성센서 및 자기센서를 통해 손가락 각 마디의 3-자유도 자세를 추정하여 손 전체의 구조를 재구성하는 기존의 관성/자기센서 기반 기술은 자기장의 간섭과 변화에 취약한 단점이 있으며, 스마트글로브와 같은 웨어러블 기기를 이용하는 기존의 웨어러블 센서 기반 기술은 손가락 동작에 의한 변형과 센서 눌림에 의한 변형을 구분할 수 없는 단점이 있었던 종래기술의 손동작 추적기술들의 문제점을 해결하기 위해, 영상센서와 관성센서의 강결합 융합을 통해 손동작을 추적하도록 구성됨으로써, 기존의 손동작 추적기술의 근본적인 문제였던 영상가림, 자기교란 및 접촉에 의한 신호교란의 문제에도 모두 강건하고 정확하게 손동작의 추적이 가능하도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법이 제공된다.
Description
본 발명은 손과 손가락의 움직임을 인식하여 손동작을 추적하기 위한 장치 및 방법에 관한 것으로, 더 상세하게는, 예를 들면, 가상현실(Virtual Reality ; VR) 환경에서의 사용자 인터페이스(User Interface ; UI)나 인간과 로봇의 상호작용을 통해 로봇을 제어하기 위한 인간-로봇 상호작용(Human-Robot Interaction ; HRI) 또는 맨-머신 인터페이스(man-machine interface) 등과 같은 디지털 환경에 있어서, 사람의 손과 손가락의 다채로운 움직임을 모두 정확하게 인식하고 추적할 수 없음으로 인해 디지털 환경에서 실제와 같은 손동작을 구현하기 어려운 한계가 있었던 종래기술의 손 및 손동작 추적기술들의 문제점을 해결하기 위해, 관성센서와 영상정보를 상보적으로 융합하여 강건하고 정확하게 손과 손동작을 추적할 수 있도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법에 관한 것이다.
또한, 본 발명은, 상기한 바와 같이 디지털 환경에서 사람의 손 및 손동작을 인식하고 구현하기 위한 장치 및 방법에 있어서, 머신러닝을 이용하여 카메라로 촬영된 영상을 통해 손동작을 추정하도록 구성됨으로 인해 손이 가려지거나 카메라 시야 밖으로 벗어나는 경우는 추적이 불가능하고, 머신러닝의 특성상 데이터 의존적임으로 인해 조명 등과 같은 다양한 조건이나 환경에 취약한 한계가 있었던 종래기술의 영상기반 손 및 손동작 추적기술들의 문제점을 해결하기 위해, 영상센서와 관성센서의 강결합 융합을 통해 손동작을 추적하도록 구성됨으로써 영상가림 등의 문제에도 강건하고 정확하게 손동작의 추적이 가능하도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법에 관한 것이다.
아울러, 본 발명은, 상기한 바와 같이 디지털 환경에서 사람의 손 및 손동작을 인식하고 구현하기 위한 장치 및 방법에 있어서, 관성센서 및 자기센서를 통해 손가락 각 마디의 3-자유도 자세를 추정하여 손 전체의 구조를 재구성하도록 구성됨으로 인해 자기장의 간섭과 변화에 취약한 한계가 있었던 종래기술의 관성/자기센서 기반 손 및 손동작 추적기술들의 문제점을 해결하기 위해, 영상센서와 관성센서의 강결합 융합을 통해 손동작을 추적하도록 구성됨으로써 영상가림 및 자기교란의 문제에도 강건하고 정확하게 손동작의 추적이 가능하도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법에 관한 것이다.
더욱이, 본 발명은, 상기한 바와 같이 디지털 환경에서 사람의 손 및 손동작을 인식하고 구현하기 위한 장치 및 방법에 있어서, 예를 들면, 스마트글로브와 같이, 웨어러블 기기를 이용함으로 인해 손가락 동작에 의한 변형과 센서 눌림에 의한 변형을 구분할 수 없는 한계가 있었던 종래기술의 웨어러블 센서 기반 손 및 손동작 추적기술들의 문제점을 해결하기 위해, 영상센서와 관성센서의 강결합 융합을 통해 손동작을 추적하도록 구성됨으로써, 영상가림과 자기교란 및 센서 접촉에 의한 신호교란의 문제에도 모두 강건하고 정확하게 손동작의 추적이 가능하도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법에 관한 것이다.
최근, 디지털 기술이 발전함에 따라, 예를 들면, 가상현실(Virtual Reality ; VR)이나 증강현실(Augmented Reality ; AR), 혼합현실(Mixed Reality ; MR) 및 확장현실(eXtended Reality ; XR) 등과 같이, 디지털로 구현된 가상환경에 대한 사용자 인터페이스(User Interface ; UI) 및 이를 통하여 사용자의 동작을 인식하고 다양한 상호작용을 구현하는 기술에 대한 수요가 빠르게 증가하고 있다.
또한, 최근에는, 예를 들면, 맨-머신 인터페이스(man-machine interface)나 인간-로봇 상호작용(Human-Robot Interaction ; HRI) 등과 같이, 로봇 기술의 발전에 따라 인간과 로봇의 상호작용을 통해 로봇을 직접 제어하기 위한 기술에 대한 수요도 빠르게 증가하고 있다.
아울러, 이와 같이 가상의 디지털 환경에서 사용자와의 상호작용을 구현하기 위하여는 사용자의 손과 같은 신체를 인식하고 움직임을 추적하여 사용자가 수행한 동작을 가상환경 내에 동일하게 구현하여야 하며, 이를 위해, 최근에는, 이러한 가상의 디지털 환경에서 사용자의 손 및 손동작을 인식하고 구현하기 위한 손동작 추적기술에 대한 연구가 활발히 이루어지고 있다.
여기서, 상기한 바와 같이 디지털 환경에서 손 및 손동작을 인식하고 추적하기 위한 장치 및 방법에 대한 종래기술의 예로는, 먼저, 예를 들면, 한국 등록특허공보 제10-2228639호에 제시된 바와 같은 "손동작 추적 장치 및 그 방법"이 있다.
더 상세하게는, 상기한 한국 등록특허공보 제10-2228639호는, 3차원 영상을 촬영하고 그 촬영정보로부터 촬영대상의 3차원 깊이 정보를 추출하는 3차원 깊이추출 카메라로부터 사용자의 손 모양 및 손동작에 대한 3차원 깊이정보를 입력받는 입력부; 입력부를 통해 입력된 3차원 깊이정보에 의거하여 사용자의 손 모양 정보를 반영한 3차원 손 모델을 생성하되, 평균 손 형태를 기준으로 각각의 깊이 정보를 가지는 다양한 크기의 기본 손 모델을 제작한 후, 손 모델들 각각에 대하여 깊이조절, 손가락 길이조절 및 관절위치 조절과정을 거쳐 사용자의 손 모양에 대한 깊이정보와의 거리차가 최소가 되는 손 모델을 생성하고, 입력부를 통해 사용자의 손동작 촬영정보에 대한 3차원 깊이정보가 입력되면 생성된 3차원 손 모델을 이용하여 손동작을 추적하는 추적부; 및 추적부에서 생성한 3차원 손 모델 및 미리 설정된 손동작 추적 알고리즘을 저장하는 저장부를 포함하여, 사용성 및 접근성이 높은 3차원 깊이추출 카메라로 촬영한 영상으로부터 추출된 3차원 깊이정보를 이용하여 사용자별로 최적의 손모델을 자동으로 생성함으로써 정확하고 편리하게 손모델을 생성할 수 있고, 그것에 의해 손동작을 정확하게 추적할 수 있도록 구성되는 손동작 추적 장치 및 그 방법에 관한 것이다.
또한, 상기한 바와 같이 디지털 환경에서 손 및 손동작을 인식하고 추적하기 위한 장치 및 방법에 대한 종래기술의 다른 예로는, 예를 들면, 한국 등록특허공보 제10-2170638호에 제시된 바와 같은 "손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템"이 있다.
더 상세하게는, 상기한 한국 등록특허공보 제10-2170638호는, 가상현실 환경에서 손과 오브젝트의 상호작용을 구현하기 위한 처리를 전용의 하드웨어나 VR 글로브를 포함하는 VR 시스템에 실행시키도록 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법에 있어서, 상기 처리는, 가상현실 환경에서 손이 오브젝트와 충돌했는지를 탐지하는 주변환경 탐지단계; 주변환경 탐지단계에서 손이 오브젝트와 충돌한 것이 탐지되면 충돌한 손가락 개수와 오브젝트 데이터 값을 검출하는 상호작용 인지단계; 상호작용 인지단계에서 충돌한 것으로 인식된 손가락들에 대한 내적벡터 값을 각각 계산하고 저장하는 내적벡터 계산단계; 내적벡터 계산단계에서 충돌한 손가락들에 대하여 구해진 각각의 내적벡터 값의 총합을 구하고 내적벡터 값의 총합이 미리 설정된 상호작용 실행조건을 만족하는지를 판단하는 상호작용 판단단계; 및 상호작용 판단단계에서 내적벡터 값의 총합이 상호작용 실행조건을 만족하는 것으로 판단되면 오브젝트 잡기를 실행하는 오브젝트 잡기 실행단계를 포함하여, VR 글로브 컨트롤러 사용시 손과 매칭시켜주는 기능만 제공되고 물체를 잡는 것과 같이 오브젝트와 상호작용을 할 수 있는 알고리즘이 제시되지 못하였던 종래기술의 VR 글로브 컨트롤러들의 문제점을 해결할 수 있도록 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템에 관한 것이다.
상기한 바와 같이, 종래, 디지털 환경에서 손 및 손동작을 인식하고 추적하기 위해 다양한 장치 및 방법들이 제시된 바 있으나, 상기한 바와 같은 종래기술의 내용들은 다음과 같은 한계가 있는 것이었다.
즉, 종래, 디지털 환경에서 사람의 손 및 손동작을 인식하고 구현하기 위한 방법으로는, 크게 나누어, 머신러닝 기반으로 카메라로 촬영된 영상을 통해 손동작을 추정하는 영상기반 기술과, 관성센서 및 자기센서를 통해 손가락 각 마디의 3-자유도 자세를 추정하여 손 전체의 구조를 재구성하는 관성/자기센서 기반 기술 및 스마트글로브와 같은 웨어러블 기기를 이용하는 웨어러블 센서 기반 기술이 있다.
그러나 기존의 영상기반 손 및 손동작 추적기술들은, 머신러닝을 이용하여 카메라로 촬영된 영상을 통해 손동작을 추정하도록 구성됨으로 인해 손이 가려지거나 카메라 시야 밖으로 벗어나는 경우는 추적이 불가능한 데 더하여, 머신러닝의 특성상 미리 학습되지 않은 다양한 환경 변화에 취약한 단점이 있었다.
또한, 기존의 관성/자기센서 기반 손 및 손동작 추적기술들은 자기센서를 이용함으로 인해 외부 자기장의 간섭 및 변화에 취약한 단점이 있었고, 기존의 웨어러블 센서 기반 기술들은 스마트글로브 등과 같은 웨어러블 기기를 이용함으로 인해 손가락 동작에 의한 변형과 센서 눌림에 의한 변형을 구분할 수 없는 단점이 있는 것이었다.
따라서 상기한 바와 같은 종래기술의 손 및 손동작 추적기술들의 한계를 해결하기 위해서는, 자기장의 간섭 및 변화에 취약한 자기센서를 사용하지 않고 영상센서와 관성센서를 이용하여 손 및 손동작을 추적하는 것에 의해 영상가림과 자기교란 및 센서 접촉에 의한 신호교란의 문제에도 모두 강건하고 정확하게 손동작의 추적이 가능하도록 구성되는 새로운 구성의 손동작 추적시스템 및 방법을 제시하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 장치나 방법은 제시되지 못하고 있는 실정이다.
본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하고자 하는 것으로, 따라서 본 발명의 목적은, 예를 들면, 가상현실(Virtual Reality ; VR) 환경에서의 사용자 인터페이스(User Interface ; UI)나 인간과 로봇의 상호작용을 통해 로봇을 제어하기 위한 인간-로봇 상호작용(Human-Robot Interaction ; HRI) 또는 맨-머신 인터페이스(man-machine interface) 등과 같은 디지털 환경에 있어서, 사람의 손과 손가락의 다채로운 움직임을 모두 정확하게 인식하고 추적할 수 없음으로 인해 디지털 환경에서 실제와 같은 손동작을 구현하기 어려운 한계가 있었던 종래기술의 손 및 손동작 추적기술들의 문제점을 해결하기 위해, 관성센서와 영상정보를 상보적으로 융합하여 강건하고 정확하게 손과 손동작을 추적할 수 있도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법을 제시하고자 하는 것이다.
또한, 본 발명의 다른 목적은, 머신러닝을 이용하여 카메라로 촬영된 영상을 통해 손동작을 추정하도록 구성됨으로 인해 손이 가려지거나 카메라 시야 밖으로 벗어나는 경우는 추적이 불가능하고, 머신러닝의 특성상 데이터 의존적임으로 인해 조명 등과 같은 다양한 조건이나 환경에 취약한 한계가 있었던 종래기술의 영상기반 손 및 손동작 추적기술들의 문제점을 해결하기 위해, 영상센서와 관성센서의 강결합 융합을 통해 손동작을 추적하도록 구성됨으로써 영상가림 등의 문제에도 강건하고 정확하게 손동작의 추적이 가능하도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법을 제시하고자 하는 것이다.
아울러, 본 발명의 또 다른 목적은, 관성센서 및 자기센서를 통해 손가락 각 마디의 3-자유도 자세를 추정하여 손 전체의 구조를 재구성하도록 구성됨으로 인해 자기장의 간섭과 변화에 취약한 단점이 있었던 종래기술의 관성/자기센서 기반 손 및 손동작 추적기술들의 문제점을 해결하기 위해, 영상센서와 관성센서의 강결합 융합을 통해 손동작을 추적하도록 구성됨으로써 영상가림 및 자기교란의 문제에도 강건하고 정확하게 손동작의 추적이 가능하도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법을 제시하고자 하는 것이다.
더욱이, 본 발명의 또 다른 목적은, 예를 들면, 스마트글로브 등과 같이, 웨어러블 기기를 이용함으로 인해 손가락 동작에 의한 변형과 센서 눌림에 의한 변형을 구분할 수 없는 한계가 있었던 종래기술의 웨어러블 센서 기반 손 및 손동작 추적기술들의 문제점을 해결하기 위해, 영상센서와 관성센서의 강결합 융합을 통해 손동작을 추적하도록 구성됨으로써 영상가림과 자기교란 및 센서 접촉에 의한 신호교란의 문제에도 모두 강건하고 정확하게 손동작의 추적이 가능하도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법을 제시하고자 하는 것이다.
상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템에 있어서, 사용자의 손을 촬영하기 위한 카메라를 포함하여 이루어지는 영상센서부; 사용자의 손에 착용되는 장갑을 포함하여 이루어지는 착용부; 상기 영상센서부의 카메라를 통하여 사용자의 손과 손가락의 움직임을 인식하기 위해 상기 장갑의 표면에 부착되는 다수의 시각마커를 포함하여 이루어지는 마커부; 사용자의 손과 손가락의 움직임을 인식하고 추적하기 위해 상기 장갑의 각 부분에 각각 설치되는 다수의 관성센서를 포함하여 이루어지는 관성센서부; 및 상기 영상센서부 및 상기 관성센서부를 통해 얻어지는 각각의 데이터에 근거하여 사용자의 손동작을 추적하는 처리가 수행되도록 이루어지는 손동작 추적부를 포함하여 구성되는 것을 특징으로 하는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템이 제공된다.
여기서, 상기 영상센서부는, 삼각측량이 가능한 스테레오 카메라(stereo camera)를 이용하여 구성되거나, 또는, 사용자의 시야 방향과 카메라의 방향이 일치되도록 HMD(head mounted display)에 카메라를 장착하여 구성되는 것을 특징으로 한다.
또한, 상기 착용부와 상기 마커부 및 상기 관성센서부는, 사용자의 손에 착용되는 장갑의 표면에 다수의 시각마커가 부착되고 미리 정해진 위치에 관성센서가 각각 설치되어 일체로 형성되도록 구성되는 것을 특징으로 한다.
아울러, 상기 관성센서부는, 엄지와 검지 및 중지의 각 마디와 손목 부분에 각각 배치되는 다수의 관성센서를 포함하여 구성되는 것을 특징으로 한다.
더욱이, 상기 손동작 추적부는, 상기 관성센서부를 통해 얻어지는 정보를 통해 손가락 관절의 위치 및 각도를 추정하는 처리가 수행되도록 이루어지는 상태추정부; 상기 영상센서부를 통해 촬영된 시각마커를 탐지하여 각 마커의 위치를 측정하는 처리가 수행되도록 이루어지는 마커탐지부; 상기 상태추정부 및 상기 마커탐지부의 정보에 근거하여 최종적인 손 자세를 계산하는 처리가 수행되도록 이루어지는 센서융합부; 및 상기 센서융합부에 의해 계산된 손 자세를 렌더링하여 모니터를 포함하는 디스플레이상에 표시하는 처리가 수행되도록 이루어지는 시각화부를 포함하여 구성되는 것을 특징으로 한다.
여기서, 상기 상태추정부는, 미리 정해진 자세로 손과 손가락의 자세를 초기화하고, 손동작 추적이 시작되면 각각의 관성센서를 통해 측정되는 센서 데이터를 수집하여 가속도 정보와 각가속도 정보를 추출하며, 추출된 가속도 정보 및 각가속도 정보에 근거하여, 확장칼만필터(Extended Kalman Filter ; EKF)를 이용하여 각 센서가 부착된 관절의 위치 및 각도를 추정하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
또한, 상기 상태추정부는, 상기 확장칼만필터(EKF)의 오차상태변수 xs를 이하의 수학식으로 정의하고,
(여기서, G는 글로벌 좌표계, I는 IMU(inertial measurement unit) 기준좌표계, p는 위치(position), v는 속도(velocity), δθ는 3차원 자세회전변수, bg는 자이로스코프 센싱 바이어스, ba는 가속도 센싱 바이어스, λB는 스케일(scale) 추정변수(손의 크기(hand scale)), δθIB는 IMU 부착 위치와 실제 신체(body)의 회전오차를 각각 의미함)
이하의 수학식을 이용하여 상기 확장칼만필터(EKF)의 오차상태변수를 예측하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
(여기서, Fs는 IMU 센서상태에 해당하는 오류상태 전이행렬(error-state transition matrix), G는 입력잡음행렬(input noise matrix), 0n×m은 n×m 영행렬(zero matrix), On은 n×n 영행렬, In은 n×n 단위행렬(identity matrix), 시스템 잡음(system noise) n은 
로 정의되는 노이즈 벡터의 합을 각각 의미함)
아울러, 상기 마커탐지부는, 상기 영상센서부의 스테레오 카메라로 촬영된 각각의 양안 이미지에 대하여 HSV(hue-saturation-value) 필터링 기반으로 시각마커를 탐지하고, CPD(coherent point drift) 알고리즘을 포함하는 포인트 매칭 방식에 기반한 스테레오 매칭(stereo matching) 처리를 통해 양안 이미지 내 시각마커간 대응관계를 구하며, 그 후, 삼각측량을 통해 각각의 시각마커의 3차원 위치를 계산하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
여기서, 상기 스테레오 매칭(stereo matching) 처리는, GMM(Gaussian mixture model)을 적용하여, 일측 이미지에서 얻은 마커정보로부터 변환 파라미터 ζ에 의한 변환(transformation)을 수행했을 때 타측 이미지의 GMM 우도함수(likelihood function)를 최대로 만드는 변환 파라미터 ζ를 찾는 처리가 수행되도록 구성되며, 상기 변환 파라미터를 ζ를 찾는 처리는, 기대값 최대화(Expectation Maximization ; EM) 알고리즘을 이용하여, 우측 관측집합을 R, 좌측 관측집합을 L, 변환 파라미터를 ζ라 할 때, 이하의 수학식을 이용하여 수행되도록 구성되는 것을 특징으로 한다.
(여기서, h = {1, 2, 3, 4}는 각 색상의 인덱스, NL,h는 각각의 색상 h에 대하여 좌측의 관찰된 마커 수, R은 GMM 중심으로 표현되는 모델 포인트 집합(model point set), T(rj,ζ)는 파라미터 ζ를 이용한 우측 포인트 rj의 변환, ws는 스테레오 매칭의 이상값 비율(outlier ratio)을 결정하는 파라미터, ∑s는 카메라의 픽셀 관측 노이즈(pixel observation noise)의 공분산 행렬(covariance matrix), p(rj)는 1/NR,h의 고른분포확률(even probability)로 가정되는 사전확률(prior probability)을 각각 의미함)
더욱이, 상기 센서융합부는, 상기 상태추정부에서 추정된 손 자세를 통해 각각의 시각마커에 대한 관측확률을 계산하고, 상기 마커탐지부에서 CPD 기반 스테레오 매칭을 통하여 탐지된 시각마커들의 장갑상 부착위치에 근거하여, 기대값 최대화(EM) 알고리즘을 이용하여 상기 상태추정부에서 확장칼만필터(EKF)를 통해 추정된 마커 집합에 대한 대응탐색(correspondence search)을 수행하는 것에 의해 관절의 위치 및 각도의 오차를 교정하여 상기 상태추정부의 추정결과를 보정하며, 그 후, 손의 골격구조에 따라 미리 정해진 해부학적 제약조건(anatomical constraints)을 반영하여 최종적인 손 자세를 계산하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
또한, 상기 센서융합부는, 장갑 표면이 손 크기에 비례하여 늘어나는 것으로 가정할 때, 이하의 수학식을 이용하여 확장칼만필터(EKF)의 보정과정에 적용되는 관측변수 z의 추정값을 계산하고,
(여기서, 
는 변수 z의 추정값이고, 좌표계 G는 글로벌 좌표계, 좌표계 I는 관성센서(IMU) 기준좌표계, B는 손가락 마디 기준좌표계를 각각 의미하며, 
, 
및 
는 각각 좌표계 G 또는 I로부터 좌표계 I 또는 B로의 동형변환(homogenous transformation)을 나타내는 벡터 및 회전행렬을 좌표계 G를 기준으로 각각 나타낸 것이고, d(ζ)는 벡터 
의 3 × 3 대각행렬(diagonal matrix)을 나타내며, 
는 센서 글러브의 제작시 마커 mj의 지정위치(designated position)를 각각 나타냄)
이하의 수학식을 이용하여 관측행렬 H를 정의하고 확장칼만필터(EKF)에 적용하는 것에 의해 상기 상태추정부의 추정결과를 보정하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
(여기서, Hx는 오류상태(erroe state) x에 대한 측정방정식(measurement equation)의 야코비안(Jacobian) 이고, [ζx]는 벡터 [
]의 반대칭 행렬(skew-symmetric matrix)을 나타냄)
아울러, 상기 해부학적 제약조건은, 엄지손가락의 수근중수(carpometacarpal ; CMC)/MCP 관절 및 검지와 중지의 MCP/PIP 관절을 포함하여, 해부학적으로 인접한 마디(segment)가 해당하는 회전관절(pivot joint)에 연결되도록 하는 위치적 제약조건(positional constraint); 및 엄지, 검지 및 중지에 대하여 MCP 관절의 x축 회전이 없고 검지 및 중지에 대하여 PIP 관절의 x/z축 회전이 없는 것을 포함하는 회전 제약조건(rotational constraint)을 포함하여 구성되는 것을 특징으로 한다.
더욱이, 본 발명에 따르면, 상기에 기재된 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템을 이용하여 손동작을 추적하도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적방법에 있어서, 미리 정해진 자세로 손과 손가락의 자세를 초기화하고, 손동작 추적이 시작되면 상기 손동작 추적시스템의 관성센서부를 통하여 측정되는 각각의 관성센서의 센서 데이터를 수집하여 가속도 정보와 각가속도 정보를 추출하는 처리가 상기 손동작 추적시스템의 손동작 추적부를 통하여 수행되는 데이터 수집단계; 상기 데이터 수집단계에서 추출된 정보에 근거하여, 확장칼만필터(EKF)를 이용하여 손의 자세 및 동작을 추정하고 예측하는 처리가 상기 손동작 추적부를 통하여 수행되는 손동작 추정단계; 상기 손동작 추적시스템의 영상추적부를 통하여 스테레오 카메라로 촬영된 영상데이터가 수신되면, 영상 내에서 각각의 시각마커의 위치를 탐지하고 스테레오 매칭을 통해 얻어지는 시각마커의 위치 데이터를 반영하여 상기 확장칼만필터(EKF)의 추정값을 보정하는 처리가 상기 손동작 추적시스템의 손동작 추적부를 통하여 수행되는 손동작 보정단계; 및 상기 손동작 보정단계에서 보정된 결과에 미리 정해진 제약조건을 반영하여 최종 결과를 출력하는 처리가 상기 손동작 추적시스템의 손동작 추적부를 통하여 수행되는 제약조건 처리단계를 포함하여 구성되는 것을 특징으로 하는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적방법이 제공된다.
상기한 바와 같이, 본 발명에 따르면, 관성센서와 영상정보를 상보적으로 융합하여 강건하고 정확하게 손과 손동작을 추적할 수 있도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법이 제공됨으로써, 예를 들면, 가상현실(VR) 환경에서의 사용자 인터페이스(UI)나 인간과 로봇의 상호작용을 통해 로봇을 제어하기 위한 인간-로봇 상호작용(HRI) 또는 맨-머신 인터페이스 등과 같은 디지털 환경에 있어서, 사람의 손과 손가락의 다채로운 움직임을 모두 정확하게 인식하고 추적할 수 없음으로 인해 디지털 환경에서 실제와 같은 손동작을 구현하기 어려운 한계가 있었던 종래기술의 손 및 손동작 추적기술들의 문제점을 해결할 수 있다.
또한, 본 발명에 따르면, 상기한 바와 같이 영상센서와 관성센서의 강결합 융합을 통해 손동작을 추적하도록 구성되어 영상가림과 자기교란 및 센서 접촉에 의한 신호교란의 문제에도 모두 강건하고 정확하게 손동작의 추적이 가능하도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법이 제공됨으로써, 머신러닝을 이용하여 카메라로 촬영된 영상을 통해 손동작을 추정하도록 구성됨으로 인해 손이 가려지거나 카메라 시야 밖으로 벗어나는 경우는 추적이 불가능하고, 머신러닝의 특성상 데이터 의존적임으로 인해 조명 등과 같은 다양한 조건이나 환경에 취약한 한계가 있었던 종래기술의 영상기반 손 및 손동작 추적기술들의 문제점을 해결할 수 있다.
아울러, 본 발명에 따르면, 상기한 바와 같이 영상센서와 관성센서의 강결합 융합을 통해 손동작을 추적하도록 구성되어 영상가림과 자기교란 및 센서 접촉에 의한 신호교란의 문제에도 모두 강건하고 정확하게 손동작의 추적이 가능하도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법이 제공됨으로써, 관성센서 및 자기센서를 통해 손가락 각 마디의 3-자유도 자세를 추정하여 손 전체의 구조를 재구성하도록 구성됨으로 인해 자기장의 간섭과 변화에 취약한 한계가 있었던 종래기술의 관성/자기센서 기반 손 및 손동작 추적기술들의 문제점을 해결할 수 있다.
더욱이, 본 발명에 따르면, 상기한 바와 같이 영상센서와 관성센서의 강결합 융합을 통해 손동작을 추적하도록 구성되어 영상가림과 자기교란 및 센서 접촉에 의한 신호교란의 문제에도 모두 강건하고 정확하게 손동작의 추적이 가능하도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법이 제공됨으로써, 예를 들면, 스마트글로브 등과 같이, 웨어러블 기기를 이용함으로 인해 손가락 동작에 의한 변형과 센서 눌림에 의한 변형을 구분할 수 없는 한계가 있었던 종래기술의 웨어러블 센서 기반 손 및 손동작 추적기술들의 문제점을 해결할 수 있다.
도 1은 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 2는 도 1에 나타낸 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템의 구체적인 구성을 개략적으로 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템의 관성센서의 부착위치를 나타내는 도면이다.
도 4는 도 1에 나타낸 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템의 실제 구현예를 개략적으로 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템의 전체적인 처리동작을 개략적으로 나타내는 개념도이다.
도 6은 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템에서 손동작을 추적하는 처리과정의 전체적인 구성을 개략적으로 나타내는 플로차트이다.
도 7은 본 발명의 실시예에 따른 손동작 추적 알고리즘을 적용한 손동작 추적결과를 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 손동작 추적 알고리즘의 검증실험을 위해 적용된 피실험자들의 손 모양 및 크기를 각각 나타내는 도면이다.
도 9는 도 8에 나타낸 피실험자들의 손 크기의 분포를 그래프로 나타낸 도면이다.
도 10은 도 8에 나타낸 피실험자들에 대한 손동작 추적결과의 절대평균 오차를 그래프로 나타낸 도면이다.
도 11은 도 8에 나타낸 피실험자들에 대한 손동작 추적결과의 손크기에 대하여 정규화된 오차를 그래프로 나타낸 도면이다.
도 12는 본 발명의 실시예에 따른 손동작 추적 알고리즘과 기존의 손동작 추적 알고리즘의 추적결과를 각각 비교하여 나타낸 도면이다.
도 2는 도 1에 나타낸 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템의 구체적인 구성을 개략적으로 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템의 관성센서의 부착위치를 나타내는 도면이다.
도 4는 도 1에 나타낸 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템의 실제 구현예를 개략적으로 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템의 전체적인 처리동작을 개략적으로 나타내는 개념도이다.
도 6은 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템에서 손동작을 추적하는 처리과정의 전체적인 구성을 개략적으로 나타내는 플로차트이다.
도 7은 본 발명의 실시예에 따른 손동작 추적 알고리즘을 적용한 손동작 추적결과를 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 손동작 추적 알고리즘의 검증실험을 위해 적용된 피실험자들의 손 모양 및 크기를 각각 나타내는 도면이다.
도 9는 도 8에 나타낸 피실험자들의 손 크기의 분포를 그래프로 나타낸 도면이다.
도 10은 도 8에 나타낸 피실험자들에 대한 손동작 추적결과의 절대평균 오차를 그래프로 나타낸 도면이다.
도 11은 도 8에 나타낸 피실험자들에 대한 손동작 추적결과의 손크기에 대하여 정규화된 오차를 그래프로 나타낸 도면이다.
도 12는 본 발명의 실시예에 따른 손동작 추적 알고리즘과 기존의 손동작 추적 알고리즘의 추적결과를 각각 비교하여 나타낸 도면이다.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법의 구체적인 실시예에 대하여 설명한다.
여기서, 이하에 설명하는 내용은 본 발명을 실시하기 위한 하나의 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다.
또한, 이하의 본 발명의 실시예에 대한 설명에 있어서, 종래기술의 내용과 동일 또는 유사하거나 당업자의 수준에서 용이하게 이해하고 실시할 수 있다고 판단되는 부분에 대하여는, 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다.
즉, 본 발명은, 후술하는 바와 같이, 예를 들면, 가상현실(VR) 환경에서의 사용자 인터페이스(UI)나 인간과 로봇의 상호작용을 통해 로봇을 제어하기 위한 인간-로봇 상호작용(HRI) 또는 맨-머신 인터페이스 등과 같은 디지털 환경에 있어서, 사람의 손과 손가락의 다채로운 움직임을 모두 정확하게 인식하고 추적할 수 없음으로 인해 디지털 환경에서 실제와 같은 손동작을 구현하기 어려운 한계가 있었던 종래기술의 손 및 손동작 추적기술들의 문제점을 해결하기 위해, 관성센서와 영상정보를 상보적으로 융합하여 강건하고 정확하게 손과 손동작을 추적할 수 있도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법에 관한 것이다.
아울러, 본 발명은, 후술하는 바와 같이, 디지털 환경에서 사람의 손 및 손동작을 인식하고 구현하기 위한 장치 및 방법에 있어서, 머신러닝을 이용하여 카메라로 촬영된 영상을 통해 손동작을 추정하도록 구성됨으로 인해 손이 가려지거나 카메라 시야 밖으로 벗어나는 경우는 추적이 불가능하고, 머신러닝의 특성상 데이터 의존적임으로 인해 조명 등과 같은 다양한 조건이나 환경에 취약한 단점이 있었던 종래기술의 영상기반 기술의 문제점을 해결하기 위해, 영상센서와 관성센서의 강결합 융합을 통해 손동작을 추적하도록 구성됨으로써 영상가림 등의 문제에도 강건하고 정확하게 손동작의 추적이 가능하도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법에 관한 것이다.
더욱이, 본 발명은, 후술하는 바와 같이, 디지털 환경에서 사람의 손 및 손동작을 인식하고 구현하기 위한 장치 및 방법에 있어서, 관성센서 및 자기센서를 통해 손가락 각 마디의 3-자유도 자세를 추정하여 손 전체의 구조를 재구성하도록 구성됨으로 인해 자기장의 간섭과 변화에 취약한 단점이 있었던 종래기술의 관성/자기센서 기반 기술의 문제점을 해결하기 위해, 영상센서와 관성센서의 강결합 융합을 통해 손동작을 추적하도록 구성됨으로써 영상가림 및 자기교란의 문제에도 강건하고 정확하게 손동작의 추적이 가능하도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법에 관한 것이다.
또한, 본 발명은, 후술하는 바와 같이, 디지털 환경에서 사람의 손 및 손동작을 인식하고 구현하기 위한 장치 및 방법에 있어서, 예를 들면, 스마트글로브와 같이, 웨어러블 기기를 이용함으로 인해 손가락 동작에 의한 변형과 센서 눌림에 의한 변형을 구분할 수 없는 단점이 있었던 종래기술의 웨어러블 센서 기반 기술의 문제점을 해결하기 위해, 영상센서와 관성센서의 강결합 융합을 통해 손동작을 추적하도록 구성됨으로써, 영상가림과 자기교란 및 센서 접촉에 의한 신호교란의 문제에도 모두 강건하고 정확하게 손동작의 추적이 가능하도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법에 관한 것이다.
계속해서, 도면을 참조하여, 본 발명에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법의 구체적인 내용에 대하여 설명한다.
더 상세하게는, 먼저, 도 1을 참조하면, 도 1은 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템(10)의 전체적인 구성을 개략적으로 나타내는 블록도이다.
도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템(10)은, 크게 나누어, 사용자의 손을 촬영하기 위한 카메라를 포함하여 이루어지는 영상센서부(11)와, 사용자의 손에 착용되는 장갑을 포함하여 이루어지는 착용부(12)와, 영상센서부(11)의 카메라를 통하여 손과 손가락의 움직임을 인식하기 위해 장갑의 표면에 부착되는 다수의 시각마커를 포함하여 이루어지는 마커부(13)와, 사용자의 손과 손가락의 움직임을 인식하고 추적하기 위해 장갑의 각 부분에 각각 설치되는 다수의 관성센서를 포함하여 이루어지는 관성센서부(14)와, 영상센서부(11) 및 관성센서부(14)를 통해 얻어지는 각각의 데이터에 근거하여 사용자의 손동작을 추적하는 처리가 수행되도록 이루어지는 손동작 추적부(15)를 포함하여 구성될 수 있다.
또한, 도 2를 참조하면, 도 2는 도 1에 나타낸 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템(10)의 구체적인 구성을 개략적으로 나타내는 블록도이다.
더 상세하게는, 먼저, 상기한 영상센서부(11)는, 삼각측량이 가능한 스테레오 카메라를 이용하여 장갑에 부착된 시각마커를 촬영하도록 구성될 수 있고, 이때, 필요한 경우 HMD(head mounted display)에 장착하여 사용자의 시야 방향과 카메라의 방향이 일치되도록 구성될 수 있다.
아울러, 상기한 착용부(12)와 마커부(13) 및 관성센서부(14)는 사용자의 손에 착용되는 장갑의 표면에 다수의 시각마커가 부착되고 손가락의 마디 위치에 관성센서가 각각 설치되어 일체로 형성되도록 구성될 수 있다.
여기서, 상기한 시각마커는 동일한 크기와 모양을 가진 단색 비식별 마커로 구성되어 추적하고자 하는 손가락 마디의 각 지점에 다수 개 부착되며, 즉, 본 발명의 실시예에 있어서, 상기한 시각마커는 여러 가지 색을 가지나 전체 마커 수에 비해 색 종류가 매우 적어 같은 색의 마커 간 구분은 불가능한 비식별 마커로 구성될 수 있다.
또한, 도 3을 참조하면, 도 3은 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템(10)에서 관성센서의 부착위치를 나타내는 도면이다.
도 3에 나타낸 바와 같이, 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템(10)은, 예를 들면, 손의 해부학적 구조에 따라 관절의 형태가 결정되는 세그먼트 관절 골격모델(segment joint skeleton model)을 적용하여, 엄지와 검지 및 중지의 각 마디와 손목 부분에 각각 총 7개의 관성센서가 배치되도록 구성될 수 있으며, 손가락 마지막 마디의 경우 둘째 마디에 따른 시너지 효과를 고려하여 관성센서의 배치를 생략할 수 있다.
따라서 상기한 바와 같이 손동작 추적을 위한 센서로서 지자기 센서를 제외한 관성센서만을 사용하므로 외부 자기장 간섭에 영향을 받지 않게 된다.
더욱이, 상기한 손동작 추적부(15)는, 영상센서부(11) 및 관성센서부(14)로부터 측정된 데이터를 각각 전송받아 후술하는 바와 같이 하여 손동작을 추적하는 처리가 수행되도록 구성될 수 있으며, 이를 위해, 도 2에 나타낸 바와 같이, 영상센서부(11) 및 관성센서부(14)를 통해 각각 얻어지는 정보를 통해 손가락 관절의 위치 및 각도를 추정하는 처리가 수행되도록 이루어지는 상태추정부(21)와, 촬영된 시각마커를 탐지하여 각 마커의 위치를 측정하는 처리가 수행되도록 이루어지는 마커탐지부(22)와, 상태추정부(21) 및 마커탐지부(22)의 정보를 강결합 융합하여 최종적인 손 자세를 계산하는 처리가 수행되도록 이루어지는 센서융합부(23) 및 계산된 손 자세를 디스플레이상에 렌더링하는 처리가 수행되도록 이루어지는 시각화부(24)를 포함하여 구성될 수 있다.
더 상세하게는, 먼저, 상기한 상태추정부(21)는, 각각의 관성센서의 측정값을 통해 각 센서가 부착된 관절의 위치 및 각도를 추정하며, 이를 위한 추정방법으로는, 예를 들면, 확장칼만필터(Extended Kalman Filter ; EKF)를 이용하여 관절의 위치 및 각도를 추정하는 처리가 수행되도록 구성될 수 있다.
여기서, EKF 상태는 관절의 위치, 각도 외에 관절의 크기 및 관절-센서간 어긋남 각도도 포함하며, 이를 통해 착용자의 손에 대한 자동 보정이 고속으로 이루어질 수 있다.
또한, 상기한 마커탐지부(22)는, 스테레오 카메라의 양안 이미지 각각을 HSV(hue-saturation-value) 필터링 기반으로 시각마커를 탐지하고, 이후 CPD(coherent point drift) 알고리즘 기반 스테레오 매칭을 통해 양안 이미지 내 시각마커간 대응관계를 구한 후, 삼각측량을 통해 시각마커의 3차원 위치를 계산하는 처리가 수행되도록 구성될 수 있다.
아울러, 상기한 센서융합부(23)는 다음과 같은 강결합 방식으로 상태추정부(21)와 마커탐지부(22)의 정보를 강결합 융합하는 처리가 수행되도록 구성될 수 있다.
즉, 센서융합부(23)는, 상태추정부(21)에서 추정된 손 자세를 통해 각각의 시각마커에 대한 관측확률을 계산하며, 이를 통해 CPD 기반 매칭을 통하여 탐지된 시각마커들의 장갑상 부착위치를 식별한다.
또한, 센서융합부(23)는, 마커탐지부(22)에서 관측된 시각마커를 통해 센서값의 오차에 따른 추정된 관절의 위치 및 각도의 오차를 교정하며, 이후 손의 골격구조에 따른 해부학적 제약조건(anatomical constraints)을 통한 교정을 수행하여 최종적인 손 자세를 계산한다.
아울러, 상기한 시각화부(24)는, 상기한 바와 같이 하여 센서융합부(23)를 통해 계산된 손 자세를 모니터 등의 디스플레이에 출력하는 처리가 수행되도록 구성될 수 있다.
계속해서, 상기한 바와 같이 구성되는 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템(10)의 구체적인 동작 및 처리과정의 보다 상세한 내용에 대하여 설명한다.
먼저, 도 4를 참조하면, 도 4는 도 1에 나타낸 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템(10)의 실제 구현예를 개략적으로 나타내는 도면이고, 도 5는 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템(10)의 전체적인 처리동작을 개략적으로 나타내는 개념도이다.
도 4 및 도 5에 나타낸 바와 같이, 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템(10)은, 영상센서부(11)의 스테레오 카메라로 시각마커를 촬영하여 얻어지는 정보와, 관성센서부(14)의 각각의 관성센서로부터 얻어지는 정보를 강결합 융합하고, 각종 해부학적 제약조건(anatomical constraints)을 고려하여 반영하는 일련의 처리과정이 수행되는 것에 의해 다양한 조건 및 환경변화에 대하여도 항상 강건하고 정확한 손동작 추적이 가능하도록 구성될 수 있다.
더 상세하게는, 도 6을 참조하면, 도 6은 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템(10)에서 손동작을 추적하는 처리과정의 전체적인 구성을 개략적으로 나타내는 플로차트이다.
도 6에 나타낸 바와 같이, 본 발명의 실시예에 따른 손동작 추적시스템(10)에서 수행되는 손동작 추적방법은, 크게 나누어, 각각의 관성센서를 통해 측정된 데이터를 수집하고, 수집된 관성센서 정보에 근거하여 확장칼만필터를 이용하여 손의 자세 및 동작을 추정하여 예측하며, 이후 스테레오 카메라를 통해 촬영된 영상데이터가 수신되면 영상 내에서 각각의 시각마커의 위치를 탐지하고, 스테레오 매칭을 통해 얻어지는 시각마커 데이터를 반영하여 확장칼만필터의 추정값을 보정하며, 필요에 따라 손의 크기나 모양 등과 같은 기구학적 조건을 추가적으로 고려하여 최종 결과를 출력하는 처리가 각각 수행되는 일련의 처리단계를 포함하여 구성될 수 있다.
여기서, 확장칼만필터를 이용한 예측은, 도 6에 나타낸 바와 같이, 먼저, 이하의 [수학식 1] 내지 [수학식 8]을 참조하여 후술하는 바와 같이 하여 오차상태변수를 예측하는 과정과, 이하의 [수학식 16] 내지 [수학식 19]를 참조하여 후술하는 바와 같이 하여 시각정보에 기반하여 보정하는 과정 및 해부학적 제약에 기반하여 보정하는 과정을 포함하여 구성될 수 있다.
또한, 확장칼만필터를 이용한 예측결과를 시각정보에 기반하여 보정하기 위한 마커탐지 과정은, 도 6에 나타낸 바와 같이, 이하의 [수학식 9] 내지 [수학식 12]를 참조하여 후술하는 바와 같이 하여 양안 스테레오 매칭을 수행하는 과정 및 이하의 [수학식 13] 내지 [수학식 15]를 참조하여 후술하는 바와 같이 하여 IMU 정보 기반 대응탐색색(IMU-aided correspondence search)을 수행하는 과정을 포함하여 구성될 수 있다.
더 상세하게는, 먼저, 시작단계에서, 미리 정해진 자세로 손과 손가락의 자세를 초기화하고, 손동작 추적이 시작되면 각각의 관성센서를 통해 측정되는 센서 데이터를 수집하여 가속도 정보와 각가속도 정보를 얻은 다음, 확장칼만필터를 적용하여 적분을 통해 현재의 자세를 추정한다.
여기서, 확장칼만필터에서 사용하는 오차상태변수 xs 는 이하의 [수학식 1]과 같이 정의될 수 있다.
[수학식 1]
여기서, 상기한 [수학식 1]에 있어서, G는 글로벌좌표계, I는 IMU(inertial measurement unit) 기준좌표계를 의미하고, p는 위치(position), v는 속도(velocity), 
는 3차원 자세회전변수, bg는 자이로스코프 센싱 바이어스, ba는 가속도 센싱 바이어스를 각각 나타내며, λB는 스케일(scale) 추정변수(손의 크기(hand scale)), 
는 IMU 부착 위치와 실제 신체(body)의 회전오차를 각각 의미한다.
또한, 확장칼만필터의 오차상태변수 역학모델은 이하의 [수학식 2]와 같이 하여 수행될 수 있다.
[수학식 2]
즉, 상기한 [수학식 2]는 상태변수 xs의 참값의 역학모델의 정의이며, 또한, 상기한 [수학식 2]에 있어서, gG는 글로벌좌표계에서 나타낸 중력벡터, 
는 IMU의 가속도와 각속도의 참값, 
는 회전행렬, q는 쿼터니안(Quaternion), Ω(ㆍ)는 쿼터니안과 곱 연산을 위한 벡터의 변환행렬이다.
또한, IMU 바이어스(bias)의 미분인 
는 백색 가우시안 잡음과정(white Gaussian noise process)으로 가정한다.
아울러, 상기한 
의 측정값에 대한 정의는 이하의 [수학식 3]과 같이 나타낼 수 있다.
[수학식 3]
더욱이, 추정 상태변수의 역학적 모델은 이하의 [수학식 4]와 같이 나타낼 수 있다.
[수학식 4]
여기서, 상기한 [수학식 4]에 있어서, 
이고, 
이다.
또한, 기존의 상태변수들을 오차상태변수로 변환하면 이하의 [수학식 5]와 같이 나타낼 수 있다.
[수학식 5]
따라서 오차상태변수의 역학모델은 이하의 [수학식 6]과 같이 정의된다.
[수학식 6]
여기서, 상기한 [수학식 6]에 있어서, 
는 벡터의 반대칭행렬 변환을 의미한다.
다음으로, 상태변수 xp를 추정하기 위한 상태변수 추정값의 역학모델을 이하의 [수학식 7]과 같이 정의한다.
[수학식 7]
여기서, 
는 평균 0인 백색 가우시안 잡음과정(white Gaussian noise process)이다.
따라서 상기한 [수학식 2]에서 설명한 과정을 종합하여, 선형화된 오차상태변수 전파(propagation) 모델을 이하의 [수학식 8]과 같이 정의할 수 있다.
[수학식 8]
여기서, 상기한 [수학식 8]에 있어서, 노이즈(noise) 벡터는 
와 같이 정의된다.
본 발명에 있어서, RL 스테레오 매칭(RL-stereo matching) 과정이나 IMU 기반 대응탐색(IMU-aided correspondence search) 과정에서 공통적으로 포인트 매칭(point matching) 알고리즘이 사용된다.
더 상세하게는, 포인트 매칭(point matching) 알고리즘에 사용되는 비용함수(cost function)는 이하의 [수학식 9]와 같이 정의되며, 즉, 포인트 매칭에서는 장면 포인트 집합(scene point set) 및 모델 포인트 집합(model point set)을 매칭하기 위해 모델 포인트 집합을 GMM(Gaussian mixture model)으로 정의하고 GMM 사후확률을 최대화하는 파라미터를 찾는 CPD(coherent point drift) 알고리즘을 적용하며, 이때, GMM 사후확률은 이하의 [수학식 9]와 같이 정의된다.
[수학식 9]
여기서, 상기한 [수학식 9]에 있어서, T(yj,θ)는 yj, θ를 매개변수(parameter)로 사용한 변환을 뜻하고, ω는 이상값(outlier) 비율을 결정하는 파라미터이며, ∑는 장면 포인트(scene point)의 공분산 행렬이고, p(yj)는 모델 포인트(model point)의 사전확률이며, 고른분포확률을 가정하여 1/M으로 한다.
다음으로, 양안 스테레오 매칭 알고리즘에 적용되는 수식은 이하의 [수학식 10]과 같이 정의되며, 양안 스테레오 매칭에서는 왼쪽 이미지를 장면 포인트 집합(scene point set), 오른쪽 이미지를 모델 포인트 집합(model point set)으로 하고, 기대값 최대화(Expectation Maximization ; EM) 알고리즘을 이용하여, 이하의 [수학식 10]에 나타낸 바와 같이 GMM 우도함수(likelihood function)를 최대화하는 파라미터 
을 찾는다.
[수학식 10]
여기서, 상기한 [수학식 10]에 있어서, h는 4가지 색상을 가지는 마커의 색상(hue)을 의미하고, NL,h는 각 색상(hue)에 따라 왼쪽 이미지에서 인식된 마커 수를 의미한다.
즉, 상기한 [수학식 1]에서와 마찬가지로, 각각의 왼쪽 이미지 마커의 사후확률은 이하의 [수학식 11]과 같이 정의된다.
[수학식 11]
여기서, 상기한 [수학식 11]에 있어서, T(rj,ζ)는 파라미터 ζ를 이용한 우측 포인트 rj의 변환을 의미하고, ωs는 스테레오 매칭의 이상값 비율(outlier ratio)을 결정하는 파라미터이며, ∑s는 장면 포인트(scene point)의 공분산 행렬(covariance matrix)이고, p(rj)는 모델 포인트(model point)의 사전확률(prior probability)이며, 고른분포확률을 가정하여 1/NR,h로 한다.
상기한 바와 같이 EM 알고리즘을 이용하여 [수학식 10]의 우도함수를 최대화하는 변환 파라미터 ζ를 찾으면, 각각의 장면 포인트(scene point) li에 대하여 ζ로 변환했을 때 가장 가까운 모델 포인트(model point) rj,min을 찾을 수 있다.
한편, 양쪽 이미지 중 하나의 이미지에서만 발견되는 마커가 있을 수 있는데, 이를 이상값(outlier)으로 정의하기 위해 이하의 [수학식 12]에 나타낸 바와 같은 조건을 추가한다.
[수학식 12]
[수학식 12]에 있어서, 조건식 (1)은 변환(transformation)으로 매칭된 두 포인트(point) 사이의 거리가 임계값(threshold) δ1 보다 작아야 한다는 조건이며, 조건식 (2)는 모델 집합(model set)을 변환했을 때 장면 포인트(scene point)와 가장 가까운 모델 포인트(model point)와 두번째로 가까운 모델 포인트의 거리 비율이 δ2 보다 작아야 한다는 조건이다.
따라서 스테레오 매칭시 상기한 두 가지 조건 중 하나라도 만족하지 않으면 해당 장면 포인트(scene point) li를 이상값(outlier)으로 처리한다.
상기한 바와 같이 하여 양안 스테레오 매칭이 끝나면, 매칭된 포인트에 대하여 삼각측량법을 통해 계산된 마커 관측위치 정보를 기반으로 관측마커집합 
를 얻을 수 있으며, 여기서, 
는 최종 양안 스테레오 매칭된 마커 개수를 의미한다.
다음으로, IMU 기반 대응탐색(IMU-aided correspondence search) 또한 CPD를 통해 사후확률을 최대화하는 변환파라미터(transformation parameter) 
를 찾는 EM 알고리즘으로 수행된다.
더 상세하게는, IMU 정보 기반으로 예측된 마커의 위치를 모델 포인트 집합(model point set) 
으로 하고, 앞서 양안 스테레오매칭 과정과 삼각측량법을 사용하여 얻어진 관측마커집합 
을 장면 포인트 집합(scene point set)으로 한다.
그리고 이하의 [수학식 13]에 나타낸 바와 같이 하여 GMM 우도함수(likelihood function)를 최대화하는 변환파라미터 
를 찾으며, 이는 양안 스테레오 매칭의 경우와는 달리 3차원에서 변환이 이루어진다.
[수학식 13]
여기서, 상기한 [수학식 13]에 있어서, 
는 파라미터 
를 사용한 mj의 변환을 의미하고, ωc는 이상값(outlier) 비율을 결정하는 파라미터이며, ∑c는 장면 포인트(scene point)의 공분산 행렬이다.
상기한 [수학식 13]을 통해 GMM 우도함수(likelihood)를 최대화하는 파라미터 
를 찾으면 IMU 정보에 기반하여 예측된 마커위치와 카메라 정보에 기반한 마커위치를 대응시킬 수 있다.
계속해서, 사전확률 p(mj)를 구하는 과정에 대하여 설명하면, 양안 스테레오 매칭을 통해 얻어지는 관측포인트 집합(observation point set)은 전체 마커 수의 1/3 수준이므로, IMU 정보 기반 예측을 통해 모든 마커들의 모델 포인트 집합(model point set)을 계산한다면 절반 이상의 마커들이 이상값(outlier)으로 잡히기 때문에 손동작 추적이 불안정해질 수 있다.
따라서 이하의 [수학식 14]에 나타낸 바와 같이, 모델 포인트(model point)의 사전확률 p(mj)을 (1) 카메라 방향요소와, (2) FOV(field of view) 요소를 고려하여 계산한다.
[수학식 14]
여기서, 상기한 [수학식 14]에 있어서,αmj는 모델 포인트(model point) 마커 mj의 수직벡터와 카메라로부터 일직선으로 나오는 벡터 사이의 각도를 의미하고, (αmin, αmax)는 이러한 각도에서 마커가 보일 수 있는 최소 각도와 최대 각도를 각각 의미한다.
또한, FOV 요소는 마커의 일부가 카메라 FOV를 벗어나거나 걸쳐 있을 때 적용될 수 있으며, IMU 예측을 통해 계산된 3차원 위치 
와 공분산 
을 2차원 이미지 평면으로 투사한 위치 
와 공분산 
을 계산할 수 있다.
즉, 가우스분포 확률을 가정하고 FOV 내부에 있는 영역에 대해서만 확률분포밀도를 적분하여 계산한 것이 조건식 (2)에 해당하며, 조건식 (2)에 있어서, dj는 mj *와 가장 가까운 FOV 에지(edge) 까지의 거리를 의미하고, σj *는 dj 방향에 해당하는 ∑j *요소를 의미한다.
결과적으로, 이하의 [수학식 15]에 나타낸 바와 같이 하여 모델 포인트(model point)에 대한 사전확률을 계산할 수 있다.
[수학식 15]
또한, 일반적으로, 관성센서를 이용하여 추정된 손동작 추적 결과는 지자기센서 정보(compass information)의 부재와 센서잡음(sensor noise) 및 보정되지 않은 파라미터(uncalibrated parameters) 등으로 인해 부정확하나, 본 발명에 따르면, 상기한 바와 같이 영상센서를 통한 시각마커의 스테레오 매칭 결과를 적용하여 관성센서의 추정결과를 보정함으로써 손동작의 추적의 정확도를 높일 수 있다.
즉, [수학식 1] 내지 [수학식 15]을 참조하여 상기한 바와 같은 과정을 통해 얻어진 IMU 정보 기반 예측모델과 카메라 스테레오매칭 결과모델 사이에 대응매칭된(correspondence matched) 마커정보를 이용하여 확장칼만필터의 예측 측정식을 이하의 [수학식 16]과 같이 선형화하여 나타낼 수 있다.
[수학식 16]
더 상세하게는, 이하의 [수학식 17]에 나타낸 바와 같이, j번째 마커의 카메라 스테레오 매칭 정보 기반 3차원 위치 측정값을 카메라좌표계 기준에서 글로벌좌표계 기준으로 변환할 수 있다.
[수학식 17]
또한 j번째 마커의 IMU 정보 기반 3차원 위치 추정은 이하의 [수학식 18]에 나타낸 바와 같이 하여 수행될 수 있다.
[수학식 18]
여기서, 
는 변수 z의 추정값이고, 좌표계 G는 글로벌 좌표계, 좌표계 I는 관성센서(IMU) 기준좌표계, B는 손가락 마디 기준좌표계를 각각 의미하며, 
, 
및 
는 각각 좌표계 G 또는 I로부터 좌표계 I 또는 B로의 동형변환(homogenous transformation)을 나타내는 벡터 및 회전행렬을 좌표계 G를 기준으로 각각 나타낸 것이고, d(ζ)는 벡터 
의 3 × 3 대각행렬(diagonal matrix)을 나타내며, 
는 센서 글러브의 제작시 마커 mj의 지정위치(designated position)를 각각 나타낸다.
즉, 본 발명의 실시예에 따른 손동작 추적방법은, 예를 들면, 시야가림 등과 같이, 카메라를 통한 위치추정이 불가능한 경우에도 상기한 바와 같이 센서상태(sensor state) 
의 기준좌표계 프레임(reference coordinate frame)을 글로벌프레임(global frame) {G}에서 카메라 좌표계(camera coordinates) {C}로 수정하는 것에 의해 계속적인 위치추정이 가능해진다.
아울러, j번째 마커의 관측행렬 H는 이하의 [수학식 19]와 같이 나타낼 수 있다.
[수학식 19]
여기서, 상기한 [수학식 19]에 있어서, Hx는 오류상태(erroe state) x에 대한 측정방정식(measurement equation)의 자코비안(Jacobian) 이고, [ζx]는 벡터 [
]의 반대칭 행렬(skew-symmetric matrix)이다.
상기한 바와 같이 하여 관측행렬까지 구해지고 나면 이전의 확장칼만필터 추정결과에 영상센서를 통한 스테레오 매칭 결과를 적용하여 확장칼만필터의 추정결과를 보정하는 처리가 수행되도록 구성될 수 있다.
즉, 일반적으로, 관성센서를 이용하여 추정된 손동작 추적결과는 지자기센서 정보(compass information)의 부재와 센서잡음(sensor noise) 및 보정되지 않은 파라미터(uncalibrated parameters) 등으로 인해 부정확하나, 본 발명에 따르면, 상기한 바와 같이 영상센서를 통한 시각마커의 스테레오 매칭 결과를 적용하여 관성센서의 추정결과를 보정함으로써, 손동작의 추적의 정확도를 높일 수 있다.
상기한 바와 같이 하여, [수학식 19]에서 구한 
를 사용하여 일반적인 확장칼만필터의 업데이트(update) 규칙을 따라 적용 가능하다.
이때, 도 6에 나타낸 바와 같이, 미리 정해진 설정이나 조건 등에 따라, 예를 들면, 사람의 손에서는 불가능한 과도한 관절의 꺾임이나 운동궤적 등과 같이, 손 관절의 해부학적 특성에 따른 제약조건을 반영하여 실제로는 불가능한 자세나 움직임 등이 판별될 경우 이를 배제하도록 함으로써 보다 정확한 손동작 추적이 이루어질 수 있도록 구성될 수 있다.
더 상세하게는, 상기한 바와 같이 각각의 센서 측정값에 근거하여 개별적으로 확장칼만필터를 통한 추정이 이루어지나 실제 각 관절의 움직임은 서로 연관되어 있으므로, 확장칼만필터를 통한 추정값의 보정시에 이러한 사람의 손에 대한 해부학적 제약조건을 고려하여 반영하는 것이 바람직하다.
이를 위해, 본 발명에서는, 먼저, 전체 위치를 동일하게 적용하여 해부학적으로 인접한 마디(segment)가 그 회전관절(pivot joint)(예를 들면, 도 3의 PIP 관절에 연결된 중간(intermediate) 및 근위 손가락뼈(proximal phalanges))에 연결되도록 하는 위치적 제약(positional constraint)을 정의하였다.
본 실시예에 있어서, 이러한 위치적 제약조건은, 엄지손가락의 수근중수(carpometacarpal ; CMC)/MCP 관절 및 검지와 중지의 MCP/PIP 관절을 포함하여 총 6가지가 적용되었다.
또한, 본 발명에서는, 예를 들면, PIP 관절은 x축에 대하여 비틀(twist) 수 없는 것과 같이, 회전 제약조건(rotational constraint)을 정의하였으며, 본 실시예에서는, 도 3에 나타낸 바와 같은 해부학적 모델에 따라, 3개의 손가락에 대하여 MCP 관절의 x축 회전이 없고, 검지 및 중지에 대하여 PIP 관절의 x/z축 회전이 없는 것을 포함하여 총 7개의 회전 제약조건이 적용되었다.
따라서 상기한 바와 같은 과정을 통하여 관성센서와 영상센서의 강결합 융합을 통한 손동작 추적 알고리즘을 구현할 수 있으며, 계속해서, 도 7 내지 도 12를 참조하여, 상기한 바와 같이 하여 구성되는 본 발명의 실시예에 따른 손동작 추적 알고리즘의 실제 성능을 실험을 통해 검증한 내용에 대하여 설명한다.
즉, 본 발명자들은, 상기한 바와 같이 하여 구성되는 본 발명의 실시예에 따른 손동작 추적 시스템 및 방법의 실제 성능을 검증하기 위해, 다양한 크기 및 모양을 가지는 손에 대하여 각각 손동작 추적을 수행하고 그 결과를 나타내었다.
더 상세하게는, 먼저, 도 7을 참조하면, 도 7은 본 발명의 실시예에 따른 손동작 추적 알고리즘을 적용한 손동작 추적결과를 나타내는 도면으로, 참값에 대한 추적오차를 관측마커 수에 따른 히스토그램으로 나타낸 도면이다.
또한, 도 8 내지 도 11을 참조하면, 도 8은 본 발명의 검증실험을 위해 적용된 피실험자들의 손 모양 및 크기를 각각 나타내는 도면이고, 도 9는 도 8에 나타낸 피실험자들의 손 크기의 분포를 그래프로 나타낸 도면이며, 도 10 및 도 11은 도 8에 나타낸 바와 같이 서로 다른 손 파라미터를 가진 피실험자들에 대한 손동작 추적결과의 절대평균 오차(absolute mean error) 및 손크기에 대하여 정규화된 오차(hand length-normalized error)를 그래프로 각각 나타낸 도면이다.
도 10 및 도 11에 각각 적색 선으로 나타낸 바와 같이, 절대평균 오차는 일정하지만 손크기에 대하여 정규화된 오차(즉, 손 크기에 대한 평균관절오차(mean joint error))는 감소하는(선형회귀(linear regression)) 것을 확인할 수 있으며, 이를 통해, 본 발명의 실시예에 따른 손동작 추적 알고리즘은 손 크기의 변화에 대하여도 일정한 추적성능을 가지는 것임을 알 수 있다.
아울러, 도 12를 참조하면, 도 12는 본 발명의 실시예에 따른 손동작 추적 알고리즘과 기존의 손동작 추적 알고리즘의 추적결과를 각각 비교하여 나타낸 도면이다.
도 12에 있어서, 도 12a는 기존의 관성센서 및 지자기 센서를 기반의 손동작 추적결과이고, 도 12b는 본 발명의 실시예에 따른 손동작 추적 알고리즘의 손동작 추적결과이며, 도 12c는 기존의 영상센서 기반의 손동작 추적결과를 각각 나태내고 있다.
도 12에 나타낸 바와 같이, 본 발명의 실시예에 따른 손동작 추적 알고리즘의 손동작 추적결과는 기존의 방식에 비하여 손 가림이나 자기장 간섭 등의 외부 영향에 대하여도 항상 강건하고 물체를 잡는 등과 같이 다른 오브젝트와의 상호작용시에도 정확하게 손동작을 추적할 수 있음을 확인할 수 있다.
상기한 바와 같은 내용으로부터, 본 발명의 실시예에 따른 손동작 추적방법은, 관성센서 및 시각마커가 부착된 장갑과 영상센서 역할을 수행하는 스테레오 RGB 카메라의 장점만을 상보적으로 융합한 강결합 센서융합 알고리즘을 기반으로 기존의 손동작 추적방법들의 단점을 모두 해소할 수 있으므로, 종래기술과 비교하여 기술적 우수성을 가지는 것이다.
즉, 본 발명의 실시예에 따른 손동작 추적기술은, 영상센서와 관성센서의 강결합 융합에 의해 영상센서만 사용하는 기존의 손동작 추적 기술에서는 대처할 수 없었던 영상가림 현상에도 안정적으로 손동작 추적이 가능하며, 그것에 의해, 예를 들면, 물체를 잡고 여러 방향으로 움직이거나 책상 아래로 손을 내리는 등과 같이, 손의 일부 또는 전부가 가려져서 영상센서만으로는 손동작 정보를 얻을 수 없는 상황에서도 강건하고 정확하게 손동작의 추적이 가능해진다.
따라서 상기한 바와 같은 구성으로부터, 본 발명에 따르면, 예를 들면, 손동작 추적을 하면서 책을 잡고 넘기는 동작이나 탁구채를 쥐고 여러 각도로 손을 돌리는 동작, 또는, 영상센서 범위 밖으로 손이 나갔다가 다시 들어오는 동작 등에 대하여도 정확하게 추적이 가능한 장점을 가지는 것이다.
또한, 관성센서와 함께 지자기계를 사용하여 손 및 손가락 동작을 추적하는 종래기술의 관성센서 및 지자기센서 기반 손동작 추적기술은, 지자기계를 사용함으로 인해 자석을 포함하는 자성 물체나, 모터의 구동에 의해 전자기장을 생성하는 물체, 또는, 철구조물 등과 같이, 자기장 교란이 발생하는 물체와의 상호작용시 손동작 추적이 불안정해지는 한계가 있었으나, 본 발명에 따르면, 지자기계를 사용하지 않으므로 자기장 교란에도 강건하여 모터를 사용하는 전동드릴, 자기장 교란이 발생하는 태블릿 PC 등의 물체를 잡는 동작도 안정적이고 강건하게 추적이 가능하여 다양한 상황에 활용이 가능한 장점을 가지는 것이다.
아울러, 딥러닝 기술 없이 영상센서로 정보를 얻기 위해서는 마커를 부착해야 하며, 이때, 서로 다른 신호를 발생시켜 식별/구분이 가능한 마커의 경우 그 크기가 커서 손이라는 한정된 공간에 부착하기 부적합하므로, 손동작 추적기술에 적용하기 위해서는 서로 식별이 되지 않는 비식별 마커를 부착해야만 한다.
그러나 손과 같이 한정된 공간에 비식별 마커를 부착할 경우 높은 자유도를 가지고 빠르게 움직이는 손동작 모션을 추적하기는 매우 어려우며, 종래, 모션캡쳐 시스템 중에 비식별 적외선 마커를 사용하여 손동작 추적에도 적용 가능한 기술이 존재하기는 하나, 해당 기술의 경우 굉장히 고가의 적외선 카메라 시스템을 실내에 설치해서 사용해야 하고, 더욱이, 적외선 카메라/마커를 사용함으로 인해 실내 조명이 통제되지 않을 경우 동작추적이 불안정해질 수 있으며, 적외선을 포함한 전파장의 빛을 내포하는 햇빛을 반드시 차단하지 않으면 동작추적이 아예 불가능하므로 야외 환경에서는 동작추적을 할 수 없는 명확한 한계가 있었다.
반면, 본 발명에 따르면, 가시광선 영역의 색상, 채도, 명도(HSV)로 비식별 마커를 인식하므로 야외 환경에서도 사용이 가능하며, 노트북 환경에서도 구동 가능할 정도로 충분히 가벼운 알고리즘으로 구성되므로 실내외 어디서든 손동작 추적이 가능한 장점을 가지는 것이다.
여기서, 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템(10)은, 상기한 실시예에 나타낸 구성 이외에, 예를 들면, 한 손 3지(엄지, 검지, 중지)의 추적에 더하여 양손 5지 각각의 움직임을 추적이 가능하도록 구성될 수도 있고, 관성센서의 내부 선 연결구조를 간소화하기 위해 액체금속을 이용하여 회로를 형성하도록 구성될 수도 있으며, 또는, 장갑에 영상인식을 위한 마커를 부착하는 대신에 장갑 위에 마커를 날염하는 방식으로 형성하여 대량생산이 용이하도록 구성될 수도 있는 등, 즉, 본 발명은, 본 발명의 취지 및 본질을 벗어나지 않는 범위 내에서 필요에 따라 당업자에 의해 다양하게 수정 및 변경하여 구성될 수 있는 것임에 유념해야 한다.
아울러, 상기한 바와 같이, 종래, 실제 사람의 손과 손가락의 3차원 공간에서의 다채로운 움직임을 디지털 환경에서 모두 정확하게 추적하여 구현하기는 어려운 한계가 있고, 그로 인해, 현재 상용화되어 있는 로봇제어나 가상현실 사용자 인터페이스에서는 3차원 공간에서 움직이는 풍부한 손가락의 움직임을 충분히 활용하지 못하고 있는 실정이나, 본 발명에 따르면, 7개의 관성센서와 37개의 마커가 장착된 장갑을 이용하여 관성센서와 영상정보의 상보적으로 융합을 통해 강건하고 정확한 손동작 추적이 이루어질 수 있도록 구성됨으로써, 비교적 간단한 구성 및 저렴한 비용으로 기존의 손동작 추적기술들의 근본적인 한계였던 영상가림, 자기교란 및 접촉에 의한 신호교란의 문제를 모두 해결할 수 있는 장점을 가지는 것이다.
더욱이, 상기한 바와 같은 구성으로부터, 본 발명에 따르면, 인간-로봇 상호작용(HRI) 분야에서 로봇손이나 협동로봇, 군집로봇의 손과 손가락을 사용한 직관적이고 효율적인 제어에 사용될 수 있고, 손동작 제스쳐 인식을 이용한 인터페이스 개발 및 현재 많은 관심을 받고 있는 가상현실이나 증강현실 및 메타버스 산업에 적용하여 다양한 환경과 물체의 상호작용 상황에서 사용 가능한 모듈화된 시스템을 구현할 수 있으므로, 단순히 서로 미리 정해진 몸짓이나 제스처를 주고받는 방식의 의사소통이나 아바타를 꾸미는 서비스를 제공하는 정도에 한정되어 있는 기존의 소셜네트워크 서비스들의 한계를 해소하여 보다 실감나는 동작추적 기반 플랫폼을 제공할 수 있으며, 그것에 의해, 다수의 사용자들에게 가상 또는 증강현실에서 더욱 현실감 있는 체험을 제공할 수 있는 데 더하여, 엔터테인먼트적인 기능 뿐만아니라 교육 및 스마트팩토리 등과 같이 다양한 분야에 폭넓게 적용 가능할 것으로 기대된다.
여기서, 상기한 바와 같이 하여 구성되는 본 발명의 실시예에 있어서, 확장칼만필터를 이용한 처리과정과 스테레오 카메라를 이용한 마커탐지, 기대값 최대화(EM) 알고리즘을 이용한 스테레오 매칭 및 확장칼만필터의 보정과정 등에 대한 보다 상세한 내용에 대하여는, 예를 들면, 본 발명자들에 의해 공개된 논문("Visual-inertial hand motion tracking with robustness against occlusion, interference, and contact", SCIENCE ROBOTICS, VOLUME 6, ISSUE 58, 2021.09.29.)에 제시된 바와 같은 내용 등을 참조하여 당업자에 의해 적절히 구성될 수 있으며, 이에, 본 발명에서는, 설명을 간략히 하기 위해, 상기한 바와 같이 공지된 종래기술의 문헌 등을 참조하여 당업자가 용이하게 이해하고 실시할 수 있는 내용에 대하여는 그 상세한 설명을 생략하였음에 유념해야 한다.
따라서 상기한 바와 같이 하여 본 발명의 실시예에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법을 구현할 수 있으며, 그것에 의해, 본 발명에 따르면, 관성센서와 영상정보를 상보적으로 융합하여 강건하고 정확하게 손과 손동작을 추적할 수 있도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법이 제공됨으로써, 예를 들면, 가상현실(VR) 환경에서의 사용자 인터페이스(UI)나 인간과 로봇의 상호작용을 통해 로봇을 제어하기 위한 인간-로봇 상호작용(HRI) 또는 맨-머신 인터페이스 등과 같은 디지털 환경에 있어서, 사람의 손과 손가락의 다채로운 움직임을 모두 정확하게 인식하고 추적할 수 없음으로 인해 디지털 환경에서 실제와 같은 손동작을 구현하기 어려운 한계가 있었던 종래기술의 손 및 손동작 추적기술들의 문제점을 해결할 수 있다.
또한, 본 발명에 따르면, 상기한 바와 같이 영상센서와 관성센서의 강결합 융합을 통해 손동작을 추적하도록 구성되어 영상가림과 자기교란 및 센서 접촉에 의한 신호교란의 문제에도 모두 강건하고 정확하게 손동작의 추적이 가능하도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법이 제공됨으로써, 머신러닝을 이용하여 카메라로 촬영된 영상을 통해 손동작을 추정하도록 구성됨으로 인해 손이 가려지거나 카메라 시야 밖으로 벗어나는 경우는 추적이 불가능하고, 머신러닝의 특성상 데이터 의존적임으로 인해 조명 등과 같은 다양한 조건이나 환경에 취약한 한계가 있었던 종래기술의 영상기반 손 및 손동작 추적기술들의 문제점을 해결할 수 있다.
아울러, 본 발명에 따르면, 상기한 바와 같이 영상센서와 관성센서의 강결합 융합을 통해 손동작을 추적하도록 구성되어 영상가림과 자기교란 및 센서 접촉에 의한 신호교란의 문제에도 모두 강건하고 정확하게 손동작의 추적이 가능하도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법이 제공됨으로써, 관성센서 및 자기센서를 통해 손가락 각 마디의 3-자유도 자세를 추정하여 손 전체의 구조를 재구성하도록 구성됨으로 인해 자기장의 간섭과 변화에 취약한 한계가 있었던 종래기술의 관성/자기센서 기반 손 및 손동작 추적기술들의 문제점을 해결할 수 있다.
더욱이, 본 발명에 따르면, 상기한 바와 같이 영상센서와 관성센서의 강결합 융합을 통해 손동작을 추적하도록 구성되어 영상가림과 자기교란 및 센서 접촉에 의한 신호교란의 문제에도 모두 강건하고 정확하게 손동작의 추적이 가능하도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법이 제공됨으로써, 예를 들면, 스마트글로브 등과 같이, 웨어러블 기기를 이용함으로 인해 손가락 동작에 의한 변형과 센서 눌림에 의한 변형을 구분할 수 없는 한계가 있었던 종래기술의 웨어러블 센서 기반 손 및 손동작 추적기술들의 문제점을 해결할 수 있다.
이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 따라서 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다.
10. 손동작 추적시스템 11. 영상센서부
12. 착용부 13. 마커부
14. 관성센서부 15. 손동작 추적부
21. 상태추정부 22. 마커탐지부
23. 센서융합부 24. 시각화부
12. 착용부 13. 마커부
14. 관성센서부 15. 손동작 추적부
21. 상태추정부 22. 마커탐지부
23. 센서융합부 24. 시각화부
Claims (13)
- 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템에 있어서,
사용자의 손을 촬영하기 위한 카메라를 포함하여 이루어지는 영상센서부;
사용자의 손에 착용되는 장갑을 포함하여 이루어지는 착용부;
상기 영상센서부의 카메라를 통하여 사용자의 손과 손가락의 움직임을 인식하기 위해 상기 장갑의 표면에 부착되는 다수의 시각마커를 포함하여 이루어지는 마커부;
사용자의 손과 손가락의 움직임을 인식하고 추적하기 위해 상기 장갑의 각 부분에 각각 설치되는 다수의 관성센서를 포함하여 이루어지는 관성센서부; 및
상기 영상센서부 및 상기 관성센서부를 통해 얻어지는 각각의 데이터에 근거하여 사용자의 손동작을 추적하는 처리가 수행되도록 이루어지는 손동작 추적부를 포함하여 구성되고,
상기 손동작 추적부는,
상기 관성센서부를 통해 얻어지는 정보를 통해 손가락 관절의 위치 및 각도를 추정하는 처리가 수행되도록 이루어지는 상태추정부;
상기 영상센서부를 통해 촬영된 시각마커를 탐지하여 각 마커의 위치를 측정하는 처리가 수행되도록 이루어지는 마커탐지부;
상기 상태추정부 및 상기 마커탐지부의 정보에 근거하여 최종적인 손 자세를 계산하는 처리가 수행되도록 이루어지는 센서융합부; 및
상기 센서융합부에 의해 계산된 손 자세를 렌더링하여 모니터를 포함하는 디스플레이상에 표시하는 처리가 수행되도록 이루어지는 시각화부를 포함하여 구성되며,
상기 상태추정부는,
미리 정해진 자세로 손과 손가락의 자세를 초기화하고, 손동작 추적이 시작되면 각각의 관성센서를 통해 측정되는 센서 데이터를 수집하여 가속도 정보와 각가속도 정보를 추출하며,
추출된 가속도 정보 및 각가속도 정보에 근거하여, 확장칼만필터(Extended Kalman Filter ; EKF)를 이용하여 각 센서가 부착된 관절의 위치 및 각도를 추정하는 처리가 수행되도록 구성되는 것을 특징으로 하는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템.
- 제 1항에 있어서,
상기 영상센서부는,
삼각측량이 가능한 스테레오 카메라(stereo camera)를 이용하여 구성되거나,
또는, 사용자의 시야 방향과 카메라의 방향이 일치되도록 HMD(head mounted display)에 카메라를 장착하여 구성되는 것을 특징으로 하는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템.
- 제 1항에 있어서,
상기 착용부와 상기 마커부 및 상기 관성센서부는,
사용자의 손에 착용되는 장갑의 표면에 다수의 시각마커가 부착되고 미리 정해진 위치에 관성센서가 각각 설치되어 일체로 형성되도록 구성되는 것을 특징으로 하는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템.
- 제 1항에 있어서,
상기 관성센서부는,
엄지와 검지 및 중지의 각 마디와 손목 부분에 각각 배치되는 다수의 관성센서를 포함하여 구성되는 것을 특징으로 하는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템.
- 삭제
- 삭제
- 제 1항에 있어서,
상기 상태추정부는,
상기 확장칼만필터(EKF)의 오차상태변수 xs를 이하의 수학식으로 정의하고,
(여기서, G는 글로벌 좌표계, I는 IMU(inertial measurement unit) 기준좌표계, p는 위치(position), v는 속도(velocity), δθ는 3차원 자세회전변수, bg는 자이로스코프 센싱 바이어스, ba는 가속도 센싱 바이어스, λB는 스케일(scale) 추정변수(손의 크기(hand scale)), δθIB는 IMU 부착 위치와 실제 신체(body)의 회전오차를 각각 의미함)
이하의 수학식을 이용하여 상기 확장칼만필터(EKF)의 오차상태변수를 예측하는 처리가 수행되도록 구성되는 것을 특징으로 하는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템.
(여기서, Fs는 IMU 센서상태에 해당하는 오류상태 전이행렬(error-state transition matrix), G는 입력잡음행렬(input noise matrix), 0n×m은 n×m 영행렬(zero matrix), On은 n×n 영행렬, In은 n×n 단위행렬(identity matrix), 시스템 잡음(system noise) n은로 정의되는 노이즈 벡터의 합을 각각 의미함)
- 제 1항에 있어서,
상기 마커탐지부는,
상기 영상센서부의 스테레오 카메라로 촬영된 각각의 양안 이미지에 대하여 HSV(hue-saturation-value) 필터링 기반으로 시각마커를 탐지하고,
CPD(coherent point drift) 알고리즘을 포함하는 포인트 매칭 방식에 기반한 스테레오 매칭(stereo matching) 처리를 통해 양안 이미지 내 시각마커간 대응관계를 구하며,
그 후, 삼각측량을 통해 각각의 시각마커의 3차원 위치를 계산하는 처리가 수행되도록 구성되는 것을 특징으로 하는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템.
- 제 8항에 있어서,
상기 스테레오 매칭(stereo matching) 처리는,
GMM(Gaussian mixture model)을 적용하여, 일측 이미지에서 얻은 마커정보로부터 변환 파라미터 ζ에 의한 변환(transformation)을 수행했을 때 타측 이미지의 GMM 우도함수(likelihood function)를 최대로 만드는 변환 파라미터 ζ를 찾는 처리가 수행되도록 구성되며,
상기 변환 파라미터 ζ를 찾는 처리는,
기대값 최대화(Expectation Maximization ; EM) 알고리즘을 이용하여, 우측 관측집합을 R, 좌측 관측집합을 L, 변환 파라미터를 ζ라 할 때, 이하의 수학식을 이용하여 수행되도록 구성되는 것을 특징으로 하는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템.
(여기서, h = {1, 2, 3, 4}는 각 색상의 인덱스, NL,h는 각각의 색상 h에 대하여 좌측의 관찰된 마커 수, R은 GMM 중심으로 표현되는 모델 포인트 집합(model point set), T(rj,ζ)는 파라미터 ζ를 이용한 우측 포인트 rj의 변환, ws는 스테레오 매칭의 이상값 비율(outlier ratio)을 결정하는 파라미터, ∑s는 카메라의 픽셀 관측 노이즈(pixel observation noise)의 공분산 행렬(covariance matrix), p(rj)는 1/NR,h의 고른분포확률(even probability)로 가정되는 사전확률(prior probability)을 각각 의미함)
- 제 1항에 있어서,
상기 센서융합부는,
상기 상태추정부에서 추정된 손 자세를 통해 각각의 시각마커에 대한 관측확률을 계산하고,
상기 마커탐지부에서 CPD 기반 스테레오 매칭을 통하여 탐지된 시각마커들의 장갑상 부착위치에 근거하여, 기대값 최대화(EM) 알고리즘을 이용하여 상기 상태추정부에서 확장칼만필터(EKF)를 통해 추정된 마커 집합에 대한 대응탐색(correspondence search)을 수행하는 것에 의해 관절의 위치 및 각도의 오차를 교정하여 상기 상태추정부의 추정결과를 보정하며,
그 후, 손의 골격구조에 따라 미리 정해진 해부학적 제약조건(anatomical constraints)을 반영하여 최종적인 손 자세를 계산하는 처리가 수행되도록 구성되는 것을 특징으로 하는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템.
- 제 10항에 있어서,
상기 센서융합부는,
장갑 표면이 손 크기에 비례하여 늘어나는 것으로 가정할 때, 이하의 수학식을 이용하여 확장칼만필터(EKF)의 보정과정에 적용되는 관측변수 z의 추정값을 계산하고,
(여기서,는 변수 z의 추정값이고, 좌표계 G는 글로벌 좌표계, 좌표계 I는 관성센서(IMU) 기준좌표계, B는 손가락 마디 기준좌표계를 각각 의미하며,
,
및
는 각각 좌표계 G 또는 I로부터 좌표계 I 또는 B로의 동형변환(homogenous transformation)을 나타내는 벡터 및 회전행렬을 좌표계 G를 기준으로 각각 나타낸 것이고, d(ζ)는 벡터
의 3 × 3 대각행렬(diagonal matrix)을 나타내며,
는 센서 글러브의 제작시 마커 mj의 지정위치(designated position)를 각각 나타냄)
이하의 수학식을 이용하여 관측행렬 H를 정의하고 확장칼만필터(EKF)에 적용하는 것에 의해 상기 상태추정부의 추정결과를 보정하는 처리가 수행되도록 구성되는 것을 특징으로 하는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템.
(여기서, Hx는 오류상태(erroe state) x에 대한 측정방정식(measurement equation)의 야코비안(Jacobian) 이고, [ζx]는 벡터 []의 반대칭 행렬(skew-symmetric matrix)을 나타냄)
- 제 10항에 있어서,
상기 해부학적 제약조건은,
엄지손가락의 수근중수(carpometacarpal ; CMC)/MCP 관절 및 검지와 중지의 MCP/PIP 관절을 포함하여, 해부학적으로 인접한 마디(segment)가 해당하는 회전관절(pivot joint)에 연결되도록 하는 위치적 제약조건(positional constraint); 및
엄지, 검지 및 중지에 대하여 MCP 관절의 x축 회전이 없고 검지 및 중지에 대하여 PIP 관절의 x/z축 회전이 없는 것을 포함하는 회전 제약조건(rotational constraint)을 포함하여 구성되는 것을 특징으로 하는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템.
- 청구항 1항 내지 청구항 4항, 청구항 7항 내지 청구항 12항 중 어느 한 항에 기재된 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템을 이용하여 손동작을 추적하도록 구성되는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적방법에 있어서,
미리 정해진 자세로 손과 손가락의 자세를 초기화하고, 손동작 추적이 시작되면 상기 손동작 추적시스템의 관성센서부를 통하여 측정되는 각각의 관성센서의 센서 데이터를 수집하여 가속도 정보와 각가속도 정보를 추출하는 처리가 상기 손동작 추적시스템의 손동작 추적부를 통하여 수행되는 데이터 수집단계;
상기 데이터 수집단계에서 추출된 정보에 근거하여, 확장칼만필터(EKF)를 이용하여 손의 자세 및 동작을 추정하고 예측하는 처리가 상기 손동작 추적부를 통하여 수행되는 손동작 추정단계;
상기 손동작 추적시스템의 영상추적부를 통하여 스테레오 카메라로 촬영된 영상데이터가 수신되면, 영상 내에서 각각의 시각마커의 위치를 탐지하고 스테레오 매칭을 통해 얻어지는 시각마커의 위치 데이터를 반영하여 상기 확장칼만필터(EKF)의 추정값을 보정하는 처리가 상기 손동작 추적시스템의 손동작 추적부를 통하여 수행되는 손동작 보정단계; 및
상기 손동작 보정단계에서 보정된 결과에 미리 정해진 제약조건을 반영하여 최종 결과를 출력하는 처리가 상기 손동작 추적시스템의 손동작 추적부를 통하여 수행되는 제약조건 처리단계를 포함하여 구성되는 것을 특징으로 하는 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210192663A KR102456872B1 (ko) | 2021-12-30 | 2021-12-30 | 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210192663A KR102456872B1 (ko) | 2021-12-30 | 2021-12-30 | 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102456872B1 true KR102456872B1 (ko) | 2022-10-21 |
Family
ID=83805563
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210192663A KR102456872B1 (ko) | 2021-12-30 | 2021-12-30 | 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102456872B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117690123A (zh) * | 2024-02-04 | 2024-03-12 | 南京航空航天大学 | 多目视觉下基于融合特征的行人3d姿态点跟踪方法 |
| CN118123847A (zh) * | 2024-05-08 | 2024-06-04 | 帕西尼感知科技(张家港)有限公司 | 一种人机协作的系统、操作控制方法及装置 |
| KR102755530B1 (ko) * | 2024-04-18 | 2025-01-21 | 주식회사 웬디미디어 | 가상환경에서 실시간 행동 모사를 기반으로 하여 제품 구매를 유도하는 방법 및 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101216065B1 (ko) * | 2011-09-16 | 2012-12-27 | 한국과학기술원 | 마커 장갑의 움직임을 3차원으로 인식하는 카메라 기반 원격조정 장치로 자원 개발 로봇을 구동하는 시스템 |
| KR102170638B1 (ko) | 2018-11-06 | 2020-10-27 | 한길씨앤씨 주식회사 | 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 vr 시스템 |
| KR20200142391A (ko) * | 2019-06-12 | 2020-12-22 | (주)코어센스 | 광학식 위치 추적 시스템의 3차원 마커 좌표 추정 방법 |
| KR20210026795A (ko) * | 2019-09-02 | 2021-03-10 | 경북대학교 산학협력단 | Ｉｍｕ 센서와 카메라를 이용한 하이브리드 실내 측위 시스템 |
| KR102228639B1 (ko) | 2019-08-09 | 2021-03-16 | 한국과학기술원 | 손동작 추적 장치 및 그 방법 |
-
2021
- 2021-12-30 KR KR1020210192663A patent/KR102456872B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101216065B1 (ko) * | 2011-09-16 | 2012-12-27 | 한국과학기술원 | 마커 장갑의 움직임을 3차원으로 인식하는 카메라 기반 원격조정 장치로 자원 개발 로봇을 구동하는 시스템 |
| KR102170638B1 (ko) | 2018-11-06 | 2020-10-27 | 한길씨앤씨 주식회사 | 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 vr 시스템 |
| KR20200142391A (ko) * | 2019-06-12 | 2020-12-22 | (주)코어센스 | 광학식 위치 추적 시스템의 3차원 마커 좌표 추정 방법 |
| KR102228639B1 (ko) | 2019-08-09 | 2021-03-16 | 한국과학기술원 | 손동작 추적 장치 및 그 방법 |
| KR20210026795A (ko) * | 2019-09-02 | 2021-03-10 | 경북대학교 산학협력단 | Ｉｍｕ 센서와 카메라를 이용한 하이브리드 실내 측위 시스템 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117690123A (zh) * | 2024-02-04 | 2024-03-12 | 南京航空航天大学 | 多目视觉下基于融合特征的行人3d姿态点跟踪方法 |
| CN117690123B (zh) * | 2024-02-04 | 2024-06-11 | 南京航空航天大学 | 多目视觉下基于融合特征的行人3d姿态点跟踪方法 |
| KR102755530B1 (ko) * | 2024-04-18 | 2025-01-21 | 주식회사 웬디미디어 | 가상환경에서 실시간 행동 모사를 기반으로 하여 제품 구매를 유도하는 방법 및 시스템 |
| CN118123847A (zh) * | 2024-05-08 | 2024-06-04 | 帕西尼感知科技(张家港)有限公司 | 一种人机协作的系统、操作控制方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102456872B1 (ko) | 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법 | |
| US10852847B2 (en) | Controller tracking for multiple degrees of freedom | |
| Dorfmuller-Ulhaas et al. | Finger tracking for interaction in augmented environments | |
| Rambach et al. | Learning to fuse: A deep learning approach to visual-inertial camera pose estimation | |
| Ribo et al. | Hybrid tracking for outdoor augmented reality applications | |
| US9785249B1 (en) | Systems and methods for tracking motion and gesture of heads and eyes | |
| Tao et al. | A novel sensing and data fusion system for 3-D arm motion tracking in telerehabilitation | |
| CN101479082B (zh) | 机器人装置和机器人装置的控制方法 | |
| US20170140552A1 (en) | Apparatus and method for estimating hand position utilizing head mounted color depth camera, and bare hand interaction system using same | |
| Nickels et al. | Model-based tracking of complex articulated objects | |
| Dorfmüller-Ulhaas | Robust optical user motion tracking using a kalman filter | |
| CN111930226A (zh) | 手势追踪方法及装置 | |
| EP2933604A1 (en) | A method for localizing a robot in a localization plane | |
| JP2018119833A (ja) | 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体 | |
| EP3047454A1 (en) | 3d reconstruction | |
| KR101896827B1 (ko) | 사용자 자세 추정 장치 및 방법 | |
| Du et al. | A novel human–manipulators interface using hybrid sensors with Kalman filter and particle filter | |
| JP2009258884A (ja) | ユーザインタフェイス | |
| Mayol et al. | Applying active vision and slam to wearables | |
| Bonnet et al. | Toward an affordable and user-friendly visual motion capture system | |
| CN112712545A (zh) | 人体部分跟踪方法和人体部分跟踪系统 | |
| US11170531B2 (en) | Systems and methods for calibrating imaging and spatial orientation sensors | |
| CN115311353A (zh) | 一种多传感器多手柄控制器图优化紧耦合追踪方法及系统 | |
| Moeslund et al. | Pose estimation of a human arm using kinematic constraints | |
| Bai et al. | Kinect-based hand tracking for first-person-perspective robotic arm teleoperation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20211230 |
|
| PA0201 | Request for examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20220527 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20211230 Patent event code: PA03021R01I Comment text: Patent Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20220822 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20221004 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20221017 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20221018 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |