KR20220078464A - 손 움직임 측정 장치 - Google Patents

손 움직임 측정 장치 Download PDF

Info

Publication number
KR20220078464A
KR20220078464A KR1020210093780A KR20210093780A KR20220078464A KR 20220078464 A KR20220078464 A KR 20220078464A KR 1020210093780 A KR1020210093780 A KR 1020210093780A KR 20210093780 A KR20210093780 A KR 20210093780A KR 20220078464 A KR20220078464 A KR 20220078464A
Authority
KR
South Korea
Prior art keywords
user
hand
movement
sensor
arm
Prior art date
Application number
KR1020210093780A
Other languages
English (en)
Inventor
이요한
Original Assignee
서울대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교병원 filed Critical 서울대학교병원
Publication of KR20220078464A publication Critical patent/KR20220078464A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4209—Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames
    • A61B8/4227—Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames characterised by straps, belts, cuffs or braces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2/72—Bioelectric control, e.g. myoelectric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Abstract

본 발명은 손의 움직임을 측정하는 장치에 관한 것이다.
이를 위해, 본 발명은 사용자의 팔에 착용가능하게 형성되는 몸체, 상기 몸체에 배치되어 상기 사용자의 전완근의 움직임을 측정하는 제1 센서 및 상기 제1 센서로부터 측정된 상기 사용자의 전완근의 움직임에 기초하여 상기 사용자의 손의 움직임을 측정하는 제어부를 포함할 수 있다.

Description

손 움직임 측정 장치{DEVICE FOR MEASURING HAND MOTION}
본 발명은 손의 움직임을 측정하는 장치에 관한 것이다.
최근 의료, 문화, 제조, 가공 등 여러 산업 분야에서 로봇팔이나 매니퓰레이터와 같은 장치가 널리 이용되고 있다. 이에 따라, 인간과 컴퓨터간 인터페이스(HCI)의 발전을 위해, 해당 장치나 컴퓨터 등을 제어하기 위한 입력 수단의 연구와 개발도 동시에 이루어지고 있는 실정이다.
한편, 이러한 입력 수단으로는 조이스틱 타입의 입력 장치나 종래의 컴퓨터방식의 입력 장치가 일반적으로 이용되고 있었다.
그러나 이러한 입력 수단의 경우 로봇팔이나 매니퓰레이터를 제어하는 것이 사용자의 실제 동작과 차이가 있으므로 적응에 시간이 소요되며, 몰입도를 감소시킨다는 문제가 있다.
이를 해결하기 위해 사용자의 신체의 움직임을 감지하여 사용자의 신체의 움직임에 대응되도록 로봇팔이나 매니퓰레이터를 제어하고자 하는 연구와 개발이 이루어지고 있다.
다만, 사용자의 신체의 움직임, 특히 손의 동작을 예측하는 것은 손의 위치와 손의 동작 정보를 포함하여야 하나, 현재 손의 위치와 동작 정보를 모두 포함한 제어 장치 및 방법은 개발되어 있지 않은 실정이다.
따라서, 사용자의 실제 동작과 로봇팔이나 매니퓰레이터의 동작이 서로 대응되도록 하되, 사용자의 신체의 움직임을 정밀하고 정확하게 측정하여 사용자의 신체의 움직임에 대응되도록 로봇팔이나 매니퓰레이터를 제어할 수 있는 기술적 개발이 요구되고 있는 실정이다.
본 발명에 따른 손 움직임 측정 장치는 사용자의 손의 움직임을 정밀하게 측정할 수 있는 손 움직임 측정 장치를 제공하고자 한다.
본 발명의 일측면은 사용자의 팔에 착용가능하게 형성되는 몸체, 상기 몸체에 배치되어 상기 사용자의 전완근의 움직임을 측정하는 제1 센서 및 상기 제1 센서로부터 측정된 상기 사용자의 전완근의 움직임에 기초하여 상기 사용자의 손의 움직임을 측정하는 제어부를 포함하는 손 움직임 측정 장치를 제공할 수 있다.
또한, 상기 제1 센서는 초음파 센서일 수 있다.
또한, 상기 사용자의 팔의 위치와 방향을 측정하기 위한 마커를 더 포함할 수 있다.
또한, 자이로센서, AR카메라 및 근전도센서 중 적어도 어느 하나를 더 포함할 수 있다.
또한, 상기 제어부는 상기 마커의 위치 변화에 따라 상기 사용자의 팔의 위치와 방향을 인식하고, 상기 인식된 사용자의 팔의 위치와 방향에 기초하여 상기 사용자의 손의 위치와 방향을 측정할 수 있다.
또한, 상기 제어부는 상기 제1 센서 또는 마커를 통해 획득한 데이터를 기저장된 데이터에 매칭하여 상기 사용자의 손의 움직임을 측정할 수 있다.
또한, 상기 기저장된 데이터는 사람의 전완근의 움직임에 따라 손의 동작을 예측하도록 학습된 기계학습 모델 데이터를 포함할 수 있다.
또한, 상기 기저장된 데이터는 사람의 팔의 위치와 방향에 따라 손의 위치를 예측하도록 학습된 기계학습 모델 데이터를 포함할 수 있다.
본 발명에 따른 손 움직임 측정 장치는 사용자의 손의 움직임을 정밀하게 측정할 수 있는 손 움직임 측정 장치를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 관한 손 움직임 측정 장치를 포함하는 제어 시스템을 개략적으로 설명하기 위한 도면이다.
도 2는 도 1의 제어 시스템을 개략적으로 도시한 도면이다.
도 3은 도 2의 마커로부터 사용자의 팔의 위치와 방향을 측정하는 것을 설명하기 위한 도면이다.
도 4(a)는 도 2의 손 움직임 측정 장치의 일 실시예를 도시한 도면이고, 도 4(b)는 도 4(a)를 착용한 모습을 도시한 도면이다.
도 5(a)는 도 2의 손 움직임 측정 장치의 다른 실시예를 도시한 도면이고, 도 5(b)는 도 5(a)를 착용한 모습을 도시한 도면이다.
도 6(a)는 도 2의 손 움직임 측정 장치의 또 다른 실시예를 도시한 도면이고, 도 6(b)는 도 6(a)를 착용한 모습을 도시한 도면이다.
도 7은 본 발명에 이용되는 기계학습 모델 데이터를 생성하는 과정의 일 실시예를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 손 움직임 측정 장치를 포함하는 제어 시스템을 이용한 입력 방법을 설명하기 위한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
어떤 실시예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 이하의 실시예는 반드시 도시된 바에 한정되지 않는다.
도 1은 본 발명의 일 실시예에 관한 손 움직임 측정 장치(100)를 포함하는 제어 시스템(10)을 개략적으로 설명하기 위한 도면이다.
도 1을 참조하면, 손 움직임 측정 장치(100)를 포함하는 제어 시스템(10)은 인간과 컴퓨터 간의 인터페이스(HCI) 분야에 이용될 수 있다. 예를 들면, 손 움직임 측정 장치(100)를 포함하는 제어 시스템(10)은 사용자의 손 움직임을 측정하고, 이에 기초하여 슬레이브 디바이스(SD)를 제어하기 위해 이용될 수 있다.
사용자는 제어 시스템(10)을 통해 인간과 컴퓨터 간의 인터페이스(HCI)를 구현할 수 있고, 예를 들면 슬레이브 디바이스(SD)를 제어하기 위한 조작을 수행할 수 있다. 즉, 사용자의 조작 행위는 제어부(200)를 통해 슬레이브 디바이스(SD)를 제어하기 위한 신호로 변환될 수 있고, 변환된 신호는 제어부(200)를 통해 슬레이브 디바이스(SD)로 전달될 수 있다.
여기서 제어부(200)는 도면 상에서 손 움직임 측정 장치(100)와 분리된 별도의 구성으로 도시되었으나, 이에 한정되는 것은 아니고 손 움직임 측정 장치(100)에 포함될 수도 있다. 또는, 제어부(200)는 복수개의 프로세서로 구현되어 손 움직임 측정 장치(100)의 내부와 외부에 각각 별도로 구비될 수도 있다.
슬레이브 디바이스(SD)는 사용자의 조작에 의해 제어되는 장치일 수 있다. 예를 들면, 슬레이브 디바이스(SD)는 로봇팔, 로봇 글로브(robot glove), 의수(artificial arm), 매니퓰레이터(manipulator) 등 일 수 있다. 또한, 슬레이브 디바이스(SD)는 모션을 표시하는 디스플레이 장치이거나, 가상 현실을 구현하는 장치로, 사용자의 조작을 표시하거나 구현하는 수단일 수 있다. 다만, 이에 한정되는 것은 아니고, 사용자의 조작에 의해 제어될 수 있는 장치라면 본 발명이 이용되는 슬레이브 디바이스(SD)에 해당할 수 있다.
도 2는 도 1의 제어 시스템(10)의 일 실시예를 도시한 도면이고, 도 3은 도 2의 마커(110)로부터 사용자의 팔의 위치와 방향을 측정하는 것을 설명하기 위한 도면이다.
도 2 및 도 3을 참조하면, 본 발명의 일 실시예에 따른 손 움직임 측정 장치를 포함하는 제어 시스템(10)은 사용자의 팔의 위치와 방향을 측정하기 위한 제2 센서(110)와, 상기 사용자의 전완근의 움직임을 측정하는 제1 센서(120)를 포함하는 입력부 및 상기 마커(110)와 제1 센서(120)를 통해 획득한 데이터에 기초하여 슬레이브 디바이스(SD)를 제어하기 위한 신호를 생성하고, 상기 신호를 상기 슬레이브 디바이스(SD)에 전달하는 제어부(200)를 포함할 수 있다. 이하에서는 설명의 편의를 위해서 제2 센서(110)이 마커인 실시예를 중심으로 설명하기로 한다.
입력부는 사용자의 손의 움직임을 측정하여 입력 신호를 입력하는 수단으로서 손 움직임 측정 장치(100)일 수 있다. 즉, 손 움직임 측정 장치(100)는 사용자가 슬레이브 디바이스(SD)를 제어하기 위한 조작을 입력하는 수단일 수 있다. 예를 들면, 손 움직임 측정 장치(100)는 사용자가 슬레이브 디바이스(SD)를 제어하기 위해 소지, 장착, 부착 또는 착용할 수 있는 장치일 수 있다.
일 실시예로서, 손 움직임 측정 장치(100)는 사용자의 팔에 착용가능하게 형성되는 몸체(130), 상기 몸체에 배치되어 상기 사용자의 전완근의 움직임을 측정하는 제1 센서(120) 및 상기 제1 센서(120)로부터 측정된 상기 사용자의 전완근의 움직임에 기초하여 상기 사용자의 손의 움직임을 측정하는 제어부를 포함할 수 있다.
선택적 실시예로서, 손 움직임 측정 장치(100)는 사용자의 팔의 위치와 방향을 측정하기 위한 마커(110)를 더 포함할 수 있다.
사용자는 사용자의 신체의 적어도 일부를 움직임으로써 손 움직임 측정 장치(100)에 슬레이브 디바이스(SD)를 제어하기 위한 조작을 입력할 수 있다. 예를 들면, 사용자는 상지 즉, 팔을 움직임으로써 손 움직임 측정 장치(100)에 슬레이브 디바이스(SD)를 제어하기 위한 조작을 입력할 수 있다.
제어부(200)는 손 움직임 측정 장치(100)에 포함된 마커(110)와 제1 센서(120)를 통해 획득한 데이터에 기초하여 슬레이브 디바이스(SD)를 제어하기 위한 신호를 생성하고, 생성된 신호를 슬레이브 디바이스(SD)에 전달할 수 있다.
한편, 전술한 바와 같이 제어부(200)는 하나의 프로세서로 구현될 수 있고, 복수의 프로세서로 구현될 수 있다. 제어부(200)가 복수의 프로세서로 구현된 경우, 복수의 프로세서 중 적어도 일부는 물리적으로 이격된 거리에 위치할 수 있다. 또한, 제어부(200)는 이에 한정되지 않고 다양한 방식으로 구현될 수 있다.
예를 들면, 제어부(200)는 하나 또는 복수 개의 프로세서에 해당할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
제어부(200)는 후술하는 바와 같이 마커(110)와 제1 센서(120)를 통해 획득한 데이터에 기초하여 사용자의 손의 움직임을 예측함으로써 사용자의 손의 움직임을 측정하고, 사용자의 예측된 손의 움직임에 대응되도록 슬레이브 디바이스(SD)를 제어하기 위한 신호를 생성할 수 있다. 즉, 제어부(200)는 마커(110)와 제1 센서(120)를 통해 사용자의 팔의 움직임에 기초하여 사용자의 손의 움직임을 측정할 수 있고, 이에 대응되도록 슬레이브 디바이스(SD)를 제어하기 위한 신호를 생성할 수 있다.
사용자의 팔의 움직임을 감지하기 위해 손 움직임 측정 장치(100)는 마커(110)와 제1 센서(120)를 포함할 수 있다.
마커(110)는 3차원 공간상에서 사용자의 팔의 위치와 방향을 측정하기 위한 수단일 수 있다.
마커(110)는 사용자의 신체 일부에 부착될 수 있다. 마커(110)의 위치는 사용자의 특정 위치에 한정되지 않는다. 일예로, 마커(110)는 사용자의 팔에 하나 이상 배치될 수 있으며, 바람직하게 사용자의 전완부에 하나 이상 배치될 수 있다.
사용자의 팔에 배치된 마커(110)의 위치가 변경되는 경우, 사용자의 팔의 위치와 방향은 마커(110)의 위치 변화에 기초하여 측정될 수 있다.
마커(110)의 위치 변화를 감지하기 위해 일 실시예에 따른 손 움직임 측정 장치를 포함하는 제어 시스템(10)은 마커 인식 모듈(MS)을 더 포함할 수 있다.
마커 인식 모듈(MS)은 이동 전, 후의 마커(110)의 위치를 인식하기 위한 수단일 수 있다. 마커(110)의 위치 변화 정보는 마커 인식 모듈(MS)을 통해 제어부(200)로 전달될 수 있다.
마커 인식 모듈(MS)은 마커(110)와 공간적으로 분리되어, 마커(110)와 이격된 상태에서 마커(110)의 위치를 측정할 수 있다. 다른 예로, 마커 인식 모듈(MS)는 마커(110)와 일체로 형성되어, 마커(110)의 공간상의 위치를 측정할 수 있다. 다만, 이하에서는 설명의 편의를 위해서, 마커 인식 모듈(MS)은 카메라인 경우를 중심으로 설명하기로 한다.
일 실시예로서, 제어부(200)는 마커 인식 모듈(MS)을 통해 마커(110)의 위치 변화 정보를 수신할 수 있다. 제어부(200)는 마커(110)의 위치 변화에 따라 사용자의 팔의 위치와 방향을 인식하고, 인식된 사용자의 팔의 위치와 방향에 기초하여 사용자의 손의 위치와 방향을 예측할 수 있다.
이를 위해, 제어부(200)는 3차원 동작분석 방법을 이용할 수 있다.
예를 들면, 마커(110)는 광학 마커(110)일 수 있고, 마커 인식 모듈(MS)은 광학 마커(110)를 감지하기 위한 카메라일 수 있다.
즉, 마커(110)의 위치 변화 정보는 카메라를 통해 인식될 수 있고, 인식된 마커(110)의 위치 변화 정보는 제어부(200)로 전달될 수 있다. 제어부(200)는 획득한 마커(110)의 위치 변화 정보를 분석하여 사용자의 팔의 위치와 방향을 측정할 수 있고, 이에 기초하여 사용자의 손의 위치와 방향을 예측할 수 있다.
제1 센서(120)는 사용자의 전완부의 근육, 즉 전완근의 움직임을 측정하기 위한 수단일 수 있다.
제1 센서(120)는 사용자의 팔에 하나 이상 배치될 수 있다. 예를 들면, 제1 센서(120)는 사용자의 전완부에 하나 이상 배치될 수 있다.
일반적으로, 손의 대부분의 움직임은 전완근을 통해 이루어진다. 따라서, 전완근의 움직임을 측정하면 손의 운동을 예측할 수 있게 된다. 예를 들면, 전완근의 움직임을 측정함으로써 손가락의 움직임, 손등의 움직임 및 손바닥의 움직임 등 손의 세부적인 움직임을 예측할 수 있다.
전완근의 움직임은 보통 근전도를 통해 측정된다. 근전도는 침습성의 바늘근전도 방식과 비침습성의 표면근전도 방식이 알려져 있다.
다만, 근전도는 각 근육의 수축여부에 대한 이진법적 신호만을 수신하므로, 손의 세부적인 움직임을 정확하게 예측하는데 한계가 있다.
이에, 일 실시예에 따른 손 움직임 측정 장치(100)는 초음파를 통해 전완근의 움직임을 측정할 수 있다. 이를 위해, 제1 센서(120)는 초음파 센서 일 수 있다.
초음파 센서는 사용자의 팔에 하나 이상 배치될 수 있다. 예를 들면, 초음파 센서는 사용자의 전완부에 하나 이상 배치될 수 있다.
하기 표 1은 근전도와 전완부 초음파의 손 동작의 인식 정확도를 나타낸 것이다.
근전도 초음파 P-value
손 동작 인식 정확도 90.14% 95.88% 0.005
중수지 관절각 예측 정확도 Average correlation 0.81±0.09 0.89±0.07 0.007
Normalized root mean square error 0.19±0.05 0.15±0.05 0.002
표 1을 참조하면, 통상의 근전도 방식을 통해 전완근의 움직임을 측정하는 것에 비해 초음파를 통해 전완근의 움직임을 측정하는 것이 높은 정확도를 갖는 것을 확인할 수 있다.또한, 초음파 센서를 이용하여 전완근의 움직임을 측정하는 방식은 비침습적이므로 사용자에게 착용감이나 통증을 유발하는 문제가 발생하지 않을 수 있다.
제어부(200)는 사용자의 전완근의 움직임에 기초하여 사용자의 손의 동작을 예측할 수 있다. 예를 들면, 제어부(200)는 초음파 센서를 통해 측정된 사용자의 전완근의 움직임에 기초하여 사용자의 손의 동작을 예측할 수 있다.
일 실시예로서, 제어부(200)는 초음파 센서를 통해 측정된 사용자의 전완근의 움직임을 획득할 수 있다. 예를 들면, 제어부(200)는 획득한 사용자의 전완근의 움직임에 기초하여 전완근의 초음파 이미지를 생성할 수 있다. 제어부(200)는 생성된 초음파 이미지에 기초하여 사용자의 손의 세부적인 움직임을 예측할 수 있다.
초음파 이미지는 전완근을 이루는 근육들의 상대적인 위치를 나타낼 수 있다. 제어부(200)는 초음파 이미지에 나타난 복수의 근육의 상대적인 위치에 기초하여 사용자의 손의 움직임을 예측할 수 있게 된다.
다만, 사용자의 전완부 자체의 위치와 운동에 따라 초음파 이미지에 나타나는 근육의 위치는 달라질 수 있다. 예를 들면, 사용자가 손의 동작을 동일하게 하는 경우에도 전완부의 회내 운동(pronation)에 따른 전완근의 위치 변화와 전완부의 회외 운동(supination)에 따른 전완근의 위치 변화는 다를 수 있다.
따라서, 사용자의 손의 움직임을 예측함에 있어 사용자의 전완부의 위치와 운동 정보를 반영하는 것이 손의 움직임의 예측 정확성을 향상시킬 수 있다.
이를 위해, 선택적 실시예로서 제어부(200)는 초음파 이미지를 분석함에 있어 마커(110)를 통해 인식한 사용자의 팔의 위치와 방향 정보를 이용할 수 있다.
예를 들면, 제어부(200)는 전완근의 초음파 이미지와 마커(110)를 통해 인식한 사용자의 팔의 위치 및 방향 정보를 모두 이용하여 사용자의 손의 움직임을 예측할 수 있다. 이 경우, 제어부(200)는 사용자의 손의 움직임을 더욱 정확하고 정밀하게 예측할 수 있다.
이상에서 설명한 바와 같이, 마커(110)와 제1 센서(120)는 사용자의 팔에 배치될 수 있다. 다시 도 3을 참조하여 예를 들면, 마커(110)와 제1 센서(120)는 사용자의 전완부에 적어도 하나 이상 배치될 수 있다. 따라서, 사용자는 손에 별도의 장비를 착용하지 않은 상태에서 사용자의 팔에 배치된 손 움직임 측정 장치(100)를 통해 예측되는 사용자의 손의 움직임에 대응되도록 슬레이브 디바이스(SD)를 제어할 수 있다.
또한, 마커(110)는 마커(110)가 배치된 그 위치의 정보를 제공하고, 제1 센서(120)는 제1 센서(120)가 배치된 위치로부터 이격된 위치의 정보, 예를 들면 손가락의 동작을 예측하여 정보를 제공할 수 있다. 따라서, 본 개시에 따른 손 움직임 측정 장치(100)는 의수(artificial arm) 등과 같은 슬레이브 디바이스(SD)를 제어할 수 있는 HCI 분야에 기술적 근거를 제공할 수 있다.
선택적 실시예로서, 손 움직임 측정 장치(100)는 자이로센서, AR카메라 및 근전도센서 중 적어도 어느 하나를 더 포함할 수 있다.
자이로센서는 손 움직임 측정 장치(100)를 착용한 사용자가 신체의 적어도 일부, 예를 들면 팔을 움직이는 경우 움직이는 팔의 각속도를 측정하기 위한 수단일 수 있다. 따라서, 제어부(200)는 자이로센서를 통해 측정된 각속도를 추가적으로 반영하여 사용자의 팔의 위치, 방향 및 움직임을 측정할 수 있다. 이 경우, 사용자의 팔의 위치, 방향 및 움직임의 측정 정확도가 더욱 향상될 수 있다.
AR카메라는 손 움직임 측정 장치(100)에 AR(augmented reality, 증강현실)기술을 부가하기 위한 수단일 수 있다. 예를 들면, AR카메라는 손 움직임 측정 장치(100)를 이용하는 사용자에게 가상의 이미지가 추가된 시야를 제공함으로써 더욱 현실감있고 정밀하게 손 움직임 측정 장치(100)를 조작할 수 있도록 할 수 있다.
근전도센서는 사용자의 팔의 근전도를 측정하기 위한 수단일 수 있다. 전술한 바와 같이 손 움직임 측정 장치(100)는 제1 센서(120), 예를 들면 초음파 센서를 포함하여 전완근의 움직임을 측정할 수 있다. 손 움직임 측정 장치(100)는 근전도센서를 더 포함하여 제1 센서(120)를 통해 측정된 사용자의 팔의 움직임을 더욱 정밀하게 측정할 수 있다. 즉, 근전도센서는 제1 센서(120)를 통해 측정한 사용자의 전완근의 움직임의 오차 값을 보상할 수 있다.
바람직한 실시예로서, 손 움직임 측정 장치(100)는 사용자의 팔에 착용가능하도록 형성될 수 있다. 예를 들면, 손 움직임 측정 장치(100)는 사용자의 전완부에 착용가능하도록 형성될 수 있다. 이 경우, 사용자는 손에 별도의 장비를 착용하지 않은 상태에서 슬레이브 디바이스(SD)를 편리하게 제어할 수 있다.
도 4(a)는 도 2의 손 움직임 측정 장치(100)의 일 실시예(100')를 도시한 도면이고, 도 4(b)는 도 4(a)의 손 움직임 측정 장치(100')를 착용한 모습을 도시한 도면이다.
도 4(a) 및 도 4(b)를 참조하면, 본 실시예에 따른 손 움직임 측정 장치(100')는 적어도 하나의 마커(110'), 적어도 하나의 제1 센서(120') 및 마커(110')와 제1 센서(120')가 배치되는 몸체(130')를 포함할 수 있다.
도 4(a) 및 도 4(b)의 마커(110')는 도 1 내지 3을 참조하여 설명한 마커(110)일 수 있다.
예를 들면, 마커(110')는 사용자의 팔의 위치와 방향을 측정하기 위한 수단일 수 있다. 마커(110')는 몸체(130')에 하나 이상 배치될 수 있고, 바람직하게는 복수개의 마커(110')가 몸체(130')에 배치될 수 있다.
마커(110')는 몸체(130')의 내면 및 외면 중 적어도 하나에 배치될 수 있다. 예를 들면, 마커(110')는 몸체(130')의 내면에 배치되거나 몸체(130')의 외면에 배치될 수 있고, 내면과 외면 모두에 배치될 수도 있다.
사용자는 본 실시예에 따른 손 움직임 측정 장치(100')를 착용한 채로 팔을 움직이는 등의 동작을 수행하는 경우, 손 움직임 측정 장치(100')에 포함된 마커(110')의 위치는 변할 수 있다. 이때 마커(110')의 위치 변화는 별도로 구비되는 마커 인식 모듈(MS')에 의해 인식될 수 있고, 인식되는 마커(110')의 위치 변화 정보는 제어부(200')에 전달될 수 있다.
제어부(200')는 마커(110')의 위치 변화 정보에 기초하여 사용자의 팔의 위치와 방향을 측정할 수 있고, 제어부(200')는 측정된 사용자의 팔의 위치와 방향에 기초하여 사용자의 손의 방향과 위치를 예측할 수 있다.
도 4(a) 및 도 4(b)의 센서(120')는 도 1 내지 3을 참조하여 설명한 제1 센서(120)일 수 있다.
예를 들면, 제1 센서(120')는 사용자의 전완근의 움직임을 측정하기 위한 수단일 수 있다. 제1 센서(120')는 몸체(130')에 하나 이상 배치될 수 있다.
일 실시예로서, 제1 센서(120')는 사용자의 전완근의 움직임을 정확하게 측정하기 위해 사용자의 피부에 직접적으로 접촉하도록 배치될 수 있다. 예를 들면, 제1 센서(120')는 몸체(130')의 내면에 배치될 수 있다. 또는, 제1 센서(120')가 몸체(130')의 외면에 배치되는 경우, 제1 센서(120')가 배치된 몸체(130')의 일 영역은 절개되거나 홈이 형성될 수 있다. 따라서, 제1 센서(120')의 적어도 일 영역은 사용자의 전완부에 직접적으로 접촉될 수 있다.
사용자가 본 실시예에 따른 손 움직임 측정 장치(100')를 착용한 채로 팔을 움직이는 등의 동작을 수행하는 경우, 제1 센서(120')는 사용자의 전완근의 움직임을 측정할 수 있다. 이때 제1 센서(120')에 의해 측정되는 전완근의 움직임은 제어부(200')에 전달될 수 있다.
제어부(200')는 전완근의 움직임에 기초하여 사용자의 손의 움직임을 예측할 수 있다.
몸체(130')는 마커(110')와 제1 센서(120')가 배치되고, 사용자의 팔에 끼워지도록 통공이 형성된 형상으로 형성될 수 있다. 예를 들면, 몸체(130')는 팔토시의 형상으로 형성될 수 있다. 이 경우, 본 실시예에 따른 손 움직임 측정 장치(100')는 전체적으로 팔토시의 형상으로 형성될 수 있다.
사용자는 몸체(130')에 형성된 통공에 팔을 집어 넣어 손 움직임 측정 장치(100')를 착용할 수 있다. 이때, 몸체(130')의 일단은 사용자의 손목 이상으로는 연장되지 않도록 형성될 수 있다. 따라서, 사용자는 손 움직임 측정 장치(100')를 착용한 경우에도 손에 별도의 장치가 배치되지 않아 편리하게 손 움직임 측정 장치(100')를 조작할 수 있다.
도 5(a)는 도 2의 손 움직임 측정 장치(100)의 다른 실시예(100'')를 도시한 도면이고, 도 5(b)는 도 5(a)의 손 움직임 측정 장치(100'')를 착용한 모습을 도시한 도면이다.
도 5(a) 및 도 5(b)를 참조하면, 본 실시예에 따른 손 움직임 측정 장치(100'')는 적어도 하나의 마커(110''), 적어도 하나의 제1 센서(120'') 및 마커(110'')와 제1 센서(120'')가 배치되는 몸체(130'')를 포함할 수 있다.
도 5(a) 및 도 5(b)의 마커(110'')는 도 1 내지 3을 참조하여 설명한 마커(110)일 수 있다.
예를 들면, 마커(110'')는 사용자의 팔의 위치와 방향을 측정하기 위한 수단일 수 있다. 마커(110'')는 몸체(130'')에 하나 이상 배치될 수 있고, 바람직하게는 복수개의 마커(110'')가 몸체(130'')에 배치될 수 있다.
마커(110'')는 몸체(130'')의 내면 및 외면 중 적어도 하나에 배치될 수 있다. 예를 들면, 마커(110'')는 몸체(130'')의 내면에 배치되거나 몸체(130'')의 외면에 배치될 수 있고, 내면과 외면 모두에 배치될 수도 있다.
사용자는 본 실시예에 따른 손 움직임 측정 장치(100'')를 착용한 채로 팔을 움직이는 등의 동작을 수행하는 경우, 손 움직임 측정 장치(100'')에 포함된 마커(110'')의 위치는 변할 수 있다. 이때 마커(110'')의 위치 변화는 별도로 구비되는 마커 인식 모듈(MS'')에 의해 인식될 수 있고, 인식되는 마커(110'')의 위치 변화 정보는 제어부(200'')에 전달될 수 있다.
제어부(200'')는 마커(110'')의 위치 변화 정보에 기초하여 사용자의 팔의 위치와 방향을 측정할 수 있고, 제어부(200'')는 측정된 사용자의 팔의 위치와 방향에 기초하여 사용자의 손의 방향과 위치를 예측할 수 있다.
도 5(a) 및 도 5(b)의 제1 센서(120'')는 도 1 내지 3을 참조하여 설명한 제1 센서(120)일 수 있다.
예를 들면, 제1 센서(120'')는 사용자의 전완근의 움직임을 측정하기 위한 수단일 수 있다. 제1 센서(120'')는 몸체(130'')에 하나 이상 배치될 수 있다. 일 실시예로서, 제1 센서(120'')는 사용자의 전완근의 움직임을 정확하게 측정하기 위해 사용자의 피부에 직접적으로 접촉하도록 배치될 수 있다.
사용자가 본 실시예에 따른 손 움직임 측정 장치(100'')를 착용한 채로 팔을 움직이는 등의 동작을 수행하는 경우, 제1 센서(120'')는 사용자의 전완근의 움직임을 측정할 수 있다. 이때 제1 센서(120'')에 의해 측정되는 전완근의 움직임은 제어부(200'')에 전달될 수 있다.
제어부(200'')는 전완근의 움직임에 기초하여 사용자의 손의 움직임을 예측할 수 있다.
몸체(130'')는 팔의 길이 방향을 따라 대응되도록 형성되는 제1 영역과 사용자의 팔을 감싸도록 밴드 형상으로 연장되어 형성되는 복수의 제2 영역을 포함할 수 있다.
마커(110'')는 제1 영역 및 제2 영역 중 적어도 하나에 배치될 수 있다. 예를 들면, 마커(110'')는 제1 영역과 제2 영역 중 어느 하나에 배치되거나 제1 영역과 제2 영역에 각각 배치될 수 있다.
사용자는 제1 영역을 전완부에 대응되도록 배치한 후, 제2 영역을 팔을 둘러싸도록 감쌈으로써 본 실시예에 따른 손 움직임 측정 장치(100'')를 착용할 수 있다. 이때, 제2 영역은 팔을 두른 후 제1 영역에 고정되거나, 또는 제2 영역에 고정되어 사용자의 팔에 고정될 수 있다. 따라서, 사용자는 손 움직임 측정 장치(100'')를 착용한 경우에도 손에 별도의 장치가 배치되지 않아 편리하게 손 움직임 측정 장치(100'')를 조작할 수 있다.
도 6(a)는 도 2의 손 움직임 측정 장치(100)의 또 다른 실시예(100''')를 도시한 도면이고, 도 6(b)는 도 6(a)의 손 움직임 측정 장치(100''')를 착용한 모습을 도시한 도면이다.
도 6(a) 및 도 6(b)를 참조하면, 본 실시예에 따른 손 움직임 측정 장치(100''')는 적어도 하나의 마커(110'''), 적어도 하나의 제1 센서(120''') 및 마커(110''')와 제1 센서(120''')가 배치되는 몸체(130''')를 포함할 수 있다.
도 6(a) 및 도 6(b)의 마커(110''')는 도 1 내지 3을 참조하여 설명한 마커(110)일 수 있다.
예를 들면, 마커(110''')는 사용자의 팔의 위치와 방향을 측정하기 위한 수단일 수 있다. 마커(110''')는 몸체(130''')에 하나 이상 배치될 수 있고, 바람직하게는 복수개의 마커(110''')가 몸체(130''')에 배치될 수 있다.
마커(110''')는 몸체(130''')의 내면 및 외면 중 적어도 하나에 배치될 수 있다. 예를 들면, 마커(110''')는 몸체(130''')의 내면에 배치되거나 몸체(130''')의 외면에 배치될 수 있고, 내면과 외면 모두에 배치될 수도 있다.
사용자는 본 실시예에 따른 손 움직임 측정 장치(100''')를 착용한 채로 팔을 움직이는 등의 동작을 수행하는 경우, 손 움직임 측정 장치(100''')에 포함된 마커(110''')의 위치는 변할 수 있다. 이때 마커(110''')의 위치 변화는 별도로 구비되는 마커 인식 모듈(MS''')에 의해 인식될 수 있고, 인식되는 마커(110''')의 위치 변화 정보는 제어부(200''')에 전달될 수 있다.
제어부(200''')는 마커(110''')의 위치 변화 정보에 기초하여 사용자의 팔의 위치와 방향을 측정할 수 있고, 제어부(200''')는 측정된 사용자의 팔의 위치와 방향에 기초하여 사용자의 손의 방향과 위치를 예측할 수 있다.
도 6(a) 및 도 6(b)의 제1 센서(120''')는 도 1 내지 3을 참조하여 설명한 제1 센서(120)일 수 있다.
예를 들면, 제1 센서(120''')는 사용자의 전완근의 움직임을 측정하기 위한 수단일 수 있다. 제1 센서(120''')는 몸체(130''')에 하나 이상 배치될 수 있다.
일 실시예로서, 제1 센서(120''')는 사용자의 전완근의 움직임을 정확하게 측정하기 위해 사용자의 피부에 직접적으로 접촉하도록 배치될 수 있다. 예를 들면, 제1 센서(120''')는 몸체(130''')의 내면에 배치될 수 있다. 또는, 제1 센서(120''')가 몸체(130''')의 외면에 배치되는 경우, 제1 센서(120''')가 배치된 몸체(130''')의 일 영역은 절개되거나 홈이 형성될 수 있다. 따라서, 제1 센서(120''')의 적어도 일 영역은 사용자의 전완부에 직접적으로 접촉될 수 있다.
사용자는 본 실시예에 따른 손 움직임 측정 장치(100''')를 착용한 채로 팔을 움직이는 등의 동작을 수행하는 경우, 제1 센서(120''')는 사용자의 전완근의 움직임을 측정할 수 있다. 이때 제1 센서(120''')에 의해 측정되는 전완근의 움직임은 제어부(200''')에 전달될 수 있다.
제어부(200''')는 전완근의 움직임에 기초하여 사용자의 손의 움직임을 예측할 수 있다.
몸체(130''')는 마커(110''')와 제1 센서(120''')가 배치되고, 사용자의 전완부의 일 영역이 끼워지도록 통공이 형성된 형상으로 형성될 수 있다. 예를 들면, 몸체(130''')는 사용자의 손목이 삽입되는 밴드의 형상으로 형성될 수 있다. 이 경우, 본 실시예에 따른 손 움직임 측정 장치(100''')는 전체적으로 밴드의 형상으로 형성될 수 있다.
사용자는 몸체(130''')에 형성된 통공에 전완부의 일 영역을 집어 넣어 손 움직임 측정 장치(100''')를 착용할 수 있다. 따라서, 사용자는 손 움직임 측정 장치(100''')를 착용한 경우에도 손에 별도의 장치가 배치되지 않아 편리하게 손 움직임 측정 장치(100''')를 조작할 수 있다.
선택적 실시예로서, 본 실시예에 따른 몸체(130''')는 전체적으로 밴드의 형상으로 형성되되, 탈착이 가능하도록 형성될 수 있다. 예를 들면, 몸체(130''')는 길이를 갖도록 형성되되, 양단이 서로 결합되어 고정되도록 형성될 수 있다. 이 경우, 사용자는 사용자의 손목을 감싸도록 손 움직임 측정 장치(100''')를 착용한 후, 양단을 서로 결합하여 손 움직임 측정 장치(100''')가 사용자의 손목에 고정되도록 할 수 있다.
다만, 앞서 설명한 실시예로 본 발명의 손 움직임 측정 장치(100)의 기술 내용이 한정되지는 않는다. 즉, 사용자의 팔에 착용될 수 있고, 사용자의 손에 배치되는 구성이 없으면서, 적어도 하나의 마커(110)와 제1 센서(120)가 포함되는 것이라면 본 발명에 따른 손 움직임 측정 장치(100)에 해당될 수 있다.
본 발명의 일 실시예에 따르면, 제어부(200)는 마커(110) 또는 제1 센서(120)를 통해 획득한 데이터를 기저장된 데이터에 매칭하여 사용자의 손의 움직임을 예측할 수 있다.
예를 들면, 기저장된 데이터는 사람의 팔의 위치 및 방향과 사람의 손의 방향 및 위치의 대응 정보를 포함할 수 있다. 이때, 제어부(200)는 마커(110)를 통해 측정한 사용자의 팔의 위치 및 방향 데이터를 기저장된 데이터에 매칭하여 사용자의 손의 위치와 방향을 예측할 수 있다.
또한, 기저장된 데이터는 사람의 전완근의 움직임과 사람의 손의 움직임의 대응 정보를 포함할 수 있다. 이때, 제어부(200)는 제1 센서(120)를 통해 측정한 사용자의 전완근의 움직임 데이터를 기저장된 데이터에 매칭하여 사용자의 손의 움직임을 예측할 수 있다.
선택적 실시예로서, 기저장된 데이터는 기계학습 모델 데이터를 포함할 수 있다. 예를 들면, 기저장된 데이터는 사람의 팔의 위치와 방향에 따라 손의 위치를 예측하도록 학습된 기계학습 모델 데이터를 포함할 수 있다. 또한, 기저장된 데이터는 사람의 전완근의 움직임에 따라 손의 동작을 예측하도록 학습된 기계학습 모델 데이터를 포함할 수 있다.
제어부(200)는 기계학습 모델 데이터를 포함하는 기저장된 데이터를 통해 사용자의 손의 움직임을 예측할 수 있다.
예를 들면, 제어부(200)는 마커(110)를 통해 사용자의 팔의 위치와 방향을 측정하고, 이를 기계학습 모델 데이터를 포함하는 기저장된 데이터에 매칭하여 사용자의 손의 위치와 방향을 예측할 수 있다. 또는, 제어부(200)는 제1 센서(120)를 통해 사용자의 전완근의 움직임을 측정하고, 이를 기계학습 모델 데이터를 포함하는 기저장된 데이터에 매칭하여 사용자의 손의 동작을 예측할 수 있다.
이와 같이, 마커(110)와 제1 센서(120) 중 하나를 통해 획득한 정보와 이에 대응되는 기계학습 모델 데이터를 이용하는 경우 사용자의 손의 움직임을 신속하게 예측할 수 있게 된다. 즉, 상대적으로 소수의 정보를 이용함으로써 사용자의 손의 움직임을 신속하게 예측할 수 있다.
또는, 제어부(200)는 마커(110)를 통해 사용자의 팔의 위치와 방향을 측정하고, 제1 센서(120)를 통해 사용자의 전완근의 움직임을 측정하고, 마커(110)와 제1 센서(120)를 통해 측정된 데이터들을 기계학습 모델 데이터를 포함하는 기저장된 데이터에 매칭하여 사용자의 손의 위치, 방향 및 움직임을 예측할 수 있다.
이와 같이, 마커(110)와 제1 센서(120)를 통해 획득한 정보와 이에 대응되는 기계학습 모델 데이터를 이용하는 경우 사용자의 손의 움직임을 정확하게 예측할 수 있게 된다. 즉, 상대적으로 다수의 정보를 이용함으로써 사용자의 손의 움직임을 정확하고 정밀하게 예측할 수 있다.
도 7은 본 발명에 이용되는 기계학습 모델 데이터를 생성하는 과정의 일 실시예를 설명하기 위한 도면이다.
도 7을 참조하여, 기계학습 모델 데이터를 생성하는 과정에 대해 설명한다.
일 실시예로서, 사용자의 팔의 위치 및 방향과 사용자의 손의 위치와 방향이 대응되도록 기계학습 모델 데이터가 생성될 수 있다.
예를 들면, 사용자는 사용자의 팔에 마커(110)를 부착하고 특정 동작을 수행할 수 있다. 사용자의 팔의 위치와 방향은 마커(110)와 마커(110)를 인식하기 위한 수단에 의해 측정될 수 있다. 이때, 마커(110)를 통해 인식되는 사용자의 팔의 위치 및 방향은 입력 데이터(input data)가 된다.
사용자가 사용자의 팔에 마커(110)를 부착하고 특정 동작을 수행하는 동안 사용자의 손의 움직임은 별도로 측정될 수 있다. 예를 들면, 사용자의 손의 위치, 방향, 손가락의 움직임, 손등의 움직임, 손바닥의 움직임 등이 측정될 수 있다. 이때, 사용자의 손의 움직임은 출력 데이터(output data)가 된다.
일 실시예로서, 사용자는 손에는 별도의 인식 장치가 배치될 수 있다. 예를 들면, 인식 장치는 사용자의 손에 배치된 복수의 마커(110)를 포함하는 장치일 수 있다. 사용자의 손이 움직이는 경우, 사용자의 손에 배치된 마커(110)는 사용자의 손의 움직임에 대응되도록 위치가 변경될 수 있다. 이때, 위치가 변경되는 마커(110)의 움직임에 기초하여 사용자의 손의 움직임이 측정될 수 있다.
다만, 이에 한정되는 것은 아니고, 사용자의 손의 움직임을 추적하여 측정할 수 있는 수단이라면 채용될 수 있다.
이와 같이 사용자의 팔의 위치 및 방향(input data)과 사용자의 손의 움직임(output data)은 서로 대응되도록 데이터화 되어 제1 학습 모델이 생성될 수 있다.
예를 들면, 사용자의 팔의 위치 및 방향과 사용자의 손의 위치와 방향이 대응되도록 데이터화 될 수 있다.
전술한 방법과 마찬가지로 사용자의 팔의 위치 및 방향과 사용자의 손의 위치 및 방향이 서로 대응되도록 복수의 학습 모델이 생성될 수 있다.
이처럼, 마커(110)를 통해 획득한 정보와 대응되도록 기계학습 모델 데이터를 생성하는 경우, 복수의 학습 모델은 신속하게 생성될 수 있다. 즉, 상대적으로 소수의 정보를 이용함으로써 사용자의 팔의 위치 및 방향과 사용자의 손의 움직임이 대응되는 학습 모델이 신속하게 생성될 수 있다.
다른 실시예로서, 사용자의 전완근의 움직임과 사용자의 손의 움직임이 대응되도록 기계학습 모델 데이터가 생성될 수 있다.
예를 들면, 사용자는 사용자의 팔에 제1 센서(120)를 부착하고 특정 동작을 수행할 수 있다. 사용자의 전완근의 움직임은 제1 센서(120)에 의해 측정될 수 있다. 이때, 제1 센서(120)를 통해 인식되는 사용자의 전완근의 움직임은 입력 데이터(input data)가 된다.
사용자가 사용자의 제1 센서(120)를 부착하고 특정 동작을 수행하는 동안 사용자의 손의 움직임은 별도로 측정될 수 있다. 예를 들면, 사용자의 손의 위치, 방향, 손가락의 움직임, 손등의 움직임, 손바닥의 움직임 등이 측정될 수 있다. 이때, 사용자의 손의 움직임은 출력 데이터(output data)가 된다.
일 실시예로서, 사용자는 손에는 별도의 인식 장치가 배치될 수 있다. 예를 들면, 인식 장치는 사용자의 손에 배치된 복수의 마커(110)를 포함하는 장치일 수 있다. 사용자의 손이 움직이는 경우, 사용자의 손에 배치된 마커(110)는 사용자의 손의 움직임에 대응되도록 위치가 변경될 수 있다. 이때, 위치가 변경되는 마커(110)의 움직임에 기초하여 사용자의 손의 움직임이 측정될 수 있다.
다만, 이에 한정되는 것은 아니고, 사용자의 손의 움직임을 추적하여 측정할 수 있는 수단이라면 채용될 수 있다.
이와 같이 사용자의 전완근의 움직임(input data)과 사용자의 손의 움직임(output data)은 서로 대응되도록 데이터화 되어 제1 학습 모델이 생성될 수 있다.
예를 들면, 사용자의 전완근의 움직임과 사용자의 손의 움직임은 서로 대응되도록 데이터화 될 수 있다.
전술한 방법과 마찬가지로 사용자의 전완근의 움직임과 사용자의 손의 동작이 서로 대응되도록 복수의 학습 모델이 생성될 수 있다.
이처럼, 제1 센서(120)를 통해 획득한 정보와 대응되도록 기계학습 모델 데이터를 생성하는 경우, 복수의 학습 모델은 신속하게 생성될 수 있다. 즉, 상대적으로 소수의 정보를 이용함으로써 사용자의 전완근의 움직임과 사용자의 손의 움직임이 대응되는 학습 모델이 신속하게 생성될 수 있다.
또 다른 실시예로서, 사용자의 팔의 위치, 방향 및 전완근의 움직임과 사용자의 손의 움직임이 대응되도록 기계학습 모델 데이터가 생성될 수 있다.
예를 들면, 사용자는 사용자의 팔에 마커(110)와 제1 센서(120)를 부착하고 특정 동작을 수행할 수 있다. 사용자의 팔의 위치와 방향은 마커(110)와 마커(110)를 인식하기 위한 수단에 의해 측정될 수 있다. 사용자의 전완근의 움직임은 제1 센서(120)에 의해 측정될 수 있다. 이때, 마커(110)와 제1 센서(120)를 통해 인식되는 사용자의 팔의 위치, 방향 및 전완근의 움직임은 입력 데이터(input data)가 된다.
사용자가 사용자의 팔에 마커(110)와 제1 센서(120)를 부착하고 특정 동작을 수행하는 동안 사용자의 손의 움직임은 별도로 측정될 수 있다. 예를 들면, 사용자의 손의 위치, 방향, 손가락의 움직임, 손등의 움직임, 손바닥의 움직임 등이 측정될 수 있다. 이때, 사용자의 손의 움직임은 출력 데이터(output data)가 된다.
일 실시예로서, 사용자는 손에는 별도의 인식 장치가 배치될 수 있다. 예를 들면, 인식 장치는 사용자의 손에 배치된 복수의 마커(110)를 포함하는 장치일 수 있다. 사용자의 손이 움직이는 경우, 사용자의 손에 배치된 마커(110)는 사용자의 손의 움직임에 대응되도록 위치가 변경될 수 있다. 이때, 위치가 변경되는 마커(110)의 움직임에 기초하여 사용자의 손의 움직임이 측정될 수 있다.
다만, 이에 한정되는 것은 아니고, 사용자의 손의 움직임을 추적하여 측정할 수 있는 수단이라면 채용될 수 있다.
이와 같이 사용자의 팔의 위치, 방향 및 전완근의 움직임(input data)과 사용자의 손의 움직임(output data)은 서로 대응되도록 데이터화 되어 제1 학습 모델이 생성될 수 있다.
예를 들면, 사용자의 팔의 위치 및 방향과 사용자의 손의 위치와 방향이 대응되도록 데이터화 될 수 있고, 사용자의 전완근의 움직임과 사용자의 손의 움직임은 서로 대응되도록 데이터화 될 수 있다.
전술한 방법과 마찬가지로 사용자의 팔의 위치, 방향 및 전완근의 움직임과 사용자의 손의 위치, 방향 및 동작이 서로 대응되도록 복수의 학습 모델이 생성될 수 있다.
이처럼, 마커(110) 및 제1 센서(120)를 통해 획득한 정보와 대응되도록 기계학습 모델 데이터를 생성하는 경우, 복수의 학습 모델은 정밀하고 정확하게 생성될 수 있다. 즉, 상대적으로 다수의 정보를 이용함으로써 사용자의 팔의 위치, 방향 및 전완근의 움직임과 사용자의 손의 움직임이 대응되는 학습 모델이 정확하고 정밀하게 생성될 수 있다.
이상과 같은 실시예를 통해 생성된 기계학습 모델 데이터는 제어부(200)에 의해 사용자의 손의 움직임을 예측하기 위해 이용될 수 있다.
도 8은 본 발명의 일 실시예에 따른 손 움직임 측정 장치를 포함하는 제어 시스템(10)을 이용한 입력 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 제어 방법은 손 움직임 측정 장치(100)에 포함된 마커(110)와 제1 센서(120)를 통해 사용자의 팔의 움직임을 측정하는 단계(S110, S120), 측정된 사용자의 팔의 움직임을 기저장된 데이터와 매칭하는 단계(S200), 팔의 움직임과 기저장된 데이터를 매칭하여 사용자의 손의 위치와 방향을 예측하고(S310), 사용자의 손의 동작을 예측하는 단계(S320), 예측된 사용자의 손의 위치, 방향 및 손의 동작에 기초하여 사용자의 손의 움직임을 예측하는 단계(S400) 및 예측된 사용자의 손의 움직임에 대응되도록 슬레이브 디바이스(SD)를 제어하기 위한 신호를 생성하는 단계(S500)를 포함할 수 있다.
손 움직임 측정 장치(100)에 포함된 마커(110)와 제1 센서(120)를 통해 사용자의 팔의 움직임을 측정하는 단계는 마커(110)를 통해 사용자의 팔의 위치 및 방향을 측정하는 단계(S110)와 제1 센서(120)를 통해 사용자의 전완근의 움직임을 측정하는 단계(S120)를 포함할 수 있다.
예를 들면, 사용자가 팔을 움직이는 경우 사용자의 팔에 배치된 마커(110)의 위치는 변경될 수 있고, 마커(110)의 위치 변화는 마커 인식 모듈(MS)에 의해 측정될 수 있다. 이때, 제어부(200)는 측정되는 마커(110)의 위치 변화에 기초하여 사용자의 팔의 위치와 방향을 측정할 수 있다.
또한, 사용자가 손가락을 움직이려는 경우 사용자의 팔에 배치된 제1 센서(120)는 사용자의 전완근의 움직임을 측정할 수 있다. 일 실시예로서, 사용자의 팔에 배치되는 제1 센서(120)는 초음파 센서일 수 있다. 이때, 제어부(200)는 초음파 센서를 통해 측정된 전완근의 움직임에 기초하여 초음파 이미지를 생성할 수 있다.
측정된 사용자의 팔의 움직임을 기저장된 데이터와 매칭하는 단계(S200)는 측정된 사용자의 팔의 움직임 정보를 기저장된 데이터와 매칭하여 사용자의 손의 움직임을 예측하기 위한 단계일 수 있다. 이때, 기저장된 데이터는 사람의 팔의 위치 및 방향과 사람의 손의 방향 및 위치의 대응 정보를 포함할 수 있고, 사람의 전완근의 움직임과 사람의 손의 움직임의 대응 정보를 포함할 수 있다.
제어부(200)는 기저장된 데이터에 기초하여 측정된 사용자의 팔의 움직임 정보와 대응되는 손의 움직임 데이터를 추출할 수 있다. 예를 들면, 제어부(200)는 사용자의 팔의 위치와 방향에 대응되는 손의 방향과 위치 데이터를 독출할 수 있고, 사용자의 전완근의 움직임에 대응되는 손의 동작 데이터를 독출할 수 있다.
선택적 실시예로서, 기저장된 데이터는 기계학습 모델 데이터를 포함할 수 있다. 예를 들면, 기저장된 데이터는 사람의 팔의 위치와 방향에 따라 손의 위치를 예측하도록 학습된 기계학습 모델 데이터를 포함할 수 있다. 또한, 기저장된 데이터는 사람의 전완근의 움직임에 따라 손의 동작을 예측하도록 학습된 기계학습 모델 데이터를 포함할 수 있다.
팔의 움직임과 기저장된 데이터를 매칭하여 사용자의 손의 위치와 방향을 예측 하는 단계(S310)는 제어부(200)가 마커(110)를 통해 측정된 사용자의 팔의 위치와 방향 정보를 기저장된 데이터와 매칭하여 사용자의 손의 위치와 방향을 예측하는 단계일 수 있다. 예를 들면, 제어부(200)는 마커(110)를 통해 측정한 사용자의 팔의 위치 및 방향 데이터를 기저장된 데이터에 매칭하여 사용자의 손의 위치와 방향을 예측할 수 있다. 선택적 실시예로서, 제어부(200)는 마커(110)를 통해 사용자의 팔의 위치와 방향을 측정하고, 이를 기계학습 모델 데이터를 포함하는 기저장된 데이터에 매칭하여 사용자의 손의 위치와 방향을 예측할 수 있다.
팔의 움직임과 기저장된 데이터를 매칭하여 사용자의 손의 동작을 예측하는 단계(S320)는 제어부(200)가 제1 센서(120)를 통해 측정된 사용자의 전완근의 움직임을 기저장된 데이터와 매칭하여 사용자의 손의 동작을 예측하는 단계일 수 있다. 예를 들면, 제어부(200)는 제1 센서(120)를 통해 측정한 사용자의 전완근의 움직임 데이터를 기저장된 데이터에 매칭하여 사용자의 손가락이나 손등, 손바닥의 움직임을 예측할 수 있다. 선택적 실시예로서, 제어부(200)는 제1 센서(120)를 통해 사용자의 전완근의 움직임을 측정하고, 이를 기계학습 모델 데이터를 포함하는 기저장된 데이터에 매칭하여 사용자의 손의 동작을 예측할 수 있다.
사용자의 손의 움직임을 예측하는 단계(S400)는 제어부(200)가 기저장된 데이터와 매칭되어 예측된 사용자의 손의 위치, 방향 및 동작을 기초로 사용자의 손 전체의 움직임을 예측하는 단계일 수 있다. 즉, 제어부(200)는 예측되는 손의 위치, 방향 및 동작에 기초하여 사용자의 손 전체의 움직임을 예측할 수 있다.
제어 신호를 생성하는 단계(S500)는 제어부(200)가 예측된 사용자의 손의 움직임에 대응되도록 슬레이브 디바이스(SD)를 제어하기 위한 신호를 생성하는 단계일 수 있다. 즉, 제어부(200)는 예측된 사용자의 손의 움직임에 대응되는 움직임을 수행하도록 슬레이브 디바이스(SD)를 제어하기 위한 신호를 생성할 수 있다.
제어부(200)는 생성된 신호를 슬레이브 디바이스(SD)에 전달할 수 있고, 이에 의해 슬레이브 디바이스(SD)는 사용자의 움직임에 대응되도록 제어될 수 있다.
이와 같은 구성을 포함하는 손 움직임 측정 장치를 포함하는 제어 시스템(10) 및 방법에 의하면, 사용자는 손에 직접적으로 착용되는 장비가 없이 슬레이브 디바이스(SD)를 제어할 수 있다. 따라서, 슬레이브 디바이스(SD)를 제어하기 위한 조작 편의성이 향상될 수 있다.
또한, 본 발명에 따른 손 움직임 측정 장치를 포함하는 제어 시스템(10) 및 방법은 사용자의 팔의 움직임에 기초하여 사용자가 기대하는 손의 움직임을 슬레이브 디바이스(SD)를 통해 구현할 수 있으므로, 조작 행위가 직관적이다. 또한, 사용자가 조작 방법에 적응하는데 시간이 단축될 수 있으며, 조작 행위시 몰입도가 향상될 수 있다.
또한, 초음파를 이용하여 사용자의 전완근의 움직임을 측정하는 방식은 비침습적이므로 사용자에게 착용감을 전달하지 않고 통증을 유발하지 않을 수 있으며, 전완근의 움직임을 정확하게 측정하여 사용자의 손의 움직임을 정확하게 예측할 수 있다.
또한, 본 발명에 따른 손 움직임 측정 장치를 포함하는 제어 시스템(10) 및 방법은 사용자의 팔의 위치, 방향 및 전완근의 움직임을 모두 이용하여 사용자의 손의 움직임을 예측하므로 예측의 정확도가 더욱 향상될 수 있다.
이상, 도면을 참조하여 바람직한 실시예와 함께 본 발명에 대하여 상세하게 설명하였으나, 이러한 도면과 실시예로 본 발명의 기술적 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 기술적 사상의 범위 내에서 다양한 변형예 또는 균등한 범위의 실시예가 존재할 수 있다. 그러므로 본 발명에 따른 기술적 사상의 권리범위는 청구범위에 의해 해석되어야 하고, 이와 동등하거나 균등한 범위 내의 기술 사상은 본 발명의 권리범위에 속하는 것으로 해석되어야 할 것이다.
10: 손 움직임 측정 장치를 이용한 제어 시스템
100: 손 움직임 측정 장치
110: 마커
120: 제1 센서
130: 몸체
200: 제어부
SD: 슬레이브 디바이스
MS: 마커 인식 모듈

Claims (8)

  1. 사용자의 팔에 착용가능하게 형성되는 몸체;
    상기 몸체에 배치되어 상기 사용자의 전완근의 움직임을 측정하는 제1 센서; 및
    상기 제1 센서로부터 측정된 상기 사용자의 전완근의 움직임에 기초하여 상기 사용자의 손의 움직임을 측정하는 제어부;를 포함하는, 손 움직임 측정 장치.
  2. 제1항에 있어서,
    상기 제1 센서는 초음파 센서인, 손 움직임 측정 장치.
  3. 제1항에 있어서,
    상기 사용자의 팔의 위치와 방향을 측정하기 위한 제2 센서;를 더 포함하는, 손 움직임 측정 장치.
  4. 제3항에 있어서,
    상기 제2 센서는
    마커, 자이로센서, AR카메라 및 근전도센서 중 적어도 어느 하나를 더 포함하는, 손 움직임 측정 장치.
  5. 제3항에 있어서,
    상기 제어부는,
    상기 제2 센서의 위치 변화에 따라 상기 사용자의 팔의 위치와 방향을 인식하고, 상기 인식된 사용자의 팔의 위치와 방향에 기초하여 상기 사용자의 손의 위치와 방향을 측정하는, 손 움직임 측정 장치.
  6. 제3항에 있어서,
    상기 제어부는,
    상기 제1 센서 또는 상기 제2 센서를 통해 획득한 데이터를 기저장된 데이터에 매칭하여 상기 사용자의 손의 움직임을 측정하는, 손 움직임 측정 장치.
  7. 제6항에 있어서,
    상기 기저장된 데이터는,
    사람의 전완근의 움직임에 따라 손의 동작을 예측하도록 학습된 기계학습 모델 데이터를 포함하는, 손 움직임 측정 장치.
  8. 제6항에 있어서,
    상기 기저장된 데이터는,
    사람의 팔의 위치와 방향에 따라 손의 위치를 예측하도록 학습된 기계학습 모델 데이터를 포함하는, 손 움직임 측정 장치.
KR1020210093780A 2020-12-03 2021-07-16 손 움직임 측정 장치 KR20220078464A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200167838 2020-12-03
KR20200167838 2020-12-03

Publications (1)

Publication Number Publication Date
KR20220078464A true KR20220078464A (ko) 2022-06-10

Family

ID=81986749

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210093780A KR20220078464A (ko) 2020-12-03 2021-07-16 손 움직임 측정 장치

Country Status (1)

Country Link
KR (1) KR20220078464A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102525661B1 (ko) * 2023-01-18 2023-04-24 박장준 작업 장치의 원격 제어를 위한 실시간 훈련 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102525661B1 (ko) * 2023-01-18 2023-04-24 박장준 작업 장치의 원격 제어를 위한 실시간 훈련 방법 및 장치

Similar Documents

Publication Publication Date Title
EP2904472B1 (en) Wearable sensor for tracking articulated body-parts
Smeragliuolo et al. Validation of the Leap Motion Controller using markered motion capture technology
JP6000387B2 (ja) 低侵襲外科システムにおいて使用するマスターフィンガー追跡システム
US11344374B2 (en) Detection of unintentional movement of a user interface device
JP5847725B2 (ja) 低侵襲外科システムにおいて手の存在を検出するための方法およびシステム
JP5702797B2 (ja) 遠隔操作される低侵襲スレーブ手術器具の手による制御のための方法およびシステム
Lu et al. Immersive manipulation of virtual objects through glove-based hand gesture interaction
KR20130027006A (ko) 최소 침습 수술 시스템에서 손 제스처 제어를 위한 방법 및 장치
US10976863B1 (en) Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
JP2010108500A (ja) 着用型コンピューティング環境基盤のユーザインターフェース装置およびその方法
RU187548U1 (ru) Перчатка виртуальной реальности
US20220155866A1 (en) Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions
RU179301U1 (ru) Перчатка виртуальной реальности
CN105637531A (zh) 人体姿势识别
CN113632176A (zh) 用于基于神经肌肉数据的低等待时间身体状态预测的方法和装置
CN114503057A (zh) 基于图像和惯性测量单元两者的取向确定
KR20220078464A (ko) 손 움직임 측정 장치
Yue et al. How to achieve human-machine interaction by foot gesture recognition: A review
RU2670649C9 (ru) Способ изготовления перчатки виртуальной реальности (варианты)
KR102162922B1 (ko) 촉각 피드백이 가능한 가상현실 기반의 손 재활 시스템
Fazeli et al. A virtual environment for hand motion analysis
WO2017141573A1 (ja) 演算装置、演算方法及び演算プログラム
US20210318759A1 (en) Input device to control a computing device with a touch pad having a curved surface configured to sense touch input
RU2673406C1 (ru) Способ изготовления перчатки виртуальной реальности
RU186397U1 (ru) Перчатка виртуальной реальности

Legal Events

Date Code Title Description
E902 Notification of reason for refusal