KR20210035669A - Hand motion tracking system and method for safety education of driven agricultural machinery based on virtual reality - Google Patents

Hand motion tracking system and method for safety education of driven agricultural machinery based on virtual reality Download PDF

Info

Publication number
KR20210035669A
KR20210035669A KR1020190117763A KR20190117763A KR20210035669A KR 20210035669 A KR20210035669 A KR 20210035669A KR 1020190117763 A KR1020190117763 A KR 1020190117763A KR 20190117763 A KR20190117763 A KR 20190117763A KR 20210035669 A KR20210035669 A KR 20210035669A
Authority
KR
South Korea
Prior art keywords
finger
hand
motion tracking
communication module
value
Prior art date
Application number
KR1020190117763A
Other languages
Korean (ko)
Other versions
KR102334543B1 (en
Inventor
김유용
노재승
오정주
유영지
Original Assignee
대한민국(농촌진흥청장)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국(농촌진흥청장) filed Critical 대한민국(농촌진흥청장)
Priority to KR1020190117763A priority Critical patent/KR102334543B1/en
Publication of KR20210035669A publication Critical patent/KR20210035669A/en
Application granted granted Critical
Publication of KR102334543B1 publication Critical patent/KR102334543B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/16—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring several components of force
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

The present invention relates to a system and a method for tracking hand motion in virtual reality-based safety education on driving-type agricultural machinery. The system according to an embodiment of the present invention comprises: a motion tracking device including a glove, a tracker which can be mounted on the glove, a bolt-type coupling member disposed in the glove in order to fix the tracker to the glove, bending sensors disposed at an index finger and a middle finger of the glove to detect the motion of fingers, and a control module generating finger motion data, based on measured values from the bending sensors; a communication module performing calibration to the finger motion data received from the control module; and a processor connected to the communication module to create a digitized form of a hand, based on the calibrated value transmitted by the communication module.

Description

가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 시스템 및 방법{HAND MOTION TRACKING SYSTEM AND METHOD FOR SAFETY EDUCATION OF DRIVEN AGRICULTURAL MACHINERY BASED ON VIRTUAL REALITY}Hand motion tracking system and method for safety education of driving agricultural machinery based on virtual reality {HAND MOTION TRACKING SYSTEM AND METHOD FOR SAFETY EDUCATION OF DRIVEN AGRICULTURAL MACHINERY BASED ON VIRTUAL REALITY}

본 발명은 가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 시스템 및 방법에 관한 것으로, 더욱 상세하게는 손의 절대 방위를 표현하기 위한 지자기 센서를 이용하지 않더라도 손의 위치 및 움직임을 정확히 추적하고, 손 동작을 4가지 움직임으로 표현함으로써 가상현실 기반 주행형 농업기계의 안전교육에 최적화시킨 시스템 및 방법에 관한 것이다.The present invention relates to a hand motion tracking system and method for safety education of a virtual reality-based driving agricultural machine, and more particularly, to accurately measure the position and movement of the hand even without using a geomagnetic sensor for expressing the absolute orientation of the hand. The present invention relates to a system and method optimized for safety education of driving agricultural machinery based on virtual reality by tracking and expressing hand movements in four movements.

최근 가상현실을 이용한 시뮬레이션 환경의 활용이 정보통신 산업에서 주목을 받음에 따라 현실에서의 손 또는 손가락의 동작을 컴퓨팅 장치에 인식시키기 위한 다양한 기술들이 개발되고 있다. 현재 개발된 손 또는 손가락의 동작 인식 기술로는 카메라를 이용한 비전 기반의 인식 기술과 손에 부착되는 트래커(tracker)를 이용한 센싱 기반의 인식 기술이 있다. 그러나, 전술한 두 가지 인식 기술들은 다음과 같은 문제점들이 존재한다. Recently, as the use of a simulation environment using virtual reality has attracted attention in the information and communications industry, various technologies for recognizing the motion of a hand or finger in reality to a computing device have been developed. Currently developed hand or finger gesture recognition technology includes a vision-based recognition technology using a camera and a sensing-based recognition technology using a tracker attached to the hand. However, the above-described two recognition techniques have the following problems.

예를 들어, 손 또는 손가락의 움직임을 인식하기 위해 3D 적외선 카메라 등의 비전 기반의 인식 기술을 이용하는 경우, 카메라로 볼 수 없는 사각지대에 있는 손의 위치 및 움직임을 추적하지 못하는 문제가 있다. 또한, 레버 등 손가락과 유사한 형상을 갖는 물체가 카메라의 인식 범위에 포함되는 경우, 이를 손이 아닌 다른 물체가 인식하지 못하고 손으로 인식하는 문제가 있다.For example, when a vision-based recognition technology such as a 3D infrared camera is used to recognize the movement of a hand or a finger, there is a problem in that the position and movement of the hand in a blind spot that cannot be seen by the camera cannot be tracked. In addition, when an object having a shape similar to a finger, such as a lever, is included in the recognition range of the camera, there is a problem that an object other than a hand cannot recognize it and recognizes it as a hand.

한편, 손에 부착되는 트래커를 이용한 센싱 기반의 인식 기술은 대부분 손의 절대 방위를 표현하기 위해 지자기 센서가 포함된 IMU(inertial measurment unit) 센서를 사용한다. 다만, IMU 센서를 이용하여 손 또는 손가락을 인식하는 경우에는 철과 같은 금속이 있는 영역의 근방에 손이 위치할 경우, 금속에 의한 자기장의 영향으로 인식된 손의 디지털 형상이 왜곡되는 문제가 존재한다. 또한, 다양한 손 또는 손가락 동작을 인식하고자 손가락 및 손 전체를 인식하다 보니, 사용 목적에 맞추어 필요한 손 또는 손가락의 움직임을 정확하게 추적 및 검출하지 못하는 문제가 존재한다.Meanwhile, sensing-based recognition technology using a tracker attached to the hand mostly uses an inertial measurment unit (IMU) sensor including a geomagnetic sensor to express the absolute orientation of the hand. However, in the case of recognizing a hand or a finger using an IMU sensor, there is a problem that the digital shape of the recognized hand is distorted due to the influence of the magnetic field by the metal when the hand is located near an area with a metal such as iron. do. In addition, since a finger and the entire hand are recognized to recognize various hand or finger motions, there is a problem in that it is not possible to accurately track and detect the movement of the hand or finger necessary for the purpose of use.

대한민국 공개특허공보 제10-2014-0033025호 (2014.03.17)Republic of Korea Patent Publication No. 10-2014-0033025 (2014.03.17)

본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로서, 손의 절대 방위를 표현하기 위한 지자기 센서를 이용하지 않더라도 손의 위치 및 움직임을 정확히 추적하고, 손 동작을 4가지 움직임으로 표현함으로써 가상현실 기반 주행형 농업기계의 안전교육에 최적화시킨 시스템 및 방법을 제공함에 목적이 있다.The present invention is to solve the above-described problem, even if a geomagnetic sensor for expressing the absolute orientation of the hand is not used, the position and movement of the hand are accurately tracked, and the hand movement is expressed as four movements, based on virtual reality. The purpose of this is to provide a system and method optimized for safety education of running agricultural machinery.

본 발명의 일 실시 예에 따른 가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 시스템은, 장갑, 장갑에 장착 가능한 트래커, 트래커를 장갑에 고정시키기 위해 장갑에 구비되는 볼트형 체결부재, 장갑의 검지 및 중지에 배치되어 손가락의 움직임을 감지하는 구부림 센서 및 구부림 센서의 측정값을 기초로 손가락의 움직임 정보를 생성하는 제어모듈을 포함하는 동작 추적 장치, 제어모듈로부터 수신된 손가락의 움직임 정보에 대한 캘리브레이션(calibration)을 수행하는 통신모듈 및 통신모듈과 연결되어 통신모듈로부터 전달되는 캘리브레이션값을 기초로 손의 디지털 형상을 생성하는 프로세서를 포함할 수 있다.A hand motion tracking system for safety education of a virtual reality-based running agricultural machine according to an embodiment of the present invention includes a glove, a tracker that can be mounted on the glove, a bolt-type fastening member provided on the glove to fix the tracker to the glove, A motion tracking device including a bend sensor that is disposed on the index finger and middle finger of the glove to detect the movement of the finger, and a control module that generates movement information of the finger based on the measured value of the bend sensor, and the movement information of the finger received from the control module It may include a communication module for performing calibration (calibration) and a processor that is connected to the communication module and generates a digital shape of a hand based on a calibration value transmitted from the communication module.

본 발명의 일 실시 예에 따른 동작 추적 장치는, 제어모듈 및 볼트형 체결부재를 내부에 수용하는 제 1 케이스 및 구부림 센서와 제 1 케이스를 내부에 수용하는 제 2 케이스를 포함할 수 있다.A motion tracking device according to an embodiment of the present invention may include a first case for accommodating a control module and a bolt-type fastening member therein, and a second case for accommodating the bend sensor and the first case therein.

본 발명의 일 실시 예에 따른 제 1 케이스 및 제 2 케이스에는, 볼트형 체결부재가 트래커와 결합될 수 있도록 볼트형 체결부재가 관통하는 홀이 형성될 수 있다.In the first case and the second case according to an embodiment of the present invention, a hole through which the bolt-type fastening member passes may be formed so that the bolt-type fastening member can be coupled to the tracker.

본 발명의 일 실시 예에 따른 제어모듈은, 구부림 센서의 측정값을 디지털 신호로 변환하고, 손의 위치 정보를 결합함으로써, 소정의 범위값을 갖는 손가락의 움직임 정보를 생성할 수 있다.The control module according to an embodiment of the present invention may generate finger motion information having a predetermined range value by converting the measured value of the bend sensor into a digital signal and combining the position information of the hand.

본 발명의 일 실시 예에 따른 통신모듈은, 검지 및 중지 각각에 대한 굽힘 상태값과 펼침 상태값을 이용하여 검지 및 중지의 움직임의 최대값과 최소값을 추정하고, 최대값과 최소값을 기초로 제어모듈로부터 수신된 손가락의 움직임 정보를 소정의 범위 내의 수치값으로 변환할 수 있다.The communication module according to an embodiment of the present invention estimates the maximum and minimum values of the movement of the detection and the middle by using the bending state value and the unfolding state value for each of the detection and stop, and controls based on the maximum and minimum values. The finger motion information received from the module may be converted into a numerical value within a predetermined range.

본 발명의 일 실시 예에 따른 프로세서는, 통신모듈로부터 전달되는 캘리브레이션값을 기초로 주행형 농업기계의 동작을 위한 손가락의 움직임을 4가지 중 하나로 추정할 수 있다. 이때, 4가지의 움직임은 검지 및 중지 각각의 굽힘과 펼침의 조합으로 결정될 수 있다.The processor according to an embodiment of the present invention may estimate the movement of the finger for the operation of the traveling agricultural machine as one of four based on the calibration value transmitted from the communication module. At this time, the four movements may be determined by a combination of bending and spreading of each of the index and middle fingers.

본 발명의 일 실시 예에 따른 가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 방법은, 동작 추적 장치의 구부림 센서가 손가락의 움직임을 감지하는 단계, 동작 추적 장치의 제어모듈이 구부림 센서의 측정값을 기초로 손가락의 움직임 정보를 생성하는 단계, 통신모듈이 제어모듈로부터 수신된 손가락의 움직임 정보에 대한 캘리브레이션(calibration)을 수행하는 단계 및 통신모듈과 연결된 프로세서가 통신모듈로부터 전달되는 캘리브레이션값을 기초로 손의 디지털 형상을 생성하는 단계를 포함할 수 있다.A hand motion tracking method for safety education of a virtual reality-based running agricultural machine according to an embodiment of the present invention includes the step of detecting a movement of a finger by a bending sensor of a motion tracking device, and a control module of the motion tracking device is a bending sensor. Generating finger motion information based on the measured value of, the communication module calibrating the finger motion information received from the control module, and the processor connected to the communication module, which is transmitted from the communication module. And generating a digital shape of the hand based on the value.

본 발명의 일 실시 예에 따른 손가락의 움직임 정보를 생성하는 단계에서는, 제어모듈이 구부림 센서의 측정값을 디지털 신호로 변환하고, 손의 위치 정보를 결합함으로써, 소정의 범위값을 갖는 손가락의 움직임 정보를 생성할 수 있다.In the step of generating finger motion information according to an embodiment of the present invention, the control module converts the measured value of the bend sensor into a digital signal and combines the position information of the hand, thereby moving the finger having a predetermined range value. Can generate information.

본 발명의 일 실시 예에 따른 캘리브레이션을 수행하는 단계에서는, 통신모듈이 검지 및 중지 각각에 대한 굽힘 상태값과 펼침 상태값을 이용하여 검지 및 중지의 움직임의 최대값과 최소값을 추정하고, 최대값과 최소값을 기초로 제어모듈로부터 수신된 손가락의 움직임 정보를 소정의 범위 내의 수치값으로 변환할 수 있다.In the step of performing calibration according to an embodiment of the present invention, the communication module estimates the maximum and minimum values of the movements of the detection and stop using the bending state values and the unfolding state values for each of the detection and stop, and the maximum value. The finger movement information received from the control module may be converted into a numerical value within a predetermined range based on the and minimum values.

본 발명의 일 실시 예에 따른 손의 디지털 형상을 생성하는 단계에서는, 프로세서가 통신모듈로부터 전달되는 캘리브레이션값을 기초로 주행형 농업기계의 동작을 위한 손가락의 움직임을 4가지 중 하나로 추정할 수 있다. 이때, 4가지의 움직임은 검지 및 중지 각각의 굽힘과 펼침의 조합으로 결정될 수 있다.In the step of generating the digital shape of the hand according to an embodiment of the present invention, the processor may estimate the movement of the finger for the operation of the traveling type agricultural machine as one of four based on the calibration value transmitted from the communication module. . At this time, the four movements may be determined by a combination of bending and spreading of each of the index and middle fingers.

본 발명의 일 실시 예로서 제공되는 손 동작 추적 시스템 및 방법에 따르면, 레버 등 손가락과 유사한 형상을 갖는 물체가 인식 범위에 포함되더라도 물체와 손을 확실하게 구별하여 손 및 손가락의 동작 및 위치를 정확히 인식할 수 있으며, 주행형 농업기계의 안전교육에 필요한 손가락의 움직임만을 정확하게 검출할 수 있다. According to the hand motion tracking system and method provided as an embodiment of the present invention, even if an object having a shape similar to a finger, such as a lever, is included in the recognition range, the object and the hand are clearly distinguished to accurately determine the motion and position of the hand and finger. It can be recognized and can accurately detect only the movement of the fingers necessary for safety education of running agricultural machinery.

또한, 지자기 센서를 전혀 이용하지 않으므로, 철과 같은 금속이 있는 영역의 근방에 손이 위치할 경우에도 자기장의 영향으로 인식된 손의 디지털 형상이 왜곡되는 문제를 해결할 수 있다.In addition, since the geomagnetic sensor is not used at all, it is possible to solve the problem that the digital shape of the hand recognized due to the influence of the magnetic field is distorted even when the hand is located near an area where a metal such as iron is present.

도 1은 본 발명의 일 실시 예에 따른 손 동작 추적 시스템의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 동작 추적 장치의 사시도이다.
도 3은 본 발명의 일 실시 예에 따른 동작 추적 장치의 분해도이다.
도 4는 본 발명의 일 실시 예에 따른 통신모듈에서 수신한 손가락의 움직임 정보를 나타낸 인터페이스 이미지이다.
도 5는 본 발명의 일 실시 예에 따른 검지 및 중지의 굽힘 상태값을 표시한 결과를 나타낸 인터페이스 이미지이다.
도 6은 본 발명의 일 실시 예에 따른 검지 및 중지의 펼침 상태값을 표시한 결과를 나타낸 인터페이스 이미지이다.
도 7은 본 발명의 일 실시 예에 따른 4가지의 손가락 움직임을 나타낸 이미지이다.
도 8은 본 발명의 일 실시 예에 따른 트래커와 손목 관절의 좌표계를 나타낸 이미지이다.
도 9는 본 발명의 일 실시 예에 따른 손 동작 추적 방법의 순서도이다.1 is a block diagram of a hand motion tracking system according to an embodiment of the present invention.
2 is a perspective view of a motion tracking device according to an embodiment of the present invention.
3 is an exploded view of a motion tracking device according to an embodiment of the present invention.
4 is an interface image showing finger motion information received from a communication module according to an embodiment of the present invention.
5 is an interface image showing a result of displaying bending state values of an index finger and a middle finger according to an embodiment of the present invention.
6 is an interface image showing a result of displaying the unfolded state values of an index finger and a middle finger according to an embodiment of the present invention.
7 is an image showing four finger movements according to an embodiment of the present invention.
8 is an image showing a coordinate system of a tracker and a wrist joint according to an embodiment of the present invention.
9 is a flowchart of a hand motion tracking method according to an embodiment of the present invention.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.The terms used in the present specification will be briefly described, and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. Terms used in the present invention have selected general terms that are currently widely used as possible while taking functions of the present invention into consideration, but this may vary according to the intention or precedent of a technician working in the field, the emergence of new technologies, and the like. In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning of the terms will be described in detail in the description of the corresponding invention. Therefore, the terms used in the present invention should be defined based on the meaning of the term and the overall contents of the present invention, not a simple name of the term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 구성을 사이에 두고" 연결되어 있는 경우도 포함한다.When a part of the specification is said to "include" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary. In addition, terms such as "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software. In addition, when a part is said to be "connected" with another part throughout the specification, this includes not only the case of being "directly connected" but also the case of being connected "with another configuration in the middle".

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and similar reference numerals are attached to similar parts throughout the specification.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 손 동작 추적 시스템의 블록도이다.1 is a block diagram of a hand motion tracking system according to an embodiment of the present invention.

또한, 도 2는 본 발명의 일 실시 예에 따른 동작 추적 장치(100)의 사시도, 도 3은 본 발명의 일 실시 예에 따른 동작 추적 장치(100)의 분해도이다.In addition, FIG. 2 is a perspective view of a motion tracking device 100 according to an embodiment of the present invention, and FIG. 3 is an exploded view of the motion tracking device 100 according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 시스템은, 사용자의 왼손 또는 오른손에 각각 착용 가능한 동작 추적 장치(100), 동작 추적 장치(100)와의 무선 통신을 수행하는 통신모듈(200) 및 통신모듈(200)과 연결되어 주행형 농업기계의 안전교육용 가상현실을 구현하는 프로세서(300)를 포함할 수 있다. 이때, 통신모듈(200)과 프로세서(300)는 별개의 구성으로서 USB(universal serial bus) 등을 통한 시리얼 통신을 통해 연결될 수 있으며, 도 1과 같이 컴퓨팅 장치(computer device: 200)에 하나의 구성으로 형성되어 유무선 통신을 통해 연결될 수도 있다.Referring to FIG. 1, a hand motion tracking system for safety education of a virtual reality-based running agricultural machine according to an embodiment of the present invention includes a motion tracking device 100 that can be worn on the user's left or right hand, respectively, and motion tracking. It may include a communication module 200 for performing wireless communication with the device 100 and a processor 300 connected to the communication module 200 to implement a virtual reality for safety education of a running agricultural machine. At this time, the communication module 200 and the processor 300 are separate configurations and may be connected through serial communication through a universal serial bus (USB), etc., and one configuration in a computing device 200 as shown in FIG. 1 It can also be connected through wired or wireless communication.

본 발명의 일 실시 예에 따르면, 통신모듈(200)은 동작 추적 장치(100)의 트래커(80)와 간섭이 없는 주파수를 선택하여 무선 통신을 수행할 수 있다. 만약 일정한 장소에 동작 추적 장치(100)가 여러 개가 존재하는 경우, 이를 선택적으로 구별하여 손 동작을 추적할 수 있도록 하기 위해 동작 추적 장치들(100) 각각에는 고유 정보가 할당될 수 있다. 통신 모듈은 무선 통신 과정에서 동작 추적 장치들(100)의 고유 정보를 토대로 동작 추적 장치들(100)을 식별할 수 있다. 이때, 고유 정보의 할당은 프로세서(300)에 의해 수행될 수 있으며, 고유 정보의 수정, 변경 등도 프로세서(300)에 의해 수행될 수 있다.According to an embodiment of the present invention, the communication module 200 may perform wireless communication by selecting a frequency without interference with the tracker 80 of the motion tracking device 100. If there are multiple motion tracking devices 100 in a certain place, unique information may be assigned to each of the motion tracking devices 100 in order to selectively distinguish them and track hand motions. The communication module may identify the motion tracking devices 100 based on unique information of the motion tracking devices 100 in a wireless communication process. In this case, the allocation of the unique information may be performed by the processor 300, and correction or change of the unique information may also be performed by the processor 300.

도 2 및 도 3을 참조하면, 본 발명의 일 실시 예에 따른 동작 추적 장치(100)는 패브릭(fabric) 소재의 장갑(10), 손가락의 움직임 정보를 생성하는 제어모듈(20), 전원 공급을 위한 배터리(30), 트래커(80)를 장갑(10)에 고정시키기 위해 장갑(10)에 구비되는 볼트형 체결부재(40), 장갑(10)의 검지 및 중지에 배치되어 손가락의 움직임을 감지하는 구부림 센서(70), 제 1 케이스(50), 제 2 케이스(60) 및 가상현실 상에서 손의 디지털 형상을 구현할 수 있도록 손의 위치 및 전반적인 동작을 추적하는 트래커(80)를 포함할 수 있다. 이때, 제 1 케이스(50)에는 제어모듈(20), 배터리(30) 및 볼트형 체결부재(40)가 내부에 수용될 수 있다. 제 2 케이스(60)에는 구부림 센서(70) 및 제 1 케이스(50)가 내부에 수용될 수 있다. 2 and 3, a motion tracking device 100 according to an embodiment of the present invention includes a glove 10 made of a fabric material, a control module 20 for generating movement information of a finger, and a power supply. For fixing the battery 30, the tracker 80 to the glove 10, the bolt-type fastening member 40 provided in the glove 10, the glove 10 is disposed on the index finger and middle finger to prevent movement of the finger. It may include a bending sensor 70 to detect, a first case 50, a second case 60, and a tracker 80 for tracking the position and overall motion of the hand so as to implement a digital shape of the hand in virtual reality. have. In this case, the control module 20, the battery 30, and the bolt-type fastening member 40 may be accommodated in the first case 50. The bending sensor 70 and the first case 50 may be accommodated in the second case 60.

예를 들어, 도 3과 같이 장갑(10)의 손등 영역에 제어모듈(20), 배터리(30), 볼트형 체결부재(40)가 차례대로 적층되면, 이들을 보호하고 고정하기 위한 제 1 케이스(50)가 장갑(10)의 손등 영역에 결합될 수 있다. 이때, 제 1 케이스(50)는 제어모듈(20), 배터리(30), 볼트형 체결부재(40)가 안착될 수 있도록 일면이 개방되고 내부에 빈 공간이 형성된 박스형태일 수 있다. 장갑(10)의 검지 및 중지 영역에 구부림 센서(70)가 배치되면, 구부림 센서(70)와 제 1 케이스(50)를 보호하고 고정하기 위한 제 2 케이스(60)가 장갑(10)의 검지, 중지 및 손등 영역에 결합될 수 있다. 즉, 제 2 케이스(60)는 장갑(10)의 검지, 중지 및 손등 영역을 안정적으로 감쌀 수 있도록 일면이 개방되고 내부에 빈 공간이 형성될 수 있다. For example, when the control module 20, the battery 30, and the bolt-type fastening member 40 are sequentially stacked on the back area of the hand of the glove 10 as shown in FIG. 3, a first case for protecting and fixing them ( 50) may be coupled to the area of the back of the hand of the glove 10. In this case, the first case 50 may be in the form of a box whose one surface is open so that the control module 20, the battery 30, and the bolt-type fastening member 40 can be seated and an empty space is formed therein. When the bend sensor 70 is disposed in the detection and middle region of the glove 10, the second case 60 for protecting and fixing the bend sensor 70 and the first case 50 is detected by the glove 10. , Can be combined in the middle and back areas of the hand. That is, one side of the second case 60 may be opened so as to stably wrap the area of the index finger, middle finger, and back of the hand of the glove 10 and an empty space may be formed therein.

또한, 도 3을 참조하면, 제 1 케이스(50) 및 제 2 케이스(60)에는 볼트형 체결부재(40)가 트래커(80)와 결합될 수 있도록 볼트형 체결부재(40)가 관통하는 홀이 형성될 수 있다. 즉, 볼트형 체결부재(40)는 제 1 케이스(50) 및 제 2 케이스(60)의 내부에 수용되므로, 제 2 케이스(60)의 상단면에서 트래커(80)와 볼트형 체결부재(40)가 결합될 수 있도록 제 1 케이스(50) 및 제 2 케이스(60)의 일면에는 관통홀이 형성될 수 있다. 관통홀을 통과한 볼트형 체결부재(40)의 노출부위와 트래커(80)의 하단면이 상호 결합됨으로써, 트레커는 장갑(10)에 장착될 수 있다.In addition, referring to FIG. 3, holes through which the bolt-type fastening member 40 passes so that the bolt-type fastening member 40 can be coupled to the tracker 80 in the first case 50 and the second case 60. Can be formed. That is, since the bolt-type fastening member 40 is accommodated in the first case 50 and the second case 60, the tracker 80 and the bolt-type fastening member 40 on the top surface of the second case 60 A through hole may be formed on one surface of the first case 50 and the second case 60 so that) can be coupled. The exposed portion of the bolt-type fastening member 40 that has passed through the through hole and the bottom surface of the tracker 80 are coupled to each other, so that the tracker can be mounted on the glove 10.

이때, 장갑(10)에는 볼트형 체결부재(40)가 흔들리지 않도록 고정키기 위해서 관통홀을 통과하여 노출된 볼트형 체결부재(40)와 연결되는 밴딩부재가 구비될 수 있다. 밴딩부재가 장갑(10)의 손등 영역을 감싸도록 구비되어 볼트형 체결부재(40)와 연결되면, 장갑(10)의 양 측면에서 작용하는 밴딩의 탄성력에 의해 볼트형 체결부재(40)가 흔들리지 않고 안정적으로 고정될 수 있다.At this time, the armor 10 may be provided with a banding member connected to the bolt-type fastening member 40 exposed through the through hole in order to fix the bolt-type fastening member 40 so as not to shake. When the banding member is provided to surround the area of the back of the hand of the glove 10 and connected to the bolted fastening member 40, the bolted fastening member 40 is not shaken by the elastic force of the banding acting on both sides of the glove 10. Can be fixed stably without.

본 발명의 일 실시 예에 따른 제어모듈(20)은, 구부림 센서(70)의 측정값을 디지털 신호로 변환하고, 손의 위치 정보를 결합함으로써, 소정의 범위값을 갖는 손가락의 움직임 정보를 생성할 수 있다. 예를 들어, 제어모듈(20)은 아날로그 신호인 구부림 센서(70)의 측정값을 디지털 신호로 변환하고, 이와 동시에 동작 추적 장치(100)가 왼손인지 또는 오른손인지 여부를 나타내는 손의 위치 정보를 추출할 수 있다. 제어모듈(20)은 디지털 신호로 변환된 측정값과 추출된 손의 위치 정보를 결합하여 0 내지 255 사이의 수치값으로 표현할 수 있다. 즉, 제어모듈(20)은 구부림 센서(70)의 측정값을 기초로 0 내지 255 사이의 수치값으로 표현되는 검지 및 중지의 움직임 정보를 생성할 수 있다. 제어모듈(20)은 통신모듈(200)로부터 움직임 정보를 요청하시는 호출 신호를 수신하면, 무선 통신을 통해 움직임 정보를 통신모듈(200)로 송신할 수 있다. 이때, 무선 통신에 이용되는 주파수는 2.4GHz일 수 있다.The control module 20 according to an embodiment of the present invention converts the measured value of the bend sensor 70 into a digital signal and combines the position information of the hand, thereby generating movement information of the finger having a predetermined range value. can do. For example, the control module 20 converts the measured value of the bend sensor 70, which is an analog signal, into a digital signal, and at the same time, the motion tracking device 100 receives position information of the hand indicating whether it is a left hand or a right hand. Can be extracted. The control module 20 may combine the measured value converted into a digital signal and the extracted position information of the hand to represent a numerical value between 0 and 255. That is, the control module 20 may generate movement information of the detection and middle finger expressed as a numerical value between 0 and 255 based on the measured value of the bending sensor 70. When the control module 20 receives a call signal requesting motion information from the communication module 200, the control module 20 may transmit the motion information to the communication module 200 through wireless communication. In this case, the frequency used for wireless communication may be 2.4 GHz.

도 4는 본 발명의 일 실시 예에 따른 통신모듈(200)에서 수신한 손가락의 움직임 정보를 나타낸 인터페이스 이미지, 도 5는 본 발명의 일 실시 예에 따른 검지 및 중지의 굽힘 상태값을 표시한 결과를 나타낸 인터페이스 이미지, 도 6은 본 발명의 일 실시 예에 따른 검지 및 중지의 펼침 상태값을 표시한 결과를 나타낸 인터페이스 이미지다.4 is an interface image showing finger motion information received from the communication module 200 according to an embodiment of the present invention, and FIG. 5 is a result of displaying the bending state values of the index and middle fingers according to an embodiment of the present invention. FIG. 6 is an interface image showing a result of displaying the unfolded state values of the detection and middle finger according to an embodiment of the present invention.

본 발명의 일 실시 예에 따른 통신모듈(200)은, 제어모듈(20)로부터 수신된 손가락의 움직임 정보에 대한 캘리브레이션(calibration)을 수행할 수 있다. 구체적으로 통신모듈(200)은 검지 및 중지 각각에 대한 굽힘 상태값과 펼침 상태값을 이용하여 검지 및 중지의 움직임의 최대값과 최소값을 추정하고, 최대값과 최소값을 기초로 제어모듈(20)로부터 수신된 손가락의 움직임 정보를 소정의 범위 내의 수치값으로 변환할 수 있다. 즉, 통신모듈(200)은 동작 추적 장치(100)의 제어모듈(20)에서 전달된 검지 및 중지의 움직임 정보가 후술할 4가지의 손가락 움직임으로 표현할 수 있도록 움직임 정보를 교정하는 작업을 수행할 수 있다.The communication module 200 according to an embodiment of the present invention may calibrate the finger motion information received from the control module 20. Specifically, the communication module 200 estimates the maximum and minimum values of the movement of the detection and stop using the bending state value and the unfolding state value for each of the detection and stop, and the control module 20 based on the maximum and minimum values. The movement information of the finger received from may be converted into a numerical value within a predetermined range. That is, the communication module 200 performs a task of correcting the motion information so that the motion information of the index finger and the middle finger transmitted from the control module 20 of the motion tracking device 100 can be expressed as four finger movements to be described later. I can.

예를 들어, 통신모듈(200)은 도 4에서 표현된 바와 같이 제어 모듈 및 트래커(80)로부터 동작 추적 장치(100)의 고유정보, 왼손 장치(110)와 오른손 장치(120) 각각의 검지값, 중지값 및 전압값 등을 수신할 수 있다. 도 5에서 표현된 바와 같이 검지와 중지가 모두 구부러진 경우, 통신모듈(200)은 검지 및 중지 각각에 대한 굽힘 상태값에 해당하는 움직임 정보를 수신할 수 있다. 또한, 도 6에서 표현된 바와 같이 검지와 중지가 모두 펼쳐진 경우, 통신모듈(200)은 검지 및 중지 각가에 대한 펼침 상태값에 해당하는 움직임 정보를 수신할 수 있다. 통신모듈(200)은 이와 같이 0 내지 266 사이의 수치값으로 표현되는 검지 및 중지의 움직임 정보에서 최대값과 최소값을 추정하고, 이를 0 내지 100 사이의 수치값으로 캘리브레이션할 수 있다.For example, the communication module 200 includes the unique information of the motion tracking device 100 from the control module and the tracker 80, as shown in FIG. 4, and the detection values of each of the left-hand device 110 and the right-hand device 120 , A stop value and a voltage value, etc. can be received. As illustrated in FIG. 5, when both the index finger and the middle finger are bent, the communication module 200 may receive motion information corresponding to a bending state value for each of the index finger and the middle finger. In addition, as illustrated in FIG. 6, when both the index finger and the middle finger are unfolded, the communication module 200 may receive motion information corresponding to the unfolded state value for each of the index finger and the middle finger. The communication module 200 may estimate the maximum value and the minimum value from the motion information of the index finger and the middle finger expressed as a numerical value between 0 and 266, and calibrate it to a numeric value between 0 and 100.

도 7은 본 발명의 일 실시 예에 따른 4가지의 손가락 움직임을 나타낸 이미지, 도 8은 본 발명의 일 실시 예에 따른 트래커와 손목 관절의 좌표계를 나타낸 이미지이다.7 is an image showing four finger movements according to an embodiment of the present invention, and FIG. 8 is an image showing a coordinate system of a tracker and a wrist joint according to an embodiment of the present invention.

본 발명의 일 실시 예에 따른 프로세서(300)는, 통신모듈(200)로부터 전달되는 캘리브레이션값을 기초로 주행형 농업기계의 동작을 위한 손가락의 움직임을 4가지 중 하나로 추정할 수 있다. 이때, 4가지의 움직임은 도 7과 같은 검지 및 중지 각각의 굽힘과 펼침의 조합으로 결정될 수 있다. 즉, 프로세서(300)는 0 내지 100 사이의 수치값 중 하나로 표현되는 캘리브레이션값을 기초로 검지와 중지의 굽힘 또는 펼침을 분석하고, 이를 기초로 손가락의 움직임을 4가지 중 하나로 추정하여 손의 디지털 형상을 생성할 수 있다. 다시 말해서, 프로세서(300)는 이와 같은 주행형 농업기계의 안전교육에 최적화된 4가지의 손가락 움직임을 검지와 중지의 움직임만으로도 정확하게 검출할 수 있다.Processor 300 according to an embodiment of the present invention, based on the calibration value transmitted from the communication module 200 may estimate the movement of the finger for the operation of the driving type agricultural machine as one of four. At this time, the four movements may be determined by a combination of bending and spreading of the index finger and middle finger as shown in FIG. 7. That is, the processor 300 analyzes the bending or spread of the index finger and middle finger based on a calibration value expressed as one of numerical values between 0 and 100, and estimates the movement of the finger as one of four based on the calibration value. You can create a shape. In other words, the processor 300 can accurately detect four finger movements optimized for safety education of such a traveling agricultural machine by only the movement of the index and middle fingers.

예를 들어, 프로세서(300)를 통해 추정되는 4가지의 움직임은 도 7의 (a)와 같은 엄지와 검지를 이용한 집게 모션, 도 7의 (b)와 같은 검지를 이용하여 누르는 클릭(click) 모션, 도 7의 (c)와 같은 손가락 전체를 이용하여 레버 등을 잡는 홀딩(holding) 모션, 도 7의 (d)와 같은 손가락 전체를 이용한 정지 모션으로 구분될 수 있다. 이러한 4가지의 움직임은 각각 검지 및 중지가 굽혀졌는지 혹은 펼쳐졌는지 여부에 따라 결정될 수 있다. 즉, 프로세서(300)가 캘리브레이션값을 기초로 중지는 펴고 검지는 구부린 것으로 분석한 경우, 손가락 움직임은 도 7의 (a)와 같은 집게 모션으로 추정될 수 있다. 프로세서(300)가 캘리브레이션값을 기초로 중지는 구부리고 검지는 편 것으로 분석한 경우, 손가락 움직임은 도 7의 (b)와 같은 클릭 모션으로 추정될 수 있다. 프로세서(300)가 캘리브레이션값을 기초로 중지와 검지 모두 구부린 것으로 분석한 경우, 손가락 움직임은 도 7의 (c)와 같은 홀딩 모션으로 추정될 수 있다. 프로세서(300)가 캘리브레이션값을 기초로 중지와 검지 모두 편 것으로 분석한 경우, 손가락 움직임은 도 7의 (d)와 같은 정지 모션으로 추정될 수 있다.For example, the four movements estimated by the processor 300 are a forefinger motion using a thumb and index finger as shown in FIG. 7(a), and a click that is pressed using an index finger as shown in FIG. 7(b). Motion, a holding motion using the entire finger as shown in FIG. 7(c), and a holding motion using the entire finger as shown in FIG. 7(d), may be divided into a stop motion. These four movements can be determined depending on whether the index and middle fingers are bent or extended, respectively. That is, when the processor 300 analyzes that the middle finger is unfolded and the index finger is bent based on the calibration value, the finger movement may be estimated as a forefinger motion as shown in FIG. 7A. When the processor 300 analyzes that the middle finger is bent and the index finger is flat based on the calibration value, the finger movement may be estimated as a click motion as shown in FIG. 7B. When the processor 300 analyzes that both the middle finger and the index finger are bent based on the calibration value, the finger movement may be estimated as a holding motion as shown in FIG. 7C. When the processor 300 analyzes that both the middle finger and the index finger are flat based on the calibration value, the finger movement may be estimated as a stop motion as shown in (d) of FIG. 7.

또한, 도 8을 참조하면, 본 발명의 일 실시 예에 따른 프로세서(300)는, 동작 추적 장치(100)의 트래커(80)의 좌표값을 손목 위치로 보정할 수 있다. 즉, 트래커(80)는 장갑(10)의 손등 영역에 위치하므로, 손목의 회전에 따른 손의 움직임을 보다 정확히 손의 디지털 형상의 구현에 반영하기 위해 프로세서(300)는 트래커(80)의 좌표값을 손목 위치로 보정할 수 있다. 이러한 보정 과정은 하기와 같은 [식 1] 및 [식 2]를 통해 수행될 수 있다.Further, referring to FIG. 8, the processor 300 according to an embodiment of the present invention may correct a coordinate value of the tracker 80 of the motion tracking apparatus 100 to a wrist position. That is, since the tracker 80 is located in the area of the back of the hand of the glove 10, in order to more accurately reflect the movement of the hand according to the rotation of the wrist to the realization of the digital shape of the hand, the processor 300 coordinates the tracker 80 The value can be calibrated to the wrist position. This correction process may be performed through the following [Equation 1] and [Equation 2].

[식 1][Equation 1]

Figure pat00001
Figure pat00001

[식 2][Equation 2]

Figure pat00002
Figure pat00002

여기서, PTracker는 트래커(80)의 밑면 좌표(xt, yt, zt), PD는 트래커(80)로부터 손바닥 피벗(pivot)까지의 좌표(xd, yd, -zd), Phollow는 손바닥의 피벗 좌표(xh, yh, zh), xd는 트래커(80)의 밑면에서 손바닥 피벗까지의 x축으로 수평거리, yd는 트래커(80)의 밑면에서 손바닥 피벗까지의 y축으로 수평거리, zd는 트래커(80) 중심으로부터 손바닥 피벗까지의 z축으로 수직거리를 의미한다. 또한, RTracker(ψ, θ, φ)는 트래커(80)의 회전 매트릭스, ψ, θ 및 φ는 트래커(80)의 xt, yt, zt축을 기준으로 한 회전각을 의미한다.Here, P Tracker is the coordinates of the bottom of the tracker 80 (x t , y t , z t ), and P D is the coordinates from the tracker 80 to the palm pivot (x d , y d , -z d ) , P hollow is the pivot coordinate of the palm (x h , y h , z h ), x d is the horizontal distance from the bottom of the tracker 80 to the palm pivot, y d is the palm from the bottom of the tracker 80 The horizontal distance to the pivot in the y-axis, and z d refers to the vertical distance in the z-axis from the center of the tracker 80 to the palm pivot. In addition, R Tracker (ψ, θ, φ) denotes a rotation matrix of the tracker 80, and ψ, θ, and φ denote rotation angles based on the x t , y t and z t axes of the tracker 80.

즉, 프로세서(300)는 [식 1] 및 [식 2]를 이용한 오일러 앵글(Euler angle) 방식의 연산 과정을 수행할 수 있다. 오일러 앵글 방식은 3차원 공간의 절대 좌표를 기준으로 물체가 얼마나 회전했는지를 측정하는 방식으로, x, y, z 축을 차례대로 회전시키는 방법을 이용한다. 이때, x, y, z축 중 2개의 축이 겹쳐졌을 때, 어느 축으로도 회전하지 않고 잠기는 현상인 짐벌 락 현상이 발생할 수 있다. 이러한 짐벌 락 현상을 해결하기 위해 프로세서(300)는 쿼터니언(quaternion)를 사용하여 세축을 차례대로 회전시키는 것이 아닌 세 축을 동시에 회전시키는 방식을 사용하여 연산을 수행할 수 있다. 프로세서(300)는 회전(rotate) 함수를 쿼터니언으로 자동으로 변형하고, 쿼터니언 타입의 속성인 로테이션(rotation)은 쿼터니언.오일러(x, y, z) 함수를 이용해 오일러 앵글을 쿼터니언 타입으로 변형되어 대입될 수 있다.That is, the processor 300 may perform an Euler angle calculation process using [Equation 1] and [Equation 2]. The Euler angle method measures how much an object has rotated based on absolute coordinates in 3D space, and uses a method of rotating the x, y, and z axes in sequence. At this time, when two of the x, y, and z axes overlap, a gimbal lock phenomenon, which is a phenomenon that is locked without rotating to any axis, may occur. In order to solve such a gimbal lock phenomenon, the processor 300 may perform calculation using a method of simultaneously rotating three axes instead of rotating three axes in turn using a quaternion. The processor 300 automatically transforms the rotation function into a quaternion, and the rotation, which is a property of the quaternion type, is substituted by transforming the Euler angle into a quaternion type using a quaternion.Euler (x, y, z) function. Can be.

한편, 본 발명의 일 실시 예에 따른 방법과 관련하여서는 전술한 시스템에 대한 내용이 적용될 수 있다. 따라서, 방법과 관련하여, 전술한 시스템에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.Meanwhile, in relation to the method according to an embodiment of the present invention, the contents of the above-described system may be applied. Therefore, with respect to the method, descriptions of the same contents as those of the above-described system have been omitted.

도 9는 본 발명의 일 실시 예에 따른 손 동작 추적 방법의 순서도이다.9 is a flowchart of a hand motion tracking method according to an embodiment of the present invention.

도 9를 참조하면, 본 발명의 일 실시 예에 따른 가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 방법은, 동작 추적 장치(100)의 구부림 센서(70)가 손가락의 움직임을 감지하는 단계(S100), 동작 추적 장치(100)의 제어모듈(20)이 구부림 센서(70)의 측정값을 기초로 손가락의 움직임 정보를 생성하는 단계(S200), 통신모듈(200)이 제어모듈(20)로부터 수신된 손가락의 움직임 정보에 대한 캘리브레이션(calibration)을 수행하는 단계(S300) 및 통신모듈(200)과 연결된 프로세서(300)가 통신모듈(200)로부터 전달되는 캘리브레이션값을 기초로 손의 디지털 형상을 생성하는 단계(S400)를 포함할 수 있다.9, the hand motion tracking method for safety education of a virtual reality-based running agricultural machine according to an embodiment of the present invention, the bending sensor 70 of the motion tracking device 100 detects the movement of the finger Step (S100), the control module 20 of the motion tracking device 100 generates finger movement information based on the measured value of the bending sensor 70 (S200), the communication module 200 is a control module Performing calibration on the movement information of the finger received from (20) (S300) and the processor 300 connected to the communication module 200, based on the calibration value transmitted from the communication module 200 It may include the step of generating a digital shape (S400).

본 발명의 일 실시 예에 따른 손가락의 움직임 정보를 생성하는 단계에서는, 제어모듈(20)이 구부림 센서(70)의 측정값을 디지털 신호로 변환하고, 손의 위치 정보를 결합함으로써, 소정의 범위값을 갖는 손가락의 움직임 정보를 생성할 수 있다.In the step of generating finger motion information according to an embodiment of the present invention, the control module 20 converts the measured value of the bend sensor 70 into a digital signal and combines the position information of the hand, thereby providing a predetermined range. Finger motion information having a value can be generated.

본 발명의 일 실시 예에 따른 캘리브레이션을 수행하는 단계에서는, 통신모듈(200)이 검지 및 중지 각각에 대한 굽힘 상태값과 펼침 상태값을 이용하여 검지 및 중지의 움직임의 최대값과 최소값을 추정하고, 최대값과 최소값을 기초로 제어모듈(20)로부터 수신된 손가락의 움직임 정보를 소정의 범위 내의 수치값으로 변환할 수 있다.In the step of performing calibration according to an embodiment of the present invention, the communication module 200 estimates the maximum and minimum values of the movements of the index finger and the middle finger by using the bending state value and the unfolding state value for each of the detection and stop. , Based on the maximum value and the minimum value, the finger motion information received from the control module 20 may be converted into a numerical value within a predetermined range.

본 발명의 일 실시 예에 따른 손의 디지털 형상을 생성하는 단계에서는, 프로세서(300)가 통신모듈(200)로부터 전달되는 캘리브레이션값을 기초로 주행형 농업기계의 동작을 위한 손가락의 움직임을 4가지 중 하나로 추정할 수 있다. 이때, 4가지의 움직임은 검지 및 중지 각각의 굽힘과 펼침의 조합으로 결정될 수 있다.In the step of generating the digital shape of the hand according to an embodiment of the present invention, the processor 300 performs four finger movements for the operation of the traveling agricultural machine based on the calibration value transmitted from the communication module 200. It can be estimated as one of them. At this time, the four movements may be determined by a combination of bending and spreading of each of the index and middle fingers.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustrative purposes only, and those of ordinary skill in the art to which the present invention pertains will be able to understand that other specific forms can be easily modified without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative and non-limiting in all respects. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. .

10: 장갑 20: 제어모듈
30: 배터리 40: 볼트형 체결부재
50: 제 1 케이스 60: 제 2 케이스
70: 구부림 센서 80: 트래커
100: 동작 추적 장치 110: 왼손 동작 추적 장치
120: 오른손 동작 추적 장치
200: 컴퓨팅 장치 210: 통신모듈
220: 프로세서10: armor 20: control module
30: battery 40: bolt-type fastening member
50: first case 60: second case
70: bending sensor 80: tracker
100: motion tracking device 110: left hand motion tracking device
120: right hand motion tracking device
200: computing device 210: communication module
220: processor

Claims (10)

가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 시스템으로서,
장갑, 상기 장갑에 장착 가능한 트래커, 상기 트래커를 상기 장갑에 고정시키기 위해 상기 장갑에 구비되는 볼트형 체결부재, 상기 장갑의 검지 및 중지에 배치되어 손가락의 움직임을 감지하는 구부림 센서 및 상기 구부림 센서의 측정값을 기초로 상기 손가락의 움직임 정보를 생성하는 제어모듈을 포함하는 동작 추적 장치;
상기 제어모듈로부터 수신된 손가락의 움직임 정보에 대한 캘리브레이션(calibration)을 수행하는 통신모듈; 및
상기 통신모듈과 연결되어 상기 통신모듈로부터 전달되는 캘리브레이션값을 기초로 손의 디지털 형상을 생성하는 프로세서를 포함하는 손 동작 추적 시스템.
As a hand motion tracking system for safety education of driving agricultural machinery based on virtual reality,
A glove, a tracker attachable to the glove, a bolt-type fastening member provided on the glove to fix the tracker to the glove, a bending sensor disposed on the index finger and middle finger of the glove to detect movement of the finger, and the bending sensor. A motion tracking device including a control module that generates motion information of the finger based on the measured value;
A communication module that calibrates the finger motion information received from the control module; And
A hand motion tracking system comprising a processor connected to the communication module and generating a digital shape of a hand based on a calibration value transmitted from the communication module.
 제 1 항에 있어서,
상기 동작 추적 장치는,
상기 제어모듈 및 볼트형 체결부재를 내부에 수용하는 제 1 케이스 및 상기 구부림 센서와 제 1 케이스를 내부에 수용하는 제 2 케이스를 포함하는 것을 특징으로 하는 손 동작 추적 시스템.
The method of claim 1,
The motion tracking device,
A hand motion tracking system, comprising: a first case accommodating the control module and the bolt-type fastening member therein, and a second casing accommodating the bend sensor and the first case therein.
 제 2 항에 있어서,
상기 제 1 케이스 및 제 2 케이스에는,
상기 볼트형 체결부재가 상기 트래커와 결합될 수 있도록 상기 볼트형 체결부재가 관통하는 홀이 형성되는 것을 특징으로 하는 손 동작 추적 시스템.
The method of claim 2,
In the first case and the second case,
A hand motion tracking system, characterized in that a hole through which the bolt-type fastening member passes is formed so that the bolt-type fastening member can be coupled to the tracker.
 제 1 항에 있어서,
상기 제어모듈은,
상기 구부림 센서의 측정값을 디지털 신호로 변환하고, 상기 손의 위치 정보를 결합함으로써, 소정의 범위값을 갖는 상기 손가락의 움직임 정보를 생성하는 것을 특징으로 하는 손 동작 추적 시스템.
The method of claim 1,
The control module,
And converting the measured value of the bending sensor into a digital signal and combining the position information of the hand to generate movement information of the finger having a predetermined range value.
 제 1 항에 있어서,
상기 통신모듈은,
상기 검지 및 중지 각각에 대한 굽힘 상태값과 펼침 상태값을 이용하여 상기 검지 및 중지의 움직임의 최대값과 최소값을 추정하고, 상기 최대값과 최소값을 기초로 상기 제어모듈로부터 수신된 손가락의 움직임 정보를 소정의 범위 내의 수치값으로 변환하는 것을 특징으로 하는 손 동작 추적 시스템.
The method of claim 1,
The communication module,
The maximum and minimum values of the movement of the index and middle are estimated using the bending state value and the spreading state value for each of the index and middle fingers, and movement information of the finger received from the control module based on the maximum and minimum values. A hand motion tracking system, characterized in that converting into a numerical value within a predetermined range.
 제 1 항에 있어서,
상기 프로세서는,
상기 통신모듈로부터 전달되는 캘리브레이션값을 기초로 주행형 농업기계의 동작을 위한 손가락의 움직임을 4가지 중 하나로 추정하며,
상기 4가지의 움직임은 상기 검지 및 중지 각각의 굽힘과 펼침의 조합으로 결정되는 것을 특징으로 하는 손 동작 추적 시스템.
The method of claim 1,
The processor,
Based on the calibration value transmitted from the communication module, the movement of the finger for the operation of the traveling agricultural machine is estimated as one of four,
The four movements are hand motion tracking system, characterized in that determined by a combination of bending and spreading of each of the index finger and middle finger.
 가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 방법으로서,
동작 추적 장치의 구부림 센서가 손가락의 움직임을 감지하는 단계;
상기 동작 추적 장치의 제어모듈이 상기 구부림 센서의 측정값을 기초로 상기 손가락의 움직임 정보를 생성하는 단계;
통신모듈이 상기 제어모듈로부터 수신된 손가락의 움직임 정보에 대한 캘리브레이션(calibration)을 수행하는 단계; 및
상기 통신모듈과 연결된 프로세서가 상기 통신모듈로부터 전달되는 캘리브레이션값을 기초로 손의 디지털 형상을 생성하는 단계를 포함하는 손 동작 추적 방법.
As a method of tracking hand movements for safety education of driving agricultural machinery based on virtual reality,
Detecting a movement of a finger by a bending sensor of the motion tracking device;
Generating, by a control module of the motion tracking device, movement information of the finger based on the measured value of the bending sensor;
Performing, by a communication module, calibrating the finger motion information received from the control module; And
And generating, by a processor connected to the communication module, a digital shape of a hand based on a calibration value transmitted from the communication module.
 제 7 항에 있어서,
상기 손가락의 움직임 정보를 생성하는 단계에서는,
상기 제어모듈이 상기 구부림 센서의 측정값을 디지털 신호로 변환하고, 상기 손의 위치 정보를 결합함으로써, 소정의 범위값을 갖는 상기 손가락의 움직임 정보를 생성하는 것을 특징으로 하는 손 동작 추적 방법.
The method of claim 7,
In the step of generating the movement information of the finger,
The control module converts the measured value of the bend sensor into a digital signal and combines the position information of the hand, thereby generating movement information of the finger having a predetermined range value.
 제 7 항에 있어서,
상기 캘리브레이션을 수행하는 단계에서는,
상기 통신모듈이 검지 및 중지 각각에 대한 굽힘 상태값과 펼침 상태값을 이용하여 상기 검지 및 중지의 움직임의 최대값과 최소값을 추정하고, 상기 최대값과 최소값을 기초로 상기 제어모듈로부터 수신된 손가락의 움직임 정보를 소정의 범위 내의 수치값으로 변환하는 것을 특징으로 하는 손 동작 추적 방법.
The method of claim 7,
In the step of performing the calibration,
The communication module estimates the maximum value and minimum value of the movement of the index finger and the middle finger using the bending state value and the spread state value for each of the index finger and the middle finger, and the finger received from the control module based on the maximum value and the minimum value. The hand motion tracking method, characterized in that converting the motion information of the to a numerical value within a predetermined range.
 제 7 항에 있어서,
상기 손의 디지털 형상을 생성하는 단계에서는,
상기 프로세서가 상기 통신모듈로부터 전달되는 캘리브레이션값을 기초로 주행형 농업기계의 동작을 위한 손가락의 움직임을 4가지 중 하나로 추정하며,
상기 4가지의 움직임은 검지 및 중지 각각의 굽힘과 펼침의 조합으로 결정되는 것을 특징으로 하는 손 동작 추적 방법.The method of claim 7,
In the step of generating the digital shape of the hand,
The processor estimates the movement of the finger for the operation of the traveling agricultural machine as one of four based on the calibration value transmitted from the communication module,
The four movements are hand motion tracking method, characterized in that determined by a combination of bending and spreading of each of the index finger and middle finger.
KR1020190117763A 2019-09-24 2019-09-24 Hand motion tracking system and method for safety education of driven agricultural machinery based on virtual reality KR102334543B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190117763A KR102334543B1 (en) 2019-09-24 2019-09-24 Hand motion tracking system and method for safety education of driven agricultural machinery based on virtual reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190117763A KR102334543B1 (en) 2019-09-24 2019-09-24 Hand motion tracking system and method for safety education of driven agricultural machinery based on virtual reality

Publications (2)

Publication Number Publication Date
KR20210035669A true KR20210035669A (en) 2021-04-01
KR102334543B1 KR102334543B1 (en) 2021-12-03

Family

ID=75441603

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190117763A KR102334543B1 (en) 2019-09-24 2019-09-24 Hand motion tracking system and method for safety education of driven agricultural machinery based on virtual reality

Country Status (1)

Country Link
KR (1) KR102334543B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230043285A (en) 2021-09-23 2023-03-31 주식회사 딥비전 Method and apparatus for hand movement tracking using deep learning
WO2023158166A1 (en) * 2022-02-21 2023-08-24 삼성전자 주식회사 Electronic device and operation method thereof

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140033025A (en) 2011-03-25 2014-03-17 오블롱 인더스트리즈, 인크 Fast fingertip detection initializing a vision-based hand tracker
KR101525226B1 (en) * 2014-12-12 2015-06-04 영풍전자(주) Motion recognizing glove for augmented reality
KR20190031735A (en) * 2017-09-18 2019-03-27 김우태 Gloves for Virtual Reality and Agumented Reality
KR101983584B1 (en) * 2018-05-16 2019-05-29 (주)코어센스 Apparatus for recognizing hand motion using flexible sensor and method thereof
KR20190065756A (en) * 2017-12-04 2019-06-12 성민성 A Bicycle Bell
KR20190092782A (en) * 2018-01-31 2019-08-08 (주)유즈브레인넷 Glove-type Motion Recognizing Apparatus Capable of Recognizing Motion of Fingers and Hands on the Space and Recognizing Method thereof
KR20190092777A (en) * 2018-01-31 2019-08-08 (주)유즈브레인넷 Glove-type Motion Recognizing Apparatus and Recognizing Method thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140033025A (en) 2011-03-25 2014-03-17 오블롱 인더스트리즈, 인크 Fast fingertip detection initializing a vision-based hand tracker
KR101525226B1 (en) * 2014-12-12 2015-06-04 영풍전자(주) Motion recognizing glove for augmented reality
KR20190031735A (en) * 2017-09-18 2019-03-27 김우태 Gloves for Virtual Reality and Agumented Reality
KR20190065756A (en) * 2017-12-04 2019-06-12 성민성 A Bicycle Bell
KR20190092782A (en) * 2018-01-31 2019-08-08 (주)유즈브레인넷 Glove-type Motion Recognizing Apparatus Capable of Recognizing Motion of Fingers and Hands on the Space and Recognizing Method thereof
KR20190092777A (en) * 2018-01-31 2019-08-08 (주)유즈브레인넷 Glove-type Motion Recognizing Apparatus and Recognizing Method thereof
KR101983584B1 (en) * 2018-05-16 2019-05-29 (주)코어센스 Apparatus for recognizing hand motion using flexible sensor and method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230043285A (en) 2021-09-23 2023-03-31 주식회사 딥비전 Method and apparatus for hand movement tracking using deep learning
WO2023158166A1 (en) * 2022-02-21 2023-08-24 삼성전자 주식회사 Electronic device and operation method thereof

Also Published As

Publication number Publication date
KR102334543B1 (en) 2021-12-03

Similar Documents

Publication Publication Date Title
US10860091B2 (en) Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
US10534431B2 (en) Tracking finger movements to generate inputs for computer systems
CN107918485B (en) Gesture detection system and method
US11474593B2 (en) Tracking user movements to control a skeleton model in a computer system
US10521011B2 (en) Calibration of inertial measurement units attached to arms of a user and to a head mounted device
US6515669B1 (en) Operation input device applied to three-dimensional input device
KR101284797B1 (en) Apparatus for user interface based on wearable computing environment and method thereof
US11481029B2 (en) Method for tracking hand pose and electronic device thereof
US20100103104A1 (en) Apparatus for user interface based on wearable computing environment and method thereof
Weber et al. A low-cost sensor glove with vibrotactile feedback and multiple finger joint and hand motion sensing for human-robot interaction
US10976863B1 (en) Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
US10775946B2 (en) Universal handheld controller of a computer system
US11237632B2 (en) Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions
KR20140060314A (en) Method of controlling a cursor by measurements of the attitude of a pointer and pointer implementing said method
US11175729B2 (en) Orientation determination based on both images and inertial measurement units
US11054923B2 (en) Automatic switching between different modes of tracking user motions to control computer applications
US11079860B2 (en) Kinematic chain motion predictions using results from multiple approaches combined via an artificial neural network
JP2008135033A (en) Hand posture operation detector
KR102334543B1 (en) Hand motion tracking system and method for safety education of driven agricultural machinery based on virtual reality
WO2020009715A2 (en) Tracking user movements to control a skeleton model in a computer system
JP2008065860A (en) Operation input device
KR102456872B1 (en) System and method for tracking hand motion using strong coupling fusion of image sensor and inertial sensor
US20210318759A1 (en) Input device to control a computing device with a touch pad having a curved surface configured to sense touch input
JP2008102951A (en) Operation input device
JP2008112459A (en) Operation input device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant