WO2019035546A1 - 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치 - Google Patents

3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치 Download PDF

Info

Publication number
WO2019035546A1
WO2019035546A1 PCT/KR2018/006890 KR2018006890W WO2019035546A1 WO 2019035546 A1 WO2019035546 A1 WO 2019035546A1 KR 2018006890 W KR2018006890 W KR 2018006890W WO 2019035546 A1 WO2019035546 A1 WO 2019035546A1
Authority
WO
WIPO (PCT)
Prior art keywords
link member
magnetic sensor
finger
interface device
device based
Prior art date
Application number
PCT/KR2018/006890
Other languages
English (en)
French (fr)
Inventor
김민철
부 룩콩
조재희
이주성
유범재
Original Assignee
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 실감교류인체감응솔루션연구단 filed Critical 재단법인 실감교류인체감응솔루션연구단
Priority to CN201880004571.9A priority Critical patent/CN109997099B/zh
Priority to US16/073,587 priority patent/US10901530B2/en
Publication of WO2019035546A1 publication Critical patent/WO2019035546A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/02—Measuring direction or magnitude of magnetic fields or magnetic flux
    • G01R33/0206—Three-component magnetometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/02—Measuring direction or magnitude of magnetic fields or magnetic flux

Definitions

  • the present invention relates to a finger motion capture interface device based on a three-dimensional magnetic sensor, and more particularly, to a finger motion capture device using a four-degree-of-freedom mechanism capable of accurately sensing and measuring the movement of a finger And more particularly, to a finger motion capture interface device based on a three-dimensional magnetic sensor capable of measuring motion with low cost.
  • a system for tracking a finger with an optical marker and a camera or a technique for measuring finger movements by forming a glove and an exoskeleton using a bending sensor, a potentiometer, and the like.
  • an external camera system is required, and problems such as marker overlapping and blurring occur.
  • the technique of measuring finger movements can not be precisely measured because it is expensive or only 1 to 2 degrees of freedom per finger can be measured.
  • an image and an infrared sensor it is possible to measure only the movement in the visual field, and the measurement value is not accurate due to the overlapping problem of the fingers.
  • Patent Document 1 discloses a " motion capture system using an inertial sensor ".
  • the motion capture system using the inertial sensor includes a plurality of first sensing elements mounted on the upper part of the human body, a plurality of second sensing elements mounted on the lower part of the human body, a first communication part connected to the plurality of first sensing elements, A motion data collection means for collecting motion data of a human body transmitted from the first communication unit and the second communication unit, a display unit for displaying a motion of the human body collected by the motion data collection unit, Means.
  • the plurality of first sensing elements are mounted on at least the vicinity of the spinal center of the human body, the upper left arm, the upper right arm, the left arm, the lower arm, the left arm, the right arm, and the head to sense the movement of the joints in nine axes.
  • the plurality of second sensing elements are mounted on at least the pelvis of the human body, the left thigh, the right thigh, the left calf, the right calf, the left foot, and the right foot to detect movement of the joints in nine axes.
  • each sensor node since each sensor node has already analyzed data and transmits only the collected information to the output device, it does not need a separate external work station, so it can be applied efficiently in terms of processing speed and cost There can be an effect that can be.
  • the first and second sensing elements are equipped with geomagnetic sensor, accelerometer sensor, and gyro sensor, the production cost of the system is relatively high, and the motion capture process is relatively complicated as the motion of the joint is detected by 9 axes. And the measurement error gradually increases as the time increases.
  • the present invention uses a low-cost noncontact three-dimensional magnetic sensor capable of sensing the movement of a finger to apply a 4-DOF mechanism capable of accurately measuring the motion of a finger, And an object of the present invention is to provide a finger motion capturing interface device based on a three-dimensional magnetic sensor capable of accurately measuring motion.
  • Another object of the present invention is to provide a tactile actuator in a fingertip and to make vibrations vibrate when a virtual fingertip touches a virtual object so that a user in a real world can feel the touch as if touching an existent object
  • a finger motion capture interface device based on a three-dimensional magnetic sensor.
  • the engaging hole of the back light fixing member may be formed to have a shape of a long hole.
  • a pair of magnets are arranged in such a manner that the magnetic lines of force flowing out from the N poles of one magnet are introduced into the S poles of the other magnet, and the center axis of each of the pair of magnets They can be arranged to cross each other at right angles.
  • first gear of the second link member and the second gear of the first fixing member may be combined with each other to have a single bevel gear structure.
  • the third gear of the fourth link member and the fourth gear of the second fixing member may be combined with each other to have a single bevel gear structure.
  • the pair of magnets may be disposed in such a manner that the magnetic force lines flowing out from the N poles of one magnet are introduced into the S poles of the other magnet, And the center axes of the magnets may cross each other at right angles.
  • the finger-seating portion of the finger-wearing member may be formed into a curved surface having a predetermined curvature.
  • the end of the finger wearing member may be provided with a tactile generation actuator that transmits feedback when a virtual finger traced to a virtual object is touched.
  • control unit may read the two degrees of freedom motion from the first magnetic sensor of the second link member and the two degrees of freedom motion from the second magnetic sensor of the fourth link member, respectively, and receive the motion of four degrees of freedom.
  • control unit may convert the magnetic force vector values (Bx, By, Bz) received by the first magnetic sensor and the second magnetic sensor into rotational motions of the second link member and the fourth link member, respectively, It is possible to calculate the position and direction of the finger wearing member by extracting the shape of the multi-joint exoskeleton mechanism by applying it to the forward kinematic formula.
  • a three-dimensional magnetic sensor-based finger motion capturing interface device including: a hand holding member, a finger wearing member, and at least one magnetic sensor disposed between the hand holding member and the finger wearing member And a controller for receiving at least one link member, at least one fixing member connecting between the plurality of link members, and a corresponding sensor coordinate system value according to each magnetic force line change sensed by the at least one magnetic sensor, And a controller for extracting a pitch and a yaw motion of each link member based on the coordinate system value and calculating a position of the user's finger based on the extracted pitch and yaw motion values.
  • FIG. 1 is a block diagram of a finger motion capture interface device based on a three-dimensional magnetic sensor according to the present invention.
  • FIG. 2 is a view illustrating a structure of a hand holding member of a finger motion capturing interface device based on a three-dimensional magnetic sensor according to the present invention.
  • FIG 3 is a view illustrating a structure of a first link member of a finger motion capture interface device based on a three-dimensional magnetic sensor according to the present invention.
  • FIG. 4 is a view illustrating a structure of a second link member of a finger motion capture interface device based on a three-dimensional magnetic sensor according to the present invention.
  • FIG. 5 is a view illustrating a structure of a third link member of a finger motion capture interface device based on a three-dimensional magnetic sensor according to the present invention.
  • FIG. 6 is a view illustrating a structure of a fourth link member of a finger motion capture interface device based on a three-dimensional magnetic sensor according to the present invention.
  • FIG. 7 is a view showing a structure of a fifth link member of a finger motion capture interface device based on a three-dimensional magnetic sensor according to the present invention.
  • FIG. 8 is a view showing a structure of a finger wearing member of a finger motion capturing interface device based on a three-dimensional magnetic sensor according to the present invention.
  • FIG. 9 is a view illustrating a structure of a first fixing member of a finger motion capturing interface device based on a three-dimensional magnetic sensor according to the present invention.
  • FIG. 10 is a diagram illustrating a structure of a second fixing member of a finger motion capture interface device based on a three-dimensional magnetic sensor according to the present invention.
  • FIG. 11 is a view for explaining movement of a joint by a bevel gear of a finger motion capture interface device based on a three-dimensional magnetic sensor according to the present invention.
  • FIG. 12 is a view showing a magnetic field measurement sensor and a sensor coordinate system using the magnetic field measurement sensor employed in the finger motion capture interface device based on the three-dimensional magnetic sensor according to the present invention.
  • Fig. 13 is a photograph for showing a basic structure of a human finger.
  • FIG. 14 is a diagram showing the arrangement of sensors and magnets installed in a first joint and a fourth joint of a finger motion capture interface device based on a three-dimensional magnetic sensor according to the present invention.
  • FIG. 15 is a diagram illustrating a relationship between data values of each joint reference sensor and movement of a multi-joint mechanism in a finger motion capture interface device based on a three-dimensional magnetic sensor according to the present invention.
  • FIG. 1 is a diagram showing the overall configuration of a finger motion capture interface device based on a three-dimensional magnetic sensor according to an embodiment of the present invention.
  • a three-dimensional magnetic sensor-based finger motion capturing interface device 100 includes a handgrip fixing member 110, a finger fitting member 170, at least one link member, And a control unit 195, as shown in FIG. At this time, the at least one link member and the at least one fixing member may be formed in various numbers.
  • At least one link member includes five link members 120, 120, 130, 140, 150, And a member 160, and at least one fixing member is composed of a first fixing member 180 and a second fixing member 190 which are two fixing members, the concrete operation principle will be described.
  • a finger motion capturing interface device 100 based on a three-dimensional magnetic sensor is a finger motion capturing interface device for measuring a movement of a user's finger in a state of being worn on a user's hand, 1 link member 120, a second link member 130, a first fixing member 180, a third link member 140, a fourth link member 150, a second fixing member 190, A member 160, a finger wearing member 170, and a computer system 195. As shown in Fig.
  • the backrest fixing member 110 is for fixing a user's hand.
  • a coupling hole 110h for coupling with another component (here, the first link member 120) is formed at one side of the body.
  • the engaging hole 110h formed in the hand fixing member 110 is formed to have a shape of a long hole as shown in FIG. This is to improve the lateral fluidity of the first link member 120 coupled to the engagement hole 110h.
  • Fig. 2 shows a structure of the back light fixing member 110.
  • Fig. 2 (A) is a front view
  • Fig. 2 (B) is a plan view
  • Fig. 2 (C) is a side view.
  • the first link member 120 is mechanically coupled to the backrest fixing member 110 so as to be able to flow, and a first magnet 120m (see FIG. 14) is provided inside the body for forming a magnetic field.
  • the first magnet 120m provided inside the body of the first link member 120 is composed of a pair of magnets, and a magnetic force line flowing out from the N pole of one magnet A pair of magnets are arranged so as to flow into the S pole of the other magnet, and the center axes of the magnets may be arranged to intersect at right angles with each other.
  • the pair of magnets are arranged such that their central axes intersect at right angles to each other.
  • the reason why the first magnetic sensor 130s is higher than the magnetic force lines flowing out from the N poles of one magnet to the S pole of the other magnet So that it can be detected with efficiency.
  • Fig. 3 shows the structure of the first link member 120.
  • Fig. 3 (A) is a front view
  • Fig. 2 (B) is a plan view
  • Fig. 3 (C) is a side view.
  • Fig. 4 shows the structure of the second link member 130 as described above, wherein (A) is a front view, (B) is a plan view, and (C) is a side view.
  • the first fixing member 180 is formed at a predetermined portion of the body with a gear to be engaged with a gear formed at an end of the second link member 130.
  • the second link member 130 is connected to the first link member 120
  • the second link member 130 is fixed to the first link member 120 so that the first link member 120 can perform the articulation motion.
  • the gears formed at the ends of the second link member 130 and the gears formed at the first fixing member 180 are combined with each other to have a single bevel gear structure.
  • 9 shows the structure of the first fixing member 180 as described above, wherein (A) is a front view, (B) is a plan view, and (C) is a side view.
  • Fig. 11 is a view for explaining the movement of the joint by the bevel gear. The movement of? Causes the movement of?, And the movement of? Causes the movement of?.
  • the third link member 140 is pivotably coupled to the first fixing member 180 at one end of the body.
  • 5 shows the structure of the third link member 140.
  • Fig. 5 (A) is a front view
  • Fig. 5 (B) is a plan view
  • the fourth link member 150 is a member for one end of the body to detect the magnetic force lines (magnetic force lines generated from the second magnet 160m of the fifth link member 160 described later)
  • the second magnetic sensor 150s (see FIG. 14) is provided with a spherical joint 150g, and the other end of the body is formed with a gear capable of transmitting a rotational force.
  • 6 shows a structure of the fourth link member 150.
  • Fig. 6A is a front view
  • Fig. 16B is a plan view
  • the second fixing member 190 is formed at a predetermined portion of the body with gears formed at the ends of the body of the fourth link member 150 to be engaged with the gears, 3 link member 140 as shown in FIG. 10 shows a structure of the second fixing member 190.
  • Fig. 10 (A) is a front view
  • Fig. 10 (B) is a plan view
  • Fig. 10 (C) is a side view.
  • the gear formed at the end of the fourth link member 150 and the gear formed at the second fixing member 190 are combined to form a single bevel gear structure.
  • the fifth link member 160 is coupled to the second fixing member 190.
  • a second magnet 160m for forming a magnetic field is installed inside the body.
  • the second magnet 160m installed inside the body of the fifth link member 160 is composed of a pair of magnets, and magnetic force lines flowing out from the N poles of one magnet are introduced into the S poles of the other magnet
  • a pair of magnets may be disposed so that the central axes of the magnets cross each other at right angles.
  • the pair of magnets are disposed so that their central axes intersect at right angles with each other.
  • the magnetic force lines flowing out from the N poles of one magnet and flowing into the S pole of the other magnet, (150s) can be detected with high efficiency.
  • the permanent magnet is used in the present embodiment (Fig. 14) as the second magnet 160m as described above, as in the case of the first magnet 120m, But it is not limited, and electromagnets may be used in some cases.
  • 7 shows the structure of the fifth link member 160 as described above, wherein (A) is a front view, (B) is a plan view, and (C) is a side view.
  • the finger-wearing member 170 is formed on one side of the body, and a finger-seating portion 170a is formed on the one side of the body, do.
  • the finger-seating portion 170a of the finger-wearing member 170 may be formed as a curved surface having a predetermined curvature so that the bottom surface of the finger can be naturally adhered to the bottom surface of the finger.
  • a tactile actuator for example, a vibration actuator
  • FIG. 8 shows the structure of the finger-wearing member 170 as described above, wherein (A) is a front view, (B) is a plan view, and (C) is a side view.
  • the computer system 195 receives the corresponding sensor coordinate system value corresponding to each magnetic force line change sensed by the first magnetic sensor of the second link member and the second magnetic sensor of the fourth link member, The pitch and yaw motions of each link are extracted based on the values and the positions of the user's fingers are calculated based on the extracted pitch and yaw motion values.
  • the computer system 195 is installed in the body of the second link member 130 and has a second degree of freedom in the first magnetic sensor 130s, The magnetic sensor 150s may read the 2-degree-of-freedom motion and receive the total 4-degree-of-freedom motion.
  • the computer system 195 can communicate sensor data or calculated position data over a wired or wireless network and receive the necessary information.
  • the computer system 195 calculates the values Bx, By, and Bz of the magnetic force vector received from the first and second magnetic sensors 130s and 150s, respectively, And the position and direction of the finger wearing member 170 may be calculated by extracting the shape of the multi-joint exoskeleton mechanism by applying the rotational kinetic energy to the rotational movement of each member 150 and applying it to the forward kinematic equation.
  • FIG. 12 is a view showing a magnetic field measurement sensor and a sensor coordinate system using the magnetic field measurement sensor employed in the finger motion capture interface device based on the three-dimensional magnetic sensor according to the present invention.
  • (A) shows a low-cost non-contact type three-axis magnetic field measuring sensor employed in a finger motion capturing interface apparatus 100 based on a three-dimensional magnetic sensor according to the present invention, (B) .
  • the direction and size of the magnetic line vector generated from the first magnet 120m installed in the first link member 120 and the second magnet 160m installed inside the fifth link member 160 are Is measured by the values of the reference magnetic fluxes B x , B y , and B z of the sensor coordinate system of the sensor (B).
  • B the reference magnetic fluxes
  • the present invention introduces a multi-joint exoskeleton mechanism capable of measuring 4 degrees of freedom rotation using a total of two sensors by installing one sensor per joint.
  • a person's finger basically has 4 degrees of freedom. As shown in FIG. 13, pitch and yaw motions are possible in the first joint, and pitch motion is possible in the next two joints. Based on this, a 4-degree-of-freedom motion mechanism is designed to create an exoskeleton that can capture all four degrees of freedom of the finger.
  • Fig. 13 is a photograph for showing a basic structure of a human finger.
  • the human fingers are composed of individual rotary joints such as robot joints, the design is simple, but the human fingers take multiple motions in one joint. Therefore, in the mechanism of the present invention, a spherical joint structure is adopted to allow various movements in one joint, and a 3D magnetic sensor, which is a non-contact type sensor, is used to measure the rotational motion of the joint.
  • the sensor used in the present invention is a 3D magnetic sensor, it only permits pitch and yaw motion when the magnetic force vector is pointing at the sensor, and the movement of the roll motion in the magnetic vector direction is impossible to measure. Therefore, the motion of 4 degrees of freedom should be converted into the respective pitch and yaw movements of the two spherical joints.
  • a bevel gear structure is adopted in the present invention, and a model adopting such a structure is the finger motion capture interface apparatus 100 based on the three-dimensional magnetic sensor according to the present invention shown in FIG.
  • the first magnetic sensor 130s inserted into the first link moves the yaw movement of the second link member 130 as it is, .
  • the pitch movement of the third link (third link member 140) is converted from the first joint (second link member 130) to Roll motion due to the bevel gear structure, Is not only the roll motion of the magnetic force vector reference but also the magnetic sensor.
  • the pitch movement of the third link (third link member 140) is moved in a roll motion in the fourth joint (fourth link member 150), and finally in the fourth joint (fourth link member 150) Pitch movements are picked up as they are.
  • the polygonal joint structure of the front and rear joints is symmetrical with respect to the third link (the third link member 140), and a mechanism capable of receiving a total of four degrees of freedom movement is obtained.
  • the arrangement of the sensor and the magnet inserted in the first joint and the fourth joint is as shown in Fig.
  • 15 is a diagram showing the relationship between the data value of each joint reference sensor and the motion of the articulated mechanism.
  • the values of the magnetic fluxes B x , B y , and B z received from the respective sensors can be converted into the pitch and yaw motions of the respective links through the following equations.
  • the extracted pitch and yaw movements can be expressed in DH notation as follows.
  • DH parameters can be used to calculate the end of the mechanism, ie, the fingertip position, via coordinate transformation and forward kinematics.
  • the finger motion capturing interface device based on the three-dimensional magnetic sensor according to the present invention is a finger motion capturing interface device using a low-cost noncontact three-dimensional magnetic sensor capable of detecting the movement of a finger, By applying the mechanism, it is advantageous in that the manufacturing cost is low and accurate motion can be measured.
  • a tactile actuator (vibration actuator) is provided at the fingertip to vibrate when a virtual fingertip touches a virtual object, thereby providing a touch to an actual user as if touching an existent object

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치에 관한 것으로, 손등 고정부재, 손가락 착용부재, 상기 손등 고정부재와 상기 손가락 착용부재 사이에 배치되고, 적어도 하나의 자기 센서를 포함하는 적어도 하나의 링크부재, 상기 복수의 링크부재 사이를 연결하는 적어도 하나의 고정부재, 및 상기 적어도 하나의 자기 센서 의해 감지된 각각의 자력선 변화에 따라 대응하는 센서 좌표계값을 수신하고, 상기 수신된 센서 좌표계값을 기초로 각 링크부재의 피치(pitch) 및 요(yaw) 움직임을 추출하고, 상기 추출된 피치 및 요 움직임값을 바탕으로 사용자의 손가락의 위치를 계산하는 제어부를 포함한다.

Description

3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치
본 발명은 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치에 관한 것으로, 더 상세하게는 저가형 비접촉 3차원 자기 센서를 활용하여 손가락의 움직임을 정확히 감지, 측정할 수 있는 4 자유도의 메커니즘을 적용함으로써 제작 비용이 저렴하고 정확한 움직임을 측정할 수 있는 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치에 관한 것이다.
최근 저가의 HMD(Head Mounted Device)가 출시된 이후 가상현실에 대한 시장의 관심이 더욱 커지고 있다. 그로 인해 가상현실과 관련된 다양한 분야의 연구가 진행되고 있다. 그 결과로 여러 종류의 하드웨어 및 소프트웨어 제품들이 출시되고 있다. 여러 연구 분야 중 사용자의 손동작을 추적하기 위한 핸드 모션 캡쳐(hand motion capture)는 사용자의 손을 어떠한 환경에서도 잘 인식하여 다양한 상황에서 실감적인 경험을 제공하는 것을 목표로 한다. 핸드 모션 캡쳐 분야는 아직 연구 단계에 머물러 있으며 다양한 시도가 이루어지고 있다.
사용자의 손가락 움직임을 측정하고 이를 가상현실에 적용하기 위한 기술에 대해서는 여러 차례 소개된 바 있다. 예를 들면, 손가락에 광학적 마커(marker)를 달아 카메라로 추적하는 시스템, 혹은 굽힘 센서, 전위차계(potentionmeter) 등을 활용하여 장갑 및 외골격을 형성하여 손가락 움직임을 측정하는 기술 등을 들 수 있다. 하지만, 기존에 소개된 방식 중 광학적 마커의 경우, 외부 카메라 시스템이 필요하고 마커 중첩 및 가림 현상 등의 문제가 있다. 또한, 손가락 움직임을 측정하는 기술은 가격이 비싸거나 손가락당 1~2 자유도 측정만이 가능하여 손가락 움직임을 정밀하게 측정할 수 없다. 또한, 이미지 및 적외선 센서의 경우, 시야에 들어오는 움직임만 측정이 가능하고, 손가락들의 중첩 문제로 인하여 측정값이 정확하지 않은 문제가 있다.
한편, 공개특허공보 제10-2014-0051554호(특허문헌 1)에는 "관성 센서를 이용한 모션 캡쳐 시스템"이 개시되어 있다. 상기의 관성 센서를 이용한 모션 캡쳐 시스템은 인체의 상부에 장착되는 다수의 제1 감지소자, 인체의 하부에 장착되는 다수의 제2 감지소자, 다수의 제1 감지소자에 각각 연결된 제1 통신부, 다수의 제2 감지소자에 각각 연결된 제2 통신부, 상기 제1 통신부와 제2 통신부에서 송신된 인체의 모션 데이터를 수집하는 모션 데이터 수집수단, 상기 모션 데이터 수집수단에서 수집된 인체의 모션을 표시하는 표시수단을 포함한다. 상기 다수의 제1 감지소자는 적어도 인체의 척추 중심 부근, 왼쪽 상박, 오른쪽 상박, 왼쪽 하박, 오른쪽 하박, 왼쪽 손, 오른쪽 손, 머리의 부분에 장착되어 관절의 움직임을 9축으로 감지한다. 상기 다수의 제2 감지소자는 적어도 인체의 골반, 왼쪽 허벅지, 오른쪽 허벅지, 왼쪽 종아리, 오른쪽 종아리, 왼쪽 발, 오른쪽 발의 부분에 장착되어 관절의 움직임을 9축으로 감지하는 것을 특징으로 한다.
이상과 같은 특허문헌 1의 경우, 각 센서 노드에서 이미 데이터 분석을 완료하여 수집된 정보만을 출력기기에 전달하여 처리함으로써, 별도의 외부 작업 스테이션이 필요하지 않아 처리 속도와 비용 면에서 효율적으로 적용할 수 있는 효과가 있을 수 있다. 그러나, 제1, 제2 감지소자가 지자기 센서, 가속도계 센서, 자이로 센서를 구비함에 따라 시스템의 제작비용이 비교적 비싸고, 관절의 움직임을 9축으로 감지함에 따라 상대적으로 모션 캡쳐 과정이 복잡하며, 사용시간이 증가함에 따라 측정오차가 점진적으로 증가한다는 문제를 내포하고 있다.
본 발명은 상기의 문제점을 해결하기 위하여, 손가락의 움직임을 감지할 수 있는 저가형 비접촉 3차원 자기 센서를 활용하여 손가락의 움직임을 정확히 측정할 수 있는 4 자유도의 메커니즘을 적용함으로써, 제작비용이 저렴하고 정확한 움직임을 측정할 수 있는 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치를 제공함에 그 목적이 있다.
또한, 본 발명의 다른 목적은 손가락 끝에 촉감 생성 액츄에이터를 설치하고, 가상의 물체에 추적된 가상의 손가락이 닿게 되면 진동이 울리도록 함으로써, 실제 세계에 있는 사용자에게 마치 실존하는 물체를 만지는 듯한 촉감을 제공할 수 있는 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치를 제공함에 있다.
상기의 목적을 달성하기 위하여, 본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치는 일측에는 결합공이 형성되는 손등 고정부재, 상기 손등 고정부재의 결합공에 기계적으로 결합되고, 내부에는 제1 자석이 설치된 제1 링크부재, 상기 제1 링크부재와 연결된 일측 단부는 제1 구관절부로 형성되고, 타측 단부는 제1 기어가 형성되고, 상기 제1 구관절부 내부에는 제1 자기 센서가 내장되는 제2 링크부재, 상기 제2 링크부재의 제1 기어와 취합되는 제2 기어를 통해 상기 제2 링크부재를 상기 제1 링크부재에 고정시켜주는 제1 고정부재, 일측 단부가 상기 제1 고정부재에 대하여 피봇(pivot) 운동이 가능하도록 결합된 제3 링크부재, 일측 단부의 내부에 제2 자기 센서가 설치된 제2 구관절부가 형성되고, 타측 단부에는 제3 기어가 형성된 제4 링크부재, 상기 제4 링크부재의 제3 기어와 취합되는 제4 기어를 통해 상기 제4 링크부재를 상기 제3 링크부재에 결합시키는 제2 고정부재, 상기 제2 고정부재에 결합되고, 내부에는 제2 자석이 설치된 제5 링크부재, 상기 제5 링크부재에 결합되고, 손가락 안착부가 형성된 손가락 착용부재, 및 상기 제2 링크부재의 제1 자기 센서와 상기 제4 링크부재의 제2 자기 센서에 의해 감지된 각각의 자력선 변화에 따라 대응하는 센서 좌표계값을 수신하고, 상기 수신된 센서 좌표계값을 기초로 각 링크부재의 피치(pitch) 및 요(yaw) 움직임을 추출하고, 상기 추출된 피치 및 요 움직임값을 바탕으로 사용자의 손가락의 위치를 계산하는 제어부를 포함한다.
여기서, 손등 고정부재의 결합공은 장공의 형태를 갖도록 형성될 수 있다.
또한, 제1 자석은 한 쌍으로 구성되고, 일측 자석의 N극으로부터 유출되는 자력선이 타측 자석의 S극으로 유입되는 형태로 한 쌍의 자석이 배치되되, 상기 한 쌍의 자석 각각의 중심축선이 상호 직각으로 교차하도록 배치될 수 있다.
또한, 제2 링크부재의 제1 기어와 상기 제1 고정부재의 제2 기어는 서로 취합되어 하나의 베벨 기어 구조를 가지도록 형성될 수 있다.
또한, 제4 링크부재의 제3 기어와 상기 제2 고정부재의 제4 기어는 서로 취합되어 하나의 베벨 기어 구조를 가지도록 형성될 수 있다.
또한, 제5 링크부재의 제2 자석은 한 쌍으로 구성되고, 일측 자석의 N극으로부터 유출되는 자력선이 타측 자석의 S극으로 유입되는 형태로 상기 한 쌍의 자석이 배치되되, 상기 한 쌍의 자석 각각의 중심축선이 상호 직각으로 교차하도록 배치될 수 있다.
또한, 손가락 착용부재의 손가락 안착부는 소정 곡률의 곡면으로 형성될 수 있다.
또한, 손가락 착용부재의 단부는 가상의 물체에 추적된 가상의 손가락이 닿게 되면 피드백을 전달하는 촉감 생성 액츄에이터가 설치될 수 있다.
또한, 제어부는 상기 제2 링크부재의 제1 자기 센서에서 2자유도, 상기 제4 링크부재의 제2 자기 센서에서 2자유도 움직임을 각각 읽어와 4자유도의 움직임을 수신할 수 있다.
또한, 제어부는 상기 제1 자기 센서와 상기 제2 자기 센서에서 각각 수신한 자력 벡터값 (Bx, By, Bz)를 상기 제2 링크부재 및 상기 제4 링크부재 각각의 회전 움직임으로 변환하고, 이를 순기구학 수식에 적용하여 다관절 외골격 메커니즘의 모양을 추출하여 상기 손가락 착용부재의 위치와 방향을 계산할 수 있다.
본 발명의 다른 실시예에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치는 손등 고정부재, 손가락 착용부재, 상기 손등 고정부재와 상기 손가락 착용부재 사이에 배치되고, 적어도 하나의 자기 센서를 포함하는 적어도 하나의 링크부재, 상기 복수의 링크부재 사이를 연결하는 적어도 하나의 고정부재, 및 상기 적어도 하나의 자기 센서 의해 감지된 각각의 자력선 변화에 따라 대응하는 센서 좌표계값을 수신하고, 상기 수신된 센서 좌표계값을 기초로 각 링크부재의 피치(pitch) 및 요(yaw) 움직임을 추출하고, 상기 추출된 피치 및 요 움직임값을 바탕으로 사용자의 손가락의 위치를 계산하는 제어부를 포함한다.
본 발명에 의하면, 손가락의 움직임을 감지할 수 있는 저가형 비접촉 3차원 자기 센서를 활용하여 손가락의 움직임을 정확히 측정할 수 있는 4 자유도의 메커니즘을 적용함으로써, 제작비용이 저렴하고 정확한 움직임을 측정할 수 있는 효과가 있다.
도 1은 본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치의 전체적인 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치의 손등 고정부재의 구조를 나타낸 도면이다.
도 3은 본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치의 제1 링크부재의 구조를 나타낸 도면이다.
도 4는 본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치의 제2 링크부재의 구조를 나타낸 도면이다.
도 5는 본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치의 제3 링크부재의 구조를 나타낸 도면이다.
도 6은 본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치의 제4 링크부재의 구조를 나타낸 도면이다.
도 7은 본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치의 제5 링크부재의 구조를 나타낸 도면이다.
도 8은 본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치의 손가락 착용부재의 구조를 나타낸 도면이다.
도 9는 본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치의 제1 고정부재의 구조를 나타낸 도면이다.
도 10은 본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치의 제2 고정부재의 구조를 나타낸 도면이다.
도 11은 본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치의 베벨 기어에 의한 관절의 움직임을 설명하는 도면이다.
도 12는 본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치에 채용되는 자기장 측정 센서와 그를 이용한 센서 좌표계를 나타낸 도면이다.
도 13은 사람 손가락의 기본적인 구조를 나타낸 도면대용 사진이다.
도 14는 본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치의 첫 번째 조인트와 네 번째 조인트에 설치된 센서 및 자석의 배치를 나타낸 도면이다.
도 15는 본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치의 각 조인트 기준 센서의 데이터 값과 다관절 메커니즘의 움직임과의 연관성을 나타낸 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치의 전체적인 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치(100)는, 손등 고정부재(110), 손가락 착용부재(170), 적어도 하나의 링크부재, 적어도 하나의 고정부재, 및 제어부(195)를 포함하여 구성될 수 있다. 이때, 적어도 하나의 링크부재와 적어도 하나의 고정부재는 다양한 개수로 형성될 수 있다.
이하에서는, 적어도 하나의 링크부재가 5개의 링크부재인 제1 링크부재(120), 제2 링크부재(130), 제3 링크부재(140), 제4 링크부재(50), 및 제5 링크부재(160)로 구성되고, 적어도 하나의 고정부재가 2개의 고정부재인 제1 고정부재(180) 및 제2 고정부재(190)로 구성되는 경우를 예로 들어 구체적인 작동원리를 설명하도록 한다.
본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치(100)는 사용자의 손에 착용된 상태에서 사용자의 손가락의 움직임을 측정하는 손가락 모션 캡쳐 인터페이스 장치로서, 손등 고정부재(110), 제1 링크부재(120), 제2 링크부재(130), 제1 고정부재(180), 제3 링크부재(140), 제4 링크부재(150), 제2 고정부재(190), 제5 링크부재(160), 손가락 착용부재(170) 및 컴퓨터 시스템(195)을 포함하여 구성된다.
손등 고정부재(110)는 사용자의 손등을 고정하기 위한 것으로, 몸체의 일측에는 다른 부품(여기서는 제1 링크부재(120))과의 결합을 위한 결합공(110h)이 형성된다. 여기서, 바람직하게는 이와 같은 손등 고정부재(110)에 형성되는 결합공(110h)은 도 2에 도시된 바와 같이, 장공의 형태를 갖도록 형성된다. 이는 결합공(110h)에 결합되는 상기 제1 링크부재(120)의 좌우 유동성을 좋게 하기 위한 것이다. 도 2는 손등 고정부재(110)의 구조를 나타낸 것으로서, (A)는 정면도, (B)는 평면도, (C)는 측면도이다.
제1 링크부재(120)는 손등 고정부재(110)에 유동 가능하게 기계적으로 결합되며, 몸체의 내부에는 자기장 형성을 위한 제1 자석(120m)(도 14 참조)이 설치된다. 여기서, 이와 같이 제1 링크부재(120)의 몸체 내부에 설치되는 제1 자석 (120m)은 도 14에 도시된 바와 같이, 한 쌍의 자석으로 구성되고, 일측 자석의 N극으로부터 유출되는 자력선이 타측 자석의 S극으로 유입되는 형태로 한 쌍의 자석이 배치되되, 각 자석의 중심축선이 상호 직각으로 교차하도록 배치될 수 있다.
여기서, 이상과 같이 한 쌍의 자석이 그 중심축선이 상호 직각으로 교차하도록 배치되는 것은 일측 자석의 N극으로부터 유출되어 타측 자석의 S극으로 유입되는 자력선에 대해 제1 자기 센서(130s)가 높은 효율로 감지할 수 있도록 하기 위한 것이다.
여기서, 또한, 이상과 같은 제1 자석(120m)으로는 본 실시예(도 14)에는 영구자석이 사용되는 것으로 설명(도시)하고 있으나, 반드시 영구자석으로 한정되는 것은 아니며, 경우에 따라서는 전자석이 사용될 수도 있다. 도 3은 이상과 같은 제1 링크부재(120)의 구조를 나타낸 것으로서, (A)는 정면도, (B)는 평면도, (C)는 측면도이다.
제2 링크부재(130)는 제1 링크부재(120)에 대해 구관절 운동 가능하도록 도 4에 도시된 바와 같이, 몸체의 일측 단부는 구관절부(130g)로 형성되고, 몸체의 타측 단부에는 회전운동력을 전달할 수 있는 기어가 형성되어 있으며, 상기 구관절부(130g) 내부에는 도 14에 도시된 바와 같이, 상기 제1 링크부재(120)의 제1 자석(120m)에 의해 발생한 자력선을 감지하기 위한 제1 자기 센서(130s)가 설치된다. 도 4는 이상과 같은 제2 링크부재(130)의 구조를 나타낸 것으로서, (A)는 정면도, (B)는 평면도, (C)는 측면도이다.
제1 고정부재(180)는 몸체의 소정 부위에 제2 링크부재(130)의 단부에 형성되어 있는 기어와 취합되는 기어가 형성되어 있으며, 제2 링크부재(130)가 제1 링크부재(120)에 구관절 운동 가능하도록 제2 링크부재(130)를 제1 링크부재(120)에 고정시켜 준다. 여기서, 상기 제2 링크부재(130)의 단부에 형성되어 있는 기어와 제1 고정부재(180)에 형성되어 있는 기어는 도 11에 도시된 바와 같이, 서로 취합되어 하나의 베벨 기어 구조를 갖는다. 도 9는 이상과 같은 제1 고정부재(180)의 구조를 나타낸 것으로서, (A)는 정면도, (B)는 평면도, (C)는 측면도이다. 여기서, 또한 도 11은 베벨 기어에 의한 관절의 움직임을 설명하는 도면으로서, ①의 움직임이 ②의 움직임을 초래하고, ③의 움직임이 ④의 움직임을 초래한다.
제3 링크부재(140)는 몸체의 일측 단부가 상기 제1 고정부재(180)에 피봇 (pivot) 운동 가능하도록 결합된다. 도 5는 이와 같은 제3 링크부재(140)의 구조를 나타낸 것으로서, (A)는 정면도, (B)는 평면도, (C)는 측면도이다.
제4 링크부재(150)는 몸체의 일측 단부가 도 6에 도시된 바와 같이, 그 내부에 자력선(후술하는 제5 링크부재(160)의 제2 자석(160m)으로부터 발생한 자력선)을 감지하기 위한 제2 자기 센서(150s)(도 14 참조)가 설치되어 있는 구관절부(150g)로 형성되고, 몸체의 타측 단부는 회전운동력을 전달할 수 있는 기어가 형성되어 있다. 도 6은 이와 같은 제4 링크부재(150)의 구조를 나타낸 것으로서, (A)는 정면도, (B)는 평면도, (C)는 측면도이다.
제2 고정부재(190)는 몸체의 소정 부위에 상기 제4 링크부재(150)의 몸체의 단부에 형성되어 있는 기어와 취합되는 기어가 형성되어 있으며, 상기 제4 링크부재(150)를 상기 제3 링크부재(140)에 결합 및 고정시켜 준다. 도 10은 이와 같은 제2 고정부재(190)의 구조를 나타낸 것으로서, (A)는 정면도, (B)는 평면도, (C)는 측면도이다.
여기서, 상기 제4 링크부재(150)의 단부에 형성되어 있는 기어와 상기 제2 고정부재(190)에 형성되어 있는 기어는 서로 취합되어 하나의 베벨 기어 구조를 갖는다.
제5 링크부재(160)는 상기 제2 고정부재(190)에 결합되며, 도 14에 도시된 바와 같이, 몸체의 내부에는 자기장 형성을 위한 제2 자석(160m)이 설치되어 있다. 여기서, 이와 같은 제5 링크부재(160)의 몸체 내부에 설치되어 있는 제2 자석(160m)은 한 쌍의 자석으로 구성되고, 일측 자석의 N극으로부터 유출되는 자력선이 타측 자석의 S극으로 유입되는 형태로 한 쌍의 자석이 배치되되, 각 자석의 중심축선이 상호 직각으로 교차하도록 배치될 수 있다.
여기서, 이상과 같이 한 쌍의 자석이 그 중심축선이 상호 직각으로 교차하도록 배치되는 것은 전술한 바와 같이, 일측 자석의 N극으로부터 유출되어 타측 자석의 S극으로 유입되는 자력선에 대해 제2 자기 센서(150s)가 높은 효율로 감지할 수 있도록 하기 위한 것이다. 여기서, 또한, 이상과 같은 제2 자석(160m)으로는 본 실시예(도 14)에는 영구자석이 사용되는 것으로 설명(도시)하고 있으나, 제1 자석(120m)의 경우와 마찬가지로 반드시 영구자석으로 한정되는 것은 아니며, 경우에 따라서는 전자석이 사용될 수도 있다. 도 7은 이상과 같은 제5 링크부재(160)의 구조를 나타낸 것으로서, (A)는 정면도, (B)는 평면도, (C)는 측면도이다.
손가락 착용부재(170)는 상기 제5 링크부재(160)에 결합되며, 도 8에 도시된 바와 같이, 그 몸체의 일측에는 사용자가 손가락을 밀어넣어 안착시킬 수 있는 손가락 안착부(170a)가 형성된다. 여기서, 이와 같은 손가락 착용부재(170)의 손가락 안착부(170a)는 손가락의 바닥면이 접촉될 시 손가락의 바닥면에 자연스럽게 밀착될 수 있도록 소정 곡률의 곡면으로 형성될 수 있다. 또한, 상기 손가락 착용부재(170)의 손가락 안착부(170a)의 단부에는 가상의 물체에 추적된 가상의 손가락이 닿게 되면 진동이 울리는 촉감 생성 액츄에이터(예를 들면, 진동 액츄에이터)가 더 설치될 수 있다. 이와 같이 촉감 생성 액츄에이터로서의 진동 액츄에이터가 설치될 경우, 가상의 물체에 추적된 가상의 손가락이 닿게 되면 액츄에이터의 작동으로 진동이 울리게 되며, 이로써 실제 세계에 있는 사용자는 마치 실존하는 물체를 만지는 듯한 촉감을 체험할 수 있게 된다. 도 8은 이상과 같은 손가락 착용부재(170)의 구조를 나타낸 것으로서, (A)는 정면도, (B)는 평면도, (C)는 측면도이다.
컴퓨터 시스템(195)은 상기 제2 링크부재의 제1 자기 센서와 상기 제4 링크부재의 제2 자기 센서에 의해 감지된 각각의 자력선 변화에 따른 대응하는 센서 좌표계 값을 수신하고, 수신된 센서 좌표계 값을 바탕으로 각 링크의 피치(pitch) 및 요(yaw) 움직임을 추출하며, 추출된 피치(pitch) 및 요(yaw) 움직임 값을 바탕으로 사용자의 손가락의 위치를 계산한다. 여기서, 이와 같은 컴퓨터 시스템(195)은 상기 제2 링크부재(130)의 몸체 내부에 설치된 제1 자기 센서(130s)에서 2 자유도, 상기 제4 링크부재(150)의 몸체 내부에 설치된 제2 자기 센서(150s)에서 2 자유도 움직임을 각각 읽어와 총 4 자유도의 움직임을 받을 수 있도록 구성될 수 있다. 또한, 컴퓨터 시스템(195)은 유선 또는 무선 네트워크를 통해 센서 데이터 혹은 계산된 위치 데이터를 전달하고, 필요한 정보를 수신할 수 있다.
또한, 상기 컴퓨터 시스템(195)은 상기 제1, 제2 자기 센서(130s)(150s)에서 각각 받아오는 자력 벡터의 값 Bx, By, Bz를 상기 제2 링크부재(130)) 및 제4 링크부재(150) 각각의 회전 움직임으로 변환하고, 이를 순기구학 수식에 적용하여 다관절 외골격 메커니즘의 모양을 추출해 냄으로써 상기 손가락 착용부재(170)의 위치 및 방향을 계산하도록 구성될 수 있다.
그러면, 이하에서는 이상과 같은 구성을 가지는 본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치(100)의 구성 및 동작 관계에 대해 부연 설명을 해보기로 한다.
도 12는 본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치에 채용되는 자기장 측정 센서와 그를 이용한 센서 좌표계를 나타낸 도면이다.
도 12를 참조하면, (A)는 본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치(100)에 채용되는 저가형 비접촉식 3축 자기장 측정 센서를 나타낸 것이고, (B)는 그를 이용한 센서 좌표계를 나타낸 것이다.
(A)에 나타낸 바와 같은 위치 측정이 가능한 1달러 이하의 저가형 비접촉식 3축 자기장 측정 센서들은 비접촉방식으로 3축 자기장 세기를 I2C(Inter-Integrated Circuit)와 같은 고속 직렬 통신을 통해 최대 3.3KHz의 속도로 획득할 수 있다. 따라서, 실시간 측정 성능이 우수하고, 이에 따라 고속 캡처링이 가능하다.
제1 링크부재(120)의 내부에 설치되어 있는 제1 자석(120m) 및 제5 링크부재(160)의 내부에 설치되어 있는 제2 자석(160m)으로부터 각각 발생하는 자력선 벡터의 방향과 크기가 (B)의 센서 좌표계의 기준 자속 Bx, By, Bz의 값으로 측정되어 나온다. 센서를 회전 중심에 고정시켜 놓고 자석으로 하여금 주변을 회전하게 한다면 이론상 벡터의 3 자유도 측정이 가능하다. 하지만, 특이점의 문제로 벡터 축 방향(롤)의 회전은 측정이 불가능하다. 따라서, 본 발명에서는 하나의 관절당 하나의 센서를 설치하여 총 두 개의 센서를 사용하는 4 자유도 회전의 측정이 가능한 다관절 외골격 메커니즘을 도입한다.
사람의 손가락은 기본적으로 4 자유도를 가지고 있다고 가정한다. 도 13과 같이, 첫 번째 조인트에서 피치(Pitch)와 요(Yaw) 모션이 가능하고, 그 다음 두 개의 조인트에서는 각각 피치 모션이 가능하다. 이를 토대로, 4 자유도 움직임이 가능한 메커니즘을 설계하면 손가락의 4 자유도를 모두 포착할 수 있는 형태의 외골격이 만들어진다. 도 13은 사람 손가락의 기본적인 구조를 나타낸 도면대용 사진이다.
사람 손가락이 로봇 관절과 같이 각각 개별적인 회전 조인트로 구성되어 있다면 설계가 간단하지만, 사람의 손가락은 하나의 관절에서 여러 가지 모션을 취하게 된다. 따라서 본 발명의 메커니즘에서도 하나의 관절에서 다양한 움직임을 허락하기 위해 구형의 조인트 구조를 채택하였으며, 조인트의 회전 움직임을 측정하기 위해 비접촉형 센서인 3D 자기 센서를 활용한다.
본 발명에 사용된 센서는 3D 자기 센서이지만 자력 벡터가 센서를 향하고 있을 때 피치와 요(yaw) 모션을 허용할 뿐, 자력 벡터 방향의 롤(Roll) 모션의 움직임은 측정이 불가능하다. 따라서, 4 자유도의 움직임을 총 두 개의 구형의 조인트에서의 각각의 피치와 요 움직임으로 변환해 주어야 한다. 이를 위해 본 발명에서는 베벨 기어 구조를 채택하였으며, 그러한 구조가 채택된 모델이 위에서 설명한 도 1의 본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치(100)이다.
도 1을 참조하면, 첫 번째 조인트, 즉 제2 링크부재(130)에 삽입되어 있는 제1 자기 센서(130s)는 제2 링크부재(130)의 요(Yaw) 움직임을 그대로 요(Yaw) 움직임으로 읽어온다. 그리고 세 번째 링크(제3 링크부재(140))의 피치(Pitch) 움직임은 베벨 기어 구조로 인하여 첫 번째 조인트(제2 링크부재(130))에서 롤(Roll) 모션으로 변환되는데, 이는 링크 구조상의 롤 모션일 뿐 자력 벡터 기준의 롤 모션이 아니므로 자기 센서에서 측정이 가능하다. 또한, 세 번째 링크(제3 링크부재(140))의 피치 움직임은 네 번째 조인트(제4 링크부재(150))에서 롤 움직임으로, 마지막으로 네 번째 조인트(제4 링크부재(150))의 피치 움직임은 그대로 피치로 받아오게 된다. 결론적으로, 세 번째 링크(제3 링크부재(140))를 기준으로 전후의 다관절 결합구조가 대칭인 구조가 되며, 총 4 자유도의 움직임을 받아올 수 있는 메커니즘이 된다. 첫 번째 조인트와 네 번째 조인트에 삽입된 센서 및 자석의 배치는 도 14에 도시된 바와 같다.
도 15는 각 조인트 기준 센서의 데이터 값과 다관절 메커니즘의 움직임과의 연관성을 나타낸 도면이다.
도 15를 참조하면, 각 센서에서 받아온 자속 Bx, By, Bz 값은 다음의 수식을 통해 각 링크의 피치(pitch) 및 요(yaw) 움직임으로 변환이 가능하다.
< 첫 번째 조인트 >
Figure PCTKR2018006890-appb-I000001
Figure PCTKR2018006890-appb-I000002
Figure PCTKR2018006890-appb-I000003
Figure PCTKR2018006890-appb-I000004
< 네 번째 조인트 >
Figure PCTKR2018006890-appb-I000005
Figure PCTKR2018006890-appb-I000006
Figure PCTKR2018006890-appb-I000007
Figure PCTKR2018006890-appb-I000008
추출된 피치(Pitch) 및 요(Yaw) 움직임은, DH 표기법으로 아래와 같이 나타낼 수 있다. DH 파라미터를 활용하여 좌표 변환 및 순기구학을 통해 메커니즘의 말단, 즉 손가락의 말단 위치를 계산할 수 있다.
Figure PCTKR2018006890-appb-I000009
위에서 li(i=1, .., 7)는 각 링크의 길이에 해당하는 수치이다.
이상의 설명과 같이, 본 발명에 따른 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치는 손가락의 움직임을 감지할 수 있는 저가형 비접촉 3차원 자기 센서를 활용하여 손가락의 움직임을 정확히 측정할 수 있는 4 자유도의 메커니즘을 적용함으로써, 제작비용이 저렴하고 정확한 움직임을 측정할 수 있는 장점이 있다.
또한, 손가락 끝에 촉감 생성 액츄에이터(진동 액츄에이터)를 설치하여, 가상의 물체에 추적된 가상의 손가락이 닿게 되면 진동이 울리도록 함으로써, 실제 세계에 있는 사용자에게 마치 실존하는 물체를 만지는 듯한 촉감을 제공할 수 있는 장점이 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (11)

  1. 일측에는 결합공이 형성되는 손등 고정부재;
    상기 손등 고정부재의 결합공에 기계적으로 결합되고, 내부에는 제1 자석이 설치된 제1 링크부재;
    상기 제1 링크부재와 연결된 일측 단부는 제1 구관절부로 형성되고, 타측 단부는 제1 기어가 형성되고, 상기 제1 구관절부 내부에는 제1 자기 센서가 내장되는 제2 링크부재;
    상기 제2 링크부재의 제1 기어와 취합되는 제2 기어를 통해 상기 제2 링크부재를 상기 제1 링크부재에 고정시켜주는 제1 고정부재;
    일측 단부가 상기 제1 고정부재에 대하여 피봇(pivot) 운동이 가능하도록 결합된 제3 링크부재;
    일측 단부의 내부에 제2 자기 센서가 설치된 제2 구관절부가 형성되고, 타측 단부에는 제3 기어가 형성된 제4 링크부재;
    상기 제4 링크부재의 제3 기어와 취합되는 제4 기어를 통해 상기 제4 링크부재를 상기 제3 링크부재에 결합시키는 제2 고정부재;
    상기 제2 고정부재에 결합되고, 내부에는 제2 자석이 설치된 제5 링크부재;
    상기 제5 링크부재에 결합되고, 손가락 안착부가 형성된 손가락 착용부재; 및
    상기 제2 링크부재의 제1 자기 센서와 상기 제4 링크부재의 제2 자기 센서에 의해 감지된 각각의 자력선 변화에 따라 대응하는 센서 좌표계값을 수신하고, 상기 수신된 센서 좌표계값을 기초로 각 링크부재의 피치(pitch) 및 요(yaw) 움직임을 추출하고, 상기 추출된 피치 및 요 움직임값을 바탕으로 사용자의 손가락의 위치를 계산하는 제어부;
    를 포함하는 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치.
  2. 제1항에 있어서,
    상기 손등 고정부재의 결합공은 장공의 형태를 갖는,
    3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치.
  3. 제1항에 있어서,
    상기 제1 자석은 한 쌍으로 구성되고, 일측 자석의 N극으로부터 유출되는 자력선이 타측 자석의 S극으로 유입되는 형태로 한 쌍의 자석이 배치되되, 상기 한 쌍의 자석 각각의 중심축선이 상호 직각으로 교차하도록 배치된,
    3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치.
  4. 제1항에 있어서,
    상기 제2 링크부재의 제1 기어와 상기 제1 고정부재의 제2 기어는 서로 취합되어 하나의 베벨 기어 구조를 가지는,
    3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치.
  5. 제1항에 있어서,
    상기 제4 링크부재의 제3 기어와 상기 제2 고정부재의 제4 기어는 서로 취합되어 하나의 베벨 기어 구조를 가지는,
    3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치.
  6. 제1항에 있어서,
    상기 제5 링크부재의 제2 자석은 한 쌍으로 구성되고, 일측 자석의 N극으로부터 유출되는 자력선이 타측 자석의 S극으로 유입되는 형태로 상기 한 쌍의 자석이 배치되되, 상기 한 쌍의 자석 각각의 중심축선이 상호 직각으로 교차하도록 배치된,
    3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치.
  7. 제1항에 있어서,
    상기 손가락 착용부재의 손가락 안착부는 소정 곡률의 곡면으로 형성된,
    3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치.
  8. 제1항에 있어서,
    상기 손가락 착용부재의 단부는, 가상의 물체에 추적된 가상의 손가락이 닿게 되면 피드백을 전달하는 촉감 생성 액츄에이터가 설치된,
    3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치.
  9. 제1항에 있어서,
    상기 제어부는, 상기 제2 링크부재의 제1 자기 센서에서 2자유도, 상기 제4 링크부재의 제2 자기 센서에서 2자유도 움직임을 각각 읽어와 4자유도의 움직임을 수신하는,
    3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치.
  10. 제1항에 있어서,
    상기 제어부는, 상기 제1 자기 센서와 상기 제2 자기 센서에서 각각 수신한 자력 벡터값 (Bx, By, Bz)를 상기 제2 링크부재 및 상기 제4 링크부재 각각의 회전 움직임으로 변환하고, 이를 순기구학 수식에 적용하여 다관절 외골격 메커니즘의 모양을 추출하여 상기 손가락 착용부재의 위치와 방향을 계산하는,
    3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치.
  11. 손등 고정부재;
    손가락 착용부재;
    상기 손등 고정부재와 상기 손가락 착용부재 사이에 배치되고, 적어도 하나의 자기 센서를 포함하는 적어도 하나의 링크부재;
    상기 복수의 링크부재 사이를 연결하는 적어도 하나의 고정부재; 및
    상기 적어도 하나의 자기 센서 의해 감지된 각각의 자력선 변화에 따라 대응하는 센서 좌표계값을 수신하고, 상기 수신된 센서 좌표계값을 기초로 각 링크부재의 피치(pitch) 및 요(yaw) 움직임을 추출하고, 상기 추출된 피치 및 요 움직임값을 바탕으로 사용자의 손가락의 위치를 계산하는 제어부;
    를 포함하는 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치.
PCT/KR2018/006890 2017-08-18 2018-06-19 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치 WO2019035546A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201880004571.9A CN109997099B (zh) 2017-08-18 2018-06-19 基于三维磁传感器的手指动作捕捉接口装置
US16/073,587 US10901530B2 (en) 2017-08-18 2018-06-19 Three-dimensional magnetic sensor based finger motion capture interface device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170104935A KR101971882B1 (ko) 2017-08-18 2017-08-18 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치
KR10-2017-0104935 2017-08-18

Publications (1)

Publication Number Publication Date
WO2019035546A1 true WO2019035546A1 (ko) 2019-02-21

Family

ID=65361942

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/006890 WO2019035546A1 (ko) 2017-08-18 2018-06-19 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치

Country Status (4)

Country Link
US (1) US10901530B2 (ko)
KR (1) KR101971882B1 (ko)
CN (1) CN109997099B (ko)
WO (1) WO2019035546A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102269414B1 (ko) * 2019-03-07 2021-06-24 재단법인 실감교류인체감응솔루션연구단 핸드 모션 캡쳐 장치를 기반으로 가상/증강 현실에서의 객체 조작 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030006020A (ko) * 2001-07-11 2003-01-23 삼성전자 주식회사 신체의 관절 각도를 이용한 정보 입력 장치 및 방법
KR20150026507A (ko) * 2013-09-03 2015-03-11 강순걸 핸드 햅틱 인터페이스 장치
KR101525226B1 (ko) * 2014-12-12 2015-06-04 영풍전자(주) 증강현실용 모션인식 장갑
KR101571314B1 (ko) * 2015-02-24 2015-11-26 한국과학기술연구원 손가락 관절의 회전각 계측 장치
KR101764328B1 (ko) * 2016-06-09 2017-08-02 울산과학기술원 역감 전달 시스템

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4986280A (en) * 1988-07-20 1991-01-22 Arthur D. Little, Inc. Hand position/measurement control system
JP3199130B2 (ja) * 1992-03-31 2001-08-13 パイオニア株式会社 ３次元座標入力装置
US6104379A (en) * 1996-12-11 2000-08-15 Virtual Technologies, Inc. Forearm-supported exoskeleton hand-tracking device
US6110130A (en) * 1997-04-21 2000-08-29 Virtual Technologies, Inc. Exoskeleton device for directly measuring fingertip position and inferring finger joint angle
JP3409160B2 (ja) * 2000-04-26 2003-05-26 独立行政法人産業技術総合研究所 把握データ入力装置
JP4142460B2 (ja) * 2003-01-31 2008-09-03 オリンパス株式会社 運動検出装置
KR100543710B1 (ko) * 2004-02-25 2006-01-20 삼성전자주식회사 동시에 발생되는 복수의 공간적 움직임으로부터 정보 완료신호를 인식하는 공간형 정보 입력 장치 및 방법
US8562049B2 (en) * 2009-09-22 2013-10-22 GM Global Technology Operations LLC Robotic finger assembly
US8543240B2 (en) * 2009-11-13 2013-09-24 Intuitive Surgical Operations, Inc. Master finger tracking device and method of use in a minimally invasive surgical system
AU2011318246A1 (en) * 2010-10-22 2013-05-09 Joshua Michael Young Methods devices and systems for creating control signals
US9104271B1 (en) * 2011-06-03 2015-08-11 Richard Adams Gloved human-machine interface
KR101427365B1 (ko) 2012-10-23 2014-08-07 이인택 관성 센서를 이용한 모션 캡쳐 시스템
CN105653044A (zh) * 2016-03-14 2016-06-08 北京诺亦腾科技有限公司 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统
JP6592416B2 (ja) * 2016-09-29 2019-10-16 マクセル株式会社 タスク実行順序決定システムおよびタスク実行方法
US20190005733A1 (en) * 2017-06-30 2019-01-03 Paul Alexander Wehner Extended reality controller and visualizer

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030006020A (ko) * 2001-07-11 2003-01-23 삼성전자 주식회사 신체의 관절 각도를 이용한 정보 입력 장치 및 방법
KR20150026507A (ko) * 2013-09-03 2015-03-11 강순걸 핸드 햅틱 인터페이스 장치
KR101525226B1 (ko) * 2014-12-12 2015-06-04 영풍전자(주) 증강현실용 모션인식 장갑
KR101571314B1 (ko) * 2015-02-24 2015-11-26 한국과학기술연구원 손가락 관절의 회전각 계측 장치
KR101764328B1 (ko) * 2016-06-09 2017-08-02 울산과학기술원 역감 전달 시스템

Also Published As

Publication number Publication date
CN109997099B (zh) 2022-07-19
KR20190019693A (ko) 2019-02-27
US20200393916A1 (en) 2020-12-17
KR101971882B1 (ko) 2019-04-24
CN109997099A (zh) 2019-07-09
US10901530B2 (en) 2021-01-26

Similar Documents

Publication Publication Date Title
Fang et al. 3D human gesture capturing and recognition by the IMMU-based data glove
CN106445130B (zh) 一种用于手势识别的动作捕捉手套及其校准方法
Fernando et al. Design of TELESAR V for transferring bodily consciousness in telexistence
JP5725603B2 (ja) 側面設置型力覚提示インターフェイス
WO2012161407A1 (en) Method of motion tracking
CN204496431U (zh) 上肢穿戴式动作捕捉设备
KR20140051554A (ko) 관성 센서를 이용한 모션 캡쳐 시스템
WO2018092944A1 (ko) 경직 평가 장치, 방법 및 시스템
CN110327048B (zh) 一种基于可穿戴式惯性传感器的人体上肢姿态重建系统
Gunawardane et al. Comparison of hand gesture inputs of leap motion controller & data glove in to a soft finger
CN1947960A (zh) 用于识别环境和进行作业的仿人机器人
WO2020184769A1 (ko) 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법
WO2017217732A1 (ko) 역감 전달 시스템
CN111752393A (zh) 一种穿戴式智能手套
KR20170006816A (ko) 케이블을 이용한 착용형 손 외골격 장치
JP2020196060A (ja) 教示方法
WO2013025011A1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
WO2019035546A1 (ko) 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치
Falck et al. DE VITO: A dual-arm, high degree-of-freedom, lightweight, inexpensive, passive upper-limb exoskeleton for robot teleoperation
RU2670649C1 (ru) Способ изготовления перчатки виртуальной реальности (варианты)
US20160202765A1 (en) Three-dimensional mouse device and marionette control system using the same
CN212352006U (zh) 一种二指抓取机器人的示教手套及示教系统
CN114756130A (zh) 一种手部虚实交互系统
WO2020116836A1 (ko) 인체 무게 중심의 이동을 이용한 모션 캡쳐 장치 및 그 방법
WO2019208856A1 (ko) Hmi 핸드모듈

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18846291

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18846291

Country of ref document: EP

Kind code of ref document: A1