WO2023096016A1 - 재활운동로봇의 자세 모니터링 방법 - Google Patents

재활운동로봇의 자세 모니터링 방법 Download PDF

Info

Publication number
WO2023096016A1
WO2023096016A1 PCT/KR2021/019691 KR2021019691W WO2023096016A1 WO 2023096016 A1 WO2023096016 A1 WO 2023096016A1 KR 2021019691 W KR2021019691 W KR 2021019691W WO 2023096016 A1 WO2023096016 A1 WO 2023096016A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
elbow joint
posture
detecting
rehabilitation
Prior art date
Application number
PCT/KR2021/019691
Other languages
English (en)
French (fr)
Inventor
구익모
김종현
황예지
Original Assignee
에이치로보틱스 주식회사
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이치로보틱스 주식회사, 성균관대학교산학협력단 filed Critical 에이치로보틱스 주식회사
Publication of WO2023096016A1 publication Critical patent/WO2023096016A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A61H1/0274—Stretching or bending or torsioning apparatus for exercising for the upper limbs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A61H1/0274—Stretching or bending or torsioning apparatus for exercising for the upper limbs
    • A61H1/0277—Elbow
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/1635—Hand or arm, e.g. handle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/1635—Hand or arm, e.g. handle
    • A61H2201/1638—Holding means therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5064—Position sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5069—Angle sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5079—Velocity sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00—Measuring physical parameters of the user
    • A61H2230/70—Body fat
    • A61H2230/705—Body fat used as a control parameter for the apparatus

Definitions

  • the present invention relates to a method for monitoring the posture of a rehabilitation exercise robot, and more particularly, to a rehabilitation exercise robot capable of more accurately monitoring the posture of a rehabilitation subject in a rehabilitation exercise robot in which a rehabilitation subject performs rehabilitation exercise by moving a robot end. It relates to a posture monitoring method.
  • rehabilitation exercise robots for upper extremity exercise for example, an end-effector type rehabilitation exercise robot configured in a form in which a patient moves while holding a handle at the end of the robot is widely used in clinical practice.
  • Such an end-effector type rehabilitation exercise robot has a clinically friendly feature because it is smaller in volume and easier to wear than an exoskeleton type, which is a wearable type rehabilitation exercise robot.
  • the end-effector type rehabilitation exercise robot has a disadvantage in that it is difficult to know the user's posture because the contact area with the user is limited to the handle and is narrow. Therefore, when rehabilitation exercise is performed using an end-effector type rehabilitation exercise robot, medical personnel are required to check whether the rehabilitation subject is being trained in a desirable posture.
  • rehabilitation exercises are performed using the force of other muscles or movements of other joints.
  • the arm cannot be extended in a motion that requires the arm to be extended, the torso is tilted forward and the hand is moved in the forward direction.
  • This is called a compensatory motion or a compensatory motion (hereinafter, referred to as 'compensatory motion'), and a medical personnel is required to confirm that the training of the target motion can be performed without using the compensatory motion.
  • Patent Document 1 Korean Patent Registration No. 10-1471805
  • Patent Document 2 Korean Patent Registration No. 10-1163903
  • the present invention has been devised in view of the above points, and an object of the present invention is not to use machine learning techniques, so training data is not required, there is no additional sensor attached to the body of the rehabilitation subject, and the rehabilitation subject's
  • An object of the present invention is to provide a posture monitoring method of a rehabilitation exercise robot capable of monitoring both arm and trunk postures.
  • a posture monitoring method of a rehabilitation exercise robot capable of more accurately measuring whether or not a compensatory motion and the extent of a compensatory motion are determined.
  • An object of the present invention is a method for monitoring the posture of a rehabilitation exercise robot in which a rehabilitation subject performs rehabilitation exercise by moving a robot end, according to the present invention, comprising the steps of: (a) receiving a posture image in which the rehabilitation subject's posture is photographed; and (b) detecting whether or not the rehabilitation subject makes a compensatory motion based on the posture image;
  • the step (b) includes (b1) detecting the position of the robot end and the velocity of the robot end relative to the robot end, and (b2) the angular velocity of the elbow joint with respect to the elbow joint of the rehabilitation subject based on the velocity of the robot end.
  • step (b3) is predicted, (b3) based on the angular velocity of the elbow joint, determining whether or not to re-estimate, and (b4) if it is determined that it is not the re-estimation section in step (b3), the The step of detecting whether or not the compensatory movement is made based on the first upper arm direction vector detected from the posture image and the position of the distal end of the robot;
  • a posture monitoring method of a rehabilitation exercise robot comprising the step of detecting whether or not the compensatory movement is performed based on the second upper arm direction vector detected by reflecting the posture image on the posture image of the current step and the position of the end of the robot. is achieved by
  • the angular velocity of the elbow joint may be predicted through a Jacobian relational expression with the velocity of the robot end.
  • step (b4) may be performed without performing step (b3).
  • whether the Jacobian matrix is close to the singularity as much as the criterion may be determined according to whether a manipulability measure is as close to 0 as a preset criterion.
  • step (b3) when the angular velocity of the elbow joint is greater than or equal to a preset reference angular velocity, it may be determined as the re-estimation section.
  • the step (b4) includes detecting a current elbow position vector and a current shoulder position vector from the posture image of the current step; detecting the first upper arm direction vector based on the current elbow position vector and the current shoulder position vector; detecting an elbow joint position based on the first upper arm direction vector and the robot end position; detecting an elbow joint angle based on the elbow joint position; Based on the elbow joint angle, whether or not the compensatory movement may be detected.
  • the step (b5) includes the step of detecting the previous elbow position vector from the posture image of the previous step; detecting a current shoulder position vector from the posture image of the current step; detecting the first upper arm direction vector based on the previous elbow position vector and the current shoulder position vector; detecting an elbow joint position based on the first upper arm direction vector and the robot end position; detecting an elbow joint angle based on the elbow joint position; Based on the elbow joint angle, whether or not the compensatory movement may be detected.
  • a rehabilitation exercise robot that does not require training data because it does not use machine learning techniques, does not have a sensor additionally attached to the body of a rehabilitation subject, and can monitor both the posture of the rehabilitation subject's arms and trunk.
  • a posture monitoring method is provided.
  • a situation in which an error may occur in determining whether or not a compensatory movement is caused due to high speed of the elbow joint is classified as a re-estimation section, and whether or not a compensatory movement is determined in a different way according to whether or not the re-estimation section is present is used to determine a more accurate compensatory movement. detection is possible.
  • FIG. 1 is a photograph showing an example of a conventional rehabilitation exercise robot for upper extremity reaching exercise
  • FIG. 2 is a perspective view showing an example of a rehabilitation exercise robot according to an embodiment of the present invention.
  • FIG. 3 is a control block diagram of a rehabilitation exercise robot according to an embodiment of the present invention.
  • 4 to 6 are control flowcharts for explaining a posture monitoring method of a rehabilitation exercise robot according to an embodiment of the present invention.
  • FIG. 7 is a diagram for explaining the principle of detecting the position of an elbow joint in the posture monitoring method of a rehabilitation exercise robot according to an embodiment of the present invention.
  • the present invention is a method for monitoring the posture of a rehabilitation exercise robot in which a rehabilitation subject performs rehabilitation exercises by moving a robot end, comprising the steps of (a) receiving a posture image of the rehabilitation subject's posture; (b) the posture image Based on, detecting whether or not the rehabilitation subject's compensatory motion is detected;
  • the step (b) includes (b1) detecting the position of the robot end and the velocity of the robot end relative to the robot end, and (b2) the angular velocity of the elbow joint with respect to the elbow joint of the rehabilitation subject based on the velocity of the robot end.
  • step (b3) is predicted, (b3) based on the angular velocity of the elbow joint, determining whether or not to re-estimate, and (b4) if it is determined that it is not the re-estimation section in step (b3), the The step of detecting whether or not the compensatory movement is made based on the first upper arm direction vector detected from the posture image and the position of the distal end of the robot; and detecting whether or not the compensatory movement is performed based on the detected second upper arm direction vector by reflecting the posture image to the posture image of the current step, and the position of the end of the robot.
  • FIG. 2 is a perspective view of a rehabilitation exercise robot 100 according to an embodiment of the present invention.
  • the rehabilitation exercise robot 100 may include a robot base 110, a robot body 120, a link assembly 130, and a hand seating part 140. there is.
  • the rehabilitation exercise robot 100 according to the embodiment of the present invention may be configured to further include a table 150.
  • the robot base 110 supports the entire rehabilitation exercise robot 100 according to an embodiment of the present invention in a state of being seated on the floor.
  • the robot base 110 has an approximate rectangular parallelepiped shape as an example, but the technical idea of the present invention is not limited thereto, of course.
  • the robot body 120 is installed on top of the robot base 110 .
  • the robot body 120 according to the embodiment of the present invention is installed on the robot base 110 to be vertically movable, and through this, the height of the hand resting part 140 can be adjusted.
  • the robot body 120 may be configured so that the user directly manually moves up and down, and as another example, forward and reverse rotation of a motor such as a motor is configured to be converted into a linear motion in the vertical direction of the robot body 120 A lift driver may be provided.
  • the link assembly 130 protrudes forward from the robot body 120 .
  • the link assembly 130 is provided to be driven by a mechanism that moves with at least two degrees of freedom.
  • the link assembly 130 may be configured to move in two degrees of freedom in a horizontal direction.
  • the link assembly 130 may be composed of a link structure composed of two or more links.
  • the table 150 may be installed at a height between the robot body 120 and the robot base 110, and the link assembly 130 may be positioned above the table 150.
  • the hand seating portion 140 is coupled to the end of the link assembly 130 to form the robot end of the rehabilitation exercise robot 100 according to the embodiment of the present invention.
  • the rehabilitation subject places his/her hand on the hand resting unit 140 and then proceeds with a rehabilitation exercise.
  • a gripping rod is formed in the hand resting part 140 so that the rehabilitation subject can hold the gripping rod and perform a movement with two degrees of freedom, or may perform a movement while the hand is fixed by the fixing band.
  • the configuration of the rehabilitation exercise robot 100 as described above is only one embodiment, and the technical spirit of the present invention should not be interpreted as being limited to the configuration of FIG. 2 and the above-described rehabilitation exercise robot 100. That is, the posture monitoring method of the rehabilitation exercise robot 100 according to the embodiment of the present invention, which will be described later, can be applied to the rehabilitation exercise robot 100 of various configurations of end effector type.
  • FIG. 3 is a control block diagram of the rehabilitation exercise robot 100 according to an embodiment of the present invention.
  • the rehabilitation exercise robot 100 includes a robot end position detection unit 161, a non-contact posture detection unit 162, a re-estimation section detection unit 163, a joint angle detection unit ( 164), an image display unit 165, a rehabilitation driving unit 166, and a Jane control unit.
  • the rehabilitation exercise robot 100 may be configured to further include a user input unit 168.
  • the rehabilitation driving unit 166 provides an exercise load through the link assembly 130, thereby assisting a rehabilitation subject's rehabilitation exercise.
  • the rehabilitation driving unit 166 is composed of a pair of motors, and a load is supplied according to rotation of the pair of motors.
  • the robot end position detection unit 161 detects the position of the hand resting part 140 when the rehabilitation subject performs a rehabilitation exercise while the rehabilitation subject holds the hand resting part 140. do.
  • the position of the hand resting part 140 becomes the robot end position of the rehabilitation exercise robot 100 according to the embodiment of the present invention.
  • the position of the hand resting unit 140 is detected based on the detection result of the wheel encoder for detecting the amount of rotation of each motor constituting the rehabilitation driving unit 166.
  • various sensors capable of detecting the position of the hand resting unit 140 can be applied.
  • the non-contact posture sensor 162 detects the posture of the rehabilitation subject in a non-contact manner.
  • a 3D camera capable of capturing depth information is applied as the non-contact posture sensor 162 .
  • an image captured by the non-contact posture sensor 162 is defined as a posture image and described.
  • the re-estimation section detection unit 163 determines whether or not the re-estimation section is based on the angular velocity of the elbow joint.
  • the angular velocity of the elbow joint is predicted based on the movement velocity of the hand resting unit 140, that is, the velocity of the robot end, will be described in detail later.
  • the joint angle detection unit 164 detects a direction vector of the upper arm from the posture image captured by the non-contact posture detection unit 162, and uses the direction vector of the upper arm and the position of the end of the robot to determine the angle of the elbow joint. detection, which will be described in detail later.
  • the main control unit 167 controls the entire function of the rehabilitation exercise robot 100 according to the embodiment of the present invention, hardware configuration such as CPU, memory, graphic card, operating system (Operating system) and various programs.
  • the main controller 167 may provide various information related to rehabilitation through the image display unit 165 in the course of rehabilitation training for a rehabilitation subject, and may process input information input through the user input unit 168. there is.
  • the main controller 167 detects whether or not a compensatory movement is performed based on the angle of the elbow joint detected by the joint angle detector 164 .
  • the main control unit 167 may perform actions when it is determined that the motion is compensated for.
  • the main controller 167 may display an image for posture correction guidance through the image display unit 165 and output a voice for posture correction guidance through a speaker (not shown).
  • the main controller 167 may take a separate corrective action when posture correction is not performed despite the posture correction guidance as described above, that is, when compensatory motion is continuously detected.
  • the rehabilitation exercise may be stopped or the rehabilitation exercise may be restarted from an initial position.
  • a posture image in which a posture of a rehabilitation subject is photographed is received, and based on the posture image, whether or not a motion of the rehabilitation subject is compensated is detected.
  • a compensatory motion is detected as an elbow joint angle of a rehabilitation subject, and when the elbow joint angle is equal to or greater than a predetermined reference value, it may be determined as a compensatory motion.
  • the reference value may be set and registered by a doctor or the like according to the condition of the rehabilitation subject, and may be configured to change according to the current hand position, that is, the robot end position detected by the robot end position detection unit 161. there is.
  • the main controller 167 may output a posture correction guide through the image display unit 165 or a speaker as described above, and the posture is corrected after the posture correction guide. It is determined whether or not it has occurred (S60), and subsequent corrective measures may be performed (S70). Here, whether or not the rehabilitation subject's posture is corrected is the same as the process of detecting whether or not the compensatory motion is performed.
  • the above process may be performed until the rehabilitation exercise ends (S80).
  • 5 and 6 are diagrams showing examples of a process of detecting whether or not a compensated motion is performed in step S20 of FIG. 4 .
  • the robot end position relative to the robot end is detected (S212), and the robot end speed relative to the robot end is calculated or detected (S213), where the robot end speed is the robot end speed. It can be calculated based on the distal position or detected through a separate velocity detection process.
  • the angular velocity of the elbow joint of the rehabilitation subject is predicted (S214).
  • the angular velocity of the elbow joint is predicted through the Jacobian relational expression with the velocity of the robot end.
  • Equation 1 X is the velocity of the robot end, and ⁇ is the angular velocity of the elbow joint.
  • J is set by modeling the body of a rehabilitation subject with a Jacobian matrix.
  • the Jacobian matrix is set as a function according to an angle, and as shown in FIG. 5, it is set as a function according to a rehabilitation subject (S211).
  • the elbow joint position and elbow joint angle are calculated (S216, S217) is an example. This is to exclude the predicted elbow joint angular velocity diverging when approaching a singularity due to the nature of the Jacobian matrix.
  • whether a Jacobian matrix is close to a singularity as much as a criterion is determined according to whether a manipulability measure is as close to 0 as a predetermined criterion.
  • the angular velocity of the elbow joint is predicted as described above, based on the predicted angular velocity of the elbow joint, whether or not to re-estimate is determined (S215).
  • the position of the robot end and the direction vector of the upper arm are used as an example. It is determined whether or not to re-estimate according to the angular velocity of the bar and the elbow joint. For example, a case where the angular velocity of the elbow joint is greater than or equal to a preset reference angular velocity may be determined as a re-estimation section.
  • the method of calculating the elbow joint position in the re-estimation section and in the non-re-estimation section is different to improve accuracy.
  • the position of the elbow joint is calculated using the robot end position and the first upper arm direction vector (S216).
  • the first upper arm direction vector according to the embodiment of the present invention is detected through image analysis (S221) of the posture image captured by the non-contact posture sensor 162 (S222). More specifically, an elbow position vector and a shoulder position vector may be detected through image analysis, and a first upper arm direction vector may be detected using the elbow position vector and the shoulder position vector.
  • the current elbow position vector and the current shoulder position vector detected from the posture image of the current step are applied to the detection of the first upper arm direction vector when it is not the re-estimation section.
  • step S215 in the step of detecting the upper arm direction vector (S231), the previous elbow position vector detected from the posture image of the previous step and the current shoulder position detected from the posture image of the current step The vector is applied to the detection of the second upper arm direction vector.
  • the elbow joint position is detected based on the second upper arm direction vector and the current robot end position information (S232).
  • the first upper arm direction vector or the second upper arm direction vector is detected in a section other than the re-estimation section or in the re-estimation section (S222, S231)
  • the first upper arm direction vector or the second upper arm direction vector or the second upper arm direction vector is detected in each section.
  • the elbow joint position is calculated (S216, S232), and the elbow joint angle is calculated based on the elbow joint position (S217, S233).
  • FIG. 7 is a diagram for explaining the principle of detecting the elbow joint position using a first upper arm direction vector or a second upper arm direction vector in the posture monitoring method of the rehabilitation exercise robot 100 according to an embodiment of the present invention.
  • W, S, and E * denote position vectors, respectively, indicating a wrist position vector, a shoulder position vector, and an elbow position vector.
  • SE * is the first upper arm direction vector or the second upper arm direction vector described above, and is input as an input value in the process of calculating the elbow joint position shown in FIG. 7, and SE is output as the final elbow joint position.
  • the wrist position vector is determined by the robot end position described above, and the shoulder position vector may be obtained through image analysis.
  • the forearm length and upper arm length of the rehabilitation subject are registered in advance for the rehabilitation subject.
  • main control unit 168 user input unit
  • the present invention is applicable to the field of rehabilitation exercise for patients and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Rehabilitation Therapy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Multimedia (AREA)
  • Pain & Pain Management (AREA)
  • Epidemiology (AREA)
  • Signal Processing (AREA)
  • Rehabilitation Tools (AREA)

Abstract

본 발명은 재활 대상자가 로봇 말단을 움직여 재활운동을 수행하는 재활운동로봇의 자세 모니터링 방법에 관한 것으로, (a) 상기 재활 대상자의 자세가 촬영된 자세 영상이 수신되는 단계와, (b) 상기 자세 영상에 기초하여, 상기 재활 대상자의 보상 움직임 여부가 검출되는 단계를 포함하며; 상기 (b) 단계는 (b1) 상기 로봇 말단에 대한 로봇 말단 위치와, 로봇 말단 속도가 검출되는 단계와, (b2) 상기 로봇 말단 속도에 기초하여, 상기 재활 대상자의 팔꿈치 관절에 대한 팔꿈치 관절 각속도가 예측되는 단계와, (b3) 상기 팔꿈치 관절 각속도에 기초하여, 재추정 구간 여부가 판단되는 단계와, (b4) 상기 (b3) 단계에서 상기 재추정 구간이 아닌 것으로 판단된 경우, 현재 스텝의 자세 영상으로부터 검출된 제1 상완 방향벡터와, 상기 로봇 말단 위치에 기초하여 상기 보상 움직임 여부가 검출되는 단계와, (b5) 상기 (b3) 단계에서 상기 재추정 구간으로 판단된 경우, 이전 스텝의 자세 영상이 현재 스텝의 자세 영상에 반영되어 검출된 제2 상완 방향벡터와, 상기 로봇 말단 위치에 기초하여 상기 보상 움직임 여부가 검출되는 단계를 포함하는 것을 특징으로 한다.

Description

재활운동로봇의 자세 모니터링 방법
본 발명은 재활운동로봇의 자세 모니터링 방법에 관한 것으로서, 보다 상세하게는, 재활 대상자가 로봇 말단을 움직여 재활운동을 수행하는 재활운동로봇에서 재활 대상자의 자세를 보다 정확하게 모니터링할 수 있는 재활운동로봇의 자세 모니터링 방법에 관한 것이다.
상지의 운동기능이 저하된 환자들은 상지 운동을 위하여 재활운동로봇으로 훈련을 받게 된다. 상지 운동을 위한 재활운동로봇 중 환자가 로봇 말단의 핸들을 잡고 움직이는 형태로 구성된, 예를 들어 말단장치 타입의 재활운동로봇이 임상에서 널리 사용되고 있다. 이와 같은 말단장치 타입의 재활운동로봇은 입는 타입의 재활운동로봇인 외골격 타입보다 부피가 작고 착용도 쉬워 임상 친화적인 특징을 갖는다.
하지만 말단장치 타입의 재활운동로봇은, 도 1에 도시된 바와 같이, 사용자와의 접촉 면적이 핸들로 국한되어 좁기 때문에 사용자의 자세를 알기 어려운 단점이 있다. 따라서 말단장치 타입의 재활운동로봇을 이용하여 재활 운동을 할때에는 재활 대상자가 바람직한 자세로 훈련을 받고 있는지 확인해 줄 의료 인력이 필요하다.
특히 환자의 경우 근력 약화로 인해 특정 움직임을 만들어내지 못할 때, 다른 근육의 힘 또는 다른 관절의 움직임을 사용하여 재활 운동을 수행하게 된다. 예를 들어, 팔을 뻗어야 하는 동작에서 팔을 뻗지 못하는 경우, 몸통을 앞으로 기울여서 앞 방향으로 손을 움직이게 된다. 이를 보상 움직임 또는 보상 운동(이하, '보상 움직임'이라 함)이라고 하며, 보상 움직임을 사용하지 않고 목표하는 동작의 훈련을 수행할 수 있도록 확인해 줄 의료 인력이 필요하다.
상기와 같은 문제를 해결하기 위해, 상완(upper arm)에 관성 센서(IMU; Inertia measurement unit)를 붙여서 재활 대상자의 팔 관절 각도를 알아내기 위한 연구가 있었다. 하지만 몸에 부착하는 방식이기 때문에 초기 세팅에 시간이 더 걸릴 수 있으며, 센서를 관절 방향과 맞지 않게 부착할수록 정확도가 낮아지는 단점이 있다. 또한 팔 관절 이외에 다른 부위의 자세를 알고 싶다면 더 많은 센서를 몸에 부착해야 한다는 단점이 있다.
다른 방법으로, 카메라를 사용하여 몸통의 보상 움직임을 분류한 연구가 있다. 이 연구는 재활 대상자의 몸통 보상 움직임 위주의 분류를 하였으며, 팔 관절의 각도 등은 알아낼 수 없다. 보상 움직임의 여부는 알 수 있으나, 보상 움직임의 정도나 관절각도 등은 알아낼 수 없는 단점이 있다. 또한, 머신러닝 기법을 이용하였기 때문에 훈련용 데이터가 필요하다는 단점이 있다.
또 다른 방법으로, 몸통의 보상 움직임을 의자에 있는 압력 센서로 알아낸 후에 실시간으로 재활 대상자에게 자세에 대한 피드백을 주는 연구도 있었다. 이러한 연구 또한 몸통의 보상 움직임에만 초점을 둔 연구였고, 머신러닝 기법을 이용하였기 때문에 훈련용 데이터가 필요하다는 단점이 있다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) 국내등록특허공보 제10-1471805호
(특허문헌 2) 국내등록특허공보 제10-1163903호
본 발명은 상기와 같은 점을 감안하여 안출된 것으로서, 본 발명의 목적은 머신러닝 기법을 사용하지 않아 훈련용 데이터가 필요하지 않고, 재활 대상자의 몸에 추가로 부착하는 센서가 없으며, 재활 대상자의 팔과 몸통의 자세를 모두 모니터링할 수 있는 재활운동로봇의 자세 모니터링 방법을 제공하는데 있다.
또한, 보상 움직임 여부를 판단하는데 있어, 보다 정확한 보상 움직임 여부와 정도를 측정할 수 있는 재활운동로봇의 자세 모니터링 방법을 제공하는데 있다.
본 발명의 목적은, 본 발명에 따라, 재활 대상자가 로봇 말단을 움직여 재활운동을 수행하는 재활운동로봇의 자세 모니터링 방법에 있어서, (a) 상기 재활 대상자의 자세가 촬영된 자세 영상이 수신되는 단계와, (b) 상기 자세 영상에 기초하여, 상기 재활 대상자의 보상 움직임 여부가 검출되는 단계를 포함하며; 상기 (b) 단계는 (b1) 상기 로봇 말단에 대한 로봇 말단 위치와, 로봇 말단 속도가 검출되는 단계와, (b2) 상기 로봇 말단 속도에 기초하여, 상기 재활 대상자의 팔꿈치 관절에 대한 팔꿈치 관절 각속도가 예측되는 단계와, (b3) 상기 팔꿈치 관절 각속도에 기초하여, 재추정 구간 여부가 판단되는 단계와, (b4) 상기 (b3) 단계에서 상기 재추정 구간이 아닌 것으로 판단된 경우, 현재 스텝의 자세 영상으로부터 검출된 제1 상완 방향벡터와, 상기 로봇 말단 위치에 기초하여 상기 보상 움직임 여부가 검출되는 단계와, (b5) 상기 (b3) 단계에서 상기 재추정 구간으로 판단된 경우, 이전 스텝의 자세 영상이 현재 스텝의 자세 영상에 반영되어 검출된 제2 상완 방향벡터와, 상기 로봇 말단 위치에 기초하여 상기 보상 움직임 여부가 검출되는 단계를 포함하는 것을 특징으로 하는 재활운동로봇의 자세 모니터링 방법에 의해서 달성된다.
여기서, 상기 (b2) 단계에서는 상기 팔꿈치 관절 각속도가 상기 로봇 말단 속도와의 자코비언 관계식을 통해 예측될 수 있다.
그리고, 상기 자코비언 관계식은 X=Jθ(X는 상기 로봇 말단 속도이고, θ는 상기 팔꿈치 관절 각속도이고, J는 자코비언 행렬로 상기 재활 대상자의 신체가 모델링되어 설정된다)로 정의될 수 있다.
또한, 상기 자코비언 행렬이 특이점(Singularity)에 기 설정된 기준만큼 근접하는 경우, 상기 (b3) 단계의 수행없이, 상기 (b4) 단계가 수행될 수 있다.
그리고, 상기 자코비언 행렬이 특이점(Singularity)에 상기 기준만큼 근접하는지 여부는 조작성 지수(Manipulability measure)가 기 설정된 기준만큼 0에 근접하는지 여부에 따라 판단될 수 있다.
그리고, 상기 (b3) 단계에서는 상기 팔꿈치 관절 각속도가 기 설정된 기준 각속도 이상인 경우, 상기 재추정 구간으로 판단될 수 있다.
그리고, 상기 (b4) 단계는 현재 스텝의 자세 영상으로부터 현재 팔꿈치 위치벡터와, 현재 어깨 위치벡터가 검출되는 단계와; 상기 현재 팔꿈치 위치벡터와, 상기 현재 어깨 위치벡터에 기초하여, 상기 제1 상완 방향벡터가 검출되는 단계와; 상기 제1 상완 방향벡터와, 상기 로봇 말단 위치에 기초하여, 팔꿈치 관절 위치가 검출되는 단계와; 상기 팔꿈치 관절 위치에 기초하여, 팔꿈치 관절 각도가 검출되는 단계와; 상기 팔꿈치 관절 각도에 기초하여, 상기 보상 움직임 여부가 검출되는 단계를 포함할 수 있다.
그리고, 상기 (b5) 단계는 이전 스텝의 자세 영상으로부터 이전 팔꿈치 위치벡터가 검출되는 단계와; 현재 스텝의 자세 영상으로부터 현재 어깨 위치벡터가 검출되는 단계와; 상기 이전 팔꿈치 위치벡터와, 상기 현재 어깨 위치벡터에 기초하여, 상기 제1 상완 방향벡터가 검출되는 단계와; 상기 제1 상완 방향벡터와, 상기 로봇 말단 위치에 기초하여, 팔꿈치 관절 위치가 검출되는 단계와; 상기 팔꿈치 관절 위치에 기초하여, 팔꿈치 관절 각도가 검출되는 단계와; 상기 팔꿈치 관절 각도에 기초하여, 상기 보상 움직임 여부가 검출되는 단계를 포함할 수 있다.
본 발명에 따르면, 머신러닝 기법을 사용하지 않아 훈련용 데이터가 필요하지 않고, 재활 대상자의 몸에 추가로 부착하는 센서가 없으며, 재활 대상자의 팔과 몸통의 자세를 모두 모니터링할 수 있는 재활운동로봇의 자세 모니터링 방법이 제공된다.
또한, 팔꿈치 관절의 속도가 높아 보상 움직임 여부의 판단에 오류가 발생할 수 있는 상황을 재추정 구간으로 분류하고, 재추정 구간 여부에 따라 다른 방법으로 보상 움직임 여부를 판단함으로써, 보다 정확한 보상 움직임 여부의 검출이 가능하게 된다.
도 1은 종래의 상지의 도달운동을 위한 재활운동로봇의 예를 나타낸 사진이고,
도 2는 본 발명의 실시예에 따른 재활운동로봇의 예를 나타낸 사시도이고,
도 3은 본 발명의 실시예에 따른 재활운동로봇의 제어 블록도이고,
도 4 내지 도 6은 본 발명의 실시예에 따른 재활운동로봇의 자세 모니터링 방법을 설명하기 위한 제어 흐름도이고,
도 7은 본 발명의 실시예에 따른 재활운동로봇의 자세 모니터링 방법에서 팔꿈치 관절 위치를 검출하는 원리를 설명하기 위한 도면이다.
본 발명은 재활 대상자가 로봇 말단을 움직여 재활운동을 수행하는 재활운동로봇의 자세 모니터링 방법에 있어서, (a) 상기 재활 대상자의 자세가 촬영된 자세 영상이 수신되는 단계와, (b) 상기 자세 영상에 기초하여, 상기 재활 대상자의 보상 움직임 여부가 검출되는 단계를 포함하며; 상기 (b) 단계는 (b1) 상기 로봇 말단에 대한 로봇 말단 위치와, 로봇 말단 속도가 검출되는 단계와, (b2) 상기 로봇 말단 속도에 기초하여, 상기 재활 대상자의 팔꿈치 관절에 대한 팔꿈치 관절 각속도가 예측되는 단계와, (b3) 상기 팔꿈치 관절 각속도에 기초하여, 재추정 구간 여부가 판단되는 단계와, (b4) 상기 (b3) 단계에서 상기 재추정 구간이 아닌 것으로 판단된 경우, 현재 스텝의 자세 영상으로부터 검출된 제1 상완 방향벡터와, 상기 로봇 말단 위치에 기초하여 상기 보상 움직임 여부가 검출되는 단계와, (b5) 상기 (b3) 단계에서 상기 재추정 구간으로 판단된 경우, 이전 스텝의 자세 영상이 현재 스텝의 자세 영상에 반영되어 검출된 제2 상완 방향벡터와, 상기 로봇 말단 위치에 기초하여 상기 보상 움직임 여부가 검출되는 단계를 포함하는 것을 특징으로 한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부 도면을 참조하여 본 발명에 대해 상세히 설명한다.
도 2는 본 발명의 실시예에 따른 재활운동로봇(100)의 사시도이다.
도 2를 참조하여 설명하면, 본 발명의 실시예에 따른 재활운동로봇(100)는 로봇 베이스(110), 로봇 본체(120), 링크 어셈블리(130), 손 안착부(140)을 포함할 수 있다. 또한, 본 발명의 실시예에 따른 재활운동로봇(100)은 테이블(150)를 더 포함하여 구성될 수 있다.
로봇 베이스(110)는 바닥에 안착된 상태에서 본 발명의 실시예에 따른 재활운동로봇(100) 전체를 지지한다. 도 2에서는 로봇 베이스(110)가 대략 직육면체 형상을 갖는 것을 예로 하고 있으나, 본 발명의 기술적 사상이 이에 국한되지 않음은 물론이다.
로봇 본체(120)는 로봇 베이스(110)의 상부에 설치된다. 여기서, 본 발명의 실시예에 따른 로봇 본체(120)는 로봇 베이스(110)에 상하 방향으로 승강 이동 가능하게 설치되는 것을 예로 하는데, 이를 통해 손 안착부(140)의 높이 조절이 가능하게 된다.
여기서, 로봇 본체(120)는 사용자가 직접 수동으로 승강 이동시키도록 구성될 수 있고, 다른 예로, 모터 등과 같은 모터의 정역 회전이 로봇 본체(120)의 상하 방향으로의 직선 운동으로 전환되도록 구성하는 승강 구동부가 마련될 수도 있다.
본 발명의 실시예에 따른 링크 어셈블리(130)는 로봇 본체(120)로부터 전방을 향해 돌출된다. 여기서, 링크 어셈블리(130)는 적어도 2 자유도로 움직이는 메커니즘으로 구동 가능하게 마련되는 것을 예로 한다. 예컨대, 링크 어셈블리(130)는 수평 방향으로 2 자유도로 움직일 수 있도록 구성될 수 있다. 이를 위해, 링크 어셈블리(130)는 2 이상의 링크로 구성된 링크 구조로 구성될 수 있다.
여기서, 로봇 본체(120)와 로봇 베이스(110) 사이 정도의 높이에 테이블(150)이 설치될 수 있으며, 링크 어셈블리(130)은 테이블(150)의 상부에 위치할 수 있다.
본 발명의 실시예에 따른 손 안착부(140)는 링크 어셈블리(130)의 말단에 결합되어, 본 발명의 실시예에 따른 재활운동로봇(100)의 로봇 말단을 형성하게 된다. 재활 대상자는 손 안착부(140)에 손을 안착시킨 후 재활운동을 진행하게 된다. 여기서, 손 안착부(140)에는 파지 봉이 형성되어 재활 대상자가 파지 봉을 잡고 2 자유도로 움직임을 수행할 수 있으며, 고정 밴드에 의해 손이 고정된 상태로 움직임을 수행할 수도 있다.
상기와 같은 재활운동로봇(100)의 구성은 하나의 실시예에 불과하며, 본 발명의 기술적 사상이 도 2 및 상술한 재활운동로봇(100)의 구성에 한정되어 해석되어서는 아니 된다. 즉, 다양한 구성의 말단장치 타입의 재활운동로봇(100)에 대해서도 후술할 본 발명의 실시예에 따른 재활운동로봇(100)의 자세 모니터링 방법이 적용될 수 있다.
도 3은 본 발명의 실시예에 따른 재활운동로봇(100)의 제어 블록도이다.
도 3을 참조하여 설명하면, 본 발명의 실시예에 따른 재활운동로봇(100)은 로봇 말단 위치 검출부(161), 비접촉 자세 감지부(162), 재추정 구간 검출부(163), 관절 각도 검출부(164), 영상 디스플레이부(165), 재활 구동부(166), 및 제인 제어부를 포함할 수 있다. 또한, 본 발명의 실시예에 따른 재활운동로봇(100)은 사용자 입력부(168)를 더 포함하여 구성될 수 있다.
본 발명의 실시예에 따른 재활 구동부(166)는 링크 어셈블리(130)를 통해 운동 부하를 제공함으로써, 재활 대상자의 재활운동을 보조하게 된다. 예를 들어, 재활 구동부(166)는 한 쌍의 모터로 구성되어 한 쌍의 모터의 회전에 따라 부하가 공급되는 것을 예로 한다.
본 발명의 실시예에 따른 로봇 말단 위치 검출부(161)는 재활 대상자가 손 안착부(140)를 파지한 상태에서, 재활 대상자가 재활운동을 수행할 때, 손 안착부(140)의 위치를 감지한다. 여기서, 손 안착부(140)의 위치는 본 발명의 실시예에 따른 재활운동로봇(100)의 로봇 말단 위치가 된다.
본 발명의 실시예에서는 재활 구동부(166)를 구성하는 각각의 모터의 회전량을 감지하는 휠 엔코더의 감지 결과에 기초하여 손 안착부(140)의 위치, 즉 로봇 말단 위치가 검출되는 것을 예로 하는데, 손 안착부(140)의 위치 검출이 가능한 다양한 센서가 적용될 수 있음은 물론이다.
비접촉 자세 감지부(162)는 비접촉 방식으로 재활 대상자의 자세를 감지한다. 본 발명의 실시예에서는 깊이 정보까지 촬영이 가능한 3D 카메라가 비접촉 자세 감지부(162)로 적용되는 것을 예로 한다. 이하에는, 비접촉 자세 감지부(162)에 의해 촬영된 영상을 자세 영상으로 정의하여 설명한다.
재추정 구간 검출부(163)는 팔꿈치 관절 각속도에 기초하여, 재추정 구간 여부를 판단한다. 본 발명의 실시예에서는 팔꿈치 관절 각속도가, 손 안착부(140)의 움직임 속도, 즉 로봇 말단 속도에 기초하여 예측되는 것을 예로 하는데, 이에 대한 상세한 설명은 후술한다.
본 발명의 실시예에 따른 관절 각도 검출부(164)는 비접촉 자세 감지부(162)에 의해 촬용된 자세 영상으로부터 상완 방향벡터를 검출하고, 상완 방향벡터와 로봇 말단 위치를 이용하여, 팔꿈치 관절 각도를 검출하는데, 이에 대한 상세한 설명은 후술한다.
본 발명의 실시예에 따른 메인 제어부(167)는 본 발명의 실시예에 따른 재활운동로봇(100)의 전체 기능을 제어하며, CPU, 메모리, 그래픽 카드와 같은 하드웨어적 구성과, 운영체계(Operating system), 각종 프로그램과 같은 소프트웨어적 구성을 포함하여 구성될 수 있다.
여기서, 메인 제어부(167)는 재활 대상자의 재활 훈련 과정에서 재활 훈련과 관련된 다양한 정보를 영상 디스플레이부(165)를 통해 제공할 수 있으며, 사용자 입력부(168)를 통해 입력되는 입력 정보를 처리할 수 있다.
또한, 본 발명의 실시예에 따른 메인 제어부(167)는 관절 각도 검출부(164)에 의해 검출된 팔꿈치 관절 각도에 기초하여 보상 움직임 여부를 검출한다. 그리고, 메인 제어부(167)는 보상 움직임으로 판단되는 경우, 이에 대한 조치를 수행할 수 있다.
일 예로, 메인 제어부(167)는 영상 디스플레이부(165)를 통해, 자세 교정 안내를 위한 영상을 표시할 수 있고, 도시되지 않은 스피커를 통해 자세 교정 안내를 위한 음성을 출력할 수 있다.
또한, 메인 제어부(167)는 상기와 같은 자세 교정 안내에도 불구하고, 자세 교정이 이루어지지 않는 경우, 즉, 지속적으로 보상 움직임이 검출되는 경우에는 별도의 교정 조치를 취할 수 있다. 예를 들어, 재활 운동을 멈추거나, 재활 운동을 초기 위치로부터 다시 시작할 수 있다.
이하에서는, 도 4 내지 도 6을 참조하여 본 발명의 실시예에 따른 재활운동로봇(100)의 자세 모니터링 방법에 대해 상세히 설명한다.
본 발명의 실시에에 따른 자세 모니터링 방법은 재활 대상자의 자세가 촬영된 자세 영상을 수신하고, 자세 영상에 기초하여, 재활 대상자의 움직임 보상 여부를 검출하게 된다.
도 4를 참조하여 보다 구체적으로 설명하면, 재활운동이 시작되면(S10), 재활운동 과정에서, 재활 대상자에 대한 자세 영상이 촬영되면서, 실시간으로 재활 대상자의 보상 움직임 여부가 검출된다(S20).
그리고, 보상 움직임이 발생한 것으로 검출되면(S30), 보상 움직임이 기 설정된 기준값 이상인지 여부를 판단한다(S40). 여기서, 본 발명의 실시예에서는 보상 움직임이 재활 대상자의 팔꿈지 관절 각도로 검출되는 것을 예로 하는데, 팔꿈치 관절 각도가 기 설정된 기준값 이상인 경우, 보상 움직임으로 판단할 수 있다. 이 때, 기준값은 재활 대상자의 상태에 따라 의사 등이 설정하여 등록될 수 있으며, 현재의 손의 위치, 즉, 로봇 말단 위치 검출부(161)에 의해 검출된 로봇 말단 위치에 따라 변하도록 구성될 수 있다.
S40 단계에서 보상 움직임이 기준값 이상으로 판단되면, 메인 제어부(167)는 앞서 설명한 바와 같이, 자세 교정 안내를 영상 디스플레이부(165)나 스피커를 통해 출력할 수 있으며, 자세 교정 안내 이후에 자세가 교정되었는지 여부를 판단하여(S60), 이후의 교정 조치를 수행할 수 있다(S70). 여기서, 재활 대상자의 자세가 교정되었는지 여부는 보상 움직임 여부의 검출 과정과 동일하다.
상기와 같은 과정을 재활운동이 종료(S80)될 때까지 수행될 수 있다.
도 5 및 도 6은 도 4의 S20 단계인 보상 움직임 여부를 검출하는 과정의 예를 나타낸 도면이다.
도 5 및 도 6을 참조하여 설명하면, 먼저, 로봇 말단에 대한 로봇 말단 위치가 검출되고(S212), 로봇 말단에 대한 로봇 말단 속도가 산출 또는 검출된다(S213), 여기서, 로봇 말단 속도는 로봇 말단 위치에 기반하여 산출되거나, 별도의 속도 검출 과정을 통해 검출될 수 있다.
그런 다음, 로봇 말단 속도에 기초하여, 재활 대상자의 팔꿈치 관절에 대한 팔꿈치 관절 각속도가 예측된다(S214). 본 발명의 실시예에서는 팔꿈치 관절 각속도가 로봇 말단 속도와의 자코비언 관계식을 통해 예측되는 것을 예로 한다.
여기서, 자코비언 관계식은 [수학식 1]과 같이 정의될 수 있다.
[수학식 1]
X=Jθ
[수학식 1]에서, X는 로봇 말단 속도이고, θ는 팔꿈치 관절 각속도이다. 그리고, J는 자코비언 행렬로 재활 대상자의 신체가 모델링되어 설정되는데, 자코비언 행렬이 각도에 따른 함수로 설정이 되고, 도5에 도시된 바와 같이, 재활 대상자에 따라 함수로 설정이 된다(S211).
본 발명의 실시예에서는 자코비언 행렬이 특이점(Singularity)에 기 설정된 기준만큼 근접하는 경우, 팔꿈치 관절 각속도 예측 과정이나 후술할 재추정 구간 여부의 판단없이, 팔꿈치 관절 위치와 팔꿈치 관절 각도가 산출(S216,S217)되는 것을 예로 한다. 이는 자코비언 행렬의 특성상 특이점에 가까워지면, 예측되는 팔꿈치 관절 각속도가 발산하기 때문에, 이를 배제하기 위함이다.
본 발명이 실시예에서는 자코비언 행렬이 특이점(Singularity)에 기준만큼 근접하는지 여부는 조작성 지수(Manipulability measure)가 기 설정된 기준만큼 0에 근접하는지 여부에 따라 판단하는 것을 예로 한다.
한편, 상기와 같이 팔꿈치 관절 각속도가 예측되면, 예측된 팔꿈치 관절 각속도에 기초하여, 재추정 구간 여부가 판단된다(S215). 본 발명의 실시예에서는 팔꿈치 관절 위치를 산출하는 과정(S216, S232)에서, 로봇 말단 위치와 상완 방향벡터가 사용되는 것을 예로 하는데, 영상의 상완 방향벡터는 팔꿈치 관절 각속도가 빠를수록 검출 정확도가 떨어지는 바, 팔꿈치 관절 각속도에 따라 재추정 여부를 결정하게 된다. 예컨대, 팔꿈치 관절 각속도가 기 설정된 기준 각속도 이상인 경우를 재추정 구간으로 판단할 수 있다.
즉, 본 발명의 실시예에서는 팔꿈치 관절 각속도를 기준으로 하여, 재추정 구간일 때와, 재추정 구간이 아닐 때 팔꿈치 관절 위치를 산출하는 방법을 달리하여 정확도를 향상시킨다.
먼저, S215 단계에서 재추정 구간이 아닌 것으로 판단된 경우, 로봇 말단 위치와 제1 상완 방향벡터를 이용하여 팔꿈치 관절 위치가 산출된다(S216).
본 발명의 실시예에 따른 제1 상완 방향벡터는 비접촉 자세 감지부(162)에 의해 촬영된 자세 영상의 영상 분석(S221)을 통해 검출되는 것을 예로 한다(S222). 보다 구체적으로 설명하면, 영상 분석을 통해, 팔꿈치 위치벡터와 어깨 위치벡터가 검출되고, 팔꿈치 위치벡터와 어깨 위치벡터를 이용하여 제1 상완 방향벡터가 검출이 될 수 있다.
본 발명의 실시예에서는 재추정 구간이 아닌 경우, 현재 스텝의 자세 영상으로부터 검출된 현재 팔꿈치 위치벡터와 현재 어깨 위치벡터가 제1 상완 방향벡터의 검출에 적용되는 것을 예로 한다.
반면, S215 단계에서 재추정 구간인 것으로 판단된 경우, 상완 방향벡터의 검출 과정(S231)에, 이전 스텝의 자세 영상으로부터 검출되었던 이전 팔꿈치 위치벡터와, 현재 스텝의 자세 영상으로부터 검출된 현재 어깨 위치벡터가 제2 상완 방향벡터의 검출에 적용된다.
그리고, 재추정 구간에서는 제2 상완 방향벡터와 현재의 로봇 말단 위치 정보에 기초하여, 팔꿈치 관절 위치가 검출된다(S232).
상기와 같이, 재추정 구간에서는 팔꿈치 관절의 각속도가 높아, 영상 분석을 통한 팔꿈치 관절에 대한 팔꿈치 위치벡터의 검출의 정확도가 낮아질 수 있는 바, 제2 상완 방향벡터의 검출에, 이전 스텝에서 검출된 이전 팔꿈치 위치벡터를 적용함으로써, 정확도가 낮아질 수 있는 문제점을 보완하게 된다.
상기와 같은 방법으로, 재추정 구간이 아닌 구간 또는 재추정 구간에서 제1 상완 방향벡터 또는 제2 상완 방향벡터가 검출되면(S222,S231), 각각의 구간에서 제1 상완 방향벡터 또는 제2 상완 방향벡터를 이용하여, 팔꿈치 관절 위치가 산출되고(S216,S232), 팔꿈치 관절 위치에 기초하여 팔꿈치 관절 각도가 산출된다(S217,S233).
그런 다음, 팔꿈치 관절 각도가 앞서 설명한 바와 같이, 보상 움직임에 해당하는 기준값이상인 경우(S40), 자세 교정 안내(S50)이나 교정 조치(S70)가 이루어진다.
도 7은 본 발명의 실시예에 따른 재활운동로봇(100)의 자세 모니터링 방법에서, 제1 상완 방향벡터 또는 제2 상완 방향벡터를 이용하여 팔꿈치 관절 위치를 검출하는 원리를 설명하기 위한 도면이다.
도 7의 (a)에서, W, S, E*는 각각 위치벡터로, 손목 위치벡터, 어깨 위치벡터 및 팔꿈치 위치벡터를 나타내고 있다. 그리고, SE*는 앞서 설명한 제1 상완 방향벡터 또는 제2 상완 방향벡터로, 도 7에 도시된 팔꿈치 관절 위치를 산출하는 과정에서 입력값으로 입력되고, 최종적인 팔꿈치 관절 위치로 SE가 출력된다. 여기서, 손목 위치벡터는 앞서 설명한 로봇 말단 위치에 의해 결정되며, 어깨 위치벡터는 영상 분석을 통해 획득될 수 있다. 그리고, 재활 대상자의 팔뚝 길이와 상완 길이는 해당 재활 대상자에 대해 미리 등록된다.
도 6에 도시된 원리를 이용한 팔꿈치 관절 위치의 산출은 논문 "A Novel End-effector Robot System Enabling to Monitor Upper-extremity Posture during Robot-aided Planar Reaching Movements (IEEE ROBOTICS AND AUTOMATION LETTERS. PREPRINT VERSION. ACCEPTED FEBRUARY, 2020)"에 기재되어 있는 바, 그 상세한 설명은 생략한다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
[부호의 설명]
100 : 재활운동로봇 110 : 로봇 베이스
120 : 로봇 본체 130 : 링크 어셈블리
140 : 손 안착부 150 : 테이블
161 : 로봇 말단위치 검출부 162 : 비접촉 자세 감지부
163 : 재추정 구간 검출부 164 : 관절 각도 검출부
165 : 영상 디스플레이부 166 : 재활 구동부
167 : 메인 제어부 168 : 사용자 입력부
본 발명은 환자 등의 재활 운동 분야에 적용 가능하다.

Claims (8)

  1. 재활 대상자가 로봇 말단을 움직여 재활운동을 수행하는 재활운동로봇의 자세 모니터링 방법에 있어서,
    (a) 상기 재활 대상자의 자세가 촬영된 자세 영상이 수신되는 단계와,
    (b) 상기 자세 영상에 기초하여, 상기 재활 대상자의 보상 움직임 여부가 검출되는 단계를 포함하며;
    상기 (b) 단계는
    (b1) 상기 로봇 말단에 대한 로봇 말단 위치와, 로봇 말단 속도가 검출되는 단계와,
    (b2) 상기 로봇 말단 속도에 기초하여, 상기 재활 대상자의 팔꿈치 관절에 대한 팔꿈치 관절 각속도가 예측되는 단계와,
    (b3) 상기 팔꿈치 관절 각속도에 기초하여, 재추정 구간 여부가 판단되는 단계와,
    (b4) 상기 (b3) 단계에서 상기 재추정 구간이 아닌 것으로 판단된 경우, 현재 스텝의 자세 영상으로부터 검출된 제1 상완 방향벡터와, 상기 로봇 말단 위치에 기초하여 상기 보상 움직임 여부가 검출되는 단계와,
    (b5) 상기 (b3) 단계에서 상기 재추정 구간으로 판단된 경우, 이전 스텝의 자세 영상이 현재 스텝의 자세 영상에 반영되어 검출된 제2 상완 방향벡터와, 상기 로봇 말단 위치에 기초하여 상기 보상 움직임 여부가 검출되는 단계를 포함하는 것을 특징으로 하는 재활운동로봇의 자세 모니터링 방법.
  2. 제1항에 있어서,
    상기 (b2) 단계에서는 상기 팔꿈치 관절 각속도가 상기 로봇 말단 속도와의 자코비언 관계식을 통해 예측되는 것을 특징으로 하는 재활운동로봇의 자세 모니터링 방법.
  3. 제2항에 있어서,
    상기 자코비언 관계식은
    X=Jθ
    (X는 상기 로봇 말단 속도이고, θ는 상기 팔꿈치 관절 각속도이고, J는 자코비언 행렬로 상기 재활 대상자의 신체가 모델링되어 설정된다)로 정의되는 것을 특징으로 하는 재활운동로봇의 자세 모니터링 방법.
  4. 제3항에 있어서,
    상기 자코비언 행렬이 특이점(Singularity)에 기 설정된 기준만큼 근접하는 경우, 상기 (b3) 단계의 수행없이, 상기 (b4) 단계가 수행되는 것을 특징으로 하는 재활운동로봇의 자세 모니터링 방법.
  5. 제4항에 있어서,
    상기 자코비언 행렬이 특이점(Singularity)에 상기 기준만큼 근접하는지 여부는 조작성 지수(Manipulability measure)가 기 설정된 기준만큼 0에 근접하는지 여부에 따라 판단되는 것을 특징으로 하는 재활운동로봇의 자세 모니터링 방법.
  6. 제1항에 있어서,
    상기 (b3) 단계에서는 상기 팔꿈치 관절 각속도가 기 설정된 기준 각속도 이상인 경우, 상기 재추정 구간으로 판단되는 것을 특징으로 하는 재활운동로봇의 자세 모니터링 방법.
  7. 제1항에 있어서,
    상기 (b4) 단계는
    현재 스텝의 자세 영상으로부터 현재 팔꿈치 위치벡터와, 현재 어깨 위치벡터가 검출되는 단계와;
    상기 현재 팔꿈치 위치벡터와, 상기 현재 어깨 위치벡터에 기초하여, 상기 제1 상완 방향벡터가 검출되는 단계와;
    상기 제1 상완 방향벡터와, 상기 로봇 말단 위치에 기초하여, 팔꿈치 관절 위치가 검출되는 단계와;
    상기 팔꿈치 관절 위치에 기초하여, 팔꿈치 관절 각도가 검출되는 단계와;
    상기 팔꿈치 관절 각도에 기초하여, 상기 보상 움직임 여부가 검출되는 단계를 포함하는 것을 특징으로 하는 재활운동로봇의 자세 모니터링 방법.
  8. 제1항에 있어서,
    상기 (b5) 단계는
    이전 스텝의 자세 영상으로부터 이전 팔꿈치 위치벡터가 검출되는 단계와;
    현재 스텝의 자세 영상으로부터 현재 어깨 위치벡터가 검출되는 단계와;
    상기 이전 팔꿈치 위치벡터와, 상기 현재 어깨 위치벡터에 기초하여, 상기 제1 상완 방향벡터가 검출되는 단계와;
    상기 제1 상완 방향벡터와, 상기 로봇 말단 위치에 기초하여, 팔꿈치 관절 위치가 검출되는 단계와;
    상기 팔꿈치 관절 위치에 기초하여, 팔꿈치 관절 각도가 검출되는 단계와;
    상기 팔꿈치 관절 각도에 기초하여, 상기 보상 움직임 여부가 검출되는 단계를 포함하는 것을 특징으로 하는 재활운동로봇의 자세 모니터링 방법.
PCT/KR2021/019691 2021-11-24 2021-12-23 재활운동로봇의 자세 모니터링 방법 WO2023096016A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210163140A KR102606961B1 (ko) 2021-11-24 2021-11-24 재활운동로봇의 자세 모니터링 방법
KR10-2021-0163140 2021-11-24

Publications (1)

Publication Number Publication Date
WO2023096016A1 true WO2023096016A1 (ko) 2023-06-01

Family

ID=86539836

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/019691 WO2023096016A1 (ko) 2021-11-24 2021-12-23 재활운동로봇의 자세 모니터링 방법

Country Status (2)

Country Link
KR (1) KR102606961B1 (ko)
WO (1) WO2023096016A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101567859B1 (ko) * 2014-12-31 2015-11-12 건양대학교산학협력단 사용자 동작을 이용한 재활운동 시스템
KR20160025416A (ko) * 2014-08-27 2016-03-08 대한민국(국립재활원장) 관절 각 추정을 이용한 편마비 환자의 상지 재활 기기 제어장치 및 그 방법
KR20160066083A (ko) * 2014-12-01 2016-06-10 한국과학기술원 뇌졸중 환자를 위한 재활 로봇 제어방법
KR20170058208A (ko) * 2015-11-18 2017-05-26 주식회사 시드테크 상지 재활훈련 장치 및 방법
KR20200104025A (ko) * 2019-02-26 2020-09-03 한국과학기술원 근육 시너지 측정 시스템 및 이를 이용한 근육 시너지 분석 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101163903B1 (ko) 2010-08-13 2012-07-09 한국과학기술원 뇌졸중 환자의 상지 재활을 위한 외골격 로봇
KR101471805B1 (ko) 2014-02-24 2014-12-10 (주)대성마리프 손 운동장치
JP6697817B2 (ja) * 2016-02-04 2020-05-27 三菱重工業株式会社 パワーアシストスーツの制御装置及びパワーアシストスーツ
KR20170135459A (ko) * 2016-05-31 2017-12-08 울산과학기술원 환자 맞춤형 재활을 위한 거대자료 기반 지능형 로봇 치료사
KR102292415B1 (ko) * 2019-08-08 2021-08-24 주식회사 엘지유플러스 신체 동작 유사도 측정 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160025416A (ko) * 2014-08-27 2016-03-08 대한민국(국립재활원장) 관절 각 추정을 이용한 편마비 환자의 상지 재활 기기 제어장치 및 그 방법
KR20160066083A (ko) * 2014-12-01 2016-06-10 한국과학기술원 뇌졸중 환자를 위한 재활 로봇 제어방법
KR101567859B1 (ko) * 2014-12-31 2015-11-12 건양대학교산학협력단 사용자 동작을 이용한 재활운동 시스템
KR20170058208A (ko) * 2015-11-18 2017-05-26 주식회사 시드테크 상지 재활훈련 장치 및 방법
KR20200104025A (ko) * 2019-02-26 2020-09-03 한국과학기술원 근육 시너지 측정 시스템 및 이를 이용한 근육 시너지 분석 방법

Also Published As

Publication number Publication date
KR20230076993A (ko) 2023-06-01
KR102606961B1 (ko) 2023-11-30

Similar Documents

Publication Publication Date Title
Ball et al. A planar 3DOF robotic exoskeleton for rehabilitation and assessment
WO2014014214A1 (ko) 맥 측정 장치 및 그의 맥 측정 방법
WO2019039853A1 (en) MOVEMENT ASSISTING APPARATUS
CN106074073B (zh) 一种下肢康复机器人的控制系统及康复训练策略
WO2012161407A1 (en) Method of motion tracking
WO2011102629A2 (ko) 로봇의 마스터 조작 디바이스 및 이를 이용한 수술용 로봇
WO2018236198A1 (ko) 혈압 측정 장치
Malosio et al. Analysis of elbow-joints misalignment in upper-limb exoskeleton
WO2023096016A1 (ko) 재활운동로봇의 자세 모니터링 방법
WO2020130558A2 (ko) 수술 로봇 장치와 수술 로봇 장치의 구동 방법
Li et al. Upper body pose estimation using a visual–inertial sensor system with automatic sensor-to-segment calibration
JP4591043B2 (ja) ロボットによる任意形状物体の把持方法
Tsoi et al. Design, modeling and control of an ankle rehabilitation robot
CN113081582A (zh) 一种机器人辅助站立轨迹生成方法
KR101138532B1 (ko) 로봇 관절용 토크 측정 장치 및 그 방법
CN114505839B (zh) 一种面向核酸采样的主从式机器人系统
Luo et al. Design and control of a 3-DOF rehabilitation robot for forearm and wrist
Hwang et al. A novel end-effector robot system enabling to monitor upper-extremity posture during robot-aided planar reaching movements
WO2023096014A1 (ko) 도달운동을 위한 재활운동장치의 제어방법
CN115089429A (zh) 上肢康复训练机器人、上肢康复训练系统和方法
CN214149773U (zh) 一种离体膝关节的动态加载平台
JP2005028468A (ja) ロボットの視覚座標系位置姿勢同定方法、座標変換方法および装置
Xu et al. Robot-Assisted quantitative assessment of axis misalignment of wrist joint
Gandolla et al. A force-based human machine interface to drive a motorized upper limb exoskeleton. a pilot study
Moser et al. A design for an exoskeletal device with reduced reliance on joint alignment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21965799

Country of ref document: EP

Kind code of ref document: A1