WO2023245696A1 - 基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练系统 - Google Patents

基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练系统 Download PDF

Info

Publication number
WO2023245696A1
WO2023245696A1 PCT/CN2022/101834 CN2022101834W WO2023245696A1 WO 2023245696 A1 WO2023245696 A1 WO 2023245696A1 CN 2022101834 W CN2022101834 W CN 2022101834W WO 2023245696 A1 WO2023245696 A1 WO 2023245696A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
eye movement
module
eye
robot
Prior art date
Application number
PCT/CN2022/101834
Other languages
English (en)
French (fr)
Inventor
曾洪
李潇
陈晴晴
张建喜
宋爱国
Original Assignee
东南大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 东南大学 filed Critical 东南大学
Publication of WO2023245696A1 publication Critical patent/WO2023245696A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/0002—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements involving an exercising of arms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B2022/0092—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements for training agility or co-ordination of movements

Definitions

  • the invention relates to a robot-assisted hand-eye coordination training system based on eye movement smooth tracking and guidance force field, and belongs to the fields of rehabilitation training and movement learning.
  • Stroke is an acute vascular disease that causes brain tissue damage due to the sudden rupture of blood vessels in the brain, which causes temporary or permanent blockage, causing blood to fail to flow into the brain in time. It has high morbidity, high disability, high mortality, high recurrence and high The five major characteristics of economic burden have long been considered one of the main causes of death and disability in the world. Stroke patients may have limb dysfunction depending on the location of the lesion, among which hand-eye coordination disorder is a common limb dysfunction. Hand-eye coordination ability is the ability of the brain to respond promptly after the eyes receive information and transmit it to the brain through nerves, and send out control signals to control the hand muscles to make corresponding movements. It reflects the coordination and stability of the human nervous system.
  • auxiliary training based on the user's movement intentions can effectively stimulate the movement-related cortex of the brain, accelerate the remodeling of neural functions, and improve training efficiency.
  • the eyes can obtain a large amount of external information.
  • the movement of the eyes can reflect people's movement intentions. They can not only receive information, but also serve as an information input channel that reflects people's movement intentions.
  • people operate some moving objects their eyes will first track the moving objects through smooth tracking, obtain relevant motion information of the moving objects, and then perform related operations.
  • the method of eye movement is more convenient and simple, and can be achieved by using only an eye tracker, while EEG requires applying EEG cream and wearing an EEG cap in advance, and EMG requires pasting electrodes on the target muscles in advance.
  • the present invention discloses a robot-assisted hand-eye coordination training system based on eye movement smooth tracking and guidance force field, which collects user eye movement signals and detects eye movement smooth tracking events to estimate virtual moving objects in virtual interaction scenes.
  • the movement direction is used to obtain the user's movement intention, and an interception and guidance force field is generated to assist the user in completing the training task, thereby exercising the hand-eye coordination ability.
  • a robot-assisted hand-eye coordination training system based on eye movement smooth tracking and guidance force field used to assist users in rehabilitation training using the robot handle of an upper limb rehabilitation robot, including a virtual interactive scene module, eye movement smooth tracking detection module, and robot-assisted interception module as well as the impact force rendering module, which:
  • the virtual interactive scene module can generate a virtual interactive scene for hand-eye coordination training; the virtual interactive scene has virtual moving objects that can provide visual motion stimulation to the user and a virtual handle that matches the movement of the robot handle. acting;
  • the eye movement smooth tracking detection module calculates the user's eye movement angular velocity by collecting eye movement signals when the user tracks virtual moving objects in the virtual interaction scene, and classifies eye movement events based on the calculated eye movement angular velocity. , thereby detecting eye movement smooth tracking events and transmitting the detected eye movement smooth tracking events to the robot-assisted interception module;
  • the robot-assisted interception module estimates the movement direction of virtual moving objects in the virtual interaction scene through the eye movement smooth tracking events detected by the eye movement smooth tracking detection module, and generates an interception guidance force field to generate auxiliary force to assist the user. Push the robot handle;
  • the impact force rendering module collects the kinematic information of the robot handle to obtain the position of the handle virtual agent in the virtual interaction scene, and then determines by comparing the position of the virtual moving object in the virtual interaction scene and the position of the handle virtual agent. Whether the handle virtual agent collides with the virtual moving object; when the judgment result shows that the handle virtual agent successfully intercepts the virtual moving object, the impact force generated when the handle virtual agent collides with the virtual moving object is calculated to apply a force matching the impact force to the user's hand. Feedback power.
  • the eye movement smooth tracking detection module includes an eye movement signal acquisition module, an eye movement signal preprocessing module, an eye movement angular velocity calculation module, and an eye movement event classification module, wherein:
  • the eye movement signal acquisition module is used to collect the user's eye movement signals in real time and transmit them to the eye movement signal preprocessing module;
  • the preprocessing of the eye movement signal is used to eliminate invalid signals in the eye movement signal transmitted from the eye movement signal acquisition module and perform filtering and denoising processing;
  • (xi , y i ) are the coordinates of the current sampling point
  • (xi -1 ,y i-1 ) are the coordinates of the previous sampling point
  • a is the width of the display interface
  • b is the height of the display interface
  • l is the user The vertical distance from the eyes to the display interface
  • t is the sampling period of the eye movement signal
  • the movement direction estimation module first uses a linear regression method to estimate the movement trajectory (x, y) of the virtual moving object in the virtual interaction scene, and then obtains the movement direction of the virtual moving object based on the estimated movement trajectory, and obtains the movement direction.
  • the movement direction of the virtual moving object is transmitted to the interception guidance force field generation module; the movement trajectory (x, y) of the virtual moving object satisfies:
  • ⁇ and ⁇ are regression constants and regression coefficients respectively, which are obtained through least squares fitting.
  • x is the abscissa of the virtual moving object, and y is the ordinate of the virtual moving object;
  • the interception guidance force field generation module generates an interception guidance force field according to the estimated movement direction of the virtual moving object, and generates an auxiliary force to assist the user in operating the robot handle to intercept the virtual moving object in the virtual interaction scene; the interception guidance The force field is expressed as:
  • the robot handle kinematic information acquisition module collects the handle kinematic information when the user's upper limbs operate the robot handle through internal sensors;
  • the impact force calculation module calculates the impact force generated when the handle collides with the virtual moving object through the impact force calculation model; the impact force calculation model is expressed as:
  • Step 1 Collect the eye movement signals when the user tracks virtual moving objects in the virtual interaction scene and perform preprocessing, eye movement angular velocity calculation and eye movement event classification to detect eye movement smooth tracking events;
  • (xi , y i ) are the coordinates of the current sampling point
  • (xi -1 ,y i-1 ) are the coordinates of the previous sampling point
  • a is the width of the display interface
  • b is the height of the display interface
  • l is the user The vertical distance from the eyes to the display interface
  • t is the sampling period of the eye movement signal
  • Eye movement events are classified using the IVVT classification method.
  • the specific method is as follows:
  • F assist is the auxiliary force generated by the interception and guidance force field
  • F m is the maximum auxiliary force generated by the interception and guidance force field
  • d is the vertical distance from the virtual agent of the handle to the motion trajectory of the virtual moving object
  • k is the assist force coefficient
  • d 0 is the vertical distance between the boundary between the interception guidance force field and the free interception area relative to the motion trajectory of the virtual moving object
  • d m is the critical distance to reach the maximum assist force
  • the impact force calculation model is expressed as:
  • the system generates an interception guidance force field and generates auxiliary force to help users with poor hand-eye coordination better and more accurately intercept virtual moving objects and exercise hand-eye coordination.
  • the system uses impact force rendering to generate impact force feedback when the user successfully intercepts a virtual moving object, which increases the fidelity of the hand-eye coordination training system and the immersion of the training process.
  • This hand-eye coordination training system uses virtual interactive scenes to improve users' enthusiasm and interest in participating in hand-eye coordination training.
  • Figure 1 is a system framework diagram of the present invention
  • the training tasks in the present invention usually refer to complex sports tasks such as table tennis and badminton that require hand-eye coordination in daily life.
  • the therapist/technician informs the moving target, and the subject can track the movement of the target through the eyes, and push the robot handle with the hand to intercept the target to complete the training task.
  • the robot-assisted hand-eye coordination training system based on eye movement smooth tracking and force feedback includes the following steps:
  • the user's eye movement signals collected by the eye tracker are subjected to invalid signal elimination and Kalman filtering, and then the eye movement angular velocity is calculated, and then eye movement events are classified according to the eye movement angular velocity, thereby detecting eye movement smooth tracking events.
  • the eye tracker uses the Pupil Core eye tracker from Pupil Labs in Berlin, Germany.
  • ⁇ is the rotation angle of the current sampling point of the collected user eye movement signal relative to the previous sampling point
  • ( xi , yi ) is the coordinate of the current sampling point
  • (xi -1 , y i-1 ) is the previous sampling point
  • Point coordinates a is the width of the display interface
  • b is the height of the display interface
  • l is the vertical distance from the user's eyes to the display interface
  • ⁇ is the eye movement angular velocity
  • ⁇ is the rotation angle of the collected user eye movement signal at the current sampling point relative to the previous sampling point
  • t is the sampling period of the eye movement signal
  • the movement direction of the virtual moving object is estimated to obtain the user's movement intention, thereby generating an interception guidance force field and generating an auxiliary force to assist the user in pushing the robot handle, so that the handle virtual agent in the virtual interaction scene can Virtual moving objects are intercepted.
  • the movement direction of the virtual moving object can be obtained based on the estimated movement trajectory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Epidemiology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Primary Health Care (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Vascular Medicine (AREA)
  • Rehabilitation Tools (AREA)

Abstract

一种基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练系统，包括虚拟交互场景模块、眼动平滑追踪检测模块、机器人辅助拦截模块及撞击力渲染模块，虚拟交互场景模块能够生成具有虚拟运动物体以及手柄虚拟代理的虚拟交互场景；眼动平滑追踪检测模块采集用户对虚拟运动物体进行眼动追踪时的眼动信号以检测出眼动平滑追踪事件。机器人辅助拦截模块估计虚拟运动物体的运动方向并生成拦截引导力场，从而产生辅助力辅助用户拦截。撞击力渲染模块采集机器人手柄运动学信息进行碰撞检测并在检测到碰撞后根据撞击力计算模型计算撞击力并控制电机产生力反馈于用户手部。从而提高用户参与手眼协调训练时的积极性和趣味性，提高系统沉浸感。

Description

基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练系统 技术领域
本发明涉及一种基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练系统，属于康复训练、运动学习领域。
背景技术
脑卒中是由于脑部血管的突然破裂短暂或永久性堵塞造成血液不能及时流入大脑而引发脑组织损坏的急性血管疾病，具有高发病率、高致残率、高死亡率、高复发率和高经济负担5大特点，一直以来被认为世界上导致死亡和残疾的主要原因之一。脑卒中患者根据病变部位不同，可能存在肢体功能障碍，其中手眼协调障碍是比较常见的肢体功能障碍。手眼协调能力是眼睛接收到信息通过神经传递给大脑后，大脑能够及时的做出反应，发出控制信号控制手部肌肉做出相应动作的一种能力，反映了人体神经系统的协调性、稳定性以及和手眼之间配合的能力。尽管脑卒中导致的组织损伤不可逆，但相关研究表明，可以通过大脑的重塑能力实现部分肢体功能的恢复，在常规治疗后，针对性的进行康复训练能够在患者的康复过程中发挥非常重要的作用。传统的康复训练方法主要通过专业的康复治疗师带动患者进行康复训练，在这个训练过程中，患者只能被动的跟随治疗师的安排进行康复训练，训练过程枯燥乏味，训练效果和方案也更多的依靠治疗师的主观判断，这对康复治疗师的专业素养要求很高，面对庞大的患者群体，专业的治疗师往往供不应求。为了缓解治疗师和康复训练患者数量极其不对称的状态，人们将目光转向机器人辅助上肢训练系 统的研究开发，来取代治疗师对患者的陪护训练，上肢训练机器人系统一般由机器人本身以及配套的虚拟交互场景组成，机器人为患者提供动力，虚拟交互场景则提供不同的训练任务和视觉反馈。
研究发现，在机器人辅助用户进行上肢训练的过程中，结合用户的运动意图进行辅助训练能够有效的刺激大脑运动相关皮质层，加速神经功能重塑，提高训练效率。眼睛作为重要的人体感知器官，通过眼睛能够获取大量外界信息，眼睛的运动能够反映人们运动意图等，其不仅可以接收信息，还能够作为反映人们运动意图的信息输入通道。人们在对一些运动物体进行操作前，眼睛会先通过平滑追踪的方式追踪运动物体，获取运动物体相关运动信息，从而进行相关操作，和通过脑电或者肌电的方式获取用户的运动意图相比，通过眼动的方式更加便捷简单，仅需要使用眼动仪即可实现，而脑电需要事先涂抹脑电膏，佩戴脑电帽，肌电则需要事先在目标肌肉处粘贴电极。
发明内容
为解决上述问题，本发明公开了基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练系统，通过采集用户眼动信号从中检测出眼动平滑追踪事件从而估计出虚拟交互场景中虚拟运动物体的运动方向以获取用户的运动意图，生成拦截引导力场辅助用户完成训练任务，从而实现对手眼协调能力的锻炼。
为实现上述的技术目的，本发明将采取如下的技术方案：
一种基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练 系统，用于辅助用户使用上肢康复机器人的机器人手柄进行康复训练，包括虚拟交互场景模块、眼动平滑追踪检测模块、机器人辅助拦截模块以及撞击力渲染模块，其中：
所述的虚拟交互场景模块，能够生成用于手眼协调训练的虚拟交互场景；所述的虚拟交互场景中具有能够向用户提供视觉运动刺激的虚拟运动物体以及与机器人手柄运动情况相匹配的手柄虚拟代理；
所述的眼动平滑追踪检测模块，通过采集用户追踪虚拟交互场景中虚拟运动物体时的眼动信号来计算出用户的眼动角速度，并根据所计算出的眼动角速度对眼动事件进行分类，从而检测出眼动平滑追踪事件，并将所检测到的眼动平滑追踪事件传输至机器人辅助拦截模块；
所述的机器人辅助拦截模块，通过眼动平滑追踪检测模块所检测出的眼动平滑追踪事件来估计虚拟交互场景中虚拟运动物体的运动方向，并生成拦截引导力场，以产生辅助力辅助用户推动机器人手柄；
所述的撞击力渲染模块，通过采集机器人手柄的运动学信息来获取手柄虚拟代理在虚拟交互场景中的位置，进而通过比对虚拟交互场景中虚拟运动物体的位置、手柄虚拟代理的位置来判断手柄虚拟代理是否与虚拟运动物体碰撞；当判断结果表明手柄虚拟代理成功拦截虚拟运动物体时，通过计算手柄虚拟代理与虚拟运动物体碰撞时产生的撞击力来向用户手部施加与撞击力匹配的反馈力。
作为上述技术方案的进一步改进，所述的眼动平滑追踪检测模块包括眼动信号采集模块、眼动信号的预处理模块、眼动角速度计算模 块以及眼动事件分类模块，其中：
所述的眼动信号采集模块，用于实时采集用户的眼动信号并传输至眼动信号的预处理模块；
所述的眼动信号的预处理用于剔除眼动信号采集模块所传输来的眼动信号中的无效信号并进行滤波去噪处理；
所述的眼动角速度计算模块能够根据眼动信号计算眼动角速度；眼动角速度ω的计算公式如下：
Figure PCTCN2022101834-appb-000001
其中，(x i,y i)为当前采样点坐标，(x i-1,y i-1)为上一个采样点坐标，a为显示界面的宽度，b为显示界面的高度，l为用户眼睛到显示界面的垂直距离；t为眼动信号的采样周期；
眼动事件分类模块，基于IVVT分类法构建，能够根据眼动角速度对用户眼动事件进行分类，以检测出用户眼动事件中的眼动平滑追踪事件。
作为上述技术方案的进一步改进，所述的眼动信号采集模块采用眼动仪对用户眼动信号进行采集。
作为上述技术方案的进一步改进，所述的眼动事件分类模块中预设有两个速度阈值ω th_fix、ω th_sac；当眼动角速度计算模块计算出当前采样点的眼动角速度ω满足ω th_fix<ω<ω th_sac时，则将当前采样点标记为平滑追踪。
作为上述技术方案的进一步改进，所述的机器人辅助拦截模块包括运动方向估计模块以及拦截引导力场生成模块，其中：
所述的运动方向估计模块，先采用一元线性回归方法估计虚拟交互场景中虚拟运动物体的运动轨迹(x,y)，再根据估计出的运动轨迹获取虚拟运动物体运动方向，并将所获取到的虚拟运动物体的运动方向传输至拦截引导力场生成模块；虚拟运动物体的运动轨迹(x,y)满足：
y＝α+βx
其中，α和β分别是回归常数和回归系数，通过最小二乘法拟合得到，x是虚拟运动物体的横坐标，y是虚拟运动物体的纵坐标；
所述的拦截引导力场生成模块，根据估计出的虚拟运动物体的运动方向生成拦截引导力场，产生辅助用户操作机器人手柄拦截虚拟交互场景中的虚拟运动物体的辅助力；所述的拦截引导力场表述方法为：
Figure PCTCN2022101834-appb-000002
其中，F assist为拦截引导力场产生的辅助力，F m为拦截引导力场产生的最大辅助力，d为手柄虚拟代理到虚拟运动物体运动轨迹的垂直距离，k为辅助力系数，d 0为拦截引导力场与自由拦截区域之间的边界相对于虚拟运动物体运动轨迹的垂直距离，d m为达到最大辅助力的临界距离。
作为上述技术方案的进一步改进，所述的撞击力渲染模块，包括机器人手柄运动学信息采集模块、碰撞检测模块、撞击力计算模块以及执行模块，其中：
机器人手柄运动学信息采集模块，通过内部传感器采集用户上肢 操作机器人手柄时的手柄运动学信息；
碰撞检测模块，通过采集到的手柄运动学信息来判断手柄是否成功拦截到虚拟交互场景中的虚拟运动物体；当检测结果表明手柄与虚拟运动物体发生碰撞时，则表明手柄成功拦截到虚拟运动物体；
撞击力计算模块，通过撞击力计算模型计算手柄与虚拟运动物体发生碰撞时产生的撞击力；所述撞击力计算模型表述方法为：
Figure PCTCN2022101834-appb-000003
其中，F为撞击力，m b为虚拟交互场景中虚拟运动物体质量，m p为虚拟交互场景中手柄虚拟代理的代理质量，v b0为碰撞前虚拟交互场景中虚拟运动物体的运动速度大小，v p0为碰撞前虚拟交互场景中手柄虚拟代理的代理速度大小，△t为碰撞持续时间；
电机执行模块，根据撞击力计算模块所计算出的撞击力，生成电机执行控制信号，控制电机运转，以产生反作用于用户手部并与前述撞击力匹配的反馈力。
作为上述技术方案的进一步改进，所述的虚拟交互场景模块，包括训练场景生成模块以及反馈模块，其中：
所述的训练场景生成模块，基于Pygame平台生成用于手眼协调训练的虚拟交互场景；
所述的反馈模块，用于在虚拟交互环境中向用户提供具有视觉运动刺激的虚拟运动物体，以及显示与机器人手柄运动情况相匹配的手柄虚拟代理。
作为上述技术方案的进一步改进，所述的机器人辅助手眼协调训 练系统按照如下步骤执行：
步骤一、采集用户追踪虚拟交互场景中虚拟运动物体时的眼动信号并进行预处理、眼动角速度计算和眼动事件分类以检测出眼动平滑追踪事件；
步骤二、通过眼动平滑追踪事件估计虚拟运动物体运动方向并生成拦截引导力场，辅助用户推动机器人手柄拦截虚拟交互场景中的虚拟运动物体以完成训练任务，同时实时采集机器人手柄运动学信息进行碰撞检测以检测拦截是否成功，成功拦截到虚拟运动物体时候通过撞击力计算模型计算撞击并通过电机控制产生力反馈于用户手部。
作为上述技术方案的进一步改进，步骤一中，眼动角速度计算公式为：
Figure PCTCN2022101834-appb-000004
其中，(x i,y i)为当前采样点坐标，(x i-1,y i-1)为上一个采样点坐标，a为显示界面的宽度，b为显示界面的高度，l为用户眼睛到显示界面的垂直距离；t为眼动信号的采样周期；
眼动事件分类采用IVVT分类法，具体方式如下：
设定两个速度阈值ω th_fix和ω th_sac，当眼动角速度大于速度阈值ω th_fix的同时小于速度阈值ω th_sac，则将当前采样点标记为平滑追踪。
作为上述技术方案的进一步改进，步骤二中，所述的拦截引导力场表述方法为：
Figure PCTCN2022101834-appb-000005
其中，F assist为拦截引导力场产生的辅助力，F m为拦截引导力场产 生的最大辅助力，d为手柄虚拟代理到虚拟运动物体运动轨迹的垂直距离，k为辅助力系数，d 0为拦截引导力场与自由拦截区域之间的边界相对于虚拟运动物体运动轨迹的垂直距离，d m为达到最大辅助力的临界距离；
所述撞击力计算模型表述方法为：
Figure PCTCN2022101834-appb-000006
其中，F为撞击力，m b为虚拟交互场景中虚拟运动物体质量，m p为虚拟交互场景中手柄虚拟代理的代理质量，v b0为碰撞前虚拟交互场景中虚拟运动物体的运动速度大小，v p0为碰撞前虚拟交互场景中手柄虚拟代理的代理速度大小，△t为碰撞持续时间。
基于上述的技术目的，相对于现有技术，本发明具有如下的优势：
(1)该系统通过检测用户的眼动平滑追踪事件，能够便携简单的估计虚拟交互场景中虚拟运动物体的运动方向从而获取用户的运动意图。
(2)该系统通过生成拦截引导力场，产生辅助力帮助手眼协调能力差的用户更好更准确的拦截虚拟运动物体，锻炼手眼协调能力。
(3)该系统使用撞击力渲染在用户成功拦截到虚拟运动物体时产生撞击力反馈，增加了手眼协调训练系统的逼真度和训练过程的沉浸感
(4)该手眼协调训练系统，使用虚拟交互场景提高了用户参与手眼协调训练的积极性和趣味性。
附图说明
图1为本发明的系统框架图；
图2为拦截引导力场示意图。
具体实施方式
为了加深对本发明的理解，下面结合附图对本实施例做详细的说明。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、表达式和数值不限制本发明的范围。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
本发明中的训练任务，通常指日常生活中需要手眼协调配合的打乒乓球、羽毛球等复杂运动任务。在这里，由治疗师/技术人员告知运动目标，被试可以通过眼睛追踪目标的运动，手部推动机器人手柄 对目标进行拦截，以完成训练任务。
如图1所示，本发明实例提供的基于眼动平滑追踪和力反馈的机器人辅助手眼协调训练系统包括如下步骤：
(1)采集用户对虚拟交互场景中虚拟运动物体进行眼动追踪时的眼动信号并从中检测出眼动平滑追踪事件。
将眼动仪采集到的用户眼动信号进行无效信号剔除和卡尔曼滤波，接着计算眼动角速度，然后根据眼动角速度进行眼动事件分类，从而检测出眼动平滑追踪事件。
眼动仪使用德国柏林Pupil Labs公司的Pupil Core眼动仪。
眼动角速度计算方法如下：
Figure PCTCN2022101834-appb-000007
其中，θ为采集的用户眼动信号当前采样点相对上一个采样点的转动角度，(x i,y i)为当前采样点坐标，(x i-1,y i-1)为上一个采样点坐标，a为显示界面的宽度，b为显示界面的高度，l为用户眼睛到显示界面的垂直距离；
通过用户眼动信号在当前采样点相对上一个采样点的转动角度计算转动角速度，即得到眼动角速度：
Figure PCTCN2022101834-appb-000008
其中，ω为眼动角速度，θ为采集的用户眼动信号在当前采样点相对上一个采样点的转动角度，t为眼动信号的采样周期。
眼动事件分类采用IVVT分类法，具体如下：
设定两个速度阈值ω th_fix和ω th_sac，当眼动角速度大于速度阈值ω th_fix的同时小于速度阈值ω th_sac，则将当前采样点标记为平滑追踪。
(2)估计虚拟运动物体的运动方向并生成拦截引导力场，从而产生辅助力辅助用户拦截；参考图2为生成的拦截引导力场。
根据检测出的眼动平滑追踪事件估计虚拟运动物体的运动方向以获取用户运动意图，从而生成拦截引导力场，产生辅助力辅助用户推动机器人手柄，以使虚拟交互场景中的手柄虚拟代理能够对虚拟运动物体进行拦截。
运动方向估计，通过检测出的眼动平滑追踪事件对虚拟交互场景中虚拟运动物体运动方向进行估计，估计方法如下：
采用一元线性回归估计虚拟交互场景中虚拟运动物体运动轨迹：
y＝α+βx
其中，α和β分别是回归常数和回归系数，通过最小二乘法拟合得到(拟合数据来自于上述的各采样点坐标)，x是虚拟运动物体的横坐标，y是虚拟运动物体的纵坐标。
根据估计出的运动轨迹即可获取虚拟运动物体的运动方向。
拦截引导力场生成，根据估计出的物体运动方向生成拦截引导力场，产生辅助力辅助用户操作上肢康复机器人(上海傅利叶智能科技有限公司的ArmMotus TM M2)的机器人手柄，使得虚拟交互场景中的手柄虚拟代理能够拦截虚拟运动物体；所述的拦截引导力场表述方法为：
Figure PCTCN2022101834-appb-000009
其中，F assist为拦截引导力场产生的辅助力，F m为拦截引导力场产生的最大辅助力，d为手柄虚拟代理到虚拟运动物体运动轨迹的垂直距离，k为辅助力系数，d 0为有无辅助力的临界距离(即为拦截引导 力场与自由拦截区域之间的边界相对于虚拟运动物体运动轨迹的垂直距离)，d m为达到最大辅助力F m时的临界距离(即为达到最大辅助力F m时，手柄虚拟代理到虚拟运动物体运动轨迹的垂直距离)。
(3)采集机器人手柄运动学信息进行碰撞检测并在检测到碰撞(即成功拦截到虚拟运动物体)后根据撞击力计算模型计算撞击力并控制电机产生力反馈于用户手部。
在用户推动机器人手柄，促使虚拟交互场景中的手柄虚拟代理拦截虚拟运动物体时，通过上肢康复机器人(上海傅利叶智能科技有限公司的ArmMotus TM M2)的内部传感器实时采集用户机器人手柄运动学信息进行碰撞检测。在虚拟交互场景中的手柄虚拟代理成功拦截到虚拟运动物体(即检测到碰撞)时，根据撞击计算模型计算撞击力，然后基于上述的上肢康复机器人中SDK(FFTAICommunicationLib)库中的DynaLinkHS.CmdJointK-ineticControl控制方法控制电机产生撞击力反馈于用户手部。
具体地，撞击力计算模型表述方法为：
Figure PCTCN2022101834-appb-000010
其中，F为撞击力，m b为虚拟交互场景中虚拟运动物体质量，m p为虚拟交互场景中手柄虚拟代理的代理质量，v b0为碰撞前虚拟交互场景中虚拟运动物体的运动速度大小，v p0为碰撞前虚拟交互场景中手柄虚拟代理的代理速度大小，△t为碰撞持续时间。
(4)初始化训练任务场景
采用二维乒乓球虚拟交互场景作为任务训练场景，并初始化乒乓 球和球拍的位置和速度。此时，虚拟交互场景中的兵兵球即为上述的虚拟运动物体，而球拍则为上述的手柄虚拟代理。另外，本发明还可以选择其他的训练场景。当然本发明可能更适宜于球类训练场景，除了上述的乒乓球虚拟交互场景，还可以为网球、羽毛球等。
(5)进行手眼协调训练
通过大量长时间的训练不断锻炼被试的手眼协调能力。在训练中乒乓球的运动速度和方向将随机改变，避免被试适应导致训练效果下降。

Claims (10)

  1. 一种基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练系统，用于辅助用户使用上肢康复机器人的机器人手柄进行康复训练，其特征在于，包括虚拟交互场景模块、眼动平滑追踪检测模块、机器人辅助拦截模块以及撞击力渲染模块，其中：
    所述的虚拟交互场景模块，能够生成用于手眼协调训练的虚拟交互场景；所述的虚拟交互场景中具有能够向用户提供视觉运动刺激的虚拟运动物体以及与机器人手柄运动情况相匹配的手柄虚拟代理；
    所述的眼动平滑追踪检测模块，通过采集用户追踪虚拟交互场景中虚拟运动物体时的眼动信号来计算出用户的眼动角速度，并根据所计算出的眼动角速度对眼动事件进行分类，从而检测出眼动平滑追踪事件，并将所检测到的眼动平滑追踪事件传输至机器人辅助拦截模块；
    所述的机器人辅助拦截模块，通过眼动平滑追踪检测模块所检测出的眼动平滑追踪事件来估计虚拟交互场景中虚拟运动物体的运动方向，并生成拦截引导力场，以产生辅助力辅助用户推动机器人手柄；所述的撞击力渲染模块，通过采集机器人手柄的运动学信息来获取手柄虚拟代理在虚拟交互场景中的位置，进而通过比对虚拟交互场景中虚拟运动物体的位置、手柄虚拟代理的位置来判断手柄虚拟代理是否与虚拟运动物体碰撞；当判断结果表明手柄虚拟代理成功拦截虚拟运动物体时，通过计算手柄虚拟代理与虚拟运动物体碰撞时产生的撞击力来向用户手部施加与撞击力匹配的反馈力。
  2. 根据权利要求1所述的基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练系统，其特征在于，所述的眼动平滑追踪检测模块包括眼动信号采集模块、眼动信号的预处理模块、眼动角速度计算模块以及眼动事件分类模块，其中：
    所述的眼动信号采集模块，用于实时采集用户的眼动信号并传输至眼动信号的预处理模块；
    所述的眼动信号的预处理用于剔除眼动信号采集模块所传输来的眼动信号中的无效信号并进行滤波去噪处理；
    所述的眼动角速度计算模块能够根据眼动信号计算眼动角速度；眼动角速度ω的计算公式如下：
    Figure PCTCN2022101834-appb-100001
    其中，(x i,y i)为当前采样点坐标，(x i-1,y i-1)为上一个采样点坐标，a为显示界面的宽度，b为显示界面的高度，l为用户眼睛到显示界面的垂直距离；t为眼动信号的采样周期；
    眼动事件分类模块，基于IVVT分类法构建，能够根据眼动角速度对用户眼动事件进行分类，以检测出用户眼动事件中的眼动平滑追踪事件。
  3. 根据权利要求2所述的基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练系统，其特征在于，所述的眼动信号采集模块采用眼动仪对用户眼动信号进行采集。
  4. 根据权利要求3所述的基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练系统，其特征在于，所述的眼动事件分类模块中预设 有两个速度阈值ω th_fix、ω th_sac；当眼动角速度计算模块计算出当前采样点的眼动角速度ω满足ω th_fix<ω<ω th_sac时，则将当前采样点标记为平滑追踪。
  5. 根据权利要求2所述的基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练系统，其特征在于，所述的机器人辅助拦截模块包括运动方向估计模块以及拦截引导力场生成模块，其中：
    所述的运动方向估计模块，先采用一元线性回归方法估计虚拟交互场景中虚拟运动物体的运动轨迹(x,y)，再根据估计出的运动轨迹获取虚拟运动物体运动方向，并将所获取到的虚拟运动物体的运动方向传输至拦截引导力场生成模块；虚拟运动物体的运动轨迹(x,y)满足：
    y＝α+βx
    其中，α和β分别是回归常数和回归系数，通过最小二乘法拟合得到，x是虚拟运动物体的横坐标，y是虚拟运动物体的纵坐标；
    所述的拦截引导力场生成模块，根据估计出的虚拟运动物体的运动方向生成拦截引导力场，产生辅助用户操作机器人手柄拦截虚拟交互场景中的虚拟运动物体的辅助力；所述的拦截引导力场表述方法为：
    Figure PCTCN2022101834-appb-100002
    其中，F assist为拦截引导力场产生的辅助力，F m为拦截引导力场产生的最大辅助力，d为手柄虚拟代理到虚拟运动物体运动轨迹的垂直距离，k为辅助力系数，d 0为拦截引导力场与自由拦截区域之间的边界 相对于虚拟运动物体运动轨迹的垂直距离，d m为达到最大辅助力的临界距离。
  6. 根据权利要求5所述的基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练系统，其特征在于，所述的撞击力渲染模块，包括机器人手柄运动学信息采集模块、碰撞检测模块、撞击力计算模块以及执行模块，其中：
    机器人手柄运动学信息采集模块，通过内部传感器采集用户上肢操作机器人手柄时的手柄运动学信息；
    碰撞检测模块，通过采集到的手柄运动学信息来判断手柄是否成功拦截到虚拟交互场景中的虚拟运动物体；当检测结果表明手柄与虚拟运动物体发生碰撞时，则表明手柄成功拦截到虚拟运动物体；
    撞击力计算模块，通过撞击力计算模型计算手柄与虚拟运动物体发生碰撞时产生的撞击力；所述撞击力计算模型表述方法为：
    Figure PCTCN2022101834-appb-100003
    其中，F为撞击力，m b为虚拟交互场景中虚拟运动物体质量，m p为虚拟交互场景中手柄虚拟代理的代理质量，v b0为碰撞前虚拟交互场景中虚拟运动物体的运动速度大小，v p0为碰撞前虚拟交互场景中手柄虚拟代理的代理速度大小，△t为碰撞持续时间；
    电机执行模块，根据撞击力计算模块所计算出的撞击力，生成电机执行控制信号，控制电机运转，以产生反作用于用户手部并与前述撞击力匹配的反馈力。
  7. 根据权利要求4所述的基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练系统，其特征在于，所述的虚拟交互场景模块，包括训练场景生成模块以及反馈模块，其中：
    所述的训练场景生成模块，基于Pygame平台生成用于手眼协调训练的虚拟交互场景；
    所述的反馈模块，用于在虚拟交互环境中向用户提供具有视觉运动刺激的虚拟运动物体，以及显示与机器人手柄运动情况相匹配的手柄虚拟代理。
  8. 根据权利要求1所述的基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练系统，其特征在于，所述的机器人辅助手眼协调训练系统按照如下步骤执行：
    步骤一、采集用户追踪虚拟交互场景中虚拟运动物体时的眼动信号并进行预处理、眼动角速度计算和眼动事件分类以检测出眼动平滑追踪事件；
    步骤二、通过眼动平滑追踪事件估计虚拟运动物体运动方向并生成拦截引导力场，辅助用户推动机器人手柄拦截虚拟交互场景中的虚拟运动物体以完成训练任务，同时实时采集机器人手柄运动学信息进行碰撞检测以检测拦截是否成功，成功拦截到虚拟运动物体时候通过撞击力计算模型计算撞击并通过电机控制产生力反馈于用户手部。
  9. 根据权利要求8所述的基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练系统，其特征在于，步骤一中，眼动角速度计算公式为：
    Figure PCTCN2022101834-appb-100004
    其中，(x i,y i)为当前采样点坐标，(x i-1,y i-1)为上一个采样点坐标，a为显示界面的宽度，b为显示界面的高度，l为用户眼睛到显示界面的垂直距离；t为眼动信号的采样周期；
    眼动事件分类采用IVVT分类法，具体方式如下：
    设定两个速度阈值ω th_fix和ω th_sac，当眼动角速度大于速度阈值ω th_fix的同时小于速度阈值ω th_sac，则将当前采样点标记为平滑追踪。
  10. 根据权利要求8所述的基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练系统，其特征在于，步骤二中，所述的拦截引导力场表述方法为：
    Figure PCTCN2022101834-appb-100005
    其中，F assist为拦截引导力场产生的辅助力，F m为拦截引导力场产生的最大辅助力，d为手柄虚拟代理到虚拟运动物体运动轨迹的垂直距离，k为辅助力系数，d 0为拦截引导力场与自由拦截区域之间的边界相对于虚拟运动物体运动轨迹的垂直距离，d m为达到最大辅助力的临界距离；
    所述撞击力计算模型表述方法为：
    Figure PCTCN2022101834-appb-100006
    其中，F为撞击力，m b为虚拟交互场景中虚拟运动物体质量，m p为虚拟交互场景中手柄虚拟代理的代理质量，v b0为碰撞前虚拟交互场景 中虚拟运动物体的运动速度大小，v p0为碰撞前虚拟交互场景中手柄虚拟代理的代理速度大小，△t为碰撞持续时间。
PCT/CN2022/101834 2022-06-23 2022-06-28 基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练系统 WO2023245696A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210724205.9 2022-06-23
CN202210724205.9A CN115129154A (zh) 2022-06-23 2022-06-23 基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练系统

Publications (1)

Publication Number Publication Date
WO2023245696A1 true WO2023245696A1 (zh) 2023-12-28

Family

ID=83379094

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/101834 WO2023245696A1 (zh) 2022-06-23 2022-06-28 基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练系统

Country Status (2)

Country Link
CN (1) CN115129154A (zh)
WO (1) WO2023245696A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012165882A2 (ko) * 2011-05-31 2012-12-06 주식회사 네오펙트 재활 운동 장치, 착용형 통신 장치 및 이를 응용한 응용 시스템 및 방법
CN106504605A (zh) * 2016-10-21 2017-03-15 东南大学 面向空间站机械臂力反馈遥操作训练的仿真控制系统
CN106779045A (zh) * 2016-11-30 2017-05-31 东南大学 基于虚拟场景交互的康复训练机器人系统及其使用方法
CN107519622A (zh) * 2017-08-21 2017-12-29 南通大学 基于虚拟现实与眼动追踪的空间认知康复训练系统和方法
CN112891137A (zh) * 2021-01-21 2021-06-04 深圳华鹊景医疗科技有限公司 上肢康复机器人系统、机器人控制方法及装置
CN113633937A (zh) * 2021-08-26 2021-11-12 东北大学 虚拟现实上肢康复作业治疗系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012165882A2 (ko) * 2011-05-31 2012-12-06 주식회사 네오펙트 재활 운동 장치, 착용형 통신 장치 및 이를 응용한 응용 시스템 및 방법
CN106504605A (zh) * 2016-10-21 2017-03-15 东南大学 面向空间站机械臂力反馈遥操作训练的仿真控制系统
CN106779045A (zh) * 2016-11-30 2017-05-31 东南大学 基于虚拟场景交互的康复训练机器人系统及其使用方法
CN107519622A (zh) * 2017-08-21 2017-12-29 南通大学 基于虚拟现实与眼动追踪的空间认知康复训练系统和方法
CN112891137A (zh) * 2021-01-21 2021-06-04 深圳华鹊景医疗科技有限公司 上肢康复机器人系统、机器人控制方法及装置
CN113633937A (zh) * 2021-08-26 2021-11-12 东北大学 虚拟现实上肢康复作业治疗系统

Also Published As

Publication number Publication date
CN115129154A (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
WO2021068542A1 (zh) 基于力反馈技术的上肢主被动康复训练机器人系统
Ding et al. Continuous estimation of human multi-joint angles from sEMG using a state-space model
Zago et al. Visuo-motor coordination and internal models for object interception
WO2018120964A1 (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
US8553936B2 (en) Gaze tracking measurement and training system and method
CN104524742A (zh) 一种基于Kinect传感器的脑瘫儿童康复训练方法
WO2023206833A1 (zh) 基于肌肉协同和变刚度阻抗控制的手腕部康复训练系统
Sarac et al. Brain computer interface based robotic rehabilitation with online modification of task speed
CN111176441A (zh) 基于表面肌电的人机交互训练方法、装置及存储介质
CN113143256B (zh) 步态特征提取方法、下肢评估、控制方法、设备及介质
Scherer et al. On the use of games for noninvasive EEG-based functional brain mapping
Lee A technology for computer-assisted stroke rehabilitation
Xiao et al. Design of a virtual reality rehabilitation system for upper limbs that inhibits compensatory movement
Wei et al. Evaluating the performance of a face movement based wheelchair control interface in an indoor environment
Zhang et al. Research on volleyball action standardization based on 3D dynamic model
Lenhardt et al. An augmented-reality based brain-computer interface for robot control
WO2023245696A1 (zh) 基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练系统
CN113730190A (zh) 一种三维空间运动的上肢康复机器人系统
Cruz et al. Facial Expression Recognition based on EOG toward Emotion Detection for Human-Robot Interaction.
Wang et al. Emg based rehabilitation systems-approaches for als patients in different stages
Chae et al. Noninvasive brain-computer interface-based control of humanoid navigation
CN111359159B (zh) 颈椎康复训练方法
US20230256296A1 (en) Wrist rehabilitation training system based on muscle coordination and variable stiffness impedance control
Gentili et al. Human-robotic collaborative intelligent control for reaching performance
Wen et al. Design of a multi-functional system based on virtual reality for stroke rehabilitation

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 18022758

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22947460

Country of ref document: EP

Kind code of ref document: A1