WO2025175752A1 - 基于ai共驾的外骨骼共享控制方法、系统、设备和存储介质 - Google Patents

基于ai共驾的外骨骼共享控制方法、系统、设备和存储介质

Info

Publication number
WO2025175752A1
WO2025175752A1 PCT/CN2024/118816 CN2024118816W WO2025175752A1 WO 2025175752 A1 WO2025175752 A1 WO 2025175752A1 CN 2024118816 W CN2024118816 W CN 2024118816W WO 2025175752 A1 WO2025175752 A1 WO 2025175752A1
Authority
WO
WIPO (PCT)
Prior art keywords
exoskeleton
term
driving
posture data
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/CN2024/118816
Other languages
English (en)
French (fr)
Inventor
李智军
夏海生
黄鹏博
李国欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Publication of WO2025175752A1 publication Critical patent/WO2025175752A1/zh
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Definitions

  • the present invention relates to the field of exoskeleton technology, and in particular to an exoskeleton shared control method, system, device and storage medium based on AI co-driving.
  • exoskeletons there are a large number of people worldwide who do heavy manual labor and suffer from lower limb motor dysfunction. Therefore, there is a huge market and urgent demand for exoskeletons.
  • existing exoskeleton planning and control technologies are mainly applied to walking scenarios in barrier-free spaces, and the travel path is usually limited to a fixed direction.
  • walking scenes are often filled with various obstacles, such as furniture and other objects, which pose a challenge to the mobility of exoskeletons.
  • a method for sharing and controlling an exoskeleton based on AI co-driving includes:
  • the local trajectory correction mode is implemented based on the AI co-driving strategy network model.
  • Multi-task tracking is performed on the direction of the exoskeleton's three-dimensional movement and walking trajectory to achieve motion tracking control of the exoskeleton.
  • the real-time switching between the local trajectory correction mode and the hybrid long- and short-term motion optimization mode based on the pose data includes:
  • the mode is switched to the local trajectory correction mode; if the posture data is less than the posture threshold, the mode is switched to the hybrid long-term and short-term motion optimization mode.
  • the AI shared driving strategy network model includes:
  • the increment of the predicted pose data is calculated and output.
  • the hybrid long-term and short-term motion optimization includes:
  • the output result of the long-term planning is calculated based on an SNN network model;
  • the SNN network model includes an encoding layer and a decoding layer, the encoding layer includes multiple convolutional layers and at least one pooling layer, and the decoding layer includes multiple convolutional layers and at least one upsampling layer;
  • the loss function of the SNN network model is expressed as the following formula:
  • P is the predicted path
  • T is the true path
  • L( ⁇ ) is the length of the path
  • S( ⁇ ) is the similarity between the true path and the predicted path
  • i is the i-th row of P and T
  • j is the j-th column of P and T.
  • the multi-task tracking of the direction of the exoskeleton's three-dimensional motion and the walking trajectory includes:
  • multi-task tracking is performed through a controller.
  • an exoskeleton sharing control system based on AI co-driving comprising:
  • the local trajectory correction module is used to output the increment of the predicted posture data and perform local motion trajectory correction
  • the hybrid long-term and short-term motion optimization module is used to output the three-dimensional motion trajectory of the exoskeleton
  • the posture data processing module includes:
  • IMU acquisition program used for posture data processing and real-time switching between the local trajectory correction module and the hybrid long-term and short-term motion optimization module based on the posture data.
  • an exoskeleton shared control device based on AI co-driving comprising:
  • a computer-readable storage medium on which computer instructions are stored.
  • the exoskeleton sharing control method based on AI co-driving as described above is implemented.
  • the exoskeleton shared control method, system, device and storage medium based on AI co-driving provided by the present invention can combine posture data and environmental image information when encountering sudden obstacles during the exoskeleton movement, and use AI to make corrections and predictions to obtain the optimal movement path, thereby helping the exoskeleton achieve omnidirectional walking in a complex three-dimensional environment.
  • FIG2 shows a module diagram of the exoskeleton sharing control system based on AI co-driving of the present invention.
  • FIG3 shows a module diagram of an exoskeleton shared control device based on AI co-driving according to the present invention.
  • FIG6 shows a schematic diagram of the operation of the hybrid long-term and short-term motion optimization module of the present invention.
  • FIG. 7 shows a schematic diagram of a multi-task controller module according to the present invention.
  • Step S110 Acquire real-time posture data of the exoskeleton wearer.
  • the posture data of the exoskeleton wearer can be monitored and collected with the help of hardware devices such as IMU sensors.
  • Step S120 Based on the posture data, the local trajectory correction mode and the hybrid long-term and short-term motion optimization mode are switched in real time.
  • the local trajectory correction mode is completed based on the AI co-driving strategy network model.
  • the IMU acquisition program can be used to process pose data and, based on the pose data, switch between the local trajectory correction mode and the hybrid long- and short-term motion optimization mode in real time.
  • the local trajectory correction mode is completed based on the AI co-driving strategy network model.
  • the AI co-driving strategy network model includes: obtaining target point image information; extracting features from the target point image information, and calculating the target point coordinates and distance; inputting pose data, target point image feature data, and target point coordinates and distance; and based on the input, calculating and outputting the predicted pose data increment.
  • the AI co-driving strategy network model extracts features from the target point image and predicts the target point position and distance through a decoder. It then outputs incremental information of the exoskeleton posture by inputting the posture information collected by the IMU and the target point image features and other target point information. Based on the incremental posture information, it outputs control instructions to the exoskeleton. After the local trajectory correction operation is completed, it can continue to return to the mixed long-term and short-term motion optimization mode.
  • the exoskeleton when the exoskeleton follows a trajectory planned by the hybrid long-term and short-term optimization mode, it is passively controlled; the user does not participate in the exoskeleton's movement, and the local trajectory correction module is not triggered. If an obstacle appears in the walking path and the exoskeleton cannot overcome it, it can only adjust the exoskeleton's posture to bypass the obstacle. At this time, the wearer can adjust the posture of their upper body, and the corresponding IMU posture will also be adjusted. The local trajectory correction mode is then triggered. Once the obstacle avoidance is completed, the exoskeleton can continue walking along the trajectory originally planned by the hybrid long-term and short-term optimization module.
  • the AI co-driving strategy network model needs to be iteratively trained before it is actually put into use.
  • the real environment image of the application scenario and the wearer's real posture data are collected to generate a test training set.
  • the test training set data is input into the AI co-driving strategy network model for continuous iterative training, and finally a stable AI co-driving strategy network model is obtained.
  • an IMU sensor can be used to monitor and collect the posture data of the exoskeleton wearer in real time.
  • the image acquisition device can be used to collect real-time environmental images of the exoskeleton's motion path, and feature extraction is performed on the real environment image, i.e., the target point image information, and the target point coordinates and distance are calculated.
  • the posture data, target point image feature data, and target point coordinates and distance are input into the trained AI co-driving strategy network model.
  • the model calculates and outputs the increment of the predicted posture data, and outputs control instructions to the exoskeleton based on the increment of the predicted posture data.
  • local trajectory correction belongs to AI co-driving control.
  • the posture data contains the wearer's intention information, that is, the wearer can change the posture data through personal will.
  • the local trajectory correction mode is triggered by the human's posture data. Therefore, when the incremental posture data is predicted through the AI co-driving strategy network model, the human's intention information or status information participates in the movement of the exoskeleton.
  • the prediction strategy of the AI co-driving strategy network model is integrated to realize local trajectory correction during the exoskeleton movement through human-machine shared control, which needs to be used online in real time.
  • S121 Long-term planning, used to output the optimal global path; the output result of the long-term planning is calculated based on the SNN network model; the SNN network model includes an encoding layer and a decoding layer, the encoding layer includes multiple convolutional layers and at least one pooling layer, and the decoding layer includes multiple convolutional layers and at least one upsampling layer.
  • the SNN model takes as input the target point information, including the location, orientation, and surrounding image of the destination, and outputs the optimal global path from the starting point to the destination.
  • the output of the SNN model maintains the same resolution and dimension as the input, and the output is a global optimal path.
  • the loss function of the SNN network model is expressed as the following formula:
  • S122 Short-term planning, used to output the exoskeleton's footstep sequence and whole-body motion trajectory; short-term planning includes: prior information on preset footsteps, including footstep size, footstep constraints, and footstep state definitions; based on footstep transfer strategies and iterative updates of left and right feet, output a set of the footstep sequences; based on forward and inverse kinematic analysis, output the whole-body motion trajectory.
  • short-term planning requires pre-defined footstep information, including footstep size, footstep constraints, and footstep state definitions. Then, by defining a footstep transfer strategy and iteratively updating the left and right feet, the next footstep is determined, resulting in a set of footstep sequences. Then, forward and inverse kinematics methods, including but not limited to numerical calculations based on linkage structures and optimized trajectory angle calculations, are used to determine the entire body's motion trajectory.
  • both long-term and short-term planning outputs are generated offline, and the planned trajectory is a three-dimensional motion trajectory, not limited to straight lines or single-directional movement.
  • the path information and trajectory obtained through the fusion of long-term and short-term motion optimization are pre-programmed into the exoskeleton software before the exoskeleton begins operation.
  • Step S130 Perform multi-task tracking on the direction of the exoskeleton's three-dimensional motion and the walking trajectory to achieve motion tracking control of the exoskeleton.
  • a multi-task controller can track multiple tasks, such as the direction of the exoskeleton's three-dimensional motion and its trajectory, within the task space using a hierarchical control method. This allows for motion tracking control of the exoskeleton.
  • multi-task tracking can effectively utilize the exoskeleton's power system and sensor equipment, improving the system's energy efficiency and service life.
  • Simultaneously tracking multiple tasks can reduce the impact of a single task failure on the overall system stability.
  • the exoskeleton's stability and reliability can be enhanced under varying operating conditions.
  • multi-task tracking of the direction of the exoskeleton's three-dimensional motion and the walking trajectory includes the following steps S131 to S136:
  • the motion trajectory including walking position and direction can be used as tracking tasks, and a mapping transformation relationship from joint space to task space can be established.
  • this mapping transformation relationship can be expressed as the following formula:
  • the calculation of the task space Jacobian can be expressed as follows:
  • Step S133 Calculate the augmented Jacobian matrix based on the task space Jacobian.
  • the augmented Jacobian matrix is obtained by stacking the above-mentioned task space Jacobians.
  • the calculation of the augmented Jacobian matrix can be expressed as the following formula:
  • i represents the i-th task
  • q represents the joint angle
  • Ji (q) represents the task space Jacobian
  • Step S134 Calculate a null space projection operator based on the augmented Jacobian matrix.
  • null space projection operator tasks can be layered to ensure that low-priority tasks do not affect high-priority tasks.
  • the calculation of the null space projection operator can be expressed as the following formula:
  • Ni (q) represents the null space projection operator
  • I represents the identity matrix
  • q represents the joint angle
  • T represents the symbol of the matrix transpose
  • the calculation of the decoupled Jacobian matrix and the hierarchical decoupled task speed can be expressed as the following formula:
  • Step S136 Based on the decoupled Jacobian matrix and the hierarchically decoupled task speeds, a controller is used to perform multi-task tracking.
  • the controller may be an adaptive controller or a proportional-integral-derivative controller.
  • the exoskeleton sharing control method based on AI co-driving provided by the present invention, 1) real-time posture data of the exoskeleton wearer is obtained, thereby providing data input for the exoskeleton sharing control method of AI co-driving, and providing a basis for realizing the participation of human intention information or status information in exoskeleton movement; 2) based on the posture data, real-time switching between the local trajectory correction mode and the mixed long-term and short-term motion optimization mode is performed, and the local trajectory correction mode is completed based on the AI co-driving strategy network model.
  • the exoskeleton can realize real-time switching between the AI co-driving control state and the passive control state, and realize omnidirectional walking of the exoskeleton in a three-dimensional complex environment; 3) multi-task tracking is performed on the direction and walking trajectory of the three-dimensional movement of the exoskeleton to realize motion tracking control of the exoskeleton.
  • multi-task tracking can simultaneously consider multiple indicators such as motion direction, walking trajectory accuracy, stability, etc., thereby comprehensively optimizing the overall performance of the exoskeleton.
  • multi-task tracking can instantly adjust the motion trajectory and control strategy of the exoskeleton to cope with different environments and task requirements, thereby improving the system's adaptability to complex environments.
  • the posture data processing module 210 is used to obtain the real-time posture data of the exoskeleton wearer and to switch between the local trajectory correction module 220 and the hybrid long-term and short-term motion optimization module 230 in real time based on the posture data.
  • the local trajectory correction module 220 includes the AI co-driving strategy network model 221;
  • the local trajectory correction module simultaneously captures the real environment image of the exoskeleton motion path through an image acquisition device (not shown in the figure), extracts features of the real environment image, i.e., the target point image information, and calculates the target point coordinates and distance to summarize the target point information; the posture data and target point information are input into the trained AI co-driving strategy network model; the model calculates and outputs the increment of the predicted posture data based on the input, and outputs control instructions to the exoskeleton based on the increment of the predicted posture data.
  • a hybrid long-term and short-term motion optimization module 230 is used to output the exoskeleton's three-dimensional motion trajectory
  • FIG6 shows a schematic diagram of the operation of the hybrid long-term and short-term motion optimization module 230 of the present invention.
  • the hybrid long-term and short-term motion optimization module 230 includes a long-term planning module 231 and a short-term planning module 232.
  • the long-term planning module 231 is used to output the optimal global path. Its input data is the target point information, i.e., the end point information, including the position, direction, surrounding environment image, etc. of the end point. After being processed by the graph pulse neural network (such as the aforementioned SNN network model), it can output the optimal global path from the starting point to the target point.
  • the graph pulse neural network such as the aforementioned SNN network model
  • the short-term planning module 232 is used to output the exoskeleton's footstep sequence and whole-body motion trajectory. It requires a priori information on the preset footstep points, including footstep size, footstep constraints, and footstep state definitions. It inputs the optimal global path and outputs a set of the footstep sequences based on the footstep transfer strategy and iterative updates of the left and right feet. It also outputs the exoskeleton's whole-body motion trajectory based on forward and inverse kinematic analysis.
  • short-term planning requires pre-defined footstep information, including footstep size, footstep constraints, and footstep state definitions. Then, by defining a footstep transfer strategy and iteratively updating the left and right feet, the next footstep is determined, resulting in a set of footstep sequences. Then, forward and inverse kinematics methods, including but not limited to numerical calculations based on linkage structures and optimized trajectory angle calculations, are used to determine the entire body's motion trajectory.
  • S123 Generate a three-dimensional motion trajectory of the exoskeleton based on the long-term plan and the short-term plan.
  • FIG7 shows a schematic diagram of a multi-task controller module according to an embodiment of the present invention.
  • the multi-task controller module 240 includes:
  • Task module 241 which contains N walking tasks. Each walking task is used to define a specific action or motion path that the exoskeleton needs to perform, such as walking tasks at different speeds, directions, or environmental conditions.
  • a null space projection module 242 is used to process and optimize the exoskeleton's motion space to ensure that there is no motion conflict or unnecessary overlap when performing multiple tasks. It can project multiple tasks in the motion space to minimize interference and conflict;
  • Hierarchical motion task module 244 is used to manage and execute walking tasks in layers according to priority or logical relationships, ensuring that the exoskeleton system can execute tasks layer by layer according to actual needs, thereby ensuring smooth and efficient overall motion control;
  • the real-time posture data of the exoskeleton wearer is obtained through the posture data processing module 210, thereby providing data input for the exoskeleton sharing control method for AI co-driving and laying a foundation for implementing the participation of human intention information or state information in the exoskeleton movement.
  • the posture data processing module 210 switches between a local trajectory correction mode and a hybrid long-term and short-term motion optimization mode in real time based on the posture data.
  • the local trajectory correction mode is implemented based on the AI co-driving strategy network model.
  • the exoskeleton can achieve real-time switching between the AI co-driving control state and the passive control state, enabling the exoskeleton to achieve omnidirectional walking in a three-dimensional complex environment.
  • the multi-task controller module 240 performs multi-task tracking of the direction and walking trajectory of the exoskeleton's three-dimensional movement to achieve motion tracking control of the exoskeleton.
  • multi-task tracking can simultaneously consider multiple indicators such as motion direction, walking trajectory accuracy, and stability, thereby comprehensively optimizing the overall performance of the exoskeleton.
  • multi-task tracking can instantly adjust the exoskeleton's motion trajectory and control strategy to cope with different environments and task requirements, improving the system's adaptability to complex environments.
  • FIG. 2 is merely a schematic illustration of the AI-powered shared exoskeleton control system 200 provided by the present invention. Without violating the principles of the present invention, the splitting, merging, and adding of modules are all within the scope of the present invention.
  • the AI-powered shared exoskeleton control system 200 provided by the present invention can be implemented using software, hardware, firmware, plug-ins, or any combination thereof, and the present invention is not limited thereto.
  • Exoskeleton shared control device 300 for AI co-driving includes an exoskeleton 310, which includes a brushless DC motor 311; and a shared control system 320, as shown in Figure 2 , which drives exoskeleton 310 by controlling brushless DC motor 311.
  • the exoskeleton shared control device based on AI co-driving When the exoskeleton shared control device based on AI co-driving is working, it first obtains the real-time posture data of the exoskeleton wearer through the IMU device worn by the wearer, and then switches between the local trajectory correction mode and the mixed long-term and short-term motion optimization mode in real time based on the acquired posture data. Specifically, it includes: presetting the wearer's posture threshold; comparing the posture threshold with the posture data, if the posture data is greater than the posture threshold, switching to the local trajectory correction module; if the posture data is less than the posture threshold, switching to the mixed long-term and short-term motion optimization module.
  • the local trajectory correction module is completed based on the AI co-driving strategy network model.
  • the wearer monitors and collects posture data in real time by wearing an IMU device, captures real-time images of the environment of the exoskeleton's motion path through an image acquisition device, and inputs human-related and environmental information into the trained AI co-driving strategy network model; based on the input, the model calculates and outputs the increment of predicted posture data for local trajectory correction.
  • the computer-readable storage medium may include: various media that can store program codes, such as a USB flash drive, a mobile hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk or an optical disk, and includes the aforementioned program code of the exoskeleton sharing control method based on AI co-driving, and the program code can be used by or in combination with an instruction execution system, device or component.
  • program codes such as a USB flash drive, a mobile hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk or an optical disk, and includes the aforementioned program code of the exoskeleton sharing control method based on AI co-driving, and the program code can be used by or in combination with an instruction execution system, device or component.
  • the exoskeleton can realize real-time switching between the AI co-driving control state and the passive control state, and realize omnidirectional walking of the exoskeleton in a three-dimensional complex environment; 3) performs multi-task tracking on the direction and walking trajectory of the exoskeleton's three-dimensional movement to realize motion tracking control of the exoskeleton.
  • multi-task tracking can simultaneously consider multiple indicators such as motion direction, walking trajectory accuracy, stability, etc., thereby comprehensively optimizing the overall performance of the exoskeleton.
  • multi-task tracking can instantly adjust the motion trajectory and control strategy of the exoskeleton to cope with different environments and task requirements, thereby improving the system's adaptability to complex environments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明提供一种基于AI共驾的外骨骼共享控制方法、系统、设备和存储介质，基于AI共驾的外骨骼共享控制方法包括：获取外骨骼穿戴者实时位姿数据；基于位姿数据，实时进行局部轨迹修正模式与混合长短期运动优化模式的切换，局部轨迹修正模式基于AI共驾策略网络模型完成；对外骨骼三维运动的方向与行走轨迹进行多任务跟踪，实现外骨骼的运动跟踪控制。采用本申请的方法，在遇到突发的障碍物时，结合位姿数据和目标点图像特征数据，可以将初始路径修正到最优路径，从而帮助外骨骼在三维复杂环境中实现全向行走。

Description

基于AI共驾的外骨骼共享控制方法、系统、设备和存储介质 技术领域
本发明涉及外骨骼技术领域，特别是涉及一种基于AI共驾的外骨骼共享控制方法、系统、设备和存储介质。
背景技术
外骨骼是一种可穿戴的机械装置，可以为用户提供额外能量供四肢运动，用于改善穿戴者的行走、举重或其他活动能力，帮助增强用户的力量、稳定性和运动能力。随着传感器、执行器以及人工智能等技术的发展，外骨骼机器人的运动能力、智能水平都得到了进一步提升。作为一种辅助型机器人，它能够帮助穿戴者完成康复训练任务、日常行走助力、居家行走辅助等任务，在一定程度上缓解了护工短缺的压力，降低了高昂的人工费用，进一步提升穿戴者的生活质量。
目前，全世界拥有大量的重体力劳动者以及下肢运动功能障碍患者，因此外骨骼在世界范围内拥有庞大的市场以及迫切的需求。但现有的外骨骼规划与控制技术主要应用在无障碍空间中的行走场景，并且行进路径通常限制在固定的方向。然而，在日常生活中，行走场景通常充满各种障碍物，如家具和其他物体，这些障碍物对于外骨骼的移动能力构成了挑战。
由此，如何使外骨骼在三维复杂环境中实现全向行走，是本领域亟待解决的技术问题。
发明内容
本发明为了克服上述相关技术存在的缺陷，提供一种基于AI共驾的外骨骼共享控制方法、系统、设备和存储介质，通过AI共驾的外骨骼运动优化与控制切换策略，实现外骨骼在三维复杂环境中的全向行走。
根据本发明的一个方面，提供一种基于AI共驾的外骨骼共享控制方法， 包括：
获取外骨骼穿戴者实时位姿数据；
基于所述位姿数据，实时进行局部轨迹修正模式与混合长短期运动优化模式的切换，所述局部轨迹修正模式基于AI共驾策略网络模型完成；
对外骨骼三维运动的方向与行走轨迹进行多任务跟踪，实现外骨骼的运动跟踪控制。
在本申请的一些实施例中，所述基于所述位姿数据，实时进行局部轨迹修正模式与混合长短期运动优化模式的切换包括：
预设穿戴者位姿阈值；
比对所述位姿阈值与所述位姿数据；
若所述位姿数据大于所述位姿阈值，则切换至局部轨迹修正模式；若所述位姿数据小于所述位姿阈值，则切换至混合长短期运动优化模式。
在本申请的一些实施例中，所述AI共驾策略网络模型包括：
获取目标点图像信息；
对所属目标点图像信息进行特征提取，以及计算目标点坐标及距离；
输入所述位姿数据、目标点图像特征数据、以及目标点坐标及距离；
基于所述输入，计算并输出预测的位姿数据的增量。
在本申请的一些实施例中，所述混合长短期运动优化包括：
长期规划，用于输出最优全局路径；所述长期规划的输出结果基于SNN网络模型计算；所述SNN网络模型包括编码层和解码层，所述编码层包括多个卷积层及至少一池化层，所述解码层包括多个卷积层及至少一上采样层；
短期规划，用于输出外骨骼的脚步序列与全身运动轨迹；所述短期规划包括：预设落脚点的先验信息，包括脚步大小、脚步约束以及脚步状态定义；基于脚步转移策略和左右脚迭代更新，输出一组所述脚步序列；基于正逆运动学分析，输出所述全身运动轨迹；
基于所述长期规划和短期规划，生成外骨骼三维运动轨迹。
在本申请的一些实施例中，所述SNN网络模型的损失函数表示为如下公式：
其中，a、b、c均表示超参数，P表示预测的路径，T表示真实的路径，L(·)表示路径的长度，S(·)表示真实路径与预测路径的相似性，i表示P、T的第i行，j表示P、T的第j列。
在本申请的一些实施例中，所述对外骨骼三维运动的方向与行走轨迹进行多任务跟踪，包括：
建立从关节空间到任务空间的映射变换关系；
基于所述映射变换关系，计算任务空间雅可比；
基于所述任务空间雅可比，计算增广雅可比矩阵；
基于所述增广雅可比矩阵，计算零空间投影算子；
基于所述零空间投影算子，计算解耦合的雅可比矩阵与分层解耦合的任务速度；
基于所述解耦合的雅可比矩阵与分层解耦合的任务速度，通过控制器进行多任务跟踪。
根据本申请的又一方面，还提供一种基于AI共驾的外骨骼共享控制系统，包括：
位姿数据处理模块，用于获取外骨骼穿戴者实时位姿数据；以及用于基于所述位姿数据，实时进行局部轨迹修正模块与混合长短期运动优化模块的切换，所述局部轨迹修正模块包括AI共驾策略网络模型；
所述局部轨迹修正模块，用于输出预测的位姿数据的增量，进行局部运动轨迹修正；
所述混合长短期运动优化模块，用于输出外骨骼三维运动轨迹；
多任务控制器模块，用于对外骨骼三维运动的方向与行走轨迹进行多任务跟踪，实现外骨骼的行走跟踪控制。
在本申请的一些实施例中，所述位姿数据处理模块包括：
IMU传感器:用于位姿数据采集；
IMU采集程序：用于位姿数据处理及基于所述位姿数据，实时进行局部轨迹修正模块与混合长短期运动优化模块的切换。
根据本申请的又一方面，还提供一种基于AI共驾的外骨骼共享控制设备，包括：
外骨骼，所述外骨骼包括直流无刷电机；
如前所述的共享控制系统；
所述共享控制系统通过控制所述直流无刷电机，带动外骨骼进行运动。
根据本申请的又一方面，还提供一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时，实施如前所述的基于AI共驾的外骨骼共享控制方法。
相比现有技术，本发明的优势在于：
本发明提供的基于AI共驾的外骨骼共享控制方法、系统、设备和存储介质，在外骨骼运动过程中，遇到突发的障碍物时，可以结合位姿数据和环境图像信息，通过AI进行修正预测得到运动最优路径，从而帮助外骨骼在三维复杂环境中实现全向行走。
附图说明
通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。
图1示出了本发明的基于AI共驾的外骨骼共享控制方法的流程示意图。
图2示出了本发明的基于AI共驾的外骨骼共享控制系统的模块图。
图3示出了本发明的基于AI共驾的外骨骼共享控制设备的模块图。
图4示出了本发明的基于AI共驾的外骨骼共享控制设备的工作示意图。
图5示出了本发明的局部轨迹修正模块的工作示意图。
图6示出了本发明的混合长短期运动优化模块的工作示意图。
图7示出了本发明的多任务控制器模块的示意图。
图8示出了本发明的IMU设备安装位置示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此，实际执行的顺序有可能根据实际情况改变。
图1示出了本发明的基于AI共驾的外骨骼共享控制方法的流程示意图。本申请提供的基于AI共驾的外骨骼共享控制方法包括如下步骤S110-步骤S130：
步骤S110：获取外骨骼穿戴者实时位姿数据。
具体而言，可以借助硬件设备比如IMU传感器，对外骨骼穿戴者的位姿数据进行监控和采集。
步骤S120：基于位姿数据，实时进行局部轨迹修正模式与混合长短期运动优化模式的切换，局部轨迹修正模式基于AI共驾策略网络模型完成。
具体而言，可以借助IMU采集程序，进行位姿数据处理及基于所述位姿数据，实时进行局部轨迹修正模式与混合长短期运动优化模式的切换，局部轨迹修正模式基于AI共驾策略网络模型完成。AI共驾策略网络模型包括：获取目标点图像信息；对所属目标点图像信息进行特征提取，以及计算目标点坐标及距离；输入位姿数据、目标点图像特征数据、以及目标点坐标及距离；基于输入，计算并输出预测的位姿数据的增量。
在一些实施例中，通过在IMU采集程序中预设穿戴者位姿阈值，然后比对位姿阈值与位姿数据，判断是否进行模式切换；若位姿数据大于位姿阈值，则切换至局部轨迹修正模式；若位姿数据小于位姿阈值，则切换至混合长短期运动优化模式。
在一些实施例中，AI共驾策略网络模型对目标点图像进行特征提取以及通过解码器对目标点位置以及距离进行预测，然后通过输入IMU采集到的位姿信息与的信息与目标点图像图像特征等目标点信息，输出外骨骼位姿的增量信息，根据位姿的增量信息向外骨骼输出控制指令，在局部轨迹修正操作完成后，可继续回到混合长短期运动优化模式。
具体而言，当外骨骼沿着混合长短期混动优化模式规划的轨迹行走时，此时属于被动控制，人并未参与外骨骼的运动，并且未触发局部轨迹修正模块。若此时行走路径出现障碍物，而外骨骼无法越过该障碍物，只能通过调整外骨骼姿态，从障碍物旁边绕行，此时穿戴者可以调整其上半身的姿态，对应的IMU的姿态也会调整，紧接着局部轨迹修正模式被触发，当避障完成后，外骨骼可以沿着原来混合长短期运动优化模块规划的轨迹继续行走。
进一步地，AI共驾策略网络模型在实际投入使用前需进行迭代训练，首先进行应用场景真实环境图像以及穿戴者真实位姿数据的采集，生成测试训练集，将测试训练集数据输入到AI共驾策略网络模型不断迭代训练，最终得到稳定的AI共驾策略网络模型。实际使用中，可以使用IMU传感器，对外骨骼穿戴者的位姿数据进行实时监控和采集，同时通过图像采集设备对外骨骼运动路径的真实环境图像进行实时采集，对真实环境图像即目标点图像信息进行特征提取，以及计算目标点坐标及距离；将位姿数据、目标点图像特征数据、以及目标点坐标及距离输入训练好的AI共驾策略网络模型；模型基于输入，计算并输出预测的位姿数据的增量，并基于该预测的位姿数据的增量向外骨骼输出控制指令。
在工作原理上，局部轨迹修正属于AI共驾控制，如本领域技术人员可以理解的，位姿数据中包含有穿戴者的意图信息，即穿戴者可以通过个人意志改变位姿数据，局部轨迹修正模式由人的位姿数据触发，因此在通过AI共驾策略网络模型进行位姿数据增量预测时，人的意图信息或状态信息参与了外骨骼的运动，同时融合AI共驾策略网络模型的预测策略，通过人机共享控制实现了外骨骼运动过程中的局部轨迹修正，其需要实时在线使用。
进一步地，混合长短期运动优化包括如下步骤S121-S123：
S121：长期规划，用于输出最优全局路径；长期规划的输出结果基于SNN网络模型计算；SNN网络模型包括编码层和解码层，编码层包括多个卷积层及至少一池化层，解码层包括多个卷积层及至少一上采样层。
具体而言，SNN网络模型包括编码层和解码层。编码层包括多个卷积层及至少一池化层，通过池化操作和下采样，可以将原始输入的尺寸缩小，同时通过多层卷积核，增强SNN网络模型处理复杂特征的能力。解码层包括多个卷积层及至少一上采样层，通过上采样操作，并跳连接集成低层特征，可进一步提高网络的精度。
进一步地，SNN网络模型的输入数据为目标点信息，包括终点的位置、方向、周围环境图像等，输出为从起始点到目标点的最优全局路径。SNN网络模型的输出与输入保持相同的分辨率和维度，输出为一个全局的最优路径。
在一些实施例中，SNN网络模型的损失函数表示为如下公式：
其中，a、b、c均表示超参数，P表示预测的路径，T表示真实的路径，L(·)表示路径的长度，S(·)表示真实路径与预测路径的相似性，i表示P、T的第i行，j表示P、T的第j列。
S122：短期规划，用于输出外骨骼的脚步序列与全身运动轨迹；短期规划包括：预设落脚点的先验信息，包括脚步大小、脚步约束以及脚步状态定义；基于脚步转移策略和左右脚迭代更新，输出一组所述脚步序列；基于正逆运动学分析，输出所述全身运动轨迹。
具体而言，短期规划需要提前预设落脚点的先验信息：包括脚步大小、脚步约束以及脚步状态定义等，然后通过定义脚步转移策略以及左右脚迭代更新，获得下一个落脚点，从而获得一组脚步序列。然后基于正逆运动学的方法包括但不限于基于连杆结构的数值计算、基于优化的轨迹角度计算，获得全身的运动轨迹。
S123：基于所述长期规划和短期规划，生成外骨骼三维运动轨迹。
在一些实施例中，长期规划与短期规划的输出结果，均可通过离线获得，并且其规划的轨迹为三维运动轨迹，不仅仅局限于直线行走或者单一方向行走。最终通过融合长短期运动优化获得的路径信息、轨迹等，会在外骨骼开始工作前，提前设定到外骨骼程序软件中。
在工作原理上：混合长短期运动优化属于被动控制，即完全由外骨骼运动带动人运动的运动模式，也即是人的意图或状态信息未参与外骨骼的运动。
步骤S130：对外骨骼三维运动的方向与行走轨迹进行多任务跟踪，实现外骨骼的运动跟踪控制。
具体而言，可以通过多任务控制器在任务空间中，采用控制任务分层的方法，完成对外骨骼三维运动的方向与行走轨迹等多任务的跟踪，从而完成对外骨骼的运动跟踪控制。通过合理分配资源和优化控制策略，多任务跟踪可以有效利用外骨骼的动力系统和传感器设备，提升系统的能效比和使用寿命，同时跟踪多个任务可以降低单一任务失败对系统整体稳定性的影响，通过任务之间的相互补充和调节，提升外骨骼在不同工作条件下的稳定性和可靠性。
在一些实施例中，对外骨骼三维运动的方向与行走轨迹进行多任务跟踪，包括如下步骤S131-步骤S136：
步骤S131：建立从关节空间到任务空间的映射变换关系。
具体而言，可以将运动轨迹包括行走位置、方向分别作为跟踪任务，建立从关节空间到任务空间的映射变换关系。在一些实施例中，这种映射变换关系可以表示为如下公式：
xi＝fi(q)，
其中，xi代表任务，q代表关节角，fi(q)表示从关节空间到任务空间的映射函数，i代表第i个任务。
步骤S132：基于所述映射变换关系，计算任务空间雅可比。
在一些实施例中，任务空间雅可比的计算可以表示为如下公式：
其中，Ji(q)代表任务空间雅可比，q代表关节角，i代表第i个任务，fi(q)表示从关节空间到任务空间的映射函数，代表关节角的微分，代表第i个任务的微分。
步骤S133：基于所述任务空间雅可比，计算增广雅可比矩阵。
具体而言，增广雅可比矩阵通过将上述任务空间雅可比堆叠得到，在一些实施例中，增广雅可比矩阵的计算可以表示为如下公式：
其中，i代表第i个任务，代表增广雅可比矩阵，q代表关节角，Ji(q)代表任务空间雅可比，代表将任务空间雅可比从第1个堆叠到第i个。
步骤S134：基于所述增广雅可比矩阵，计算零空间投影算子。
通过零空间投影算子，可以将任务进行分层，以达到低优先级任务不影响高优先级任务的特点，在一些实施例中，零空间投影算子的计算可以表示为如下公式：
其中，Ni(q)代表零空间投影算子，I代表单位矩阵，q代表关节角，代表前述增广雅可比矩阵的转置，T代表矩阵转置的符号。
步骤S135：基于所述零空间投影算子，计算解耦合的雅可比矩阵与分层解耦合的任务速度。
在一些实施例中，解耦合的雅可比矩阵与分层解耦合的任务速度的计算可以表示为如下公式：

其中，代表解耦合的雅可比，Ji(q)代表任务空间雅可比，Ni(q)T代表零空间投影算子的转置，T代表矩阵转置的符号，V代表解耦合的任务速度，代表解耦合的雅可比与关节速度的乘积。
步骤S136：基于所述解耦合的雅可比矩阵与分层解耦合的任务速度，通过控制器进行多任务跟踪。举例而言，控制器可以选用自适应控制器或比例积分微分控制器。
在本发明提供的基于AI共驾的外骨骼共享控制方法中，1)获取外骨骼穿戴者实时位姿数据，由此，为AI共驾的外骨骼共享控制方法提供了数据输入，为实现人的意图信息或状态信息参与外骨骼运动提供了基础；2)基于所述位姿数据，实时进行局部轨迹修正模式与混合长短期运动优化模式的切换，所述局部轨迹修正模式基于AI共驾策略网络模型完成，由此，外骨骼可以实现AI共驾控制状态与被动控制状态之间的实时切换，实现了外骨骼在三维复杂环境中实现全向行走；3)对外骨骼三维运动的方向与行走轨迹进行多任务跟踪，实现外骨骼的运动跟踪控制，由此，多任务跟踪可以同时考虑运动方向、行走轨迹的准确性、稳定性等多个指标，从而综合优化外骨骼的整体性能，同时多任务跟踪能够即时调整外骨骼的运动轨迹和控制策略，以应对不同的环境和任务需求，提高系统对复杂环境的适应能力。
以上仅仅是本发明的基于AI共驾的外骨骼共享控制方法的多个具体实现方式，各实现方式可以独立或组合来实现，本发明并非以此为限制。进一步地，本发明的流程图仅仅是示意性地，各步骤之间的执行顺序并非以此为限制，步骤的拆分、合并、顺序交换、其它同步或异步执行的方式皆在本发明的保护范围之内。
下面参见图2，图2示出了本发明的基于AI共驾的外骨骼共享控制系统的模块图。基于AI共驾的外骨骼共享控制系统200，包括：
位姿数据处理模块210，用于获取外骨骼穿戴者实时位姿数据，以及用于基于位姿数据，实时进行局部轨迹修正模块220与混合长短期运动优化模块230的切换，局部轨迹修正模块220包括AI共驾策略网络模型221；
局部轨迹修正模块220，用于输出预测的位姿数据的增量，进行局部运动轨迹修正；
进一步地，参见图5，图5示出了本发明的局部轨迹修正模块的工作示意图。在本申请的一些实施例中，位姿数据处理模块210选用IMU设备，IMU设备包括IMU传感器和IMU采集程序，穿戴者通过佩戴IMU设备，对位姿数据进行实时监控和采集。具体地，IMU设备在人体的安装位置参见图8，图8示出了本发明的IMU设备安装位置示意图。局部轨迹修正模块同时通过图像采集设备(图中未示出)对外骨骼运动路径的真实环境图像进行实时图像捕获，对真实环境图像即目标点图像信息进行特征提取，以及计算目标点坐标及距离汇总成目标点信息；将位姿数据、目标点信息输入训练好的AI共驾策略网络模型；模型基于输入，计算并输出预测的位姿数据的增量，并基于该预测的位姿数据的增量向外骨骼输出控制指令。
混合长短期运动优化模块230，用于输出外骨骼三维运动轨迹；
进一步地，参见图6，图6示出了本发明的混合长短期运动优化模块230的工作示意图。在本申请的一些实施例中，混合长短期运动优化模块230包括长期规划模块231和短期规划模块232，
长期规划模块231，用于输出最优全局路径，其输入数据为目标点信息即终点信息，包括终点的位置、方向、周围环境图像等，经过图脉冲神经网络(例如前述SNN网络模型)处理，可输出从起始点到目标点的最优全局路径。
短期规划模块232，用于输出外骨骼的脚步序列与全身运动轨迹；其需要预设落脚点的先验信息，包括脚步大小、脚步约束以及脚步状态定义；输入最优全局路径，基于脚步转移策略和左右脚迭代更新，输出一组所述脚步序列；基于正逆运动学分析，输出外骨骼全身运动轨迹。
具体而言，短期规划需要提前预设落脚点的先验信息：包括脚步大小、脚步约束以及脚步状态定义等，然后通过定义脚步转移策略以及左右脚迭代更新，获得下一个落脚点，从而获得一组脚步序列。然后基于正逆运动学的方法包括但不限于基于连杆结构的数值计算、基于优化的轨迹角度计算，获得全身的运动轨迹。
S123：基于所述长期规划和短期规划，生成外骨骼三维运动轨迹。
多任务控制器模块240，用于对外骨骼三维运动的方向与行走轨迹进行多任务跟踪，实现外骨骼的行走跟踪控制。
进一步地，参见图7，图7示出了根据本发明实施例的多任务控制器模块的示意图。多任务控制器模块240，包括：
任务模块241，任务模块包含N个行走任务，每个行走任务用于定义外骨骼需要执行的具体动作或运动路径，例如不同速度、方向或环境条件下的行走任务；
零空间投影模块242，用于处理和优化外骨骼的运动空间，确保在执行多个任务时不会发生运动冲突或不必要的重叠。它可以将多个任务在运动空间中投影，以最大程度地减少干涉和冲突；
运动解耦模块243，用于将外骨骼的复杂运动分解成更简单、更容易管理的子运动。这样可以更有效地控制外骨骼的不同部分，以满足不同任务的需求，并且能够降低运动控制的复杂度和计算成本；
分层运动任务模块244，用于将各个行走任务按照优先级或者逻辑关系进行分层管理和执行，可以确保外骨骼系统能够根据实际需要逐层执行任务，从而保证整体运动控制的顺畅和高效；
控制器模块245，用于整合和管理任务模块241、零空间投影模块242、运动解耦模块243、分层运动任务模块244，控制器模块245负责接收来自任务模块和其他模块的输入信息，执行多任务之间的协调和决策，最终输出合适的控制信号以实现外骨骼的多任务运动控制。
在本发明的示例性实施方式的基于AI共驾的外骨骼共享控制系统200中，1)通过位姿数据处理模块210获取外骨骼穿戴者实时位姿数据，由此，为AI共驾的外骨骼共享控制方法提供了数据输入，为实现人的意图信息或状态信息参与外骨骼运动提供了基础；2)通过位姿数据处理模块210基于位姿数据，实时进行局部轨迹修正模式与混合长短期运动优化模式的切换，所述局部轨迹修正模式基于AI共驾策略网络模型完成，由此，外骨骼可以实现AI共驾控制状态与被动控制状态之间的实时切换，实现了外骨骼在三维复杂环境中实现全向行走；3)通过多任务控制器模块240对外骨骼三维运动的方向与行走轨迹进行多任务跟踪，实现外骨骼的运动跟踪控制，由此，多任务跟踪可以同时考虑运动方向、行走轨迹的准确性、稳定性等多个指标，从而综合优化外骨骼的整体性能，同时多任务跟踪能够即时调整外骨骼的运动轨迹和控制策略，以应对不同的环境和任务需求，提高系统对复杂环境的适应能力。
图2仅仅是示意性的示出本发明提供的基于AI共驾的外骨骼共享控制系统200，在不违背本发明构思的前提下，模块的拆分、合并、增加都在本发明的保护范围之内。本发明提供的基于AI共驾的外骨骼共享控制系统200可以由软件、硬件、固件、插件及他们之间的任意组合来实现，本发明并非以此为限。
下面参见图3和图4，图3示出了本发明的基于AI共驾的外骨骼共享控制设备的模块图，图4示出了本发明的基于AI共驾的外骨骼共享控制设备的工作示意图。基于AI共驾的外骨骼共享控制设备300包括：外骨骼310，外骨骼310包括直流无刷电机311；如图2所示的共享控制系统320，共享控制系统320通过控制直流无刷电机311，带动外骨骼310进行运动。
基于AI共驾的外骨骼共享控制设备工作时，首先通过穿戴者身上佩戴的IMU设备获取外骨骼穿戴者实时位姿数据，然后基于获取的位姿数据，实时进行局部轨迹修正模式与混合长短期运动优化模式的切换，具体包括：预设穿戴者位姿阈值；比对所述位姿阈值与所述位姿数据，若所述位姿数据大于所述位姿阈值，则切换至局部轨迹修正模块；若所述位姿数据小于所述位姿阈值，则切换至混合长短期运动优化模块。
局部轨迹修正模块基于AI共驾策略网络模型完成，具体地，穿戴者通过佩戴IMU设备，对位姿数据进行实时监控和采集，通过图像采集设备对外骨骼运动路径的真实环境图像进行实时图像捕获，将人相关信息及环境信息输入训练好的AI共驾策略网络模型；模型基于输入，计算并输出预测的位姿数据的增量进行局部轨迹修正。
混合长短期运动优化模块，可以输出外骨骼的脚步序列与全身运动轨迹。
预测的位姿数据的增量及外骨骼的脚步序列与全身运动轨迹将以任务指令的形式输出，经过多任务控制器对外骨骼三维运动的方向与行走轨迹进行多任务跟踪，实现外骨骼的运动跟踪控制，多任务跟踪可以同时考虑运动方向、行走轨迹的准确性、稳定性等多个指标，从而综合优化外骨骼的整体性能，同时多任务跟踪能够即时调整外骨骼的运动轨迹和控制策略，以应对不同的环境和任务需求，提高系统对复杂环境的适应能力。基于AI共驾的外骨骼共享控制设备最终输出合适的控制信号通过控制直流无刷电机，带动外骨骼实现外骨骼的多任务运动控制。
本申请还提供一种计算机可读存储介质，其上存储有计算机指令，计算机指令被处理器执行时，实施如前所述的基于AI共驾的外骨骼共享控制方法。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质，并包括前述的基于AI共驾的外骨骼共享控制方法程序代码，且该程序代码可以被指令执行系统、装置或者器件使用或者与其结合使用。
综上，本申请，1)获取外骨骼穿戴者实时位姿数据，由此，为AI共驾的外骨骼共享控制方法提供了数据输入，为实现人的意图信息或状态信息参与外骨骼运动提供了基础；2)基于所述位姿数据，实时进行局部轨迹修正模式与混合长短期运动优化模式的切换，所述局部轨迹修正模式基于AI共驾策略网络模型完成，由此，外骨骼可以实现AI共驾控制状态与被动控制状态之间的实时切换，实现了外骨骼在三维复杂环境中实现全向行走；3)对外骨骼三维运动的方向与行走轨迹进行多任务跟踪，实现外骨骼的运动跟踪控制，由此，多任务跟踪可以同时考虑运动方向、行走轨迹的准确性、稳定性等多个指标，从而综合优化外骨骼的整体性能，同时多任务跟踪能够即时调整外骨骼的运动轨迹和控制策略，以应对不同的环境和任务需求，提高系统对复杂环境的适应能力。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由所附的权利要求指出。

Claims (10)

  1. 基于AI共驾的外骨骼共享控制方法，其特征在于，包括：
    获取外骨骼穿戴者实时位姿数据；
    基于所述位姿数据，实时进行局部轨迹修正模式与混合长短期运动优化模式的切换，所述局部轨迹修正模式基于AI共驾策略网络模型完成；
    对外骨骼三维运动的方向与行走轨迹进行多任务跟踪，实现外骨骼的运动跟踪控制。
  2. 如权利要求1所述的基于AI共驾的外骨骼共享控制方法，其特征在于，所述基于所述位姿数据，实时进行局部轨迹修正模式与混合长短期运动优化模式的切换包括：
    预设穿戴者位姿阈值；
    比对所述位姿阈值与所述位姿数据；
    若所述位姿数据大于所述位姿阈值，则切换至局部轨迹修正模式；若所述位姿数据小于所述位姿阈值，则切换至混合长短期运动优化模式。
  3. 如权利要求1所述的基于AI共驾的外骨骼共享控制方法，其特征在于，所述AI共驾策略网络模型包括：
    获取目标点图像信息；
    对所属目标点图像信息进行特征提取，以及计算目标点坐标及距离；
    输入所述位姿数据、目标点图像特征数据、以及目标点坐标及距离；
    基于所述输入，计算并输出预测的位姿数据的增量。
  4. 如权利要求2所述的基于AI共驾的外骨骼共享控制方法，其特征在于，所述混合长短期运动优化包括：
    长期规划，用于输出最优全局路径；所述长期规划的输出结果基于SNN网络模型计算；所述SNN网络模型包括编码层和解码层，所述编码层包括多个卷积层及至少一池化层，所述解码层包括多个卷积层及至少一上采样层；
    短期规划，用于输出外骨骼的脚步序列与全身运动轨迹；所述短期规划包括：预设落脚点的先验信息，包括脚步大小、脚步约束以及脚步状态定义；基于脚步转移策略和左右脚迭代更新，输出一组所述脚步序列；基于正逆运动学分析，输出所述全身运动轨迹；
    基于所述长期规划和短期规划，生成外骨骼三维运动轨迹。
  5. 如权利要求4所述的基于AI共驾的外骨骼共享控制方法，其特征在于，所述SNN网络模型的损失函数表示为如下公式：
    其中，a、b、c均表示超参数，P表示预测的路径，T表示真实的路径，L(·)表示路径的长度，S(·)表示真实路径与预测路径的相似性，i表示P、T的第i行，j表示P、T的第j列。
  6. 如权利要求1所述的基于AI共驾的外骨骼共享控制方法，其特征在于，所述对外骨骼三维运动的方向与行走轨迹进行多任务跟踪，包括：
    建立从关节空间到任务空间的映射变换关系；
    基于所述映射变换关系，计算任务空间雅可比；
    基于所述任务空间雅可比，计算增广雅可比矩阵；
    基于所述增广雅可比矩阵，计算零空间投影算子；
    基于所述零空间投影算子，计算解耦合的雅可比矩阵与分层解耦合的任务速度；
    基于所述解耦合的雅可比矩阵与分层解耦合的任务速度，通过控制器进行多任务跟踪。
  7. 基于AI共驾的外骨骼共享控制系统，其特征在于，包括：
    位姿数据处理模块，用于获取外骨骼穿戴者实时位姿数据；以及用于基于所述位姿数据，实时进行局部轨迹修正模块与混合长短期运动优化模块的切换，所述局部轨迹修正模块包括AI共驾策略网络模型；
    所述局部轨迹修正模块，用于输出预测的位姿数据的增量，进行局部运动轨迹修正；
    所述混合长短期运动优化模块，用于输出外骨骼三维运动轨迹；
    多任务控制器模块，用于对外骨骼三维运动的方向与行走轨迹进行多任务跟踪，实现外骨骼的行走跟踪控制。
  8. 如权利要求7所述的基于AI共驾的外骨骼共享控制系统，其特征在于，所述位姿数据处理模块包括：
    IMU传感器:用于位姿数据采集；
    IMU采集程序：用于位姿数据处理及基于所述位姿数据，实时进行局部轨迹修正模块与混合长短期运动优化模块的切换。
  9. 基于AI共驾的外骨骼共享控制设备，其特征在于，包括：
    外骨骼，所述外骨骼包括直流无刷电机；
    如权利要求7所述的共享控制系统；
    所述共享控制系统通过控制所述直流无刷电机，带动外骨骼进行运动。
  10. 一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时，实施如权利要求1-6中任一项所述的基于AI共驾的外骨骼共享控制方法。
PCT/CN2024/118816 2024-08-19 2024-09-13 基于ai共驾的外骨骼共享控制方法、系统、设备和存储介质 Pending WO2025175752A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202411132281.6 2024-08-19
CN202411132281.6A CN119098934A (zh) 2024-08-19 2024-08-19 基于ai共驾的外骨骼共享控制方法、系统、设备和存储介质

Publications (1)

Publication Number Publication Date
WO2025175752A1 true WO2025175752A1 (zh) 2025-08-28

Family

ID=93716202

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2024/118816 Pending WO2025175752A1 (zh) 2024-08-19 2024-09-13 基于ai共驾的外骨骼共享控制方法、系统、设备和存储介质

Country Status (2)

Country Link
CN (1) CN119098934A (zh)
WO (1) WO2025175752A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120859669A (zh) * 2024-12-19 2025-10-31 广州国家实验室 基于手势控制的手术机器人系统
CN120395847A (zh) * 2025-05-15 2025-08-01 国网湖北省电力有限公司超高压公司 用于助力更换绝缘子的上肢外骨骼控制方法、系统及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104407611A (zh) * 2014-09-30 2015-03-11 同济大学 一种仿人机器人稳定行走的控制方法
CN108143594A (zh) * 2017-12-21 2018-06-12 大连厚德坤泰管理咨询有限公司 下肢外骨骼机器人复杂地形的共融协调控制方法
CN112720462A (zh) * 2020-12-09 2021-04-30 深圳先进技术研究院 一种机器人的轨迹规划系统和方法
CN116520847A (zh) * 2023-05-19 2023-08-01 杭州萤石软件有限公司 路径规划方法、装置、移动机器人、电子设备及存储介质
US20240000648A1 (en) * 2020-12-16 2024-01-04 Wandercraft Method for moving an exoskeleton

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104407611A (zh) * 2014-09-30 2015-03-11 同济大学 一种仿人机器人稳定行走的控制方法
CN108143594A (zh) * 2017-12-21 2018-06-12 大连厚德坤泰管理咨询有限公司 下肢外骨骼机器人复杂地形的共融协调控制方法
CN112720462A (zh) * 2020-12-09 2021-04-30 深圳先进技术研究院 一种机器人的轨迹规划系统和方法
US20240000648A1 (en) * 2020-12-16 2024-01-04 Wandercraft Method for moving an exoskeleton
CN116520847A (zh) * 2023-05-19 2023-08-01 杭州萤石软件有限公司 路径规划方法、装置、移动机器人、电子设备及存储介质

Also Published As

Publication number Publication date
CN119098934A (zh) 2024-12-10

Similar Documents

Publication Publication Date Title
WO2025175752A1 (zh) 基于ai共驾的外骨骼共享控制方法、系统、设备和存储介质
Mahdavian et al. Stpotr: Simultaneous human trajectory and pose prediction using a non-autoregressive transformer for robot follow-ahead
CN112629542B (zh) 基于ddpg和lstm的无地图机器人路径导航方法及系统
CN114905508B (zh) 基于异构特征融合的机器人抓取方法
Crowley et al. Integration and control of reactive visual processes
JPH0830327A (ja) 能動的環境認識システム
CN116483108A (zh) 四足机器人的状态修正方法、装置、电子设备及存储介质
Weerakoon et al. Vapor: Legged robot navigation in unstructured outdoor environments using offline reinforcement learning
Elnoor et al. Vi-lad: Vision-language attention distillation for socially-aware robot navigation in dynamic environments
Babaians et al. Skill-cpd: Real-time skill refinement for shared autonomy in manipulator teleoperation
Oikonomou et al. A framework for active vision-based robot planning using spiking neural networks
Hirose et al. Learning to drive anywhere with model-based reannotation
Joshi et al. Neuro-lift: A neuromorphic, llm-based interactive framework for autonomous drone flight at the edge
Petrović et al. Efficient machine learning of mobile robotic systems based on convolutional neural networks
Zhang et al. SocialNav-Map: Dynamic Mapping with Human Trajectory Prediction for Zero-Shot Social Navigation
Li et al. Boosting zero-shot vln via abstract obstacle map-based waypoint prediction with topograph-and-visitinfo-aware prompting
Wang et al. Hand movement prediction based collision-free human-robot interaction
Yang et al. An algorithm of complete coverage path planning based on improved DQN
Wang et al. XR-DT: Extended Reality-Enhanced Digital Twin for Agentic Mobile Robots
Wang et al. Mobile robot navigation in an unknown environment based on deep reinforcement learning
CN116229275A (zh) 基于球形两栖机器人的遮挡目标6d位姿识别系统及方法
Weerakoon et al. Vapor: Legged robot navigation in outdoor vegetation using offline reinforcement learning
Razzaq et al. Visual perception deep drive model for self-driving car
Huang et al. Floor Plan-Guided Visual Navigation Incorporating Depth and Directional Cues
CN119469169B (zh) 基于微分理论的端到端无人机自主导航方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24925492

Country of ref document: EP

Kind code of ref document: A1