WO2022033372A1 - 一种全向移动无杆牵引式可移动机器人自动感知系统及方法 - Google Patents
一种全向移动无杆牵引式可移动机器人自动感知系统及方法 Download PDFInfo
- Publication number
- WO2022033372A1 WO2022033372A1 PCT/CN2021/110581 CN2021110581W WO2022033372A1 WO 2022033372 A1 WO2022033372 A1 WO 2022033372A1 CN 2021110581 W CN2021110581 W CN 2021110581W WO 2022033372 A1 WO2022033372 A1 WO 2022033372A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- tractor
- aircraft
- information
- omnidirectional
- rodless
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000005259 measurement Methods 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims description 36
- 230000007246 mechanism Effects 0.000 claims description 36
- 230000033001 locomotion Effects 0.000 claims description 29
- 230000000007 visual effect Effects 0.000 claims description 29
- 238000004891 communication Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 17
- 238000009826 distribution Methods 0.000 claims description 13
- 230000007613 environmental effect Effects 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 5
- 230000003578 releasing effect Effects 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 230000008602 contraction Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000008447 perception Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000011089 mechanical engineering Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
- B64F1/00—Ground or aircraft-carrier-deck installations
- B64F1/22—Ground or aircraft-carrier-deck installations for handling aircraft
- B64F1/223—Ground or aircraft-carrier-deck installations for handling aircraft for towing aircraft
- B64F1/225—Vehicles specially adapted therefor, e.g. aircraft tow tractors
- B64F1/227—Vehicles specially adapted therefor, e.g. aircraft tow tractors for direct connection to aircraft, e.g. tow tractors without towing bars
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
- B64F1/00—Ground or aircraft-carrier-deck installations
- B64F1/22—Ground or aircraft-carrier-deck installations for handling aircraft
- B64F1/223—Ground or aircraft-carrier-deck installations for handling aircraft for towing aircraft
- B64F1/225—Vehicles specially adapted therefor, e.g. aircraft tow tractors
- B64F1/228—Vehicles specially adapted therefor, e.g. aircraft tow tractors remotely controlled; operating autonomously
Definitions
- the invention relates to the fields of mechanical engineering and electronic engineering, and more particularly, to an automatic sensing system and method for an omnidirectional moving rodless traction type movable robot.
- the extraction method of aircraft landing gear hub features is as follows: First, an ideal background model needs to be established. By establishing a background model, the moving objects of interest can be effectively extracted from the scene, and the method based on the Gaussian mixture model will be used to extract the aircraft hub from the background.
- the basic idea of the mixed Gaussian model algorithm is to take the video sequence as the input of the algorithm, update the background model in real time according to the video frame, and then divide all the pixels in the latest frame image into background points and foreground points through the background model.
- the change of the pixel value of a pixel in a video image can be described by K Gaussian distributions, and a new pixel observation value can be divided into background points or foreground points, and become a component of the background model.
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Aviation & Aerospace Engineering (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
Abstract
提供一种全向移动无杆牵引式可移动机器人自动感知系统，该自动感知系统应用于全向移动无杆牵引车上，该系统允许全向移动无杆牵引车在人工遥控或自动夹抱飞机过程中提供全向移动无杆牵引车与飞机起落架轮组之间的三维空间坐标及偏转角度位姿关系。该系统包括：基于视觉测量的位姿解算模块、基于激光扫描的环境侦测模块、嵌入式上位控制器、嵌入式驱动控制器、抱轮系统、若干个伺服电机系统驱动的麦克纳姆轮、无线模块和遥控器。还提供一种全向移动无杆牵引式可移动机器人自动感知方法。
Description
本申请要求于2020年08月11日提交中国专利局、申请号为202010803583.7、申请名称为“一种全向移动无杆牵引式可移动机器人自动感知系统及方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
本发明涉及机械工程、电子工程领域，更具体的，涉及一种全向移动无杆牵引式可移动机器人自动感知系统及方法。
飞机在生产制造、维修及飞机在不工作关闭发送机时，飞机的移动均需要专用的牵引设备完成飞机不同位置的转移，随着牵引技术的发展，形成了有杆牵引车和无杆牵引车两种，无杆牵引车相对于有杆牵引车在工作效率、灵活性、可靠性上有一定优势，逐渐成为未来的发展方向，但传统的无杆牵引车存在以下问题：
1、严重依赖于操作人员的经验，目前传统牵引车主要采用人工驾驶的方式，在无杆牵引车与飞机轮组对接时操作人员无法直观的感受到牵引车与飞机起落架轮组的相对位置关系，对接、夹抱操作难度较大，耗时较高。
2、智能化信息化程度低，传统牵引车在人工操作下可实现牵引、夹抱、释放等功能，缺乏自主决策机制及配套的测量、感知手段。
发明内容
本发明解决的技术问题是：克服现有技术的不足，提供一种可适用于全向移动无杆牵引车的自动感知系统及方法，该系统可使具有全向移动能力的电动全向移动无杆牵引车具有自动感知周围环境信息，自动获取全向移动无杆牵引 车与飞机起落架轮组之间位姿关系，反馈补偿全向移动无杆牵引车行使路径，使全向移动无杆牵引车自动行驶至与飞机起落架轮组对准位置，行使过程中可自动规避路径上的障碍物，同时针对普通无杆全向移动无杆牵引车该系统具有辅助预警及提示作用，可辅助提示操作人员驾驶普通全向移动无杆牵引车与飞机起落架对准过程中偏离位姿、及周围环境信息，该系统可极大提高整个对准过程程的效率和安全性。
本发明的技术方案如下：一种全向移动无杆牵引式可移动机器人自动感知系统，所述自动感知系统应用于全向移动无杆牵引车上，该系统允许全向移动无杆牵引车在人工遥控或自动夹抱飞机过程中提供全向移动无杆牵引车与飞机起落架轮组之间的三维空间坐标及偏转角度位姿关系，包括：基于视觉测量的位姿解算模块、基于激光扫描的环境侦测模块、嵌入式上位控制器、嵌入式驱动控制器、抱轮系统、若干个伺服电机系统驱动的麦克纳姆轮、无线模块和遥控器；
当人工操作遥控器发送行走或自动夹抱指令信息后，嵌入式上位控制器通过接收该指令信息并将行走指令通过串口RS232发送至嵌入式驱动控制器，通过CAN总线将夹抱指令发送至抱轮系统；嵌入式驱动控制器根据行走指令解析全向移动无杆牵引车各个麦克纳姆轮驱动伺服电机的转速和方向，通过总线方式发送至各个伺服电机系统，实现遥控器对全向移动无杆牵引车的行走控制；当全向移动无杆牵引车向飞机起落架轮组运动过程中，基于视觉测量的位姿解算模块实时获取飞机起落架轮组照片并解析空间坐标及偏转角度位姿信息，并将该信息通过CAN总线发送至嵌入式上位控制器，当嵌入式上位控制器根据位姿信息判断满足设定的位姿关系时通过无线模块向遥控器反馈全向移动无杆牵引车与飞机起落架轮组已对准的状态，抱轮系统收到夹抱指令后控制抱轮机构实现对飞机起落架轮组的夹抱动作，完成全向移动无杆牵引车与飞机起落架轮组的夹抱，在该过程中，基于激光扫描的环境侦测模块通过激光扫描的方式获取全向移动无杆牵引车周围的环境信息，当全向移动无杆牵引车运 动过程中检测到周围有障碍物时，通过IO信号向嵌入式上位控制器发送减速、停车指令，嵌入式上位控制器根据该信息自主决策向嵌入式驱动控制器和抱轮系统发送减速或停止指令，嵌入式驱动控制器和抱轮系统根据该指令控制相应电机或油缸减速或停止动作。
所述全向移动无杆牵引车由电池或油电混合提供能源，由多个麦克纳姆轮驱动，通过多个麦克纳姆轮轮系的组合运动实现车体前进、后退、斜行、零半径原地回转。
所述抱轮系统作为无杆牵引车的功能组成部分，由抱轮机构、液压系统和控制系统组成，当全向移动无杆牵引车与飞机起落架轮组对准后，控制系统获取夹抱指令后启动液压泵站，通过控制液压阀组开断驱动抱轮机构各个液压缸的伸缩，完成抱轮机构的夹抱和释放动作，抱轮机构将飞机起落架轮组夹抱、起升后，使飞机起落架轮组抬离地面，全向移动无杆牵引车可牵引飞机行驶至指定地点。
所述基于视觉测量的位姿解算模块包括图像采集装置、激光测距模块、识别与解算控制器，及辅助光源；
图像采集装置用于获取飞机起落架的轮组照片，并将图像传送至识别与解算控制器；激光测距模块安装于全向移动无杆牵引车抱轮机构处，且垂直照射飞机起落架轮组的轮毂，用于测量飞机起落架轮组与相机之间的距离，将测量得到的数据提供给识别与解算控制器，用于修正轮组与相机存在偏转角度时的图像畸变；识别与解算控制器作为基于视觉测量的位姿解算模块的核心处理器，接收图像信息和距离信息，并对图像进行补偿、滤波和特征提取，根据图像特征参数拟合出飞机轮组坐标，计算出飞机轮组与全向移动无杆牵引车之间的位姿信息并发送至嵌入式上位控制器；辅助光源用于在周围环境较暗时照射飞机轮组表面，增强轮组表面光反射强度，使被图像采集装置获取更优质的图像；
所述对图像进行特征提取的方法如下：首先建立理想的背景模型，通过建 立背景模型有效地从场景中提取感兴趣的运动目标，将采用基于混合高斯模型方法实现背景中飞机轮毂的提取。
基于混合高斯模型方法的基本思想是将视频序列作为算法的输入，并根据视频帧实时更新背景模型，然后通过背景模型将最新一帧图像中的所有像素点分为背景点和前景点；一段视频图像中像素点的像素值的变化情况由K个高斯分布描述，一个新的像素点观察值被划分为背景点或者前景点，并成为背景模型的一个分量。
所述采用基于混合高斯模型方法实现背景中飞机轮毂的提取的步骤包括参数初始化、参数更新、生成背景模型与前景检测三个部分，具体为：首先使用第一帧视频图像作为样本集对混合高斯模型的参数进行初始化，随着视频帧的改变，每一个新像素值需要与当前所有高斯分布进行匹配判断，并根据匹配结果对混合高斯模型的参数进行更新；通过设定的阈值将前所有高斯分布分为背景模型与前景模型两个部分，通过高斯分布进行匹配，判断该像素点属于背景点或者前景点，实现对飞机轮毂目标的提取；当飞机完整轮毂已进入视野，飞机起落架轮毂完整信息获取后，当飞机起落架轮毂相对于牵引车的偏转角度变化时，图像中轮毂的横轴和纵轴长度发生改变，根据改变比例并结合激光测距传感器测量的相机相对于飞机起落架轮毂的距离值，计算得到飞机起落架轮毂相对于牵引车偏转的角度和在相机视场中的三维坐标，通过将视场坐标转换为牵引车车体坐标，实时识别飞机轮毂中心点三维坐标及面夹角，即飞机轮毂位姿信息。
所述激光扫描的环境侦测模块通过激光扫描的方式用于全向移动无杆牵引车周围360°范围内障碍物的监测，以及全向移动无杆牵引车与飞机起落架轮组对准过程中抱轮机构机械本体的防护，防止全向移动无杆牵引车移动过程中与周围设备、设施发生碰撞或未对准前飞机轮组与全向移动无杆牵引车抱轮机构本体发生磕碰；所述基于激光扫描的环境侦测模块可获取障碍物有无、据全向移动无杆牵引车的距离和角度信息，将该信息发送至嵌入式上位控制器。
所述嵌入式上位控制器采用ARM作为主控芯片，通过CAN口及I/O口与基于视觉测量的位姿解算模块、基于激光扫描的环境侦测模块、驱动控制模块建立稳定的通信机制，获取全向移动无杆牵引车周围环境信息、全向移动无杆牵引车与飞机轮组位姿信息，规划出全向移动无杆牵引车的行使路径，实现全向移动无杆牵引车对周围障碍物的避让和快速与飞机轮组对准；同时嵌入式上位控制器通过串口与无线模块连接，可与遥控器进行无线通信，接收遥控器的遥控指令，将全向移动无杆牵引车状态信息发送至遥控器进行显示。
嵌入式驱动控制器根据嵌入式上位控制器的路径信息解算全向移动无杆牵引车各个轮系的伺服电机转速和方向，实现各个轮系电机的伺服控制，并将各个电机的状态信息、报警信息回传给嵌入式上位控制器。
无线模块作为全向移动无杆牵引车的通信终端与手持器建立无线通信通道，实现手持器遥控指令对嵌入式上位控制器的发送以及嵌入式上位控制器关于全向移动无杆牵引车状态信息及报警信息在遥控器显示的信息传递通道。
遥控器作为全向移动无杆牵引车操作控制终端，提供两个摇杆和按键，能够手动控制全向移动无杆牵引车的行使速度、方向，可启动全向移动无杆牵引车与飞机轮组自动对准模式，手持器上提供一个显示屏，可显示当前全向移动无杆牵引车的速度、航向角、自动对准过程中全向移动无杆牵引车与飞机轮组的位姿信息、故障代码、周围障碍物报警信息。
一种全向移动无杆牵引式可移动机器人自动感知方法，步骤如下：
(1)将全向移动无杆牵引车开机启动，将遥控器开机启动，将遥控器工作模式切换到“手动-行走”模式，并调整好相应的速度档位；
(2)操作遥控器方向摇杆，遥控器将工作模式及操作指令通过车载无线模块传送至嵌入式上位控制器，嵌入式上位控制器再发送至嵌入式驱动控制器，嵌入式驱动控制器根据行使方向和速度指令解析全向移动无杆牵引车各个驱动轮组电机的转速和转向，实现全向移动无杆牵引车按照遥控指令向飞机起落架轮组靠近；
(3)全向移动无杆牵引车移动过程中基于视觉测量的位姿解算模块中的图像采集装置实时采集前方图像，由识别与解算控制器对图像信息特征提取，当获得飞机起落架完整轮毂信息后后向嵌入式上位控制器发送获得完整飞机轮组信号，嵌入式上位控制器由无线模块向遥控器反馈此状态信息，以便操作人员及时知悉该信息，同时识别与解算控制器参考测距传感器的距离信息对飞机轮组图像特征点提取、位姿信息提取，并将全向移动无杆牵引车与飞机轮组的位姿信息发送至嵌入式上位控制器；
(4)操作人员观察到获取完整飞机轮组状态后，将遥控器工作状态调整到“自动”模式，启动自动对准程序，全向移动无杆牵引车在移动过程中基于激光扫描的环境侦测模块实时获取周围障碍物信息，同时对飞机轮组和全向移动无杆牵引车抱轮机构进行磕碰预警，并将周围障碍物信息发送至嵌入式上位控制器，嵌入式上位控制器获取全向移动无杆牵引车与飞机轮组的位姿信息及周围环境信息后规划全向移动无杆牵引车向飞机轮组的运动路径，并发送给嵌入式驱动控制器；
(5)嵌入式驱动控制器获取路径信息后解算全向移动无杆牵引车各个驱动轮组伺服电机的转速和转向，控制全向移动无杆牵引车绕开障碍物的同时向飞机轮组靠近；
(6)在运动过程中基于视觉测量的位姿解算模块实时更新全向移动无杆牵引车与飞机轮组的位姿信息，嵌入式上位控制器根据最新位姿信息更新路径信息，嵌入式驱动控制器根据路径信息实时调整全向移动无杆牵引车各驱动轮组电机的转速和转向，当基于视觉测量的位姿解算模块判断位姿信息满足对准条件时向嵌入式上位控制器发送该状态信息，嵌入式上位控制器向嵌入式驱动控制器发送停止指令，同时经无线模块向遥控器发送对准状态信息，嵌入式驱动控制器向全向移动无杆牵引车各驱动轮组电机发送停止指令，全向移动无杆牵引车根据电机预设参数减速停车；
(7)操作人员获取对准状态后将遥控器工作模式调整为“手动-抱轮”工作 模式，利用遥控器控制全向移动无杆牵引车抱轮机构对飞机轮组进行夹抱操作；
(8)夹抱完成后，将遥控器调整为“手动-行走”工作模式，调整好速度档位通过操作遥控器方向摇杆将飞机牵引至指令地点。
本发明的有益效果在于：
1、针对现有牵引车与飞机起落架轮组对准过程中缺乏测量手段仅凭借操作人员经验实施的现状，采用视觉测量技术，设计了一种自动感知系统，提升了智能化水平，在牵引车与飞机起落架支撑轮组对准过程中可测量两者之间的位姿关系，可实现牵引车与飞机起落架轮组对准过程中相对位姿提示。
2、针对牵引车控制逻辑复杂、硬件资源较多的特点，采用分布式控制系统，开发嵌入式控制器，实现每个功能模块都有专用控制器，对数据交互量大控制器之间采用CAN总线进行通信，对于通讯速度慢的控制器之间采用RS232通信，完成开放式网络搭建，易于系统扩展，同时提高系统的可靠性和可维护性。
3、针对牵引车与飞机起落架轮组对准过程中牵引车姿态调整耗时较长，调整过程中可能发生牵引车与飞机起落架轮组磕碰，在感知系统中提供了激光扫描的环境监测手段，在感知系统获取位姿信息后，嵌入式上位控制器可自行调制牵引车位置并根据环境侦测信息完成避障，在牵引车自动对准过程中防止发生磕碰。
图1表示本发明的全向移动无杆全向移动无杆牵引车自动感知系统原理图；
图2表示本发明的全向移动无杆全向移动无杆牵引车遥控器工作面板示意图；
图3表示本发明的全向移动无杆全向移动无杆牵引车自动感知系统工作 流程。
如图1、2所示，本发明一种全向移动无杆全向移动无杆牵引车自动感知系统，该系统包含一种基于视觉测量的位姿解算模块，一种基于激光扫描的环境侦测模块、嵌入式嵌入式上位控制器、嵌入式嵌入式驱动控制器、抱轮系统、若干个伺服电机驱动的麦克纳姆轮、无线模块、遥控器；该系统可实现全向移动全向移动无杆牵引车与飞机起落架轮组的自动对准，以及对准过程中的环境感知，障碍物避让；该系统同时也可以为普通无杆全向移动无杆牵引车驾驶人员提供对准过程中的全向移动无杆牵引车与飞机起落架轮组之间的位姿信息及行使过程中的周围环境信息。
工作原理为当人工操作遥控器发送行走或自动夹抱指令信息后，嵌入式上位控制器通过无线模块接收该指令信息并将行走指令通过串口RS232发送至嵌入式驱动控制器，通过CAN总线将夹抱指令发送至抱轮系统。嵌入式驱动控制器根据行走指令解析全向移动无杆牵引车各个麦克纳姆轮驱动伺服电机的转速和方向，通过总线方式发送至各个伺服电机系统，实现遥控器对全向移动无杆牵引车的行走控制，当全向移动无杆牵引车向飞机起落架轮组运动过程中，基于视觉测量的位姿解算模块实时获取飞机起落架轮组照片并解析空间坐标及偏转角度等位姿信息，并将该信息通过CAN总线发送至嵌入式上位控制器，当嵌入式上位控制器根据位姿信息判断满足设定的位姿关系时通过无线模块向遥控器反馈全向移动无杆牵引车与飞机起落架轮组已对准的状态，抱轮系统收到夹抱指令后控制抱轮机构实现对飞机起落架轮组的夹抱动作，完成全向移动无杆牵引车与飞机起落架轮组的夹抱，在该过程中，基于激光扫描的环境侦测模块通过激光扫描的方式获取全向移动无杆牵引车周围的环境信息，当全向移动无杆牵引车运动过程中检测到周围有障碍物时，通过IO信号向嵌入式上位控制器发送减速、停车指令，嵌入式上位控制器根据该信息自主决策向嵌 入式驱动控制器和抱轮系统发送减速或停止指令，嵌入式驱动控制器和抱轮系统根据该指令控制相应电机或油缸减速或停止动作。
技术方案如下：
全向移动无杆牵引车由电池或油电混合提供能源，由多个麦克纳姆轮驱动，通过多个麦克纳姆轮轮系的组合运动实现车体前进、后退、斜行、零半径原地回转。
抱轮系统作为无杆牵引车的功能组成部分，由抱轮机构、液压系统和控制系统组成，当全向移动无杆牵引车与飞机起落架轮组对准后，控制系统获取夹抱指令后启动液压泵站，通过控制液压阀组开断驱动抱轮机构各个液压缸的伸缩，完成抱轮机构的夹抱和释放动作，抱轮机构将飞机起落架轮组夹抱、起升后，使飞机起落架轮组抬离地面，全向移动无杆牵引车可牵引飞机行驶至指定地点。
所述基于视觉测量的位姿解算模块包括图像采集装置、激光测距模块、识别与解算控制器，及辅助光源；
图像采集装置用于获取飞机起落架的轮组照片，并将图像传送至识别与解算控制器；激光测距模块安装于全向移动无杆牵引车抱轮机构处，且垂直照射飞机起落架轮组的轮毂，用于测量飞机起落架轮组与相机之间的距离，将测量得到的数据提供给识别与解算控制器，用于修正轮组与相机存在偏转角度时的图像畸变；识别与解算控制器作为基于视觉测量的位姿解算模块的核心处理器，接收图像信息和距离信息，并对图像进行补偿、滤波和特征提取，根据图像特征参数拟合出飞机轮组坐标，计算出飞机轮组与全向移动无杆牵引车之间的位姿信息并发送至嵌入式上位控制器；辅助光源用于在周围环境较暗时照射 飞机轮组表面，增强轮组表面光反射强度，使被图像采集装置获取更优质的图像；
该系统需要综合运用图像采集和处理、计算机视觉、模式识别与数字信号处理等相关技术。其中，飞机起落架轮毂的图像识别算法是对其精确定位的前提和关键。图像识别系统主要包括特征提取和分类判决。特征提取是运动目标识别的一个重要环节。特征提取是要求抽象出能反映出事物本质的特征；分类判决是根据所提取的特征做出分类结论的过程。特征提取、选择和表示是基于视觉内容的图像分类的基础，特征是决定相似性与识别效果的关键，当识别的目的决定之后，如何找到合适的特征是目标识别的核心问题。一般选择一个有区分度的目标特征作为特征提取的标准，如目标的边缘、轮廓或其颜色直方图等；在对复杂目标进行识别跟踪时，可以联合多种特征进行目标识别。为实现运动目标投影的准确定位，视觉特征的选择需要满足可唯一的表达运动目标这一假设条件，如何把运动目标从其所在的场景中精确地识别并提取出来，关键是选择能使目标和背景差别大的视觉特征，因此合理地选择目标的视觉特征是实现对其鲁棒跟踪的前提。如果选择的视觉特征可区分性强、鲁棒性好，则在系统的识别跟踪阶段，可降低算法的复杂度，减少系统的运行时间，提高系统的实时性。
在牵引车视觉定位系统中，飞机起落架轮毂的识别存在着诸多难点。
一是成像的干扰因素多。牵引车在室外工作，图像采集过程中，飞机起落架轮毂的光照条件、阴影状况、遮挡情况都处在不断变化中，获取的图像特征信息不稳定。
二是牵引车也处在运动的过程当中，自身的姿态在不断地改变，同时图像会产生一定的运动模糊。
三是是背景复杂，飞机起落架轮毂处在复杂的背景当中，周围环境的相关物体都会对成像产生一定的干扰信息。
同时，对于飞机起落架轮毂的识别精度要求高。误识别会直接导致抱夹系统的误操作，损害产品机体结构，造成地面事故的发生。因此，对于飞机起落架轮毂的识别需要综合考虑多个不同的特征进行提取和融合，以避免单一特征产生的误识别，提高识别和定位的精度。
对于飞机起落架轮毂的识别，我们在特征提取上有以下考虑：
飞机起落架轮毂特征提取方法如下：首先需要建立理想的背景模型。通过建立背景模型可有效地从场景中提取感兴趣的运动目标，将采用基于混合高斯模型的方法实现背景中飞机轮毂的提取。混合高斯模型算法的基本思想是将视频序列作为算法的输入，并根据视频帧实时更新背景模型，然后通过背景模型将最新一帧图像中的所有像素点分为背景点和前景点。一段视频图像中像素点的像素值的变化情况可以由K个高斯分布描述，一个新的像素点观察值可以被划分为背景点或者前景点，并成为背景模型的一个分量。基于混合高斯模型的目标检测流程图如下图所示，其主要步骤包括参数初始化、参数更新、生成背景模型与前景检测三个部分：首先使用第一帧视频图像作为样本集对混合高斯模型的参数进行初始化；随着视频帧的改变，每一个新像素值需要与当前所有高斯分布进行匹配判断，并根据匹配结果对混合高斯模型的参数进行更新；通过设定的阈值将前所有高斯分布分为背景模型与前景模型两个部分，通过高斯分布进行匹配，则可以判断该像素点属于背景点或者前景点，实现对飞机轮毂目标的提取。当飞机完整轮毂已进入视野，飞机起落架轮毂完整信息获取后，当飞机起落架轮毂相对于牵引车的偏转角度变化时，图像中轮毂的横轴和纵轴长度会发生改变，根据改变比例并结合激光测距传感器测量的相机相对于飞机起落架轮毂的距离值，可以计算出飞机起落架轮毂相对于牵引车偏转的角度和在相机视场中的三维坐标，通过将视场坐标转换为牵引车车体坐标，便可实时识别飞机轮毂中心点三维坐标及面夹角，即飞机轮毂位姿信息。
基于激光扫描的环境侦测模块通过激光扫描的方式用于全向移动无杆牵 引车周围360°范围内障碍物的监测，以及全向移动无杆牵引车与飞机起落架轮组对准过程中抱轮机构机械本体的防护，防止全向移动无杆牵引车移动过程中与周围设备、设施发生碰撞或未对准前飞机轮组与全向移动无杆牵引车抱轮机构本体发生磕碰；所述基于激光扫描的环境侦测模块可获取障碍物有无、据全向移动无杆牵引车的距离和角度信息，将该信息发送至嵌入式上位控制器；
嵌入式上位控制器采用ARM作为主控芯片，通过CAN口及I/O口与基于视觉测量的位姿解算模块、基于激光扫描的环境侦测模块、驱动控制模块建立稳定的通信机制，获取全向移动无杆牵引车周围环境信息、全向移动无杆牵引车与飞机轮组位姿信息，规划出全向移动无杆牵引车的行使路径，该路径可实现全向移动无杆牵引车对周围障碍物的避让和快速与飞机轮组对准；同时嵌入式上位控制器通过串口与无线模块连接，可与遥控器进行无线通信，接收遥控器的遥控指令，将全向移动无杆牵引车状态信息发送至遥控器进行显示。
具体实现方法如下：嵌入式上位控制器由具有1个24V转换5V电源模块，该电源模块具有稳压、短路保护功能，16路24V开关量输出能力、12路24V开关量接收能力、5路RS232串口通信能力、2路CAN总线通信能力、JTAG接口，支持ARM程序重新编写和在线调试和ISP接口，可通过UART0对ARM芯片程序擦除和重新编写功能；该控制器采用ARM作为处理器。
嵌入式上位控制器通过CAN总线接口与抱轮系统、识别与检测控制器通信；通过I/O接口与环境侦测模块通信；通过RS232接口与嵌入式驱动控制器和无线模块进行通信。
嵌入式上位控制器开机运行后，首先启动程序初始化进行自检，自检通过后监测与无线模块通信的RS232数据块，当全向移动无杆牵引车操作人员通过手持器发送行走或抱轮动作指令后，嵌入式上位控制器通过无线模块接收到该信息并通过RS232通信接口写入相应数据块，ARM处理器程序根据数据块内容将行走动作指令或抱轮动作指令通过CAN总线接口转发至嵌入式驱动控 制器或抱轮系统，由相应控制器根据指令内容控制相应设备执行相应动作。
当全向移动无杆牵引车与飞机起落架轮组靠近时，位姿解算模块中的图像采集装置捕捉到飞机起落架轮毂照片，并由识别与解算控制器测算出全向移动无杆牵引车相对于飞机起落架轮毂的位姿关系，当嵌入式上位控制器通过无线模块获取遥控器的“自动”工作模式后，嵌入式上位控制器的RAM处理器根据位姿关系计算出全向移动无杆牵引车的前进方向和航向角，并通过CAN总线接口发送给嵌入式驱动控制器，由嵌入式驱动控制器根据前进方向和航向角信息解析全向移动无杆牵引车各个麦克纳姆轮驱动伺服电机的转速和方向，实现全向移动无杆牵引车与飞机起落架轮毂之间的自动对准过程。在全乡移动无杆牵引车自动对准过程中，环境侦测模块通过激光扫描的方式实时侦测周围环境障碍物信息，当检测到障碍物距离全乡移动无杆牵引车之间的距离小于设定距离值时，环境侦测模块通过I/O接口向嵌入式上位控制器发送减速、停车预警信息，嵌入式上位控制器将该信息通过RS232接口发送至嵌入式驱动控制器，进而实现全乡移动无杆牵引车的减速、停车控制，防止发生磕碰。
嵌入式驱动控制器根据嵌入式上位控制器的路径信息解算全向移动无杆牵引车各个轮系的伺服电机转速和方向，实现各个轮系电机的伺服控制，并将各个电机的状态信息、报警信息回传给嵌入式上位控制器。
具体实现方法如下：嵌入式驱动控制器具有4路24V开关量输出能力、8路24V开关量接收能力、2路RS232串口通信能力、2路CAN总线通信能力、JTAG接口，支持ARM程序重新编写和在线调试和ISP接口，可通过UART0对ARM芯片程序擦除和重新编写功能；该控制器采用ARM作为处理器，设计开发了MECHATROLINK-Ⅱ总线接口，具有30轴电机控制能力。嵌入式驱动控制器可通过CAN总线与嵌入式上位控制器建立通信，通过嵌入式上位控制器接收手持器的行走指令，根据速度和行驶角度指令信息解析出全向移动无杆牵引车各个伺服电机的转速和方向，实现全向移动无杆牵引车的全向移动控 制。
嵌入式驱动控制器为基于MECHATROLINK-II总线的驱动控制器；包括为MECHATROLINK-II总线芯片、ARM芯片、串口芯片、晶振芯片、CAN总线芯片、电源模块；
ARM芯片通过CAN总线芯片接收嵌入式上位控制器发送过来的遥控器发送的行走指令；
ARM芯片接收行走指令，解算出全向移动无杆牵引车各个麦克纳姆轮驱动伺服电机的转速和方向，将转速和方向信息发送至MECHATROLINK-II总线芯片；ARM芯片接收CAN总线芯片发送的周围环境监测信息，根据环境中障碍物情况及减速、停车指令，判断全向移动无杆牵引车是否处于设定的安全距离范围内，如果周围障碍物的距离值小于设定的安全距离范围，则向MECHATROLINK-II总线芯片发送减速、停车指令；
MECHATROLINK-II总线芯片通过总线接口将转速和方向信息发送至全向移动无杆牵引车麦克纳姆轮的各驱动伺服电机的驱动器；MECHATROLINK-II总线芯片接收ARM芯片发送的停车指令，将停车指令发送至全向移动无杆牵引车麦克纳姆轮的各驱动伺服电机的驱动器，实现全向移动无杆牵引车停止移动；
晶振芯片为ARM芯片提供时钟信息；电源模块为MECHATROLINK-II总线芯片、ARM芯片、串口芯片、CAN总线芯片供电。
无线模块作为全向移动无杆牵引车的通信终端与手持器建立无线通信通道，采用433MHz频段无线通讯，实现手持器遥控指令对嵌入式上位控制器的发送以及嵌入式上位控制器关于全向移动无杆牵引车状态信息及报警信息在遥控器显示的信息传递通道；
如图2所示，遥控器作为全向移动无杆牵引车操作控制终端，提供档位摇杆，可调整全向移动无杆牵引车形式速度；提供方向摇杆，能够手动控制全向 移动无杆牵引车的行使方向；提供直行锁定按键，当场距离直线行驶时，提供沿直线巡航功能；提供手动和自动模式开关，允许手动模式下人工遥控全向移动无杆牵引车行驶及对飞机起落架轮组的夹抱、释放，也可自动模式下采用感知系统完成全向移动无杆牵引车与飞机起落架轮组的自动对准、夹抱；提供行走和抱轮模式开关，允许手动操作下可分别单独控制车辆行走和抱轮机构的动作，形成物理互锁机制，防止行走过程中抱轮机构产生误动作，对飞机产生损害；提供手动及抱轮工作模式下，人工控制抱轮机构对飞机起落架轮组的夹抱和释放动作；提供一个显示屏，可显示当前全向移动无杆牵引车的速度、航向角、对准过程中全向移动无杆牵引车与飞机轮组的位姿信息、故障代码、周围障碍物报警信息。
如图3所示，表示本发明实施例所述的全向无杆全向移动无杆牵引车自动感知系统工作流程，步骤如下：
(1)将全向移动无杆牵引车开机启动，将遥控器开机启动，将遥控器工作模式切换到“手动-行走”模式，并调整好相应的速度档位；
(2)操作遥控器方向摇杆，遥控器将工作模式及操作指令通过车载无线模块传送至嵌入式上位控制器，嵌入式上位控制器发送至嵌入式驱动控制器，嵌入式驱动控制器根据行使方向和速度指令解析全向移动无杆牵引车各个驱动轮组电机的转速和转向，实现全向移动无杆牵引车按照遥控指令向飞机起落架轮组靠近；
(3)全向移动无杆牵引车移动过程中基于视觉测量的位姿解算模块中的图像采集装置实时采集前方图像，由识别与解算控制器对图像信息进行处理，判断是否已经获取完整的飞机轮组信息，获得后向嵌入式上位控制器发送获得完整飞机轮组信号，嵌入式上位控制器由无线模块向遥控器反馈此状态信息，以便操作人员及时知悉该信息，同时识别与解算控制器参考测距传感器的距离信息对飞机轮组图像进行补偿、滤波、特征点提取、拟合、坐标解算、位姿信 息提取，从而获取全向移动无杆牵引车与飞机轮组的位姿信息，并将该信息发送至嵌入式上位控制器；
(4)操作人员观察到获取完整飞机轮组状态后，将遥控器工作状态调整到“自动”模式，启动自动对准程序，全向移动无杆牵引车在移动过程中基于激光扫描的环境侦测模块实时获取周围障碍物信息，同时对飞机轮组和全向移动无杆牵引车抱轮机构进行磕碰预警，并将以上信息发送至嵌入式上位控制器，嵌入式上位控制器获取全向移动无杆牵引车与飞机轮组的位姿信息及周围环境信息后规划全向移动无杆牵引车向飞机轮组的运动路径，并发送给嵌入式驱动控制器；
(5)嵌入式驱动控制器获取路径信息后解算全向移动无杆牵引车各个驱动轮组伺服电机的转速和转向，控制全向移动无杆牵引车绕开障碍物的同时向飞机轮组靠近；
(6)在运动过程中基于视觉测量的位姿解算模块实时更新全向移动无杆牵引车与飞机轮组的位姿信息，嵌入式上位控制器根据最新位姿信息更新路径信息，嵌入式驱动控制器根据路径信息实时调整全向移动无杆牵引车各驱动轮组电机的转速和转向，当基于视觉测量的位姿解算模块判断位姿信息满足对准条件时向嵌入式上位控制器发送该状态信息，嵌入式上位控制器向嵌入式驱动控制器发送停止指令，同时经无线模块向遥控器发送对准状态信息，嵌入式驱动控制器向全向移动无杆牵引车各驱动轮组电机发送停止指令，全向移动无杆牵引车根据电机预设参数减速停车；
(7)操作人员获取对准状态后将遥控器工作模式调整为“手动-抱轮”工作模式，利用遥控器控制全向移动无杆牵引车抱轮机构对飞机轮组进行夹抱操作；
(8)夹抱完成后，将遥控器调整为“手动-行走”工作模式，调整好速度档位通过操作遥控器方向摇杆将飞机牵引至指令地点。
Claims (13)
- 一种全向移动无杆牵引式可移动机器人自动感知系统，所述自动感知系统应用于全向移动无杆牵引车上，该系统允许全向移动无杆牵引车在人工遥控或自动夹抱飞机过程中提供全向移动无杆牵引车与飞机起落架轮组之间的三维空间坐标及偏转角度位姿关系，其特征在于包括：基于视觉测量的位姿解算模块、基于激光扫描的环境侦测模块、嵌入式上位控制器、嵌入式驱动控制器、抱轮系统、若干个伺服电机系统驱动的麦克纳姆轮、无线模块和遥控器；当人工操作遥控器发送行走或自动夹抱指令信息后，嵌入式上位控制器通过接收该指令信息并将行走指令通过串口RS232发送至嵌入式驱动控制器，通过CAN总线将夹抱指令发送至抱轮系统；嵌入式驱动控制器根据行走指令解析全向移动无杆牵引车各个麦克纳姆轮驱动伺服电机的转速和方向，通过总线方式发送至各个伺服电机系统，实现遥控器对全向移动无杆牵引车的行走控制；当全向移动无杆牵引车向飞机起落架轮组运动过程中，基于视觉测量的位姿解算模块实时获取飞机起落架轮组照片并解析空间坐标及偏转角度位姿信息，并将该信息通过CAN总线发送至嵌入式上位控制器，当嵌入式上位控制器根据位姿信息判断满足设定的位姿关系时通过无线模块向遥控器反馈全向移动无杆牵引车与飞机起落架轮组已对准的状态，抱轮系统收到夹抱指令后控制抱轮机构实现对飞机起落架轮组的夹抱动作，完成全向移动无杆牵引车与飞机起落架轮组的夹抱，在该过程中，基于激光扫描的环境侦测模块通过激光扫描的方式获取全向移动无杆牵引车周围的环境信息，当全向移动无杆牵引车运动过程中检测到周围有障碍物时，通过IO信号向嵌入式上位控制器发送减速、停车指令，嵌入式上位控制器根据该信息自主决策向嵌入式驱动控制器和抱轮系统发送减速或停止指令，嵌入式驱动控制器和抱轮系统根据该指令控制相应电机或油缸减速或停止动作。
- 根据权利要求1所述的一种全向移动无杆牵引式可移动机器人自动感 知系统，其特征在于：所述全向移动无杆牵引车由电池或油电混合提供能源，由多个麦克纳姆轮驱动，通过多个麦克纳姆轮轮系的组合运动实现车体前进、后退、斜行、零半径原地回转。
- 根据权利要求1所述的一种全向移动无杆牵引式可移动机器人自动感知系统，其特征在于：所述抱轮系统作为无杆牵引车的功能组成部分，由抱轮机构、液压系统和控制系统组成，当全向移动无杆牵引车与飞机起落架轮组对准后，控制系统获取夹抱指令后启动液压泵站，通过控制液压阀组开断驱动抱轮机构各个液压缸的伸缩，完成抱轮机构的夹抱和释放动作，抱轮机构将飞机起落架轮组夹抱、起升后，使飞机起落架轮组抬离地面，全向移动无杆牵引车可牵引飞机行驶至指定地点。
- 根据权利要求1所述的一种全向移动无杆牵引式可移动机器人自动感知系统，其特征在于：所述基于视觉测量的位姿解算模块包括图像采集装置、激光测距模块、识别与解算控制器，及辅助光源；图像采集装置用于获取飞机起落架的轮组照片，并将图像传送至识别与解算控制器；激光测距模块安装于全向移动无杆牵引车抱轮机构处，且垂直照射飞机起落架轮组的轮毂，用于测量飞机起落架轮组与相机之间的距离，将测量得到的数据提供给识别与解算控制器，用于修正轮组与相机存在偏转角度时的图像畸变；识别与解算控制器作为基于视觉测量的位姿解算模块的核心处理器，接收图像信息和距离信息，并对图像进行补偿、滤波和特征提取，根据图像特征参数拟合出飞机轮组坐标，计算出飞机轮组与全向移动无杆牵引车之间的位姿信息并发送至嵌入式上位控制器；辅助光源用于在周围环境较暗时照射飞机轮组表面，增强轮组表面光反射强度，使被图像采集装置获取更优质的图像；
- 根据权利要求4所述的一种全向移动无杆牵引式可移动机器人自动感知系统，其特征在于：所述对图像进行特征提取的方法如下：首先建立理想的 背景模型，通过建立背景模型有效地从场景中提取感兴趣的运动目标，将采用基于混合高斯模型方法实现背景中飞机轮毂的提取。
- 根据权利要求4所述的一种全向移动无杆牵引式可移动机器人自动感知系统，其特征在于：基于混合高斯模型方法的基本思想是将视频序列作为算法的输入，并根据视频帧实时更新背景模型，然后通过背景模型将最新一帧图像中的所有像素点分为背景点和前景点；一段视频图像中像素点的像素值的变化情况由K个高斯分布描述，一个新的像素点观察值被划分为背景点或者前景点，并成为背景模型的一个分量。
- 根据权利要求6所述的一种全向移动无杆牵引式可移动机器人自动感知系统，其特征在于：所述采用基于混合高斯模型方法实现背景中飞机轮毂的提取的步骤包括参数初始化、参数更新、生成背景模型与前景检测三个部分，具体为：首先使用第一帧视频图像作为样本集对混合高斯模型的参数进行初始化，随着视频帧的改变，每一个新像素值需要与当前所有高斯分布进行匹配判断，并根据匹配结果对混合高斯模型的参数进行更新；通过设定的阈值将前所有高斯分布分为背景模型与前景模型两个部分，通过高斯分布进行匹配，判断该像素点属于背景点或者前景点，实现对飞机轮毂目标的提取；当飞机完整轮毂已进入视野，飞机起落架轮毂完整信息获取后，当飞机起落架轮毂相对于牵引车的偏转角度变化时，图像中轮毂的横轴和纵轴长度发生改变，根据改变比例并结合激光测距传感器测量的相机相对于飞机起落架轮毂的距离值，计算得到飞机起落架轮毂相对于牵引车偏转的角度和在相机视场中的三维坐标，通过将视场坐标转换为牵引车车体坐标，实时识别飞机轮毂中心点三维坐标及面夹角，即飞机轮毂位姿信息。
- 根据权利要求1所述的一种全向移动无杆牵引式可移动机器人自动感知系统，其特征在于：所述激光扫描的环境侦测模块通过激光扫描的方式用于全向移动无杆牵引车周围360°范围内障碍物的监测，以及全向移动无杆牵引车与飞机起落架轮组对准过程中抱轮机构机械本体的防护，防止全向移动无杆 牵引车移动过程中与周围设备、设施发生碰撞或未对准前飞机轮组与全向移动无杆牵引车抱轮机构本体发生磕碰；所述基于激光扫描的环境侦测模块可获取障碍物有无、据全向移动无杆牵引车的距离和角度信息，将该信息发送至嵌入式上位控制器。
- 根据权利要求1所述的一种全向移动无杆牵引式可移动机器人自动感知系统，其特征在于：所述嵌入式上位控制器采用ARM作为主控芯片，通过CAN口及I/O口与基于视觉测量的位姿解算模块、基于激光扫描的环境侦测模块、驱动控制模块建立稳定的通信机制，获取全向移动无杆牵引车周围环境信息、全向移动无杆牵引车与飞机轮组位姿信息，规划出全向移动无杆牵引车的行使路径，实现全向移动无杆牵引车对周围障碍物的避让和快速与飞机轮组对准；同时嵌入式上位控制器通过串口与无线模块连接，可与遥控器进行无线通信，接收遥控器的遥控指令，将全向移动无杆牵引车状态信息发送至遥控器进行显示。
- 根据权利要求1所述的一种全向移动无杆牵引式可移动机器人自动感知系统，其特征在于：嵌入式驱动控制器根据嵌入式上位控制器的路径信息解算全向移动无杆牵引车各个轮系的伺服电机转速和方向，实现各个轮系电机的伺服控制，并将各个电机的状态信息、报警信息回传给嵌入式上位控制器。
- 根据权利要求1所述的一种全向移动无杆牵引式可移动机器人自动感知系统，其特征在于：无线模块作为全向移动无杆牵引车的通信终端与手持器建立无线通信通道，实现手持器遥控指令对嵌入式上位控制器的发送以及嵌入式上位控制器关于全向移动无杆牵引车状态信息及报警信息在遥控器显示的信息传递通道。
- 根据权利要求1所述的一种全向移动无杆牵引式可移动机器人自动感知系统，其特征在于：遥控器作为全向移动无杆牵引车操作控制终端，提供两个摇杆和按键，能够手动控制全向移动无杆牵引车的行使速度、方向，可启 动全向移动无杆牵引车与飞机轮组自动对准模式，手持器上提供一个显示屏，可显示当前全向移动无杆牵引车的速度、航向角、自动对准过程中全向移动无杆牵引车与飞机轮组的位姿信息、故障代码、周围障碍物报警信息。
- 一种全向移动无杆牵引式可移动机器人自动感知方法，其特征在于步骤如下：(1)将全向移动无杆牵引车开机启动，将遥控器开机启动，将遥控器工作模式切换到“手动-行走”模式，并调整好相应的速度档位；(2)操作遥控器方向摇杆，遥控器将工作模式及操作指令通过车载无线模块传送至嵌入式上位控制器，嵌入式上位控制器再发送至嵌入式驱动控制器，嵌入式驱动控制器根据行使方向和速度指令解析全向移动无杆牵引车各个驱动轮组电机的转速和转向，实现全向移动无杆牵引车按照遥控指令向飞机起落架轮组靠近；(3)全向移动无杆牵引车移动过程中基于视觉测量的位姿解算模块中的图像采集装置实时采集前方图像，由识别与解算控制器对图像信息特征提取，当获得飞机起落架完整轮毂信息后向嵌入式上位控制器发送获得完整飞机轮组信号，嵌入式上位控制器由无线模块向遥控器反馈此状态信息，以便操作人员及时知悉该信息，同时识别与解算控制器参考测距传感器的距离信息对飞机轮组图像特征点提取、位姿信息提取，并将全向移动无杆牵引车与飞机轮组的位姿信息发送至嵌入式上位控制器；(4)操作人员观察到获取完整飞机轮组状态后，将遥控器工作状态调整到“自动”模式，启动自动对准程序，全向移动无杆牵引车在移动过程中基于激光扫描的环境侦测模块实时获取周围障碍物信息，同时对飞机轮组和全向移动无杆牵引车抱轮机构进行磕碰预警，并将周围障碍物信息发送至嵌入式上位控制器，嵌入式上位控制器获取全向移动无杆牵引车与飞机轮组的位姿信息及周围环境信息后规划全向移动无杆牵引车向飞机轮组的运动路径，并发送给嵌入 式驱动控制器；(5)嵌入式驱动控制器获取路径信息后解算全向移动无杆牵引车各个驱动轮组伺服电机的转速和转向，控制全向移动无杆牵引车绕开障碍物的同时向飞机轮组靠近；(6)在运动过程中基于视觉测量的位姿解算模块实时更新全向移动无杆牵引车与飞机轮组的位姿信息，嵌入式上位控制器根据最新位姿信息更新路径信息，嵌入式驱动控制器根据路径信息实时调整全向移动无杆牵引车各驱动轮组电机的转速和转向，当基于视觉测量的位姿解算模块判断位姿信息满足对准条件时向嵌入式上位控制器发送该状态信息，嵌入式上位控制器向嵌入式驱动控制器发送停止指令，同时经无线模块向遥控器发送对准状态信息，嵌入式驱动控制器向全向移动无杆牵引车各驱动轮组电机发送停止指令，全向移动无杆牵引车根据电机预设参数减速停车；(7)操作人员获取对准状态后将遥控器工作模式调整为“手动-抱轮”工作模式，利用遥控器控制全向移动无杆牵引车抱轮机构对飞机轮组进行夹抱操作；(8)夹抱完成后，将遥控器调整为“手动-行走”工作模式，调整好速度档位通过操作遥控器方向摇杆将飞机牵引至指令地点。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010803583.7 | 2020-08-11 | ||
| CN202010803583.7A CN112009714B (zh) | 2020-08-11 | 2020-08-11 | 一种全向移动无杆牵引式可移动机器人自动感知系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022033372A1 true WO2022033372A1 (zh) | 2022-02-17 |
Family
ID=73504525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2021/110581 WO2022033372A1 (zh) | 2020-08-11 | 2021-08-04 | 一种全向移动无杆牵引式可移动机器人自动感知系统及方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112009714B (zh) |
| WO (1) | WO2022033372A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115016497A (zh) * | 2022-07-04 | 2022-09-06 | 北京九星智元科技有限公司 | 一种智能小车控制系统及控制方法 |
| CN117068173A (zh) * | 2023-10-12 | 2023-11-17 | 潍柴动力股份有限公司 | 车辆档位的控制方法、装置、电子设备及存储介质 |
| CN117218908A (zh) * | 2023-09-14 | 2023-12-12 | 中国民航大学 | 一种无拖把飞机牵引车驾驶行为优化的引导系统及方法 |
| CN117864871A (zh) * | 2024-03-05 | 2024-04-12 | 北自所(北京)科技发展股份有限公司 | 玻纤落丝机自动装车定位系统及操作方法 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112009714B (zh) * | 2020-08-11 | 2021-12-07 | 北京卫星制造厂有限公司 | 一种全向移动无杆牵引式可移动机器人自动感知系统及方法 |
| CN112793802A (zh) * | 2021-01-28 | 2021-05-14 | 武汉工程大学 | 飞机牵引机器人及其工作方法 |
| CN113353279B (zh) * | 2021-06-24 | 2024-05-31 | 中国舰船研究设计中心 | 多体协同全向转运智能机器人牵引系统及方法 |
| CN113791621B (zh) * | 2021-09-15 | 2023-06-02 | 北京航空航天大学 | 一种自动驾驶牵引车与飞机对接方法及系统 |
| CN114115236A (zh) * | 2021-10-29 | 2022-03-01 | 中国航空工业集团公司洛阳电光设备研究所 | 一种基于激光雷达的飞机牵引车自动对接导航装置及方法 |
| CN115556958A (zh) * | 2022-12-05 | 2023-01-03 | 江苏天一航空工业股份有限公司 | 一种飞机无杆牵引车自动对接抱轮系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004255944A (ja) * | 2003-02-25 | 2004-09-16 | Komatsu Ltd | 航空機牽引車両の自動停止装置 |
| CN104749998A (zh) * | 2015-03-23 | 2015-07-01 | 中国民航大学 | 一种飞机无杆牵引车自动监测系统 |
| CN205952337U (zh) * | 2016-07-30 | 2017-02-15 | 深圳市劲拓自动化设备股份有限公司 | 一种麦克纳姆轮飞机全向无杆牵引车 |
| CN206202719U (zh) * | 2016-09-23 | 2017-05-31 | 深圳市劲拓自动化设备股份有限公司 | 一种新式电动全向无杆牵引车 |
| CN107054681A (zh) * | 2017-02-28 | 2017-08-18 | 天津航天机电设备研究所 | 无杆飞机牵引车 |
| US20170294132A1 (en) * | 2016-04-06 | 2017-10-12 | Gulfstream Aerospace Corporation | Wearable aircraft towing collision warning devices and methods |
| CN111114817A (zh) * | 2018-10-29 | 2020-05-08 | 陕西汽车集团有限责任公司 | 一种牵引对准装置及对准方法 |
| CN111402874A (zh) * | 2020-02-26 | 2020-07-10 | 中国民航大学 | 一种基于语音和视觉结合的飞机牵引车智能驾驶控制系统 |
| CN112009714A (zh) * | 2020-08-11 | 2020-12-01 | 北京卫星制造厂有限公司 | 一种全向移动无杆牵引式可移动机器人自动感知系统及方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8245980B2 (en) * | 2006-09-28 | 2012-08-21 | Israel Aerospace Industries Ltd. | System and method for transferring airplanes |
| IL198950A (en) * | 2008-11-25 | 2013-01-31 | Israel Aerospace Ind Ltd | Towbarless airplane tug |
| GB201611485D0 (en) * | 2016-06-30 | 2016-08-17 | Costello Steven D J | Improvements to aircraft taxing |
| CN106828964B (zh) * | 2017-02-28 | 2019-04-16 | 天津航天机电设备研究所 | 无拖杆飞机牵引车运动控制方法及装置 |
-
2020
- 2020-08-11 CN CN202010803583.7A patent/CN112009714B/zh active Active
-
2021
- 2021-08-04 WO PCT/CN2021/110581 patent/WO2022033372A1/zh active Application Filing
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004255944A (ja) * | 2003-02-25 | 2004-09-16 | Komatsu Ltd | 航空機牽引車両の自動停止装置 |
| CN104749998A (zh) * | 2015-03-23 | 2015-07-01 | 中国民航大学 | 一种飞机无杆牵引车自动监测系统 |
| US20170294132A1 (en) * | 2016-04-06 | 2017-10-12 | Gulfstream Aerospace Corporation | Wearable aircraft towing collision warning devices and methods |
| CN205952337U (zh) * | 2016-07-30 | 2017-02-15 | 深圳市劲拓自动化设备股份有限公司 | 一种麦克纳姆轮飞机全向无杆牵引车 |
| CN206202719U (zh) * | 2016-09-23 | 2017-05-31 | 深圳市劲拓自动化设备股份有限公司 | 一种新式电动全向无杆牵引车 |
| CN107054681A (zh) * | 2017-02-28 | 2017-08-18 | 天津航天机电设备研究所 | 无杆飞机牵引车 |
| CN111114817A (zh) * | 2018-10-29 | 2020-05-08 | 陕西汽车集团有限责任公司 | 一种牵引对准装置及对准方法 |
| CN111402874A (zh) * | 2020-02-26 | 2020-07-10 | 中国民航大学 | 一种基于语音和视觉结合的飞机牵引车智能驾驶控制系统 |
| CN112009714A (zh) * | 2020-08-11 | 2020-12-01 | 北京卫星制造厂有限公司 | 一种全向移动无杆牵引式可移动机器人自动感知系统及方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115016497A (zh) * | 2022-07-04 | 2022-09-06 | 北京九星智元科技有限公司 | 一种智能小车控制系统及控制方法 |
| CN117218908A (zh) * | 2023-09-14 | 2023-12-12 | 中国民航大学 | 一种无拖把飞机牵引车驾驶行为优化的引导系统及方法 |
| CN117218908B (zh) * | 2023-09-14 | 2024-04-26 | 中国民航大学 | 一种无拖把飞机牵引车驾驶行为优化的引导系统及方法 |
| CN117068173A (zh) * | 2023-10-12 | 2023-11-17 | 潍柴动力股份有限公司 | 车辆档位的控制方法、装置、电子设备及存储介质 |
| CN117068173B (zh) * | 2023-10-12 | 2024-01-16 | 潍柴动力股份有限公司 | 车辆档位的控制方法、装置、电子设备及存储介质 |
| CN117864871A (zh) * | 2024-03-05 | 2024-04-12 | 北自所(北京)科技发展股份有限公司 | 玻纤落丝机自动装车定位系统及操作方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112009714A (zh) | 2020-12-01 |
| CN112009714B (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022033372A1 (zh) | 一种全向移动无杆牵引式可移动机器人自动感知系统及方法 | |
| CN105825713B (zh) | 车载无人机辅助驾驶系统的运行方式 | |
| CN111055281B (zh) | 一种基于ros的自主移动抓取系统与方法 | |
| CN109797691B (zh) | 一种无人清扫车及其行车方法 | |
| CN111497835B (zh) | 车辆平行驾驶及自动防撞系统 | |
| CN105512628A (zh) | 基于无人机的车辆环境感知系统及方法 | |
| CN108590664B (zh) | 基于三目视觉识别技术的多功能无人操作智能巷道采掘装备系统 | |
| CN105843229A (zh) | 无人驾驶智能小车及控制方法 | |
| JP7044694B2 (ja) | 作業車両用の障害物検知システム | |
| CN113791621B (zh) | 一种自动驾驶牵引车与飞机对接方法及系统 | |
| WO2021006322A1 (ja) | 作業車両用の自動走行システム | |
| CN114115296B (zh) | 一种重点区域智能巡检与预警系统及方法 | |
| WO2023045760A1 (zh) | 火车自动摘钩机器人及系统 | |
| CN209776188U (zh) | 一种基于3d视觉技术的汽车无人充电系统 | |
| CN108459600A (zh) | 一种agv小车的视觉导航系统 | |
| CN109001756A (zh) | 基于嵌入式设备的多线激光雷达障碍物检测系统及方法 | |
| US20220381920A1 (en) | Obstacle Detection System | |
| CN110977973A (zh) | 架空输电线路巡检机器人自主越障装置 | |
| CN112837554A (zh) | 基于双目相机的agv定位导航方法及系统 | |
| CN202677195U (zh) | 一种基于视觉和超声波的导航控制系统 | |
| CN106774318A (zh) | 多智能体交互式环境感知与路径规划运动系统 | |
| CN110865638A (zh) | 一种无人驾驶工程作业设备的遥控控制系统 | |
| CN212781778U (zh) | 一种基于视觉slam的智能车 | |
| CN113081525A (zh) | 一种智能助行设备及智能助行设备的控制方法 | |
| CN112141072A (zh) | 一种路面加速加载试验无人驾驶车 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21855425 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 21855425 Country of ref document: EP Kind code of ref document: A1 |