WO2013044626A1

WO2013044626A1 - 一种执行臂末端运动的控制系统及控制方法

Info

Publication number: WO2013044626A1
Application number: PCT/CN2012/074304
Authority: WO
Inventors: 周翔; 周继辉; 向瑶
Original assignee: 湖南三一智能控制设备有限公司; 三一重工股份有限公司
Priority date: 2011-09-28
Filing date: 2012-04-18
Publication date: 2013-04-04

Abstract

一种控制执行臂末端运动的方法及控制系统，方法包括以下步骤：11）于执行臂末端（500）设置摄像头（100），并于摄像头（100）的可视区域设置标识（10）；12）摄像头（100）实时获取标识（10）的图像；13）预存初始位置标识的初始图像，对比分析初始图像和实时获取的标识的图像，计算获得执行臂（500）末端相对初始位置的实时位移；14）根据执行臂末端（500）的实时位移控制执行臂末端（500）的运动。该控制方法及控制系统可直接通过图像分析，获知执行臂末端（500）的实时位移，输出控制执行臂运动的指令。直接通过图像比较计算的方式，相对于现有技术中利用多个传感器数据信号叠加计算的方式，具有更高的精确度。

Description

一种执行臂末端运动的控制系统及控制方法本申请要求于 2011 年 09 月 28 日提交中国专利局、申请号为 201110301629.6、发明名称为 "一种执行臂末端运动的控制系统及控制方法"和 2011年 09月 28 日提交中国专利局、申请号为 201110301612.0、发明名称为 "一种执行臂末端运动的控制系统及控制方法"的两项中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本发明涉及工程机械技术领域，特别涉及一种执行臂末端运动的控制方法。本发明还涉及一种执行臂末端运动的控制系统。

背景技术

多种工程机械具有臂架结构，比如混凝土泵车、起重机、消防车等，臂架用以输送人力或物料至指定施工地点。在施工过程中，经常需要臂架依照同一状态稳定运动，此时，需要准确采集臂架末端的位置参数，根据位置参数变化计算出臂架末端相对初始状态移动的距离，进而实时控制臂架末端运动的轨迹。

现有技术中，通常采取间接计算的方式获取臂架末端的位置，执行臂末端在某一固定位置运动，主要计算方式如下：

( 1 )在臂架的各节臂均安装角度传感器分别测量各节臂的角度，再结合各节臂的长度计算臂架末端的位置。然而，各节臂在工作过程中会不断产生形变，通过角度和未产生形变的臂架长度来计算末端的竖直高度是不准确的。即使，在各节臂安装位移传感器，计算出各节臂的形变，结合形变量再计算，也无法保证计算结果的精确性。主要由于，臂架包含多节节臂，各节臂的叠加运算势必会降低计算结果的精确度，无法满足智能化、自动化施工操作需求。

( 2 )在臂架末端设置测距传感器，用以测量臂架末端的位置参数。该种方式可以直接测量臂架末端的竖直高度，但测量距离有限、精度不高，特别是当臂架末端下方存在高度不断变化的物体（比如混凝土泵车打泵时臂架末端下方地面堆积的混凝土高度会不断变化）时，测量结果并不准确。

而且，针对上述采集方式，均需要在各节臂上设置传感器类电子元件，安装难度较高，工况复杂时，精确度不高。

因此，如何改进臂架末端运动的控制方法，提高控制精度，是本领域技术人员需要解决的技术问题。

发明内容

鉴于上述技术问题，本发明的目的为提供一种执行臂末端运动的控制方法，该控制方法利用图像处理方式直接实时获取执行臂末端的位移，从而能够精确地控制执行臂末端的运动轨迹。本发明的另一目的是提供一种执行臂末端运动的控制系统。

为达到本发明的第一目的，本发明提供一种执行臂末端运动的控制方法，包括以下步骤：

11 )设置随所述执行臂末端移动而移动的标识，并于可观察到所述执行臂末端运动的位置设置摄像头；或于所述执行臂末端设置摄像头，并于所述摄像头的可视区域设置标识；

12 )所述摄像头实时获取所述标识的图像；

13 )预存初始位置所述标识的初始图像，对比分析所述初始图像和实时获取的所述标识的图像，计算获得所述执行臂末端相对初始位置的实时位移；

14 )根据所述执行臂末端的实时位移控制所述执行臂末端的运动。优选地 ,

步骤 11 ) 中，还在所述摄像头的窗口近端设置标尺，所述标尺相对所述摄像头的位置保持恒定；

步骤 12 ) 中，所述摄像头获取包括所述标识和所述标尺的图像；步骤 13 ) 中，预存初始位置包括所述标识和所述标尺的初始图像，对比分析初始图像和实时获取的包括所述标识和所述标尺的图像，计算获得所述执行臂末端相对初始位置的实时位移。

优选地 ,

步骤 11 ) 中，设置的所述标尺为交叉的水平标尺和竖直标尺；步骤 13 )中，将初始图像中的标识和实时获取图像中的标识均与对应的所述标尺的水平标尺以及竖直标尺的成像进行对比分析，计算获得所述执行臂末端相对初始位置的左右位移和上下位移。优选地 ,

步骤 11 ) 中，在所述摄像头上设置角度传感器；

步骤 12 ) 中，所述摄像头跟踪所述标识的中心位置，并获取所述标识的图像；

步骤 13 )中，记录所述角度传感器检测的所述摄像头相对于初始位置的水平角度和垂直角度，对比分析所述初始图像和实时获取的标识图像，获得所述摄像头至所述标识中心位置的初始距离和实时距离，根据初始距离、实时距离、初始水平角度、初始垂直角度、实时水平角度和实时垂直角度计算获得所述执行臂末端相对初始位置的实时位移。

优选地，

在步骤 12 )和步骤 13 )之间还具有以下步骤：

123 )调整摄像头，使在初始位置所述摄像头的窗口中心对准所述标识的中心位置。

优选地，步骤 14 ) 中，根据获取的所述标识的图像控制所述摄像头的焦距。

优选地，步骤 11 ) 中，在所述执行臂末端四周的工作区域设置至少两个摄像头或者至少两个标识。

本发明所提供的执行臂末端运动的控制系统，由图像处理模块直接分析比较标识的初始图像和实时获取的图像，根据变化量获取标识的实时位移，进而获知执行臂末端的实时位移，并由执行臂控制器执行臂控制器输出控制执行臂运动的指令。直接通过图像比较计算的方式，相对于现有技术中利用多个传感器数据信号叠加计算的方式，该控制系统具备高精度的分析控制能力，而且具有更高的精确度。。

在进一步的技术方案中，在摄像头的近端设置标尺，标尺作为分析标识的参考标准时，可以消除摄像头抖动引起的误差；而且，由于标尺的成像较为清晰稳定，易于设计为便于参考比较的形状，可以筒化图像处理模块的处理程序，提高精确度；此外，在焦距改变的情况下，可以通过标尺成像大小的改变计算焦距变量，进而准确计算标识的实时位移，而无需通过其他途径获取焦距变量。

为了达到本发明的第二目的，本发明还提供一种执行臂末端运动的控制系统，包括：

标识及与所述标识可相对运动的摄像头，所述标识和摄像头的其一设置于所述执行臂末端，所述摄像头能够获取所述标识的图像；

图像处理模块，用于接收所述摄像头获取的图像，且预存初始位置所述标识的初始图像，并对比分析所述初始图像和实时获取的所述标识的图像，计算获得所述执行臂末端相对初始位置的实时位移；

执行臂控制器，用于接收所述图像处理模块获得的所述执行臂末端的实时位移，根据所述执行臂末端的实时位移控制执行臂末端的运动。

优选地，所述标识设于所述执行臂末端，所述摄像头设置于可观察到所述执行臂末端运动的位置；或

所述摄像头设于所述执行臂末端，所述标识设置于所述摄像头可视区域。

优选地，还包括设置于所述摄像头的窗口近端的标尺；所述摄像头获取包括所述标识和所述标尺的图像；所述图像处理模块预存初始位置包括所述标识和所述标尺的初始图像，并对比分析所述初始图像分析实时获取的包括所述标识和所述标尺的图像，计算获得所述执行臂末端的实时位移。

优选地，所述标尺为交叉的水平标尺和竖直标尺；所述图像处理将初始图像中的标识和实时获取图像中的标识均与对应的所述标尺的水平标尺以及竖直标尺的成像进行对比分析，计算获得所述执行臂末端相对初始位置的左右位移和上下位移。

优选地，还包括摄像头的控制模块，位于初始位置时，所述控制模块根据获取的所述标识的图像调整所述摄像头，使所述摄像头的窗口中心对准所述标识的中心位置。

优选地，所述摄像头上设有角度传感器；所述摄像头跟踪所述标识的中心位置，并获取所述标识的图像；所述图像处理模块记录所述角度传感器检测的所述摄像头相对于初始位置的水平角度和垂直角度，并对比分析所述初始图像和实时获取的标识图像，获得所述摄像头至所述标识中心位置的初始距离和实时距离，根据初始距离、实时距离、初始水平角度、初始垂直角度、实时水平角度和实时垂直角度计算获得所述执行臂末端相对初始位置的实时位移。优选地，所述标识由反光材料制成；且设置为标识提供照明的远照灯，所述远照灯的控制端连接所述摄像头的所述控制模块。

优选地，所述控制模块根据获取的所述标识的图像控制所述摄像头的焦距。

优选地，所述执行臂末端四周的工作区域设有至少两个摄像头或者至少两个标识。

优选地，所述标识为所述执行臂末端的软管的一部分。

本发明所提供的执行臂末端运动的控制系统，由图像处理模块直接分析比较标识的初始图像和实时获取的图像，根据变化量获取标识的实时位移，进而获知执行臂末端的实时位移，并由执行臂运动控制器输出控制执行臂运动的指令。相对于现有技术中利用多个传感器数据信号叠加计算的方式，该控制系统具备高精度的分析控制能力。而且，在执行臂移动的过程中，还可以利用上述控制系统将执行臂末端工作区域的近端工况图像传输给控制系统中的显示装置，以便进行远程遥控操作。更进一步可以通过上述控制系统对执行臂末端图像进行分析，避免执行臂末端与大型障碍物碰撞，实现执行臂末端的智能避障。

附图说明

图 1为本发明所提供控制执行臂末端运动方法的第一种具体实施方式的流程图；

图 2为本发明所提供控制执行臂末端运动方法的第二种具体实施方式的流程图；

图 3为本发明所提供控制执行臂末端运动方法的第三种具体实施方式的流程图；

图 4为本发明所提供控制执行臂末端运动方法的第四种具体实施方式的流程图；

图 5为本发明所提供控制执行臂末端运动方法的第五种具体实施方式的流程图；

图 6为本发明所提供控制执行臂末端运动方法的第六种具体实施方式的流程图；

图 7为本发明所提供控制执行臂末端运动方法第一种具体计算方式的示意图；

图 8为本发明所提供控制执行臂末端运动方法第二种具体计算方式的示意图；

图 9为本发明所提供控制执行臂末端运动方法第三种具体计算方式的示意图；

图 10 为本发明所提供控制执行臂末端运动方法第四种具体计算方式的示意图；

图 11 为本发明所提供执行臂末端运动控制系统的一种具体实施方式的结构示意图；

图 12 为本发明所提供执行臂末端运动控制系统的另一种实施方式的结构示意图；

图 13为图 11、 12中控制系统的控制原理示意图。

具体实施方式

本发明的核心为提供一种执行臂末端运动的控制方法，该控制方法利用图像处理方式直接实时获取执行臂末端的位移，从而能够精确地控制执行臂末端的运动轨迹。本发明的另一核心是提供一种执行臂末端运动的控制系统。

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步的详细说明。

请参考图 1 , 图 1为本发明所提供控制执行臂末端运动方法第一具体实施方式的流程图。

本发明第一具体实施方式所提供的控制执行臂末端运动的方法，主要包括以下步骤：

步骤 S11 )设置随执行臂末端移动而移动的标识，并于可观察到执行臂末端运动的位置设置摄像头；

即保证标识的运动轨迹与执行臂末端的运动轨迹一致。则该标识可以是执行臂末端的一部分；或是设置于执行臂末端并与其保持相对固定状态的其他结构件，当然，该结构件可以是工程机械自有结构件，也可以专门设置该标识。优选的方案是将执行臂末端的自有结构件作为标识，从而充分利用自有资源实现本发明的目的。比如，针对多节臂泵车，可以将其执行臂末端的软管的一部分作为标识。

具体的实施方案可以为：将软管的中间部分涂上颜色，该部分颜色区别于其他部分的颜色，或将软管的两端均外套其他颜色的管套，则可以将中间部分作为标识。优选采用中间部分为白色，其他部分为黑色，或中间部分为黑色，其他部分为白色，也可以是其他具有明显区别的颜色组合，具备醒目的效果，便于后述步骤提及的成像以及图像分析，即防止背景色与标识颜色相似而造成成像不清晰；同时，标识的结构优选为规则形状，如杆状，亦便于后述步骤提及的成像以及图像分析；另外，由于主要需要控制执行臂末端在高度方向上的运动，则标识的高度尺寸在满足成像需求的情况下，应尽量较大，针对软管的方案，即使软管中间部分的长度较长。

于可观察到执行臂末端运动的位置设置摄像头，以便于在步骤 S13 ) 中，摄像头获取位于执行臂末端的标识的图像。

步骤 S12 )摄像头实时获取标识的图像；

摄像头可以根据需要获取标识的视频图像。

步骤 S13 )预存初始位置标识的初始图像，分析比对初始图像和实时获取的标识的图像，计算获得执行臂末端相对初始位置的实时位移；

当执行臂末端在固定位置上下运动的过程中，标识随其移动，故标识在摄像头中的成像为动态变化的过程，因此，分析标识的图像相对于初始图像的变化量，可以获得标识相对初始位置的实时位移，进而得到执行臂末端的实时位移。

步骤 S14 )根据执行臂末端的实时位移控制执行臂末端的运动。

标识的实时位移实际上即执行臂末端的位移，则可以根据该位移，结合实际运动需要，控制执行臂末端的运动轨迹。

通过上述论述可知，本发明所提供的执行臂末端运动的控制方法，可以直接通过初始图像和实时获取的标识图像的分析比较，获取标识的实时位移，进而获知执行臂末端的实时位移，输出控制执行臂运动的指令。直接通过图像比较计算的方式，相对于现有技术中利用多个传感器数据信号叠加计算的方式，具有更高的精确度；而且，本发明仅在执行臂末端设置标识，无需于执行臂末端安装传感器类电子部件，故具备较高的测量稳定性和安全性，适用于工况复杂恶劣的场合。请参考图 2, 图 2为本发明所提供控制执行臂末端运动方法的第二种具体实施方式的流程图。

该具体实施方式，步骤 S21 ), 设置随执行臂末端移动而移动的标识，并于可观察到所述执行臂末端运动的位置设置摄像头，还在摄像头的窗口近端设置标尺；

设置于窗口的近端，即保证标尺始终可以通过摄像头成像，标尺与摄像头的位置关系保持恒定，即在焦距不变的情况下，标尺的成像大小始终相等，焦距改变时，根据标尺成像大小的变化也可以计算出焦距的变化，以便准确计算由于焦距变化而导致的标识成像大小的变化，使标识的图像分析具有稳定的参考系。标尺的设置方式有多种，比如，标尺可以固定于摄像头镜头的前方，也可以设于摄像头的内部，标尺还可以与其他部件固定，保证其相对于摄像头的镜头位置不变即可。

相应地，步骤 S22 ) 中，摄像头获取包括标识和标尺的图像；由于标尺始终可以成像，故摄像头获取的图像同时包括标识和标尺，当然，在标识移动的情况下，获得的不同时刻的图像中，标识和标尺的相对位置关系及相对大小均可能产生动态变化。

相应地，步骤 S23 ) 中，预存初始位置包括标识和标尺的初始图像，对比分析初始图像和实时获取的包括标识和标尺的图像，计算获得执行臂末端相对初始位置的实时位移。

该步骤中的分析计算原理与步骤 S13 )相同。由于标尺的成像较为清晰稳定，易于设计为便于参考比较的形状，此时，可以将标尺作为标识成像变化计算的参考，计算标识的实时位移。因此，标尺的设置可以筒化图像处理模块的处理程序，提高精确度；此外，在焦距改变的情况下，可以通过标尺成像大小的改变计算焦距变量，进而准确计算标识的实时位移，而无需通过其他途径获取焦距变量。

步骤 S24 )根据执行臂末端的实时位移控制执行臂末端的运动。与步骤 S14 )相同。

请参考图 3 , 图 3本发明所提供控制执行臂末端运动方法的第三种具体实施方式的流程图。包括下述步骤：

步骤 S31 )设置随执行臂末端移动而移动的标识，并于可观察到所述执行臂末端运动的位置设置摄像头，还在摄像头的窗口近端设置标尺；步骤 S32 )摄像头获取包括标识和标尺的图像；

步骤 S33 ), 调整摄像头，在初始位置，使摄像头的窗口中心对准标识的中心位置。

与第一种具体实施方式的区别在于，增加了该步骤。添加该步骤后，在初始化过程中，可以调整摄像头的高度或角度，尽量使摄像头窗口对准标识的中心位置，则获得的标识的初始图像位于整个图像的中部，于是，标识移动一定距离后其成像尚在摄像头镜头覆盖范围以内，同时计算误差也相对较低。

步骤 S34 )预存初始位置包括标识和标尺的初始图像，对比分析初始图像和实时获取的包括标识和标尺的图像，计算获得执行臂末端相对初始位置的实时位移；

步骤 S35 )根据执行臂末端的实时位移控制执行臂末端的运动。步骤 S34 )与步骤 S23 )相同，步骤 S35 )与步骤 S24 )和步骤 S14 )相同。

请参考图 4, 图 4为本发明所提供控制执行臂末端运动方法的第四种具体实施方式的流程图，主要包括以下步骤：

步骤 S41 ) 于执行臂末端设置摄像头，并于摄像头的可视区域设置标识；

执行臂末端的可视区域，指执行臂末端作业对象的位置，或该位置附近，以便于在后述步骤中，位于执行臂末端的摄像头获取标识的图像。

将摄像头设置于执行臂末端，则摄像头随执行臂末端的移动而移动，即与执行臂末端的运动轨迹一致。

步骤 S42 )摄像头实时获取标识的图像；

步骤 S43 )预存初始位置标识的初始图像，并对比分析初始图像和实时获取的标识的图像，计算获得执行臂末端相对初始位置的实时位移；在执行臂末端的运动过程中，摄像头随其移动，而标识设置于执行臂末端的可视区域中，故标识在摄像头中的成像为动态变化的过程，因此，分析标识的图像相对于初始图像的变化量，可以获得执行臂末端相对初始位置的实时位移。

步骤 S44 )根据标识的实时位移控制执行臂末端的运动。执行臂末端移动时，标识和摄像头存在相对运动，比如，标识左移时，相当于摄像头右移，而摄像头的位移与执行臂末端一致，故根据获取的执行臂末端的位移，结合实际运动需要，即可控制执行臂末端的运动轨迹。

通过上述论述可知，本发明所提供的执行臂末端运动的控制方法，可以直接通过初始图像和实时获取的标识图像的分析比较，获取执行臂末端相对初始位置的实时位移，进而获知执行臂末端的实时位移，输出控制执行臂运动的指令。直接通过图像比较计算的方式，相对于现有技术中利用多个传感器数据信号叠加计算的方式，具有更高的精确度。

请参考图 5 , 图 5为本发明所提供控制执行臂末端运动方法的第五种具体实施方式的流程图。包括下述步骤：

步骤 S51 ), 于执行臂末端设置摄像头，并于摄像头的可视区域设置标识，还在摄像头的窗口近端设置标尺；

设置于窗口的近端，即保证标尺始终可以通过摄像头成像，标尺与摄像头的位置关系保持恒定，即在焦距不变的情况下，标尺的成像大小始终相等，焦距改变时，根据标尺成像大小的变化也可以计算出焦距的变化，以便准确计算由于焦距变化而导致的标识成像大小的变化，使标识的图像分析具有稳定的参考系。标尺的设置方式有多种，比如，设置摄像头时，标尺可以固定于摄像头镜头的前方，也可以设于摄像头的内部，标尺还可以与其他部件固定，保证其相对于摄像头的镜头位置不变即可。

步骤 S52 ) , 摄像头获取包括标识和标尺的图像；

由于标尺始终可以成像，故摄像头获取的图像同时包括标识和标尺，当然，在标识移动的情况下，获得的不同时刻的图像中，标识和标尺的相对位置关系及相对大小均可能产生动态变化。

步骤 S53 ), 预存初始位置包括标识和标尺的初始图像，并对比分析初始图像和实时获取的包括标识和标尺的图像，计算获得执行臂末端的实时位移。

该步骤中的分析计算原理与步骤 S53 )相同。由于标尺的成像较为清晰稳定，易于设计为便于参考比较的形状，此时，可以将标尺作为标识成像变化计算的参考，计算执行臂末端的实时位移。因此，标尺的设置还可以筒化图像处理模块的处理程序，提高精确度；此外，在焦距改变的情况下，可以通过标尺成像大小的改变计算焦距变量，进而准确计算执行臂末端的实时位移，而无需通过其他途径获取焦距变量。

步骤 S54 )根据标识的实时位移控制执行臂末端的运动。与步骤 S54 ) 相同。

请参考图 6, 图 6本发明所提供控制执行臂末端运动方法的第六种具体实施方式的流程图。包括下述步骤：

步骤 S61 ), 于执行臂末端设置摄像头，并于摄像头的可视区域设置标识，还在摄像头的窗口近端设置标尺；

步骤 S62 ) , 摄像头获取包括标识和标尺的图像；

步骤 S61 )、步骤 S62 )和步骤 S51 )、步骤 S52 )相同。

步骤 S63 ), 调整摄像头，使在初始位置摄像头的窗口中心对准标识的中心位置。

与第五种具体实施方式的区别在于，增加了该步骤。添加该步骤后，在初始化过程中，可以调整摄像头的高度或角度，尽量使摄像头窗口对准标识的中心位置，则获得的标识的初始图像位于整个图像的中部，于是，标识移动一定距离后其成像尚在摄像头镜头覆盖范围以内，同时计算误差也相对较低。

步骤 S64 ), 预存初始位置包括标识和标尺的初始图像，并对比分析初始图像和实时获取的包括标识和标尺的图像，计算获得执行臂末端的实时位移。

步骤 S65 )根据标识的实时位移控制执行臂末端的运动。步骤 S64 ) 和步骤 S53 ), 步骤 S55 )与步骤 S54 )和步骤 S44 )相同。请参考图 7, 图 7为本发明所提供控制执行臂末端运动方法第一种具体计算方式的示意图。

该具体计算方式是将标识 10的初始成像和其他时刻的成像与标尺 20 的成像进行比对计算的方法，为便于计算标识 10左右位移和上下位移（竖直高度方向的位移），可以将标识 10设置为交叉的水平标尺 201和竖直标尺 202 (十字形标尺），相当于建立竖直平面坐标系。处理时，可以测出标识 10初始成像的上端到水平标尺 201的高度 A1 ,标识 10初始成像的下端到水平标尺 201的高度 B1 ,标识 10初始成像一端到竖直标尺 202长度 D1 , 标识 10初始成像与水平标尺 201的夹角 Q1 , 而某一时刻的标识 10成像两端到水平标尺 201的高度分别为 A2、 B2 , 其一端至竖直标尺 202的长度为 D2, 与水平标尺 201的夹角为 Q2, 标识 10的实际长度为 L, 则可以通过如下公式计算执行臂末端相对初始位置的上下移动距离 Y:

Y = Y2 - Yl ;

Yl = L x SINQ1 x (Λ1 - 5ΐ)/(Λ1 + Bl)；

Y2 = L x SINQ2 x (A! - B1)/(A1 + Bl)；

该方法还可以通过如下公式计算执行臂末端相对初始位置的左右移动巨离 X

X = X2 - Xl ;

XI = L x SINQl x Dl/(Al + Bl) ;

X2 = L x SINQ2 x D2 /(A! + Bl)。

实际上，上述角度 Ql和 Q2也可以通过标识 10成像的高度以及长度计算得出，相应地，通过测出的角度和长度，也可以得出成像的高度，上述计算方法可以灵活设置。对上下位移和左右位移的精度要求均较高时，可以将标识 10的结构设置为十字形标识，即包括竖直标识和水平标识，该计算方法与第一种计算方式的原理相同，区别仅在于上下位移根据大致沿竖直方向延伸的竖直标识成像计算，左右位移根据大致沿水平方向延伸的水平标识成像计算。

当执行臂末端前后产生位移时，标识 10成像的大小会发生改变，相应的宽度和长度均会发生改变，可以单独通过成像规律作常规的图像处理（如成像大小、双目测距等处理方式）计算前后位移，还可以综合采取激光测距、红外测距等方法实现前后距离测量。当然，前后产生位移时，上述计算公式也需要作适当的变形，可以测出标识 10初始成像的长度，某一时刻的成像长度，通过两个长度值的变化关系，修正上述公式中的输入变量，进而消除前后移动所带来的计算误差；当然，长度发生变化超过一定范围影响时，也可以重新初始化程序，以新的位置作为参考点。

请参考图 8 , 图 8为本发明所提供控制执行臂末端运动方法第二种具体计算方式的示意图。该计算方式中，标识 10设置为光栅 101形式，每组光栅 101的宽度可以根据控制精度要求设计（比如控制精度为 0.1米，光栅 101宽度可设计为 0.05米），当然，光栅 101宽度在满足控制精度的前提下应尽量宽一些，便于成像分析，标尺 20呈水平状态，标尺成像可以容纳一个光栅 101。设光栅 101宽度为 A, 光栅 101移动数量为 M, 通过初始图像和某一时刻的图像分析，可以得出光栅 101的移动数量，则标识 10的上下位移

L = A x M 。图中所示的标识成像大致沿竖直方向延伸，需要测量左右位移时，可以将标识 10设置为具有水平标识和竖直标识的结构，且均设为光栅形式，则计算左右位移时，与上下位移的计算原理相同。当执行臂末端前后产生位移时，可根据光栅的成像宽度变化修正标尺位置进行误差补偿。

当然，根据标识 10形式的不同，还可以由其他计算方式获取标识 10 的位移。

在上述两种计算方式中，均以标尺 20的成像作为参考，实际上，也可以在后期的图像处理过程中，设置虚拟标尺。需要说明的是，当标尺 20 固定于其他结构上时，即使摄像头 100具有轻微抖动，标尺 20的成像的角度依然保持稳定，故设定的实体标尺 20相对于虚拟标尺，能够始终准确地作为标识 10图像变化的参考标准，故优选设置标尺 20形成参考的标尺。

请参考图 9, 图 9为本发明所提供控制执行臂末端运动方法第三种具体计算方式的示意图，该种计算方式适用于第一、第二及第三具体实施方式。

该计算方式中，摄像头 100处于跟踪状态，随标识 10位置的改动而作相应的角度转动，实时跟踪标识 10的中间位置。根据拍摄的图像，可以获取初始位置时，摄像头 100至标识 10的中心位置的距离 S1,某一时刻摄像头 100至标识 10中心位置的距离 S2, 并可以由设于摄像头 100上的角度传感器获取摄像头 100水平角度 Pl、垂直角度 Q1以及当前状态下的水平角度 P2、垂直角度 Q2 (为便于理解，图中建立 XYZ三维坐标系），则可以通过如下公式计算执行臂末端相对初始位置的上下移动距离 Y:

Y = Y1 - Y2 ;

Yl = Sl x SINQl ;

Y2 = S2 x SINQ2 ; 执行臂末端相对初始位置的左右移动距离 X：

X

；

XI =SlxCOSQl;

X2 =S2xCOSQ2

P=|P2-Pl|；

执行臂末端相对初始位置的前后移动距离 Z

Ζ = Ζί-Ζ2；

Zl =SlxCOSQlxSINPl;

Z2 =S2xCOSQ2xSINP2

第三种计算方式中，标识 10中心位置与摄像头 100之间的距离可以通过分析计算标尺 20与标识 10的成像得出，也可以通过双摄像头测距等图像分析方法获得。

上述第一至第三具体实施方式均建立于，摄像头位于可观察到执行臂末端运动的位置，且执行臂末端的动作范围较小。当执行臂末端的施工位置改变，且变幅较大时，摄像头可能无法继续观察到执行臂末端运动，可以在整个工作区域设置至少两个摄像头。执行臂末端四周的工作区域指执行臂末端在一定位置可以达到的任何区域，设置两个以上摄像头，可以扩大对执行臂末端的监控范围，设置多个摄像头后，执行臂在任何方向的动作，均有相应的摄像头对其进行监控，可以获得连续的位置信号，调控的范围更广。

请参考图 10, 图 10为本发明所提供控制执行臂末端运动方法第四种具体计算方式的示意图，该种计算方法适用于第四至第六具体实施方式。

该计算方式中，摄像头处于跟踪状态，随标识 10位置的改动而作相应的角度转动，实时跟踪标识 10的中间位置。根据拍摄的图像，可以获取初始位置时，摄像头至标识 10的中心位置的距离 S1,某一时刻摄像头至标识 10中心位置的距离 S2,并可以由设于摄像头上的角度传感器获取摄像头初始位置的水平角度 Pl、垂直角度 Q1以及当前状态下的水平角度 P2、垂直角度 Q2(为便于理解，图中建立 XYZ三维坐标系），则可以通过如下公式计算执行臂末端 500相对初始位置的上下移动距离 Y:

Y = Yl-Y2; Yl =Sl SINQl;

Y2 =S2xSINQ2

执行臂末端 500相对初始位置的左右移动距离 X：

X =Xl-X2;

XI =SlxCOSQlxCOSPl;

X2 =S2xCOSQ2xCOSP2

执行臂末端 500相对初始位置的前后移动距离 Z

Ζ = Ζί-Ζ2；

Zl =SlxCOSQlxSINPl;

Z2 =S2xCOSQ2xSINP2

第四种计算方式中，标识 10中心位置与摄像头之间的距离可以通过标尺 20与标识 10的成像分析计算得出，也可以通过双摄像头测距等图像分析方法获得。

此外，针对上述各实施例，步骤 S14)或步骤 S44) 中，还可以根据实时获取的标识 10的图像控制摄像头 100的焦距。当预先设定的焦距可能无法获取满足清晰度要求的标识 10图像时，可以控制摄像头 100变焦，分析计算时，将变焦引起的图像大小变化量引入计算公式中。

上述第四至第六具体实施方式均建立于，标识 10位于执行臂末端 500 的可视区域内，且执行臂末端 500的动作范围较小。当执行臂末端 500的施工位置改变，且变幅较大时，即执行臂末端 500可视区域发生改变时，可以在整个工作区域设置至少两个标识，选择其中 1个作为计算用标识 10。执行臂末端 500的可视区域指执行臂末端 500摄像头可观察到的任何区域，设置多个标识，可以扩大执行臂末端 500摄像头的监控范围，保证执行臂在任何方向的动作，均有相应的标识可供参考，从而获得连续的位置信号，调控的范围更广。

以上计算方式可以筒便地计算出执行臂末端的上下、左右、前后位移，而在初始位置，选定某位置为坐标原点，则可以建立执行臂末端的三维空间坐标系。根据计算的位移实时监控执行臂末端的位置参数，当需要执行臂末端转换工作位置时，可以以此参数为参考，精确地控制带有摄像头的执行臂末端运动至工作区域内的任意位置。实际上，在执行臂的工作区域内，多个执行臂末端可能同时工作（多个执行臂末端的工作区域重合），则可设置的多个标识 10避免单一标识 10 被其它执行臂末端所遮挡，达到同时控制多个执行臂末端的运动轨迹，实现精确的智能化操控的目的。

除了上述控制方法，本发明还提供一种执行臂末端运动的控制系统。请参考图 11、图 12和图 13 , 图 11为本发明所提供执行臂末端运动控制系统一种具体实施方式的结构示意图；图 12为本发明所提供执行臂末端运动控制系统另一种具体实施方式的结构示意图；图 13为图 11和图 12中控制系统的控制原理示意图。

该控制系统包括随执行臂末端移动而移动的标识 10、摄像头 100、图像处理模块 200, 以及执行臂控制器 300。

或该控制系统包括设置于执行臂末端工作台面的标识 10、摄像头、图像处理模块，以及执行臂控制器。

标识 10在上述控制方法中已有相关论述，在此不赘述。

摄像头 100设置于可观察到执行臂末端运动的位置，用以获取标识 10 图像，并将获得的图像信号实时发送至图像处理模块 200, 摄像头 100与图像处理模块 200可以通过有线或无线的方式连接。采用摄像头 100获取标识 10图像时，具体方案可以如下：在可观察到执行臂末端运动的位置处设置支架（比如三角架），将摄像头 100置于支架上，支架中心还可以悬挂重物至地面，防止摄像头所在位置振动时支架移动或倾翻，设置支架时，标尺 20可以直接与支架固定。

为了扩大对执行臂末端运动的控制范围，除了于可观察到执行臂末端运动的位置设置摄像头，还可以在执行臂末端四周的工作区域设置一个以上的监控摄像头，使执行臂末端运动至任一方位，均具有至少一个相应的摄像头对其实行监控。不同位置的摄像头 100监控执行臂末端时，可以将不同摄像头 100之间的位置差量合并入图像处理模块 200的计算程序中，使图像分析的参考系保持统一；或执行臂末端进入不同于预先采用的摄像头 100的可视范围内时，相应的摄像头按照预先设定的参考系进行分析处理；或由上述方法可知，设置多个摄像头 100, 可以建立执行臂末端的三维空间坐标系，精确地控制执行臂末端运动至工作区域内的任意位置，在工作区域内具有多个执行臂末端时 , 可以建立规模化的执行臂控制系统。为了扩大对执行臂末端运动的控制范围，还可以在执行臂末端 500四周的工作区域设置至少两个标识 10,使执行臂末端 500运动至工作区域内的任一位置，均具有至少一个相应的标识 10纳入执行臂末端 500摄像头的可视区域内，以供参考。选取不同位置的标识 10时，可以将不同标识 10 之间的位置差量合并入图像处理模块 200的计算程序中，使图像分析的参考系保持统一；或执行臂进入不同于预先选定的标识 10的范围内时，可以使图像处理模块 200重新初始化，将作业范围内的标识 10的图像作为重新选定的初始图像；或由上述方法可知，设置多个标识 10, 可以建立执行臂末端 500的三维空间坐标系，精确地控制执行臂末端 500运动至工作区域内的任意位置，在工作区域内具有多个执行臂末端 500时，可以建立规模化的执行臂控制系统。

在执行臂末端 500的可视区域处设置一个以上标识 10时，执行臂末端 500的摄像头 100可以获取靠近摄像头 100窗口中心的标识 10的图像，以便于摄像头 100根据标识 10的成像清晰度以及大小，选择合适的标识 10 作为跟踪目标。

摄像头 100设置于执行臂末端 500, 随执行臂末端 500移动而移动，用以获取标识 10图像，并将获得的图像信号实时发送至图像处理模块 200, 摄像头 100与图像处理模块 200可以通过有线或无线的方式连接。

图像处理模块 200用以接收摄像头 100获取的图像，且预存初始位置标识 10的初始图像，并根据初始图像分析实时获取的标识 10的图像，计算获得执行臂末端的实时位移，并将得出的实时位移发送至执行臂控制器

300。

位于初始位置时，可以调整摄像头 100和标识 10的相对位置，其优势在控制方法（主要针对第一和第二种计算方法中，将标识调整至摄像头 100 的中心位置）中已有论述，相应地，可以设置控制摄像头 100的控制模块 400,控制摄像头 100高度或角度的变化。摄像头 100的控制模块 400可以与执行臂控制器 300或图像处理模块 200连接，执行臂控制器 300和图像处理模块 200均可以根据获取的标识 10图像，判断初始位置，标识 10的图像是否适合作为初始图像，并发送相应的控制信号至摄像头 100的控制模块 400, 由控制模块 400控制摄像头 100的高度和角度。

执行臂控制器 300, 用以接收图像处理模块 200获得的标识 10的实时图像，根据标识 10的初始图像和实时图像计算执行臂末端的实时位移，进而控制执行臂末端的运动。执行臂控制器 300和图像处理模块 200也可以通过有线或无线的方式连接，二者也可以集成于同一模块上。

则本发明所提供的执行臂末端运动的控制系统，由图像处理模块 200 直接分析比较标识 10的初始图像和实时获取的图像，根据变化量获取执行臂末端相对初始位置的实时位移并由执行臂控制器执行臂控制器 300输出控制执行臂运动的指令。相对于现有技术中利用多个传感器数据信号叠加计算的方式，该控制系统具备高精度的分析控制能力；而且，该控制系统仅于执行臂末端设置标识 10, 无需于执行臂末端安装传感器类电子部件，故具备较高的测量稳定性和安全性，适用于工况复杂恶劣的场合。

进一步地，控制系统还可以包括设置于摄像头 100的窗口近端的标尺 20, 如图 10所示的十字形标尺，且标尺 20与摄像头 100的位置关系保持恒定。则摄像头 100获取的图像中包括标识 10和标尺 20, 且在焦距不变的情况下，标尺 20 的成像大小保持恒定。初始化时，图像处理模块 200 预存初始位置包括标识 10和标尺 20的初始图像，并根据初始图像分析实时获取的包括标识 10和标尺 20的图像，计算获得执行臂末端的实时位移。标尺 20 的工作原理以及产生的技术效果在控制方法的实施方式中也已论述，在此不赘述。

上述摄像头 100的控制模块 400还可以根据获取的标识 10的图像控制摄像头 100的焦距。在执行臂末端运动的过程中，均可以控制控制模块 400 的变焦，焦距变化引起的标识 10或标尺 20成像的变化，将计入计算公式当中。

在控制方法中，已就图像处理模块的具体计算方式进行了描述，可以参照理解。

另外，为便于夜晚或光线不足时作业，标识 10可以由反光材料制成，以便于图像识别。而且，还可以设置为标识 10提供照明的远照灯，则在远照灯的作用下，便于获取清晰的标识 10图像。远照灯的控制端可以连接摄像头 100的控制模块 400, 摄像头根据标识 10的位置调整角度或高度时，保证远照灯的光线可以始终射向标识 10, 鉴于此，远照灯优选设置于摄像头 100的附近。

另外，通过摄像头 100采集执行臂末端工作区域的近端工况图像，将此图像在工程机械的显示装置上显示，可以实现对工程机械执行臂末端进行远程工况观察。更进一步通过图像处理模块 200对执行臂末端的图像进行分析，当执行臂末端靠近某个大型障碍物（例如垂直的墙壁时），图像处理模块 200产生告警信息并发送给执行臂控制器 300, 执行臂控制器 300 控制停止执行臂的运动或修改运动路径，从而可以实现执行臂末端的智能避障。相关图像分析处理方法为本领域技术人员所熟知，在此不再赘述。

以上对本发明所提供的一种执行臂末端运动的控制方法及控制系统进阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

权利要求

1、一种控制执行臂末端运动的方法，其特征在于，包括以下步骤：

12 )所述摄像头实时获取所述标识的图像；

14 )根据所述执行臂末端的实时位移控制所述执行臂末端的运动。

2、根据权利要求 1所述的控制执行臂末端运动的方法，其特征在于，步骤 11 ) 中，还在所述摄像头的窗口近端设置标尺，所述标尺相对所述摄像头的位置保持恒定；

3、根据权利要求 2所述的控制执行臂末端运动的方法，其特征在于，步骤 11 ) 中，设置的所述标尺为交叉的水平标尺和竖直标尺；步骤 13 )中，将初始图像中的标识和实时获取图像中的第一标识均与对应的所述标尺的水平标尺以及竖直标尺的成像进行对比分析，计算获得所述执行臂末端相对初始位置的左右位移和上下位移。

4、根据权利要求 2所述的控制执行臂末端运动的方法，其特征在于，步骤 11 ) 中，在所述摄像头上设置角度传感器；

步骤 13 )中，记录所述角度传感器检测的所述摄像头的水平角度和垂直角度，对比分析所述初始图像和实时获取的标识图像，获得所述摄像头至所述标识中心位置的初始距离和实时距离，根据初始距离、实时距离、初始水平角度、初始垂直角度、实时水平角度和实时垂直角度计算获得所述执行臂末端相对初始位置的实时位移。

5、根据权利要求 1至 3任一项所述的控制执行臂末端运动的方法，其特征在于，

在步骤 12 )和步骤 13 )之间还具有以下步骤：

6、根据权利要求 1至 4任一项所述的控制方法，其特征在于，步骤 14 ) 中，根据获取的所述标识的图像控制所述摄像头的焦距。

7、根据权利要求 1至 4任一项所述的控制方法，其特征在于，步骤 11 ) 中，在所述执行臂末端四周的工作区域设置至少两个摄像头或者至少两个标识。

8、一种执行臂末端运动的控制系统，其特征在于，包括：

9、根据权利要求 8所述的执行臂末端运动的控制系统，其特征在于，所述标识设于所述执行臂末端，所述摄像头设置于可观察到所述执行臂末端运动的位置；或

10、根据权利要求 8所述的执行臂末端运动的控制系统，其特征在于，还包括设置于所述摄像头的窗口近端的标尺；所述摄像头获取包括所述标识和所述标尺的图像；所述图像处理模块预存初始位置包括所述标识和所述标尺的初始图像，并对比分析所述初始图像分析实时获取的包括所述标识和所述标尺的图像，计算获得所述执行臂末端相对初始位置的实时位移。

11、根据权利要求 10所述的执行臂末端运动的控制系统，其特征在于，所述标尺为交叉的水平标尺和竖直标尺；所述图像处理模块将初始图像中的标识和实时获取图像中的标识均与对应的所述标尺的水平标尺以及竖直标尺的成像进行对比分析，计算获得所述执行臂末端相对初始位置的左右位移和上下位移。

12、根据权利要求 8所述的执行臂末端运动的控制系统，其特征在于，还包括摄像头的控制模块，位于初始位置时，所述控制模块根据获取的所述标识的图像调整所述摄像头，使所述摄像头的窗口中心对准所述标识的中心位置。

13、根据权利要求 12所述的执行臂末端运动的控制系统，其特征在于，所述摄像头上设有角度传感器；所述摄像头跟踪所述标识的中心位置，并获取所述标识的图像；所述图像处理模块记录所述角度传感器检测的所述摄像头的水平角度和垂直角度，并对比分析所述初始图像和实时获取的标识图像，获得所述摄像头至所述标识中心位置的初始距离和实时距离，根据初始距离、实时距离、初始水平角度、初始垂直角度、实时水平角度和实时垂直角度计算获得所述执行臂末端的实时位移。

14、根据权利要求 12所述的执行臂末端运动的控制系统，其特征在于，所述标识由反光材料制成；且设置为标识提供照明的远照灯，所述远照灯的控制端连接所述摄像头的所述控制模块。

15、根据权利要求 12所述的执行臂末端运动的控制系统，其特征在于，所述控制模块根据获取的所述标识的图像控制所述摄像头的焦距。

16、根据权利要求 8至 15任一项所述的执行臂末端运动的控制系统，其特征在于，所述执行臂末端四周的工作区域设置至少两个摄像头或者两个标识。

17、根据权利要求 8至 15任一项所述的执行臂末端运动的控制系统，其特征在于，所述标识为所述执行臂末端的软管的一部分。