WO2023147743A1 - 用于辅助对接的方法、装置和系统、对接方法及工程装备 - Google Patents

用于辅助对接的方法、装置和系统、对接方法及工程装备 Download PDF

Info

Publication number
WO2023147743A1
WO2023147743A1 PCT/CN2022/139042 CN2022139042W WO2023147743A1 WO 2023147743 A1 WO2023147743 A1 WO 2023147743A1 CN 2022139042 W CN2022139042 W CN 2022139042W WO 2023147743 A1 WO2023147743 A1 WO 2023147743A1
Authority
WO
WIPO (PCT)
Prior art keywords
central axis
slope
docking
coordinate
determined
Prior art date
Application number
PCT/CN2022/139042
Other languages
English (en)
French (fr)
Inventor
丰生日
李淇阳
高荣芝
Original Assignee
中联重科股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中联重科股份有限公司 filed Critical 中联重科股份有限公司
Publication of WO2023147743A1 publication Critical patent/WO2023147743A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • another aspect of the present invention also provides engineering equipment, which includes the above-mentioned system for assisting docking.
  • the first central axis, the second central axis and the tangential line are determined based on the acquired image, and the determined first central axis, the second central axis and the tangential line are marked in the image for assistance Docking, the first central axis, the second central axis and the tangential line marked in the image are not preset and are based on images acquired in real time, so that the first object and the second object are taken into account when docking is assisted
  • the current posture according to the current posture of the first object and the second object, the first central axis, the second central axis and the tangential line are marked for auxiliary docking.
  • the tangential line of the tapered pipe nozzle is realized through the calibration method: (1) firstly, a set of calibration tooling is designed; (2) the tapered tube is calibrated by calibrating the tooling (3) adjust the attitude of the cone, and collect the information of the tangent line of the nozzle under different attitudes of the cone through the dense sampling method.
  • the attitude of the cone is not fixed, and the calibration information based on one attitude of the cone cannot be well adapted to other attitudes of the cone.
  • another aspect of the embodiments of the present invention provides a device for assisting docking.
  • any one is the one of the first object and the second object with less posture change.

Abstract

本发明涉及工程装备领域，公开了一种用于辅助对接的方法、装置和系统、对接方法及工程装备，用于辅助对接的方法包括：获取待对接的第一对象和第二对象的图像；基于所述图像，确定所述第一对象沿对接方向的第一中轴线及所述第二对象沿所述对接方向的第二中轴线；确定所述第一对象和所述第二对象中的任一者的垂直于所述对接方向的切向线；以及将所述第一中轴线、所述第二中轴线和所述切向线标注在所述图像中，以辅助所述第一对象和所述第二对象的对接。藉此，实现了在辅助对接时考虑了第一对象和第二对象当前的姿态，标注的第一中轴线、第二中轴线和切向线可以适应第一对象和第二对象的不同姿态。

Description

用于辅助对接的方法、装置和系统、对接方法及工程装备
相关申请的交叉引用
本申请要求2022年02月07日提交的中国专利申请202210116783.4的权益，该申请的内容通过引用被合并于本文。
技术领域
本发明涉及工程装备领域，具体地，涉及一种用于辅助对接的方法、装置和系统、对接方法及工程装备。
背景技术
工程装备领域中，车载式泵送设备在把物料输送到目标位置区域前需要先把车载物料管道与其他输送管道进行对接。由于输送物料的管道是刚性结构，两根管道的管口必须对齐才能进行下一步的物料输送。现阶段的管道对接仍然是采用传统的后视反光镜，或者需要其他指挥员配合下完成管道对接，对接过程较为耗时。
为了提升物料设备管道的对接效率，现有技术中提出了一种辅助对接的方法，该方法根据设备管道在影像中的位置以及车辆的转向信息来加载预知的标定标识，从而协助机手完成对管作业。但未提及锥管处于任意姿态时的相关方法。图1、图2、图3为辅助对接方法中的主要图示。其中，图1是车载泵锥管和输送管对接示意图，在实际工程作业中，锥管和输送管需要对齐才能完成物料的输送；图2是锥管和输送管平行时辅助线示意图，示出了当锥管和输送管管道径向平行时以锥管管口为基点的辅助对接线；图3是锥管和输送管不平行时辅助线示意图，当输送管与锥管径向不平行时显示屏显示的辅助对接线的远端标记出了当前车辆的转向信息，随着车辆姿态的调整，转向辅助线同步修正。在辅助对管的摄像头固定安装在车辆后，就需要对整套设备进行标定。辅助对接的方法中加载的预知标定标识信息是基于锥管姿态与车辆保持不变的情况下所进行的标定。但在实际工程作业中，锥管需要根据输送管的倾斜姿态来进行相应的上下旋转调整。由图4可知，锥管不同的旋转姿态，管口面的位置不同，这会使得影像上的标定信息存在差异。因此，辅助对接的方法中所提的标定标识信息难以适应锥管不同的姿态情况。
发明内容
本发明的目的是提供一种用于辅助对接的方法、装置和系统、对接方法及工程装备，其可解决或至少部分解决上述问题。
为了实现上述目的，本发明的一个方面提供一种用于辅助对接的方法，该方法包括：获取待对接的第一对象和第二对象的图像；基于所述图像，确定所述第一对象沿对接方向的第一中轴线及所述第二对象沿所述对接方向的第二中轴线；确定所述第一对象和所述第二对象中的任一者的垂直于所述对接方向的切向线；以及将所述第一中轴线、所述第二中轴线和所述切向线标注在所述图像中，以辅助所述第一对象和所述第二对象的对接。
可选地，基于所述图像确定所述第一中轴线和/或所述第二中轴线包括：确定所述第一对象在所述图像中的第一覆盖区域和/或所述第二对象在所述图像中的第二覆盖区域；确定所述第一覆盖区域的第一骨架线和/或所述第二覆盖区域的第二骨架线；以及利用曲线拟合方法，将所述第一骨架线拟合为所述第一中轴线和/或将所述第二骨架线拟合为所述第二中轴线。
可选地，所述确定所述第一对象在所述图像中的第一覆盖区域和/或所述第二对象在所述图像中的第二覆盖区域包括：基于预设卷积神经网络确定所述第一覆盖区域和/或所述第二覆盖区域。
可选地，所述确定所述第一对象和所述第二对象中的任一者的垂直于所述对接方向的切向线包括：确定所述任一者的中轴线斜率；以及基于所确定的中轴线斜率和所述任一者对应的预设查找表，确定所述任一者的所述切向线，其中，所述预设查找表包括中轴线斜率和切向线相关信息之间的对应关系。
可选地，所述切向线位于所述任一者的固定位置处，所述切向线相关信息包括位于切向线上的第一点的第一坐标和第二点的第二坐标，所述第一点距离所述固定位置的距离为第一预设距离，所述第二点距离所述固定位置的距离为第二预设距离，基于所确定的中轴线斜率和所述任一者对应的预设查找表确定所述任一者的所述切向线包括：在所述预设查找表中有所确定的中轴线斜率的情况下，在所述预设查找表中找到所确定的中轴线斜率对应的所述第一坐标和所述第二坐标；以及根据所找到的第一坐标和第二坐标确定所述任一者的所述切向线；和/或在所述预设查找表中没有所确定的中轴线斜率的情况下，在所述预设查找表中找到与所确定的中轴线斜率最接近的第一接近中轴线斜率和第二接近中轴线斜率；在所述预设查找表中找到所述第一接近中轴线斜率对应的所述第一坐标和所述第二坐标及所述第二接近中轴线斜率对应的所述第一坐标和所述第二坐标； 基于所述第一接近中轴线斜率对应的所述第一坐标和所述第二坐标及所述第二接近中轴线斜率对应的所述第一坐标和所述第二坐标，确定所确定的中轴线斜率对应的所述第一坐标和所述第二坐标；以及基于所确定的中轴线斜率对应的所述第一坐标和所述第二坐标，确定所述任一者的所述切向线。
可选地，所述切向线位于所述任一者的对接端。
可选地，所述任一者为所述第一对象和所述第二对象中姿态变化较少的一者。
相应地，本发明的另一方面提供一种用于辅助对接的装置，该装置包括：图像获取模块，用于获取待对接的第一对象和第二对象的图像；中轴线确定模块，用于基于所述图像，确定所述第一对象沿对接方向的第一中轴线及所述第二对象沿所述对接方向的第二中轴线；切向线确定模块，用于确定所述第一对象和所述第二对象中的任一者的垂直于所述对接方向的切向线；以及标注模块，用于将所述第一中轴线、所述第二中轴线和所述切向线标注在所述图像中，以辅助所述第一对象和所述第二对象的对接。
可选地，所述中轴线确定模块基于所述图像确定所述第一中轴线和/或所述第二中轴线包括：确定所述第一对象在所述图像中的第一覆盖区域和/或所述第二对象在所述图像中的第二覆盖区域；确定所述第一覆盖区域的第一骨架线和/或所述第二覆盖区域的第二骨架线；以及利用曲线拟合方法，将所述第一骨架线拟合为所述第一中轴线和/或将所述第二骨架线拟合为所述第二中轴线。
可选地，所述确定所述第一对象在所述图像中的第一覆盖区域和/或所述第二对象在所述图像中的第二覆盖区域包括：基于预设卷积神经网络确定所述第一覆盖区域和/或所述第二覆盖区域。
可选地，所述切向线确定模块确定所述第一对象和所述第二对象中的任一者的垂直于所述对接方向的切向线包括：确定所述任一者的中轴线斜率；以及基于所确定的中轴线斜率和所述任一者对应的预设查找表，确定所述任一者的所述切向线，其中，所述预设查找表包括中轴线斜率和切向线相关信息之间的对应关系。
可选地，所述切向线位于所述任一者的固定位置处，所述切向线相关信息包括位于切向线上的第一点的第一坐标和第二点的第二坐标，所述第一点距离所述固定位置的距离为第一预设距离，所述第二点距离所述固定位置的距离为第二预设距离，基于所确定的中轴线斜率和所述任一者对应的预设查找表确定所述任一者的所述切向线包括：在所述预设查找表中有所确定的中轴线斜率的情况下，在所述预设查找表中找到所确定的中轴线斜率对应的所述第一坐标和所述第二坐标；以及根据所找到的第一坐标和第二坐标 确定所述任一者的所述切向线；和/或在所述预设查找表中没有所确定的中轴线斜率的情况下，在所述预设查找表中找到与所确定的中轴线斜率最接近的第一接近中轴线斜率和第二接近中轴线斜率；在所述预设查找表中找到所述第一接近中轴线斜率对应的所述第一坐标和所述第二坐标及所述第二接近中轴线斜率对应的所述第一坐标和所述第二坐标；基于所述第一接近中轴线斜率对应的所述第一坐标和所述第二坐标及所述第二接近中轴线斜率对应的所述第一坐标和所述第二坐标，确定所确定的中轴线斜率对应的所述第一坐标和所述第二坐标；以及基于所确定的中轴线斜率对应的所述第一坐标和所述第二坐标，确定所述任一者的所述切向线。
可选地，所述切向线位于所述任一者的对接端。
可选地，所述任一者为所述第一对象和所述第二对象中姿态变化较少的一者。
此外，本发明的另一方面还提供一种对接方法，该对接方法包括：根据上述的用于辅助对接的方法标注的第一中轴线、第二中轴线和切向线控制对接第一对象和第二对象。
另外，本发明的另一方面还提供一种用于辅助对接的系统，该系统包括：上述的用于辅助对接的装置；以及显示模块，用于显示被标注了第一中轴线、第二中轴线和切向线的图像。
可选地，该系统还包括：摄像模块，用于获取第一对象和第二对象的视频；以及分解模块，用于将所获取的视频分解成图像。
此外，本发明的另一方面还提供一种工程装备，该工程装备包括上述的用于辅助对接的系统。
另外，本发明的另一方面还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的用于辅助对接的方法或对接方法。
通过上述技术方案，基于所获取的图像确定出第一中轴线、第二中轴线和切向线，将确定的第一中轴线、第二中轴线和切向线标注在图像中以用于辅助对接，标注在图像中的第一中轴线、第二中轴线和切向线非预先设置的，是以实时获取的图像为基础的，如此，在辅助对接时考虑了第一对象和第二对象当前的姿态；根据第一对象和第二对象当前的姿态标注用于辅助对接的第一中轴线、第二中轴线和切向线，当姿态发生变化时标注的第一中轴线、第二中轴线和切向线也会发生变化，如此，标注的第一中轴线、第二中轴线和切向线可以适应第一对象和第二对象的不同姿态。此外，辅助对接时考虑第一对象和第二对象的姿态能让对接的过程更加准确，辅助对接的效果更好。
本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1是现有技术中车载泵锥管和输送管对接示意图；
图2是现有技术中锥管和输送管平行时辅助线示意图；
图3是现有技术中锥管和输送管不平行时辅助线示意图；
图4是锥管不同姿态示意图；
图5是本发明一实施例提供的用于辅助对接的方法的流程图；
图6是本发明另一实施例提供的中轴线的示意图；
图7是本发明另一实施例提供的锥管和输送管存在径向偏离时的对接示意图；
图8是本发明另一实施例提供的待对接的两管道的示意图；
图9是本发明另一实施例提供的图8所示的两管道的覆盖区域的示意图；
图10是本发明另一实施例提供的辅助对接中的设备安装示意图；
图11是本发明另一实施例提供的中轴线和管口切向线的示意图；
图12是本发明另一实施例提供的椎管安装标定工装件后的俯视图；
图13是本发明另一实施例提供的椎管安装标定工装件后的正视图；
图14是本发明另一实施例提供的椎管安装标定工装件的示意图；
图15是本发明另一实施例提供的椎管在不同姿态下的示意图；
图16是本发明另一实施例提供的用于辅助对接的方法的流程图；以及
图17是本发明另一实施例提供的用于辅助对接的装置的结构框图。
附图标记说明
1    输送管          2      锥管
3    摄像头          4      显示器
5    车身            6      图像获取模块
7    中轴线确定模块  8      切向线确定模块
9    标注模块
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
本发明实施例的一个方面提供一种用于辅助对接的方法。
图5是本发明一实施例提供的用于辅助对接的方法的流程图。如图5所示，该方法包括以下内容。
在步骤S50中，获取待对接的第一对象和第二对象的图像。具体地，可以直接拍摄第一对象和第二对象的图像，例如，使用相机进行拍摄；也可以是拍摄第一对象和第二对象的视频，例如，使用摄像头进行拍摄，对拍摄的视频进行分帧处理，得到第一对象和第二对象的图像。无论使用什么方式，只要能获取到第一对象和第二对象的图像即可。
在步骤S51中，基于图像，确定第一对象沿对接方向的第一中轴线及第二对象沿对接方向的第二中轴线。其中，对接方向是第一对象和第二对象对接在一起所沿着的方向。如图6所示，待对接的是车载泵的输送管1和锥管2，两个管道沿着管道的横向对接，对接方向即为横向，两管道的中轴线如图6中的虚线所示。
在步骤S52中，确定第一对象和第二对象中的任一者的垂直于对接方向的切向线。切向线可以有助于判断出第一对象和第二对象在垂直于对接方向的方向上的间距。如图7所示，待对接的对象是车载泵的输送管1和锥管2，两个管道沿着管道的横向对接，对接方向即为横向，垂直于对接方向的是径向，切向线有助于帮助判断输送管1和锥管2在径向方向上的间距。通过有助于判断出第一对象和第二对象在垂直于对接方向的方向上的间距，能够更好的辅助对接。例如，确定该任一者的中轴线斜率，其中，中轴线斜率为该任一者的中轴线所在直线的斜率。具体地，可以建立坐标系，选取中轴线上的任意两点，基于所选取的两点确定出中轴线斜率。基于所确定的中轴线斜率和任一者对应的预设查找表，确定任一者的切向线，其中，预设查找表包括中轴线斜率和切向线相关信息之间的对应关系。另外，可以基于第一对象和第二对象的特点对第一对象和第二对象进行区分。例如，在第一对象和第二对象对接的过程中，第一对象相对于摄像设备静止不动，第二对象动，通过对比相邻两张图片，没有变化的即为第一对象，有变化的即为第二对象。具体地，可以通过区分第一对象和第二对象分别在图像中的覆盖区域来对比第一对象和第二对象是否有变化。区分出第一对象和第二对象后，根据选取的任一者对应的预设查找表确定出任一者的切向线。此外，切向线相关信息用于确定出切向线，例如，切向线相关信息可以包括任意两点的坐标，或者可以包括斜率和一点的坐标，等等。具体地，基于预设查找表确定出所确定的中轴线斜率对应的切向线相关信息，根据确定出 的切向线信息确定出任一者的切向线。此外，确定任一者的中轴线斜率时建立坐标系的方法与预设查找表中的中轴线斜率被确定出建立坐标系的方法是相同的。
在步骤S53中，将第一中轴线、第二中轴线和切向线标注在图像中，以辅助第一对象和第二对象的对接。
通过上述技术方案，基于所获取的图像确定出第一中轴线、第二中轴线和切向线，将确定的第一中轴线、第二中轴线和切向线标注在图像中以用于辅助对接，标注在图像中的第一中轴线、第二中轴线和切向线非预先设置的，是以实时获取的图像为基础的，如此，在辅助对接时考虑了第一对象和第二对象当前的姿态；根据第一对象和第二对象当前的姿态标注用于辅助对接的第一中轴线、第二中轴线和切向线，当姿态发生变化时标注的第一中轴线、第二中轴线和切向线也会发生变化，如此，标注的第一中轴线、第二中轴线和切向线可以适应第一对象和第二对象的不同姿态。此外，辅助对接时考虑第一对象和第二对象的姿态能让对接的过程更加准确，辅助对接的效果更好。
确定第一对象的第一中轴线和/或第二对象的第二中轴线的方式有很多。可选地，在本发明实施例中，可以根据以下内容确定第一中轴线和/或第二中轴线。确定第一对象在图像中的第一覆盖区域和/或第二对象在图像中的第二覆盖区域。如图8所示，第一对象和第二对象是两个管道，输送管1和锥管2；分别确定出两管道在图像中的覆盖区域，如图9中是白色部分所示，分别是输送管1的覆盖区域和锥管2的覆盖区域。其中，在本发明实施例中，可以采用预设卷积神经网络确定出第一覆盖区域和/或第二覆盖区域。预设卷积神经网络是已经训练好的卷积神经网络，将第一对象和第二对象的图像输入到预设卷积神经网络即可得到第一覆盖区域和/或第二覆盖区域。此外，还可以使用图像处理算法确定出第一覆盖区域和/或第二覆盖区域，例如，结合阈值分割法、分水岭算法、边缘提取、形态学运算等计算机视觉算法。确定第一覆盖区域的第一骨架线和/或第二覆盖区域的第二骨架线。可选地，在本发明实施例中，确定骨架线的方式有很多，例如，通过结合距离变换法和阈值分割法计算骨架线；或者，还可以是采用zhang-suen细化算法提取骨架线。利用曲线拟合方法，将第一骨架线拟合为第一中轴线和/或将第二骨架线拟合为第二中轴线。此外，在本发明实施例中，包括覆盖区域的图像可以是二值化图像，也可以是其他颜色的图像，只要能将覆盖区域与非覆盖区域区分开即可。
另外，在本发明实施例中，可以根据以下内容训练卷积神经网络以得到预设卷积神经网络。1)录制第一对象和第二对象对接过程的视频数据，例如，使用摄像头进行录制。例如，待对接的是车载泵的锥管和输送管，录制锥管和输送管对管过程的视频数据，使 用摄像头进行录制，如图10所示，摄像头3安装在车载泵的车身5上，对输送管1和锥管2对接的过程进行录制。此外，在录制锥管和输送管对接过程的视频数据时，可以充分考虑不同的工况条件，设置在不同的工况条件下进行录制视频，以丰富用于训练卷积神经网络的数据，使得预设神经网络的处理更加准确，提高本发明实施例提供的用于辅助对接的方法的准确性。2)数据筛选。首先将1)录制的视频进行分帧处理，得到第一对象和第二对象的图像。此外，为了使得分帧得到的图像对于训练卷积神经网络更加有效，提升训练速度，可以从分帧得到的图像中挑选有效图像用于训练卷积神经网络，具体地，挑选有效图像的原则是被挑选出来的图像是不同的图像，挑选出的图像中第一对象和/或第二对象的位置、角度不同。最后收集预设数值张包括第一对象和第二对象的图像，例如，收集10000张，收集的图像的数量越大，卷积神经网络的训练效果越好。3)数据标注。对筛选出的第一对象和第二对象的图像进行像素级语义标注。其中，在本发明实施例中，进行像素级语义标注即为确定出第一对象和第二对象的覆盖区域。例如，对接的是车载泵的锥管和输送管，如图8和图9所示，从图8到图9即为像素级语义标注，也就是确定出输送管1和锥管2的覆盖区域。4)模型训练。将已标注数据集划分为训练集和测试集，把训练集图像送入基于卷积神经网络的语义分割模型中进行训练。其中，已标注数据集包括第一对象和第二对象的原始图像及原始图像对应的已被确定出第一对象和第二对象的覆盖区域的标注图像，一原始图像对应于其标注图像。例如，以对接的是车载泵的输送管和锥管为例，已标注的数据集包括输送管和锥管的原始图像(如图8所示)及确定出输送管和锥管的覆盖区域的标注图像(如图9所示)。测试集用于对完成训练的卷积神经网络进行测试。测试完成后，得到训练好的卷积神经网络。
可选地，在本发明实施例中，切向线位于任一者的固定位置处，切向线相关信息包括位于切向线上的第一点的第一坐标和第二点的第二坐标，第一点距离固定位置的距离为第一预设距离，第二点距离固定位置的距离为第二预设距离，基于所确定的中轴线斜率和预设查找表确定任一者的切向线可以包括以下内容。将所确定的第一对象和第二对象中的任一者的中轴线斜率与预设查找表中包括的中轴线斜率进行对比，以判断预设查找表中是否有所确定的任一者的中轴线斜率。在预设查找表中有所确定的任一者的中轴线斜率的情况下，在预设查找表中找到所确定的任一者的中轴线斜率对应的第一坐标和第二坐标，进而根据所找到的第一坐标和第二坐标确定出任一者的切向线。和/或，在预设查找表中没有所确定的任一者的中轴线斜率的情况下，在预设查找表中找到与所确定的任一者的中轴线斜率最接近的第一接近中轴线斜率和第二接近中轴线斜率。在预设查 找表中找到第一接近中轴线斜率对应的第一坐标和第二坐标及第二接近中轴线斜率对应的第一坐标和第二坐标。基于第一接近中轴线斜率对应的第一坐标和第二坐标及第二接近中轴线斜率对应的第一坐标和第二坐标，确定所确定的任一者的中轴线斜率对应的第一坐标和第二坐标。具体地，可以使用插值法确定出所确定的任一者的中轴线斜率对应的第一坐标和第二坐标。例如，通过插值法确定出第一中轴线斜率对应的第一坐标和第二中轴线斜率对应的第一坐标的中点坐标，作为所所确定的任一者的中轴线斜率对应的第一坐标，通过插值法确定出第一中轴线斜率对应的第二坐标和第二中轴线斜率对应的第二坐标的中点坐标，作为所所确定的任一者的中轴线斜率对应的第二坐标，如此，确定出所确定的任一者的中轴线斜率对应的第一坐标和第二坐标。基于所确定的任一者的中轴线斜率对应的第一坐标和第二坐标，确定任一者的切向线。
可选地，在本发明实施例中，切向线位于任一者的对接端。其中，对接端是任一者的在与第一对象和第二对象中的另一者进行对接时与另一者接触的一端。如图10所示，对接的是输送管1和锥管2，任一者为锥管2。当输送管1和锥管2进行对接时，锥管2的A端与输送管1进行接触，A端即为对接端。当切向线位于对接端时，可以更加直观的标示出任一者的对接端与第一对象和第二对象中的另一者的对接端之间的距离，便于控制第一对象和第二对象进行对接。如图10所示，切向线位于锥管2的A端处，可以直观的标示出锥管2的A端与输送管1的B端之间的距离，其中，B端即为输送管1的对接端。
可选地，在本发明实施例中，任一者为第一对象和第二对象中姿态变化较少的一者。例如，待对接的是车载泵的输送管和锥管，锥管的姿态变化较少，任一者可以是锥管。切向线可以体现出任一者的姿态，在对接的时候根据任一者的姿态进行对接，当切向线为第一对象和第二对象中的姿态变化较少的一者，可以实现在较少的姿态变化的情况下尽快的实现对接。此外，若任一者是第一对象和第二对象中姿态变化较少的一者，那么包括任一者的中轴线斜率与第一坐标和第二坐标的对应关系的预设查找表中的数据量就会较少，数据量较少，便于进行数据处理，提高处理的速度。
可选地，在本发明实施例中，可以根据以下内容建立预设查找表。其中，第一对象对应于一预设查找表，第二对象对应于一预设查找表，下面以建立第一对象对应的预设查找表为例进行说明，建立第二对象对应的预设查找表可以参照下述内容进行建立。在第一对象上安装标定工装件，标定工装件用来表示切向线，工装件包括直杆部分，直杆部分标识切向线。例如，第一对象是锥管，切向线位于锥管的对接端处，如图10所示。 此外，如图10所示，在实际使用时，锥管的一端与车身5连接，另一端与输送管1进行对接，A端处一个自由的管口，因此，可以说切向线位于锥管2的管口处，锥管的切向线为管口切向线，如图11所示。无论怎么安装工装件，只要能将工装件固定在第一对象上的固定位置处即可。例如，以第一对象和第二对象分别是锥管和输送管，切向线位于锥管的管口处为例，可以设计标定工装件由一个“T”形刚性结构件和两个锚点组成。其中“T”形刚性结构件由相互垂直的两个连杆构成，分别为长连杆和短连杆，其中短连杆直径与锥管管口内径相同，两个锚点分别布置在长连杆两端，长连杆即为本发明实施例中所述的用于表示切向线的直杆部分，短连杆用于固定标定工装件，长连杆的两端是两个锚点。将标定工装件短连杆插入锥管的管口，如图14所示，以短连杆为轴旋转长连杆，确保长连杆与地面平行，从而完成标定工装件安装，标定工装件的安装效果图可以参照图12和图13所示。还可以将标定工装件的短连杆部分设计成其他结构，只要能将标定工装件固定住即可。标定工装件的直杆部分上距离切向线所位于的固定位置第一预设距离的点为第一点，直杆部分上距离切向线所位于的固定位置第二预设距离的点为第二点，第一点和第二点的连线即为切向线。例如，上述“T”形刚性结构件上的两个锚点分别是第一点和第二点，连接两个锚点即可得到管口切向线。录制第一对象的视频，调整第一对象的姿态，其中，每调整一次第一对象的姿态，记录一下第一对象的中轴线斜率及代表第一对象的当前切向线的第一点的第一坐标和第二点的第二坐标，也就是第一对象的姿态每变更一次，记录一下第一对象的中轴线斜率及第一坐标和第二坐标，如此，得到第一对象对应的预设查找表，所得到的预设查找表中记录第一对象的中轴线斜率与第一坐标和第二坐标之间的对应关系。在获取中轴线斜率及第一坐标和第二坐标时，可以是使用将录制得到的视频进行分帧得到的图像。获取中轴线斜率可以参照上述实施例中所述的方法，确定出第一对象的中轴线，建立坐标系，选取中轴线上的任意两点，进而根据选取的两点确定出中轴线斜率。此外，得到第一坐标和第二坐标的方法有很多。例如，可以是在得到第一对象的图像后，建立坐标系，设置第一点的第一坐标和第二点的第二坐标。另外，还可以是在得到第一对象的图像后，提取第一点区域和第二点区域，建立坐标系，计算第一点区域的重心或者质心的坐标以得到第一坐标和计算第二点区域的重心或者质心的坐标以得到第二坐标，第一点区域指的是第一点占据的区域，第二点区域指的是第二点占据的区域。例如，以上述锥管的管口切向线为例，两个锚点分别是第一点和第二点，在得到锥管的图像后，建立坐标系，设置锚点的坐标；还可以是将锚点区域设置成深色，例如，红色，提取深色区域，建立坐标系，得到深色区域的重心或者质心的坐 标，即可得到锚点的坐标。另外，为了后续的精确查找，采用密集采样法采集尽可能多的中轴线斜率值及对应的第一坐标和第二坐标。此外，在本发明实施例中，除了使用标定工装件来表征切向线以外，还可以使用激光光线来表征切向线。例如，以切向线位于第一对象上为例，激光光线位于第一对象的固定位置处，激光光线上距离固定位置第一预设距离的点为第一点，激光光线上距离固定位置第二预设距离的点为第二点。在得到第一对象的图像后，可以参照上述实施例中所述的方法确定出第一坐标和第二坐标。
另外，以待对接的是输送管和锥管及切向线位于锥管的管口为例，当使用基于“T”形的标定工装件建立的预设查找表确定锥管的管口切向线时，与上述实施例中所述的确定任一者的切向线的方法类似，具体地，参见下述内容。确定出锥管的中轴线斜率，查找锥管对应的预设查找表中是否有所确定的锥管的中轴线斜率。若预设查找表中有所确定的锥管的中轴线斜率，则直接在预设查找表中找到所确定的中轴线斜率对应的第一坐标和第二坐标，也就是找到两个锚点对应的坐标，基于所找到的坐标，确定出管口切向线。若预设查找表中没有所确定的锥管的中轴线斜率，则在预设查找表中找到与所确定的锥管的中轴线斜率最接近的第一接近中轴线斜率和第二接近中轴线斜率，例如，分别是K1和K2。确定出K1对应的两锚点的坐标，例如，分别为P 11、P 12，确定出K2对应的两锚点的坐标，例如，分别为P 21、P 22，其中，P 11和P 21为同一个锚点的不同坐标，P 12和P 22是另一个锚点的不同坐标。通过插值法计算P 11和P 21中点的坐标P 1，P 12和P 22中点的坐标P 2，坐标P 1和P 2分别对应点的连线为当前锥管姿态的管口切向线。
图16是本发明另一实施例提供的用于辅助对接的方法的流程图。如图16所示，在该实施例中，该方法包括以下内容。其中，在该实施例中，待对接的是车载泵的锥管和输送管，切向线位于锥管的管口处，通过“T”形的标定工装件来标定锥管的管口切向线。
输入目标管图像，其中，目标管包括锥管和输送管。调用语义分割模型预测目标管区域，也就是确定锥管在图像中的覆盖区域及输送管在图像中的覆盖区域，其中，语义分割模型是基于卷积神经网络的模型，预先被训练好的。识别锥管和输送管区域，例如，通过对比被输入的相邻两张图像，覆盖区域未变化的是锥管，因为锥管是安装在车身上的，如图10所示，摄像头与锥管之间是相对静止的，锥管在图像中的覆盖区域是不会变化的。计算锥管和输送管的中轴线。计算锥管的中轴线斜率，根据锥管的中轴线斜率计算锥管的管口切向线。输入目标管辅助线到显示屏，其中，目标管辅助线包括锥管的中轴线、输送管的中轴线和锥管的管口切向线。在本发明实施例提供的技术方案中，辅助对管装置可以包括视觉传感器、智能主机、显示屏，其中视觉传感器可以是摄像头。其 中，对管装置的安装示意图如图10所示。辅助对管的目的就是通过视觉传感器采集锥管和输送管影像视频，然后通过智能主机的AI算法识别出锥管和输送管的位置、及其位置关系，最后在显示屏展示锥管和输送管中轴线及锥管管口切向线作为引导司机调整车辆姿态的辅助线。图11是摄像头视角所采集的对管示意图，依据摄像头的小孔成像模型可以得知，图像坐标上锥管和输送管中轴线平行，则表明两个目标管在世界坐标下的中轴线也是平行状态。由图7可知，如果锥管与输送管存在前后位置(径向)偏离较大时，若无锥管的管口切向线辅助，仅通过视频图像上两个管道的位置关系很难判断出锥管和输送管径向之间的间距，因此锥管管口切向线有助于司机在视频图像上准确判断锥管和输送管径向偏差，从而有目的性地调整车辆姿态。总之在辅助对管过程中，通常情况下输送管在世界坐标下是静止状态，司机可以根据视频图像上锥管和输送管中轴线平行关系，输送管管口与锥管管口切向线位置关系来调整车辆姿态完成对管作业。锥管和输送管中轴线计算方法是基于机器视觉技术实现：(1)先训练一个语义分割网络模型；(2)再推理目标管区域；(3)然后根据目标管区域技术区域计算区域骨架线；(4)最后根据目标管区域骨架线通过曲线拟合方法计算目标管中轴线。此外，在建立锥管对应的预设查找表时，锥管管口切向线是通过标定法实现：(1)首先设计了一套标定工装件；(2)通过标定工装件来标定锥管管口切向线；(3)调整锥管姿态，通过密集采样法采集不同锥管姿态下的管口切向线信息。实际对管作业中，锥管的姿态并非固定不变，基于一种锥管姿态所做的标定信息不能很好适配锥管其他姿态。本发明实施例提供的技术方案提出了一种标定工装件的设计以及不同锥管姿态下管口切向线标定方法，可以解决锥管多种姿态下的标定信息计算问题。现有技术中是一次标定多次使用，不论锥管是什么样子的，都使用相同的标定信息。本发明实施例提供的技术方案所提方法生成的对管辅助线是实时根据锥管和输送管的位置进行动态调整，灵活性和多工况适用性优于现有方法。此外现有方法对如何获取锥管姿态也未提及，本发明实施例提供的技术方案中使用管口切向线来表征锥管姿态。
相应地，本发明实施例的另一方面提供一种用于辅助对接的装置。
图17是本发明另一实施例提供的用于辅助对接的装置的结构框图，如图17所示，该装置包括图像获取模块6、中轴线确定模块7、切向线确定模块8和标注模块9。其中，图像获取模块6用于获取待对接的第一对象和第二对象的图像；中轴线确定模块7用于基于图像，确定第一对象沿对接方向的第一中轴线及第二对象沿对接方向的第二中轴线；切向线确定模块8用于确定第一对象和第二对象中的任一者的垂直于对接方向的切向线； 标注模块9用于将第一中轴线、第二中轴线和切向线标注在图像中，以辅助第一对象和第二对象的对接。
可选地，在本发明实施例中，中轴线确定模块基于所述图像确定所述第一中轴线和/或所述第二中轴线包括：确定第一对象在图像中的第一覆盖区域和/或第二对象在图像中的第二覆盖区域；确定第一覆盖区域的第一骨架线和/或第二覆盖区域的第二骨架线；以及利用曲线拟合方法，将第一骨架线拟合为第一中轴线和/或将第二骨架线拟合为第二中轴线。
可选地，在本发明实施例中，确定第一对象在图像中的第一覆盖区域和/或第二对象在图像中的第二覆盖区域包括：基于预设卷积神经网络确定第一覆盖区域和/或第二覆盖区域。
可选地，在本发明实施例中，切向线确定模块确定第一对象和第二对象中的任一者的垂直于对接方向的切向线包括：确定任一者的中轴线斜率；以及基于所确定的中轴线斜率和任一者对应的预设查找表，确定任一者的切向线，其中，预设查找表包括中轴线斜率和切向线相关信息之间的对应关系。
可选地，在本发明实施例中，切向线位于任一者的固定位置处，切向线相关信息包括位于切向线上的第一点的第一坐标和第二点的第二坐标，第一点距离固定位置的距离为第一预设距离，第二点距离固定位置的距离为第二预设距离，基于所确定的中轴线斜率和任一者对应的预设查找表确定任一者的切向线包括：在预设查找表中有所确定的中轴线斜率的情况下，在预设查找表中找到所确定的中轴线斜率对应的第一坐标和第二坐标；以及根据所找到的第一坐标和第二坐标确定任一者的切向线；和/或在预设查找表中没有所确定的中轴线斜率的情况下，在预设查找表中找到与所确定的中轴线斜率最接近的第一接近中轴线斜率和第二接近中轴线斜率；在预设查找表中找到第一接近中轴线斜率对应的第一坐标和第二坐标及第二接近中轴线斜率对应的第一坐标和第二坐标；基于第一接近中轴线斜率对应的第一坐标和第二坐标及第二接近中轴线斜率对应的第一坐标和第二坐标，确定所确定的中轴线斜率对应的第一坐标和第二坐标；以及基于所确定的中轴线斜率对应的第一坐标和第二坐标，确定任一者的切向线。
可选地，在本发明实施例中，切向线位于任一者的对接端。
可选地，在本发明实施例中，任一者为第一对象和第二对象中姿态变化较少的一者。
本发明实施例提供的用于辅助对接的装置的具体工作原理及益处与本发明实施例提供的用于辅助对接的方法的具体工作原理及益处相似，这里将不再赘述。
此外，本发明实施例的另一方面还提供一种对接方法，该对接方法包括：根据上述实施例中所述的用于辅助对接的方法标注的第一中轴线、第二中轴线和切向线控制对接第一对象和第二对象。
另外，本发明实施例的另一方面还提供一种用于辅助对接的系统，该系统包括：上述实施例中所述的用于辅助对接的装置；以及显示模块，用于显示被标注了第一中轴线、第二中轴线和切向线的图像。
可选地，在本发明实施例中，该系统还包括：摄像模块，用于获取第一对象和第二对象的视频；以及分解模块，用于将所获取的视频分解成图像。
此外，本发明实施例的另一方面还提供一种工程装备，该工程装备包括上述实施例中所述的用于辅助对接的系统。
另外，本发明实施例的另一方面还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述实施例中所述的用于辅助对接的方法或者对接方法。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (19)

  1. 一种用于辅助对接的方法，其特征在于，该方法包括：
    获取待对接的第一对象和第二对象的图像；
    基于所述图像，确定所述第一对象沿对接方向的第一中轴线及所述第二对象沿所述对接方向的第二中轴线；
    确定所述第一对象和所述第二对象中的任一者的垂直于所述对接方向的切向线；以及
    将所述第一中轴线、所述第二中轴线和所述切向线标注在所述图像中，以辅助所述第一对象和所述第二对象的对接。
  2. 根据权利要求1所述的方法，其特征在于，基于所述图像确定所述第一中轴线和/或所述第二中轴线包括：
    确定所述第一对象在所述图像中的第一覆盖区域和/或所述第二对象在所述图像中的第二覆盖区域；
    确定所述第一覆盖区域的第一骨架线和/或所述第二覆盖区域的第二骨架线；以及
    利用曲线拟合方法，将所述第一骨架线拟合为所述第一中轴线和/或将所述第二骨架线拟合为所述第二中轴线。
  3. 根据权利要求2所述的方法，其特征在于，所述确定所述第一对象在所述图像中的第一覆盖区域和/或所述第二对象在所述图像中的第二覆盖区域包括：
    基于预设卷积神经网络确定所述第一覆盖区域和/或所述第二覆盖区域。
  4. 根据权利要求1所述的方法，其特征在于，所述确定所述第一对象和所述第二对象中的任一者的垂直于所述对接方向的切向线包括：
    确定所述任一者的中轴线斜率；以及
    基于所确定的中轴线斜率和所述任一者对应的预设查找表，确定所述任一者的所述切向线，其中，所述预设查找表包括中轴线斜率和切向线相关信息之间的对应关系。
  5. 根据权利要求4所述的方法，其特征在于，所述切向线位于所述任一者的固定位置处，所述切向线相关信息包括位于切向线上的第一点的第一坐标和第二点的第二坐标， 所述第一点距离所述固定位置的距离为第一预设距离，所述第二点距离所述固定位置的距离为第二预设距离，基于所确定的中轴线斜率和所述任一者对应的预设查找表确定所述任一者的所述切向线包括：
    在所述预设查找表中有所确定的中轴线斜率的情况下，
    在所述预设查找表中找到所确定的中轴线斜率对应的所述第一坐标和所述第二坐标；以及
    根据所找到的第一坐标和第二坐标确定所述任一者的所述切向线；和/或
    在所述预设查找表中没有所确定的中轴线斜率的情况下，
    在所述预设查找表中找到与所确定的中轴线斜率最接近的第一接近中轴线斜率和第二接近中轴线斜率；
    在所述预设查找表中找到所述第一接近中轴线斜率对应的所述第一坐标和所述第二坐标及所述第二接近中轴线斜率对应的所述第一坐标和所述第二坐标；
    基于所述第一接近中轴线斜率对应的所述第一坐标和所述第二坐标及所述第二接近中轴线斜率对应的所述第一坐标和所述第二坐标，确定所确定的中轴线斜率对应的所述第一坐标和所述第二坐标；以及
    基于所确定的中轴线斜率对应的所述第一坐标和所述第二坐标，确定所述任一者的所述切向线。
  6. 根据权利要求1-5中任一项所述的方法，其特征在于，所述切向线位于所述任一者的对接端。
  7. 根据权利要求1-5中任一项所述的方法，其特征在于，所述任一者为所述第一对象和所述第二对象中姿态变化较少的一者。
  8. 一种用于辅助对接的装置，其特征在于，该装置包括：
    图像获取模块，用于获取待对接的第一对象和第二对象的图像；
    中轴线确定模块，用于基于所述图像，确定所述第一对象沿对接方向的第一中轴线及所述第二对象沿所述对接方向的第二中轴线；
    切向线确定模块，用于确定所述第一对象和所述第二对象中的任一者的垂直于所述对接方向的切向线；以及
    标注模块，用于将所述第一中轴线、所述第二中轴线和所述切向线标注在所述图像中，以辅助所述第一对象和所述第二对象的对接。
  9. 根据权利要求8所述的装置，其特征在于，所述中轴线确定模块基于所述图像确定所述第一中轴线和/或所述第二中轴线包括：
    确定所述第一对象在所述图像中的第一覆盖区域和/或所述第二对象在所述图像中的第二覆盖区域；
    确定所述第一覆盖区域的第一骨架线和/或所述第二覆盖区域的第二骨架线；以及
    利用曲线拟合方法，将所述第一骨架线拟合为所述第一中轴线和/或将所述第二骨架线拟合为所述第二中轴线。
  10. 根据权利要求9所述的装置，其特征在于，所述确定所述第一对象在所述图像中的第一覆盖区域和/或所述第二对象在所述图像中的第二覆盖区域包括：
    基于预设卷积神经网络确定所述第一覆盖区域和/或所述第二覆盖区域。
  11. 根据权利要求8所述的装置，其特征在于，所述切向线确定模块确定所述第一对象和所述第二对象中的任一者的垂直于所述对接方向的切向线包括：
    确定所述任一者的中轴线斜率；以及
    基于所确定的中轴线斜率和所述任一者对应的预设查找表，确定所述任一者的所述切向线，其中，所述预设查找表包括中轴线斜率和切向线相关信息之间的对应关系。
  12. 根据权利要求11所述的装置，其特征在于，所述切向线位于所述任一者的固定位置处，所述切向线相关信息包括位于切向线上的第一点的第一坐标和第二点的第二坐标，所述第一点距离所述固定位置的距离为第一预设距离，所述第二点距离所述固定位置的距离为第二预设距离，基于所确定的中轴线斜率和所述任一者对应的预设查找表确定所述任一者的所述切向线包括：
    在所述预设查找表中有所确定的中轴线斜率的情况下，
    在所述预设查找表中找到所确定的中轴线斜率对应的所述第一坐标和所述第二坐标；以及
    根据所找到的第一坐标和第二坐标确定所述任一者的所述切向线；和/或
    在所述预设查找表中没有所确定的中轴线斜率的情况下，
    在所述预设查找表中找到与所确定的中轴线斜率最接近的第一接近中轴线斜率和第二接近中轴线斜率；
    在所述预设查找表中找到所述第一接近中轴线斜率对应的所述第一坐标和所述第二坐标及所述第二接近中轴线斜率对应的所述第一坐标和所述第二坐标；
    基于所述第一接近中轴线斜率对应的所述第一坐标和所述第二坐标及所述第二接近中轴线斜率对应的所述第一坐标和所述第二坐标，确定所确定的中轴线斜率对应的所述第一坐标和所述第二坐标；以及
    基于所确定的中轴线斜率对应的所述第一坐标和所述第二坐标，确定所述任一者的所述切向线。
  13. 根据权利要求8-12中任一项所述的装置，其特征在于，所述切向线位于所述任一者的对接端。
  14. 根据权利要求8-12中任一项所述的装置，其特征在于，所述任一者为所述第一对象和所述第二对象中姿态变化较少的一者。
  15. 一种对接方法，其特征在于，该对接方法包括：
    根据权利要求1-7中任一项所述的方法标注的第一中轴线、第二中轴线和切向线控制对接第一对象和第二对象。
  16. 一种用于辅助对接的系统，其特征在于，该系统包括：
    权利要求8-14中任一项所述的装置；以及
    显示模块，用于显示被标注了第一中轴线、第二中轴线和切向线的图像。
  17. 根据权利要求16所述的系统，其特征在于，该系统还包括：
    摄像模块，用于获取第一对象和第二对象的视频；以及
    分解模块，用于将所获取的视频分解成图像。
  18. 一种工程装备，其特征在于，该工程装备包括权利要求16或17所述的系统。
  19. 一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令用于使得机器执行权利要求1-7及15中任一项所述的方法。
PCT/CN2022/139042 2022-02-07 2022-12-14 用于辅助对接的方法、装置和系统、对接方法及工程装备 WO2023147743A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210116783.4 2022-02-07
CN202210116783.4A CN114596264A (zh) 2022-02-07 2022-02-07 用于辅助对接的方法、装置和系统、对接方法及工程装备

Publications (1)

Publication Number Publication Date
WO2023147743A1 true WO2023147743A1 (zh) 2023-08-10

Family

ID=81804733

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/139042 WO2023147743A1 (zh) 2022-02-07 2022-12-14 用于辅助对接的方法、装置和系统、对接方法及工程装备

Country Status (2)

Country Link
CN (1) CN114596264A (zh)
WO (1) WO2023147743A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114596264A (zh) * 2022-02-07 2022-06-07 中联重科股份有限公司 用于辅助对接的方法、装置和系统、对接方法及工程装备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106524946A (zh) * 2016-10-27 2017-03-22 西南科技大学 一种隔水管自动对接检测装置
CN112721915A (zh) * 2020-12-25 2021-04-30 三一汽车制造有限公司 辅助停车方法、辅助停车装置、车辆和存储介质
CN113137067A (zh) * 2021-04-12 2021-07-20 中联重科股份有限公司 辅助对接装置及工程装备
US20210390870A1 (en) * 2020-06-16 2021-12-16 Honeywell International Inc. Docking guidance display methods and systems
CN114596264A (zh) * 2022-02-07 2022-06-07 中联重科股份有限公司 用于辅助对接的方法、装置和系统、对接方法及工程装备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106524946A (zh) * 2016-10-27 2017-03-22 西南科技大学 一种隔水管自动对接检测装置
US20210390870A1 (en) * 2020-06-16 2021-12-16 Honeywell International Inc. Docking guidance display methods and systems
CN112721915A (zh) * 2020-12-25 2021-04-30 三一汽车制造有限公司 辅助停车方法、辅助停车装置、车辆和存储介质
CN113137067A (zh) * 2021-04-12 2021-07-20 中联重科股份有限公司 辅助对接装置及工程装备
CN114596264A (zh) * 2022-02-07 2022-06-07 中联重科股份有限公司 用于辅助对接的方法、装置和系统、对接方法及工程装备

Also Published As

Publication number Publication date
CN114596264A (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
WO2023147743A1 (zh) 用于辅助对接的方法、装置和系统、对接方法及工程装备
CN102737236B (zh) 一种基于多模态传感器数据自动获取车辆训练样本方法
CN111046743B (zh) 一种障碍物信息标注方法、装置、电子设备和存储介质
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
CN112967344B (zh) 相机外参标定的方法、设备、存储介质及程序产品
CN111570975B (zh) 基于同步采图的焊接偏差测定方法、装置和自动焊接系统
CN110703760B (zh) 一种用于安防巡检机器人的新增可疑物体检测方法
CN109389085B (zh) 基于参数化曲线的唇语识别模型训练方法及装置
CN108564628A (zh) 一种面向掘进机自动化的截割头视觉定位定向系统
JP3560326B2 (ja) 物体追跡方法及び物体追跡装置
CN105787870A (zh) 一种图形图像拼接融合系统
CN105129295B (zh) 倒车控制方法、装置、系统及垃圾转运车
KR20150014311A (ko) 어라운드뷰 제공 장치, 방법 및 차량
JP5155204B2 (ja) 白線検出装置
TW202219823A (zh) 人體姿勢辨識系統、人體姿勢辨識方法以及非暫態電腦可讀取儲存媒體
JPH0948298A (ja) 走行路における対象物位置計測方法
JP4516554B2 (ja) 管内壁面画像展開システム
CN214786076U (zh) 辅助对接装置及工程装备
CN115953726A (zh) 机器视觉的集装箱箱面破损检测方法和系统
KR20170114523A (ko) Avm용 주행 자동 공차 보정 장치 및 방법
CN111899512B (zh) 结合天际线观测的车辆轨迹提取方法、系统及存储介质
JP2981382B2 (ja) パターンマッチング方法
JPH06199297A (ja) 駐機位置計測方法
CN113137067A (zh) 辅助对接装置及工程装备
CN107886472A (zh) 全景泊车系统的图像拼接校准方法和图像拼接校准装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22924670

Country of ref document: EP

Kind code of ref document: A1