WO2023025262A1 - 一种挖掘机运行模式切换的控制方法、装置和挖掘机 - Google Patents
一种挖掘机运行模式切换的控制方法、装置和挖掘机 Download PDFInfo
- Publication number
- WO2023025262A1 WO2023025262A1 PCT/CN2022/114963 CN2022114963W WO2023025262A1 WO 2023025262 A1 WO2023025262 A1 WO 2023025262A1 CN 2022114963 W CN2022114963 W CN 2022114963W WO 2023025262 A1 WO2023025262 A1 WO 2023025262A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- excavator
- positioning
- operation mode
- image
- visual
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000000007 visual effect Effects 0.000 claims abstract description 134
- 238000001514 detection method Methods 0.000 claims description 43
- 238000000605 extraction Methods 0.000 claims description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000011524 similarity measure Methods 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims 5
- 238000010586 diagram Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Definitions
- the invention relates to the technical field of excavators, in particular to a control method and device for switching operation modes of the excavator and the excavator.
- excavators are required for subway and road construction, and excavators play an extremely important role in construction projects.
- Common excavators include wheeled excavators and hydraulic excavators. Wheeled excavators have the advantages of fast walking speed, long-distance self-transition and quick replacement of various operating devices. Based on the advantages of the above-mentioned wheeled excavators, it is widely used in the excavation and removal of materials such as airport construction, port construction, oilfield exploitation, mine exploitation, and rapid repair.
- the purpose of the embodiment of the present invention is to provide a control method, device, excavator, computer equipment and storage medium for switching the operation mode of an excavator, so as to solve the above technical problems.
- the embodiment of the present application provides a method for controlling operation mode switching of an excavator, the method comprising:
- the visual positioning model for positioning the excavator, current environment information of the current environment where the excavator is located, the visual positioning model includes a first visual positioning sub-model based on monocular visual positioning, a binocular The second visual positioning sub-model of stereo vision positioning and the third visual positioning sub-model based on omnidirectional visual sensor positioning;
- the switching control instruction carries operation mode switching information, and the operation mode switching information is used to control the excavator to switch from the current operation mode to the target operating mode.
- the method also includes:
- Reading the target operating mode at least includes:
- the first target operation mode of deceleration operation the second target operation mode of stop operation, the third target operation mode of constant speed operation, the fourth target operation mode of acceleration operation and the fifth target operation mode of reverse direction operation.
- the excavator is positioned according to the visual positioning sub-model,
- the corresponding positioning information obtained includes:
- At least two first images for positioning the excavator are acquired by changing the position where the first photographing device is set, wherein the first photographing device is set at a first preset position of the excavator, so The first preset position is a first position where the global image of the excavator can be captured by the first photographing device;
- Stereo matching and positioning of the excavator are performed based on the first correspondence to obtain corresponding positioning information.
- the positioning of the excavator based on a plurality of first image matching feature points includes:
- the excavator is positioned according to the space pose parameters.
- the excavator is positioned according to the visual positioning sub-model , the corresponding positioning information obtained includes:
- any one of the second images is taken by a second photographing device arranged at a second preset position of the excavator
- Any one of the third images is taken by a third photographing device arranged at a third preset position of the excavator
- the second preset position is that the overall situation of the excavator can be photographed by the second photographing device.
- the second position of the image, the third preset position is a third position where the overall image of the excavator can be captured by the third shooting device;
- performing stereo matching based on the second correspondence, and obtaining corresponding matching results include:
- the similarity measure function value between the selected images is used as the measure of the similarity between features, and based on the preset threshold value, it is judged whether the matching between the selected images is successful, and the corresponding matching result is obtained.
- any one of the second images and any one of the third images are associated images having the same scene but having different shooting angles of view.
- the embodiment of the present application provides a control device for switching the operation mode of an excavator, and the device includes:
- An acquisition module configured to acquire a visual positioning model for positioning the excavator, current environment information of the current environment where the excavator is located, the visual positioning model includes a first visual positioning element based on monocular vision positioning model, the second visual positioning sub-model based on binocular stereo vision positioning, and the third visual positioning sub-model based on omnidirectional visual sensor positioning;
- a visual positioning sub-model determination module configured to determine the visual positioning used for positioning the excavator from multiple visual sub-models according to the current environment information of the current environment in which the excavator is acquired by the acquisition module. positioning submodel;
- the positioning module is used to locate the excavator by the visual positioning sub-model determined by the visual positioning sub-model determination module, and obtain corresponding positioning information, and the positioning information includes the position of the excavator at any moment coordinate information;
- a coordinate information acquisition module configured to acquire coordinate information of a preset work area, and position coordinate information of each boundary point of the preset work area;
- a target operation mode determination module configured to determine to switch from the current operation mode according to the positioning information determined by the determination module and each position coordinate information of each boundary point of the preset working area acquired by the coordinate information acquisition module to the target operating mode;
- a sending module configured to send a switch control instruction to the excavator according to the target operation mode determined by the target operation mode determination module, the switch control instruction carries operation mode switching information, and the operation mode switching information It is used to control the switching of the excavator from the current operation mode to the target operation mode.
- an embodiment of the present application provides an excavator, including the above-mentioned control device.
- the excavator further includes: a slewing body; a swing arm, which is arranged on the slewing body; a stick, which is set on the boom; a bucket, which is set with the stick superior.
- an embodiment of the present application provides a computer device, including a memory and a processor, where computer-readable instructions are stored in the memory, and when the computer-readable instructions are executed by the processor, the processor The method steps described above are carried out.
- the embodiments of the present application provide a storage medium storing computer-readable instructions.
- the computer-readable instructions are executed by one or more processors, the one or more processors execute the above method steps.
- the switching control instruction carries operation mode switching information, and the operation mode switching information is used to control the excavator to switch from the current operation mode to the target operation mode.
- the control method can accurately determine the visual positioning sub-model for positioning the excavator from multiple visual sub-models according to the current environment information of the current environment where the excavator is located, based on the The visual positioning sub-model accurately locates the excavator, obtains positioning information, and determines the target operating mode to switch from the current operating mode to according to the positioning information and each position coordinate information of each boundary point of the preset working area; in this way, it can be automated And intelligently control the excavator to switch from the current operation mode to the corresponding target operation mode to ensure that the excavator always works in the preset working area, effectively improving the safety of the excavator's work.
- FIG. 1 is an implementation environment diagram of a control method for switching an excavator operating mode provided in an embodiment
- Fig. 2 is a block diagram of the internal structure of computer equipment in an embodiment
- FIG. 3 is a schematic flowchart of a control method for switching an excavator operating mode provided by an embodiment of the present disclosure
- Fig. 4 is a schematic structural diagram of a control device for switching operation modes of an excavator provided by an embodiment of the present disclosure.
- FIG. 1 is an implementation environment diagram of an excavator operating mode switching control method provided in an embodiment. As shown in FIG. 1 , the implementation environment includes a computer device 110 and a terminal 120 .
- the terminal 120 and the computer device 110 may be smart phones, tablet computers, notebook computers, desktop computers, etc., but are not limited thereto.
- the computer device 110 and the terminal 110 can be connected through Bluetooth, USB (Universal Serial Bus, Universal Serial Bus) or other communication connection methods, and the present invention is not limited here.
- Fig. 2 is a schematic diagram of the internal structure of a computer device in an embodiment.
- the computer device includes a processor, a non-volatile storage medium, a memory and a network interface connected through a system bus.
- the non-volatile storage medium of the computer device stores an operating system, a database, and computer-readable instructions
- the database can store control information sequences, and when the computer-readable instructions are executed by the processor, the processor can realize a A control method for operating mode switching of an excavator.
- the processor of the computer equipment is used to provide computing and control capabilities and support the operation of the entire computer equipment.
- Computer-readable instructions may be stored in the memory of the computer device, and when the computer-readable instructions are executed by the processor, the processor may execute a control method for switching the operation mode of the excavator.
- the network interface of the computer device is used for connecting and communicating with the terminal.
- an embodiment of the present disclosure provides a control method for switching the operation mode of an excavator, and the control method for switching the operation mode of the excavator specifically includes the following method steps:
- the visual positioning model used for positioning the excavator and the current environment information of the current environment where the excavator is located.
- the visual positioning model includes a first visual positioning sub-model based on monocular vision positioning, a first visual positioning sub-model based on binocular stereo vision
- the second visual positioning sub-model and the third visual positioning sub-model based on omni-directional visual sensor positioning.
- the principle of monocular vision positioning adopted by the first visual positioning sub-model is to determine the position information of the target feature point according to the corresponding projection transformation relationship between the spatial target feature point and the image feature point.
- binocular stereo vision directly simulates the way that human eyes learn scene information, and uses two cameras with a certain distance and a certain angle to capture the scene information at the same time.
- One image, the aberration in the two images in the same space is obtained through the pixel point matching between the images, and then the three-dimensional coordinate value of the point is solved for positioning.
- the positioning method based on the omni-directional visual sensor adopted by the third visual positioning sub-model has a wider observation field and can obtain wide-angle and complete environmental information.
- S304 According to the current environment information of the current environment where the excavator is located, determine a visual positioning sub-model for positioning the excavator from multiple visual sub-models.
- the visual positioning sub-model for positioning the excavator can be determined from the above-mentioned multiple visual sub-models Position the submodel for the first visual.
- the visual model used for positioning the excavator can be determined from the above-mentioned multiple visual sub-models.
- the positioning sub-model is the second visual positioning sub-model.
- the visual model for positioning the excavator can be determined from the above-mentioned multiple visual sub-models.
- the positioning sub-model is the third visual positioning sub-model.
- S306 Position the excavator according to the visual positioning sub-model to obtain corresponding positioning information, and the positioning information includes position coordinate information of the excavator at any moment.
- positioning the excavator according to the visual positioning sub-model, and obtaining corresponding positioning information includes the following steps:
- At least two first images for positioning the excavator are obtained by changing the position where the first photographing device is set, wherein the first photographing device is set at a first preset position of the excavator, and the first preset position is passed through
- the first photographing device can photograph the first position of the global image of the excavator;
- Stereo matching and positioning of the excavator are performed based on the first corresponding relationship to obtain corresponding positioning information.
- locating the excavator based on multiple first image matching feature points includes the following steps:
- the excavator is positioned according to the spatial pose parameters.
- positioning the excavator according to the visual positioning sub-model, and obtaining the corresponding positioning information includes the following steps :
- any one of the second images is taken by a second shooting device arranged at a second preset position of the excavator, and any one of the third images
- the image is taken by the third camera set at the third preset position of the excavator
- the second preset position is the second position where the overall image of the excavator can be captured by the second camera device
- the third preset position is The third position of the global image of the excavator can be photographed by the third photographing device
- the depth image is determined based on the disparity image, and the excavator is positioned based on the depth image to obtain corresponding positioning information.
- performing stereo matching based on the second correspondence, and obtaining a corresponding matching result includes the following steps:
- the similarity measure function value between the selected images is used as the measure of the similarity between features, and based on the preset threshold value, it is judged whether the matching between the selected images is successful, and the corresponding matching result is obtained.
- any second image and any third image are related images having the same scene and different shooting angles.
- the binocular stereo vision positioning method may be based on feature points. Specifically as follows:
- the binocular vision positioning method based on feature points is to extract feature points from the regions of interest in the left and right camera images, and describe and match the extracted feature points for positioning. Selecting appropriate feature points for feature extraction directly affects the effect of stereo matching algorithms. Commonly used methods include Harris feature detection and SIFT feature detection.
- Harris's gray scale change measure takes a small window centered on the target pixel point, calculate the gray level change after the window moves in any direction, and set the small window centered on the pixel point (x, y) in the X direction Move u, move v in the Y direction, the operator expression of Harris's gray scale change measure is the following formula:
- the Harris feature detection algorithm has the advantages of small amount of calculation and invariant image noise.
- the essence of the SIFT feature detection algorithm is to find feature points in different scale spaces and calculate the direction of the feature points.
- the SIFT feature detection process is:
- Step a1 Extremum detection in scale space:
- the DoG response value image D(x,y, ⁇ ) obtained by subtracting the images of two adjacent Gaussian scale spaces; and then through the response value image D(x, y, ⁇ ) for non-maximum suppression, localizing blobs in position space and scale space.
- a point is compared with multiple surrounding points and multiple field points in the upper and lower layers, and the maximum and minimum values are determined, which determines that the point is a feature point of the image at this scale.
- Step a2 Determine the direction parameter of each feature point: use the gradient direction distribution characteristics of the neighborhood pixels of the feature point to specify the direction parameter for each feature point, so that the operator has rotation invariance.
- ⁇ (x,y) tan -1 ((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)) );
- m(x, y) is the modulus value of the gradient at (x, y)
- ⁇ (x, y) is the modulus direction of the gradient at (x, y)
- the scale used by L is the respective position of each feature point. scale.
- Step a3 Generate SIFT feature vectors:
- Each small cell represents a pixel in the scale space where the feature point neighborhood is located.
- Each pixel corresponds to a vector, the length For the Gaussian weight of the pixel, then calculate the gradient direction histogram of 8 directions on each 4x4 small block, and draw the cumulative value of each gradient direction.
- Step a4 feature matching: After determining the feature points of the image, find the correspondence between the feature points of the images.
- the nearest neighbor method is usually used to find the nearest neighbor of each feature point in another image, that is, since the feature points in the same part between the two images should have the same feature description vector, the distance between them Should be recent.
- the above-mentioned SIFT feature detection algorithm has a certain degree of stability to rotation, scaling, viewing angle changes, and noise, but its real-time performance is poor due to its high computational complexity.
- S308 Obtain coordinate information of the preset working area, and position coordinate information of each boundary point of the preset working area.
- S310 According to the positioning information and each location coordinate information of each boundary point of the preset working area, determine a target operation mode to switch from the current operation mode to.
- the target operation mode at least includes: the first target operation mode of deceleration operation, the second target operation mode of stop operation, the third target operation mode of constant speed operation, the fourth target operation mode of acceleration operation and the reverse operation mode.
- the above target operating modes operate in different application scenarios.
- the first target operating mode of deceleration operation can be applied to the following application scenarios:
- control method provided in the embodiment of the present application further includes the following steps:
- the target operation mode at least includes: the first target operation mode of deceleration operation, the second target operation mode of stop operation, the third target operation mode of constant speed operation, the fourth target operation mode of acceleration operation and the reverse direction Run the fifth target run mode.
- S312 Send a switching control instruction to the excavator according to the target operation mode, the switching control instruction carries operation mode switching information, and the operation mode switching information is used to control the excavator to switch from the current operation mode to the target operation mode.
- the switching control instruction carries operation mode switching information, and the operation mode switching information is used to control the excavator to switch from the current operation mode to the target operation mode.
- the control method can accurately determine the visual positioning sub-model for positioning the excavator from multiple visual sub-models according to the current environment information of the current environment where the excavator is located, based on the The visual positioning sub-model accurately locates the excavator, obtains positioning information, and determines the target operating mode to switch from the current operating mode to according to the positioning information and each position coordinate information of each boundary point of the preset working area; in this way, it can be automated And intelligently control the excavator to switch from the current operation mode to the corresponding target operation mode to ensure that the excavator always works in the preset working area, effectively improving the safety of the excavator's work.
- control device for switching the operating mode of the excavator of the present invention which can be used to implement an embodiment of the control method for switching the operating mode of the excavator of the present invention.
- control method for switching the operating mode of the excavator of the present invention please refer to the embodiment of the control method for switching the operating mode of the excavator of the present invention.
- FIG. 4 shows a schematic structural diagram of a control device for switching operation modes of an excavator provided by an exemplary embodiment of the present invention.
- the control device for switching the operation mode of the excavator can be implemented as all or a part of the terminal through software, hardware or a combination of the two.
- the control device for switching the operation mode of the excavator includes an acquisition module 401 , a visual positioning sub-model determination module 402 , a positioning module 403 , a coordinate information acquisition module 404 , a target operation mode determination module 405 and a sending module 406 .
- the acquiring module 401 is configured to acquire a visual positioning model for positioning the excavator and current environment information of the current environment in which the excavator is located.
- the visual positioning model includes a first visual positioning sub-model based on monocular visual positioning , the second visual positioning sub-model based on binocular stereo vision positioning and the third visual positioning sub-model based on omnidirectional visual sensor positioning;
- the visual positioning sub-model determination module 402 is used to determine the visual positioning sub-model for positioning the excavator from a plurality of visual sub-models according to the current environment information of the current environment where the excavator is acquired by the acquisition module 401;
- the positioning module 403 is used to locate the excavator by the visual positioning sub-model determined by the visual positioning sub-model determination module 402, and obtain corresponding positioning information, and the positioning information includes position coordinate information of the excavator at any moment;
- a coordinate information acquiring module 404 configured to acquire coordinate information of the preset work area, and position coordinate information of each boundary point of the preset work area;
- the target operation mode determination module 405 is used to determine the target operation mode to switch from the current operation mode to according to the positioning information determined by the determination module and each position coordinate information of each boundary point of the preset working area acquired by the coordinate information acquisition module 404;
- the sending module 406 is configured to send a switch control instruction to the excavator according to the target operation mode determined by the target operation mode determination module 405.
- the switch control instruction carries operation mode switching information, and the operation mode switching information is used to control the excavator from the current operation mode to the excavator. The mode switches to the target operating mode.
- the device also includes:
- the reading module (not shown in Figure 4) is used to read the target operating mode, and the target operating mode read by the reading module at least includes: the first target operating mode of deceleration operation, the second target operating mode of stop operation , the third target operation mode of constant speed operation, the fourth target operation mode of acceleration operation and the fifth target operation mode of reverse direction operation.
- the positioning module 403 is specifically used to:
- At least two first images for positioning the excavator are obtained by changing the position where the first photographing device is set, wherein the first photographing device is set at a first preset position of the excavator, and the first preset position is passed through
- the first photographing device can photograph the first position of the global image of the excavator;
- Stereo matching and positioning of the excavator are performed based on the first corresponding relationship to obtain corresponding positioning information.
- the positioning module 403 is specifically used for:
- the excavator is positioned according to the spatial pose parameters.
- the positioning module 403 is specifically used for:
- any one of the second images is taken by a second shooting device arranged at a second preset position of the excavator, and any one of the third images
- the image is taken by the third camera set at the third preset position of the excavator
- the second preset position is the second position where the overall image of the excavator can be captured by the second camera device
- the third preset position is The third position of the global image of the excavator can be photographed by the third photographing device
- the depth image is determined based on the disparity image, and the excavator is positioned based on the depth image to obtain corresponding positioning information.
- the positioning module 403 is specifically used for:
- the similarity measure function value between the selected images is used as the measure of the similarity between features, and based on the preset threshold value, it is judged whether the matching between the selected images is successful, and the corresponding matching result is obtained.
- any one of the second images and any one of the third images are related images having the same scene and different shooting angles of view.
- control device for switching the excavator operation mode executes the control method for switching the excavator operation mode, it only uses the division of the above-mentioned functional modules for illustration.
- the above function allocation is completed by different functional modules, that is, the internal structure of the device is divided into different functional modules, so as to complete all or part of the functions described above.
- the control device for switching the excavator operating mode provided by the above embodiment and the embodiment of the control method for switching the excavator operating mode belong to the same concept, and its implementation process is detailed in the embodiment of the control method for switching the excavator operating mode, which will not be repeated here repeat.
- the target operation mode determination module is used to determine the switching from the current operation mode to The target operation mode; and the sending module is used to send the switching control instruction to the excavator according to the target operation mode determined by the target operation mode determination module, the switching control instruction carries operation mode switching information, and the operation mode switching information is used to control the excavator from The current operating mode is switched to the target operating mode.
- the control device can accurately determine the visual positioning sub-model for positioning the excavator from multiple visual sub-models according to the current environment information of the current environment where the excavator is located, based on the The visual positioning sub-model accurately locates the excavator, obtains positioning information, and determines the target operating mode to switch from the current operating mode to according to the positioning information and each position coordinate information of each boundary point of the preset working area; in this way, it can be automated And intelligently control the excavator to switch from the current operation mode to the corresponding target operation mode to ensure that the excavator always works in the preset working area, effectively improving the safety of the excavator's work.
- an excavator in one embodiment, includes the above control device, and also includes a revolving body; a swing arm, which is arranged on the revolving body; with stick on.
- the description of the control device refer to the description of the same or similar parts above, and no more details are given here.
- a computer device includes a memory, a processor, and a computer program stored on the memory and operable on the processor.
- the processor executes the computer program, the following steps are implemented: obtaining the The visual positioning model for positioning the excavator, the current environment information of the current environment where the excavator is located, the visual positioning model includes the first visual positioning sub-model based on monocular visual positioning, and the second visual positioning sub-model based on binocular stereo vision positioning and the third visual positioning sub-model based on omnidirectional visual sensor positioning; according to the current environment information of the current environment where the excavator is located, determine the visual positioning sub-model for positioning the excavator from multiple visual sub-models; according to the visual The positioning sub-model locates the excavator and obtains the corresponding positioning information.
- the positioning information includes the position coordinate information of the excavator at any moment; obtains the coordinate information of the preset work area, and the positions of each boundary point of the preset work area Coordinate information; according to the positioning information and each position coordinate information of each boundary point of the preset working area, determine the target operation mode to switch from the current operation mode to; and send a switching control command to the excavator according to the target operation mode.
- a storage medium storing computer-readable instructions.
- the computer-readable instructions When executed by one or more processors, the computer-readable instructions cause the one or more processors to perform the following steps: The visual positioning model for positioning the excavator, the current environment information of the current environment where the excavator is located, the visual positioning model includes the first visual positioning sub-model based on monocular visual positioning, and the second visual positioning sub-model based on binocular stereo vision positioning and the third visual positioning sub-model based on omnidirectional visual sensor positioning; according to the current environment information of the current environment where the excavator is located, determine the visual positioning sub-model for positioning the excavator from multiple visual sub-models; according to the visual The positioning sub-model locates the excavator and obtains the corresponding positioning information.
- the positioning information includes the position coordinate information of the excavator at any moment; obtains the coordinate information of the preset work area, and the positions of each boundary point of the preset work area Coordinate information; according to the positioning information and each position coordinate information of each boundary point of the preset working area, determine the target operation mode to switch from the current operation mode to; and send a switching control command to the excavator according to the target operation mode.
- the aforementioned storage medium may be a nonvolatile storage medium such as a magnetic disk, an optical disk, a read-only memory (Read-Only Memory, ROM), or a random access memory (Random Access Memory, RAM).
Abstract
本发明公开了一种挖掘机运行模式切换的控制方法、装置、挖掘机、计算机设备和存储介质，所述方法包括：根据定位信息和预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；以及根据目标运行模式，向挖掘机发送切换控制指令。因此，采用本申请实施例，由于该控制方法能够精准地从多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型，基于该视觉定位子模型对挖掘机进行精准定位，得到定位信息，以及根据定位信息和预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；这样，可以自动化且智能地控制挖掘机从当前运行模式切换至对应的目标运行模式。
Description
本发明涉及挖掘机技术领域，特别涉及一种挖掘机运行模式切换的控制方法、装置和挖掘机。
随着工程技术的发展，例如，地铁、道路建设均需要使用挖掘机，挖掘机在施工项目中具有极其重要的作用。常见的挖掘机包括轮式挖掘机和液压挖掘机。轮式挖掘机具有行走速度快、且能远距离自行转场及可快速更换多种作业装置的优点。基于上述轮式挖掘机的优势，其广泛应用于机场创建、港口创建、油田开采、矿山开采、快速抢修等物料挖掘以及搬移过程中。
在挖掘机的施工过程中，容易因为操作挖掘机的司机的视野范围有限，或者其视野受到遮挡，发生误操作，损坏挖掘机施工现场的周边设施，造成经济损失，甚至造成人员伤亡。
现有的挖掘机控制方法，需要有驾驶挖掘机经验的司机进行人工驾驶和操作，无法做到对挖掘机的自动且智能操作，更加无法做到：为挖掘机配置多种运行模式，并自动且智能地控制挖掘机在多种运行模式之间自如切换。
发明内容
本发明实施例的目的在于提供一种挖掘机运行模式切换的控制方法、装置、挖掘机、计算机设备和存储介质，以解决上述技术问题。
第一方面，本申请实施例提供了一种一种挖掘机运行模式切换的控制方法，所述方法包括：
获取用于对所述挖掘机进行定位的视觉定位模型、所述挖掘机所处当前环境的当前环境信息，所述视觉定位模型包括基于单目视觉定位的第一视觉定位子模型、基于双目立体视觉定位的第二视觉定位子模型和基于全方位视觉传感器定位的第三视觉定位子模型；
根据所述挖掘机所处当前环境的所述当前环境信息，从多个视觉子模型中确 定用于对所述挖掘机进行定位的视觉定位子模型；
根据所述视觉定位子模型对所述挖掘机进行定位，得到对应的定位信息，所述定位信息包括所述挖掘机的任意一个时刻的位置坐标信息；
获取预设工作区域的坐标信息，以及所述预设工作区域的各个边界点的各个位置坐标信息；
根据所述定位信息和所述预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；
根据所述目标运行模式，向所述挖掘机发送切换控制指令，所述切换控制指令中携带有运行模式切换信息，所述运行模式切换信息用于控制所述挖掘机从所述当前运行模式切换至所述目标运行模式。
在一种实施方式中，所述方法还包括：
读取所述目标运行模式，所述目标运行模式至少包括：
减速运行的第一目标运行模式、停止运行的第二目标运行模式、匀速运行的第三目标运行模式、加速运行的第四目标运行模式和反方向运行的第五目标运行模式。
在一种实施方式中，在所述视觉定位子模型为所述基于单目视觉定位的所述第一视觉定位子模型时，所述根据所述视觉定位子模型对所述挖掘机进行定位，得到对应的定位信息包括：
通过改变设置第一拍摄装置的位置，获取用于对所述挖掘机进行定位的至少两张第一图像，其中，所述第一拍摄装置设置于所述挖掘机的第一预设位置，所述第一预设位置为通过所述第一拍摄装置能够拍摄到所述挖掘机全局图像的第一位置；
分别对任意一个第一图像进行预处理，得到对应的预处理后的第一图像；
对每一个预处理后的第一图像进行目标检测，提取并确定所述挖掘机的第一检测区域；
在所述挖掘机的所述第一检测区域进行特征提取，得到多个第一图像匹配特征点；
将选取的多个第一图像匹配特征点间建立特征之间的第一对应关系；
基于所述第一对应关系进行立体匹配和对所述挖掘机进行定位，得到对应的 定位信息。
在一种实施方式中，所述基于多个第一图像匹配特征点对所述挖掘机进行定位包括：
获取所述挖掘机的空间物点与所成像点的投影几何变换关系；
基于多个第一图像匹配特征点和所述投影几何变换关系，确定所述第一拍摄装置的第一坐标系和所述挖掘机的第二坐标系的空间位姿参数；
根据所述空间位姿参数对所述挖掘机进行定位。
在一种实施方式中，在所述视觉定位子模型为所述基于双目立体视觉定位的所述第二视觉定位子模型时，所述根据所述视觉定位子模型对所述挖掘机进行定位，得到对应的定位信息包括：
获取用于对所述挖掘机进行定位的多个第二图像和多个第三图像，任意一个第二图像为由设置于所述挖掘机的第二预设位置的第二拍摄装置拍摄的，任意一个第三图像为由设置于所述挖掘机的第三预设位置的第三拍摄装置拍摄的，所述第二预设位置为通过所述第二拍摄装置能够拍摄到所述挖掘机全局图像的第二位置，所述第三预设位置为通过所述第三拍摄装置能够拍摄到所述挖掘机全局图像的第三位置；
分别对任意一个第二图像和任意一个第三图像进行预处理，得到对应的预处理后的第二图像和对应的预处理后的第三图像；
分别对任意一个预处理后的第二图像和任意一个预处理后的第三图像进行目标检测，提取并确定所述挖掘机的第二检测区域和第三检测区域；
在所述第二检测区域进行特征提取，得到多个第二图像匹配特征点；以及在所述第三检测区域进行特征提取，得到多个第三图像匹配特征点；
将从多个第二图像匹配特征点选取的第二图像匹配特征点和从多个第三图像匹配特征点选取的第三图像匹配特征点建立特征之间的第二对应关系；
基于所述第二对应关系进行立体匹配，得到对应的匹配结果；
基于所述匹配结果得到对应的视差图像；
基于所述视差图像确定深度图像，并基于所述深度图像对所述挖掘机进行定位，得到对应的定位信息。
在一种实施方式中，所述基于所述第二对应关系进行立体匹配，得到对应的 匹配结果包括：
基于所述第二对应关系，选取对应的匹配基元；
根据所述匹配基元确定对应的特征提取算法；
基于所述特征提取算法对选取的第二图像和选取的第三图像均进行特征提取，提取出相应的图像特征，并对图像特征进行优化，得到优化后的图像特征；
对所述优化后的图像特征进行描述，生成对应的特征描述子；
以选取的图像两两之间的相似性度量函数值作为特征间相似性的度量，并基于预设阈值判断选取的图像两两之间是否匹配成功，得到对应的匹配结果。
在一种实施方式中，任意一个第二图像和任意一个第三图像之间为具有相同场景、且具有不同拍摄视角的关联图像。
第二方面，本申请实施例提供了一种挖掘机运行模式切换的控制装置，所述装置包括：
获取模块，用于获取用于对所述挖掘机进行定位的视觉定位模型、所述挖掘机所处当前环境的当前环境信息，所述视觉定位模型包括基于单目视觉定位的第一视觉定位子模型、基于双目立体视觉定位的第二视觉定位子模型和基于全方位视觉传感器定位的第三视觉定位子模型；
视觉定位子模型确定模块，用于根据所述获取模块获取的所述挖掘机所处当前环境的所述当前环境信息，从多个视觉子模型中确定用于对所述挖掘机进行定位的视觉定位子模型；
定位模块，用于所述视觉定位子模型确定模块确定的所述视觉定位子模型对所述挖掘机进行定位，得到对应的定位信息，所述定位信息包括所述挖掘机的任意一个时刻的位置坐标信息；
坐标信息获取模块，用于获取预设工作区域的坐标信息，以及所述预设工作区域的各个边界点的各个位置坐标信息；
目标运行模式确定模块，用于根据所述确定模块确定的所述定位信息和所述坐标信息获取模块获取的所述预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；
发送模块，用于根据所述目标运行模式确定模块确定的所述目标运行模式，向所述挖掘机发送切换控制指令，所述切换控制指令中携带有运行模式切换信息， 所述运行模式切换信息用于控制所述挖掘机从所述当前运行模式切换至所述目标运行模式。
第三方面，本申请实施例提供一种挖掘机，包括如上所述的控制装置。
在一种可能的实现方式中，所述挖掘机还包括：回转体；动臂，设置于所述回转体上；斗杆，设置于所述动臂上；铲斗，设置与所述斗杆上。
第四方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述的方法步骤。
第五方面，本申请实施例提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，根据定位信息和预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；以及根据目标运行模式，向挖掘机发送切换控制指令，切换控制指令中携带有运行模式切换信息，运行模式切换信息用于控制挖掘机从当前运行模式切换至目标运行模式。因此，采用本申请实施例，由于该控制方法能够根据挖掘机所处当前环境的当前环境信息，精准地从多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型，基于该视觉定位子模型对挖掘机进行精准定位，得到定位信息，以及根据定位信息和预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；这样，可以自动化且智能地控制挖掘机从当前运行模式切换至对应的目标运行模式，以确保挖掘机始终在预设工作区域内工作，有效地提高了挖掘机工作的安全性。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为一个实施例中提供的挖掘机运行模式切换的控制方法的实施环境图；
图2为一个实施例中计算机设备的内部结构框图；
图3是本公开实施例提供的一种挖掘机运行模式切换的控制方法的流程示意图；
图4是本公开实施例提供的一种挖掘机运行模式切换的控制装置的结构示意图。
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面结合附图详细说明本公开的可选实施例。
图1为一个实施例中提供的一种挖掘机运行模式切换的控制方法的实施环境图，如图1所示，在该实施环境中，包括计算机设备110以及终端120。
需要说明的是，终端120以及计算机设备110可为智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。计算机设备110以及终端110可以通过蓝牙、USB(Universal Serial Bus，通用串行总线)或者其他通讯连接方式进行连接，本发明在此不做限制。
图2为一个实施例中计算机设备的内部结构示意图。如图2所示，该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种挖掘机运行模式切换的控制方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种挖掘机运行模式切换的控制方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定， 具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
如图3所示，本公开实施例提供一种挖掘机运行模式切换的控制方法，该挖掘机运行模式切换的控制方法具体包括以下方法步骤：
S302：获取用于对挖掘机进行定位的视觉定位模型、挖掘机所处当前环境的当前环境信息，视觉定位模型包括基于单目视觉定位的第一视觉定位子模型、基于双目立体视觉定位的第二视觉定位子模型和基于全方位视觉传感器定位的第三视觉定位子模型。
在本申请实施例中，第一视觉定位子模型所采用的单目视觉定位的原理是：根据空间目标特征点与图像特征点之间的对应投影变换关系，确定目标特征点位置信息。
第二视觉定位子模型所采用的双目立体视觉定位的原理是：双目立体视觉直接模拟人类双眼获悉场景信息的方式，利用两个有一定间距、成一定角度的摄像机，同时分别摄取场景中的一幅图像，通过图像间的像素点匹配获得同一空间的在两幅图像中的像差，进而解算该点的三维坐标值来进行定位。
第三视觉定位子模型所采用的基于全方位视觉传感器定位的方法相比上述两种定位方法具有观察视野广，能够获得广角且完整的环境信息。
S304：根据挖掘机所处当前环境的当前环境信息，从多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型。
在本申请实施例中，在挖掘机所处当前环境简单、且对定位结果的精度要求不高时，则可以从上述多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型为第一视觉定位子模型。
又例如，在挖掘机所处当前环境复杂、预设工作区域面积较小、且对定位结果的精度要求高时，则可以从上述多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型为第二视觉定位子模型。
再者，在挖掘机所处当前环境复杂、预设工作区域面积较大、且对定位结果的精度要求高时，则可以从上述多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型为第三视觉定位子模型。
S306：根据视觉定位子模型对挖掘机进行定位，得到对应的定位信息，定位 信息包括挖掘机的任意一个时刻的位置坐标信息。
在一种可能的实现方式中，在视觉定位子模型为基于单目视觉定位的第一视觉定位子模型时，根据视觉定位子模型对挖掘机进行定位，得到对应的定位信息包括以下步骤：
通过改变设置第一拍摄装置的位置，获取用于对挖掘机进行定位的至少两张第一图像，其中，第一拍摄装置设置于挖掘机的第一预设位置，第一预设位置为通过第一拍摄装置能够拍摄到挖掘机全局图像的第一位置；
分别对任意一个第一图像进行预处理，得到对应的预处理后的第一图像；
对每一个预处理后的第一图像进行目标检测，提取并确定挖掘机的第一检测区域；
在挖掘机的第一检测区域进行特征提取，得到多个第一图像匹配特征点；
将选取的多个第一图像匹配特征点间建立特征之间的第一对应关系；
基于第一对应关系进行立体匹配和对挖掘机进行定位，得到对应的定位信息。
在一种可能的实现方式中，基于多个第一图像匹配特征点对挖掘机进行定位包括以下步骤：
获取挖掘机的空间物点与所成像点的投影几何变换关系；
基于多个第一图像匹配特征点和投影几何变换关系，确定第一拍摄装置的第一坐标系和挖掘机的第二坐标系的空间位姿参数；
根据空间位姿参数对挖掘机进行定位。
在另一种可能的实现方式中，在视觉定位子模型为基于双目立体视觉定位的第二视觉定位子模型时，根据视觉定位子模型对挖掘机进行定位，得到对应的定位信息包括以下步骤：
获取用于对挖掘机进行定位的多个第二图像和多个第三图像，任意一个第二图像为由设置于挖掘机的第二预设位置的第二拍摄装置拍摄的，任意一个第三图像为由设置于挖掘机的第三预设位置的第三拍摄装置拍摄的，第二预设位置为通过第二拍摄装置能够拍摄到挖掘机全局图像的第二位置，第三预设位置为通过第三拍摄装置能够拍摄到挖掘机全局图像的第三位置；
分别对任意一个第二图像和任意一个第三图像进行预处理，得到对应的预处理后的第二图像和对应的预处理后的第三图像；
分别对任意一个预处理后的第二图像和任意一个预处理后的第三图像进行目标检测，提取并确定挖掘机的第二检测区域和第三检测区域；
在第二检测区域进行特征提取，得到多个第二图像匹配特征点；以及在第三检测区域进行特征提取，得到多个第三图像匹配特征点；
将从多个第二图像匹配特征点选取的第二图像匹配特征点和从多个第三图像匹配特征点选取的第三图像匹配特征点建立特征之间的第二对应关系；
基于第二对应关系进行立体匹配，得到对应的匹配结果；
基于匹配结果得到对应的视差图像；
基于视差图像确定深度图像，并基于深度图像对挖掘机进行定位，得到对应的定位信息。
在一种可能的实现方式中，基于第二对应关系进行立体匹配，得到对应的匹配结果包括以下步骤：
基于第二对应关系，选取对应的匹配基元；
根据匹配基元确定对应的特征提取算法；
基于特征提取算法对选取的第二图像和选取的第三图像均进行特征提取，提取出相应的图像特征，并对图像特征进行优化，得到优化后的图像特征；
对优化后的图像特征进行描述，生成对应的特征描述子；
以选取的图像两两之间的相似性度量函数值作为特征间相似性的度量，并基于预设阈值判断选取的图像两两之间是否匹配成功，得到对应的匹配结果。
在本申请实施例中，任意一个第二图像和任意一个第三图像之间为具有相同场景、且具有不同拍摄视角的关联图像。
在本申请实施例提供的控制方法中，双目立体视觉定位方法可以基于特征点。具体如下所述：
基于特征点的双目视觉定位方法是对左右摄像机图像的感兴趣区域提取特征点，并对所提取的特征点进行描述和匹配以用于定位。选取恰当的特征点进行特征提取直接影响立体匹配算法的效果，常用的方法有Harris特征检测和SIFT特征检测。
1)Harris特征检测：
Harris特征检测算法的原理为：取以目标像素点为中心的一个小窗口，计算 窗口沿任何方向移动后的灰度变化，设以像素点(x，y)为中心的小窗口在X方向上移动u，Y方向上移动v，Harris的灰度变化度量的算子表达式为如下公式：
该Harris特征检测算法具有计算量小、图像噪点各向不变的优点。
2)SIFT特征检测：
SIFT特征检测算法的实质是在不同的尺度空间上查找特征点，并计算出该特征点的方向。
SIFT特征检测过程为：
步骤a1：尺度空间极值检测：
对于二维图像I(x,y)，在不同尺度下的尺度空间表示成一个函数L(x,y,σ)，它是由一个变尺度的高斯函数G(x,y,σ)与图像的I(x,y)卷积产生的，具体如下式所示：
其中，
标示在x和y方向上进行卷积计算，而G(x,y,σ)为：
在某一个尺度上对斑点的检测，通过将两个相邻高斯尺度空间的图像相减所得到的DoG的响应值图像D(x,y,σ)；然后通过对响应值图像D(x,y,σ)进行非最大值抑制，在位置空间和尺度空间中定位斑点。
一个点与周围多个点及上下层的多个领域点进行比较，确定最大值和最小值，就确定了该点是图像在该尺度下的一个特征点。
步骤a2：确定每个特征点的方向参数：利用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数，使算子具备旋转不变性。
θ(x,y)＝tan
-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))；
其中，m(x,y)为(x,y)处梯度的模值，θ(x,y)为(x,y)处梯度的模方向，L所用的尺度为每个特征点各自所在的尺度。
步骤a3：生成SIFT特征向量：
以特征点为中心取8x8的窗口。每个小格代表特征点邻域所在尺度空间的一个像素，利用上述公式求得每个像素的梯度幅值与梯度方向，然后用高斯窗口对其进行加权运算，每个像素对应一个向量，长度为该像素点的高斯权值，然后在每4x4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值。
步骤a4：特征匹配：在确定出图像的特征点后，寻找图像间特征点的对应关系。通常采用最近邻方法，即查找每一个特征点在另外一幅图像中的最近邻，即：由于两幅图像之间相同部分的特征点应该具有相同的特征描述向量，因此，它们之间的距离应该最近。
上述SIFT特征检测算法对旋转、尺度缩放、以及对视角变化、噪声具有一定程度的稳定性，但因其计算复杂度较高而导致实时性差。
S308：获取预设工作区域的坐标信息，以及预设工作区域的各个边界点的各个位置坐标信息。
S310：根据定位信息和预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式。
在本申请实施例中，目标运行模式至少包括：减速运行的第一目标运行模式、停止运行的第二目标运行模式、匀速运行的第三目标运行模式、加速运行的第四目标运行模式和反方向运行的第五目标运行模式。
上述仅仅罗列了常见的目标运行模式，还可以根据不同应用场景的需求，设置其它的目标运行模式，在此不再赘述。
上述目标运行模式运行在不同的应用场景中，例如，减速运行的第一目标运行模式可以应用于如下应用场景：
将定位信息中的挖掘机的任意一个时刻的位置坐标信息和预设工作区域的各个边界点的各个位置坐标信息进行比较和预测，在预测出该挖掘机在预设时刻 会超出预设工作区域的任意一个边界点，则会根据当前挖掘机所处的位置坐标和可能会超出的某一个边界点的坐标，计算二者之间的距离S，并实时检测出挖掘机当前工作模式下的运行速度V，这样，就可以根据S和V，预测出该挖掘机至少以怎样的临界加速度a做减速运动，直至至少能够顺利停在该预设工作区域的边界点上，以确保该挖掘机始终在预设工作区域内工作，就能够大大地提高挖掘机工作的安全性。
上述仅仅是示例，上述其它目标运行模式跟上述目标运行模式类似，在此不再赘述，只要确保该挖掘机始终在预设工作区域内工作，能够大大地提高挖掘机工作的安全性。
在一种可能的实现方式中，本申请实施例提供的控制方法还包括以下步骤：
读取目标运行模式，目标运行模式至少包括：减速运行的第一目标运行模式、停止运行的第二目标运行模式、匀速运行的第三目标运行模式、加速运行的第四目标运行模式和反方向运行的第五目标运行模式。
基于上述各个目标运行模式的描述，参见前述相同或相似部分的描述，在此不再赘述。
S312：根据目标运行模式，向挖掘机发送切换控制指令，切换控制指令中携带有运行模式切换信息，运行模式切换信息用于控制挖掘机从当前运行模式切换至目标运行模式。基于上述各个目标运行模式的描述，参见前述相同或相似部分的描述，在此不再赘述。
在本公开实施例中，根据定位信息和预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；以及根据目标运行模式，向挖掘机发送切换控制指令，切换控制指令中携带有运行模式切换信息，运行模式切换信息用于控制挖掘机从当前运行模式切换至目标运行模式。因此，采用本申请实施例，由于该控制方法能够根据挖掘机所处当前环境的当前环境信息，精准地从多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型，基于该视觉定位子模型对挖掘机进行精准定位，得到定位信息，以及根据定位信息和预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；这样，可以自动化且智能地控制挖掘机从当前运行模式切换至对应的目标运行模式，以确保挖掘机始终在预设工作区域内工作，有效地提高了挖掘 机工作的安全性。
下述为本发明挖掘机运行模式切换的控制装置实施例，可以用于执行本发明挖掘机运行模式切换的控制方法实施例。对于本发明挖掘机运行模式切换的控制装置实施例中未披露的细节，请参照本发明挖掘机运行模式切换的控制方法实施例。
请参见图4，其示出了本发明一个示例性实施例提供的挖掘机运行模式切换的控制装置的结构示意图。该挖掘机运行模式切换的控制装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该挖掘机运行模式切换的控制装置包括获取模块401、视觉定位子模型确定模块402、定位模块403、坐标信息获取模块404、目标运行模式确定模块405和发送模块406。
具体而言，获取模块401，用于获取用于对挖掘机进行定位的视觉定位模型、挖掘机所处当前环境的当前环境信息，视觉定位模型包括基于单目视觉定位的第一视觉定位子模型、基于双目立体视觉定位的第二视觉定位子模型和基于全方位视觉传感器定位的第三视觉定位子模型；
视觉定位子模型确定模块402，用于根据获取模块401获取的挖掘机所处当前环境的当前环境信息，从多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型；
定位模块403，用于视觉定位子模型确定模块402确定的视觉定位子模型对挖掘机进行定位，得到对应的定位信息，定位信息包括挖掘机的任意一个时刻的位置坐标信息；
坐标信息获取模块404，用于获取预设工作区域的坐标信息，以及预设工作区域的各个边界点的各个位置坐标信息；
目标运行模式确定模块405，用于根据确定模块确定的定位信息和坐标信息获取模块404获取的预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；
发送模块406，用于根据目标运行模式确定模块405确定的目标运行模式，向挖掘机发送切换控制指令，切换控制指令中携带有运行模式切换信息，运行模式切换信息用于控制挖掘机从当前运行模式切换至目标运行模式。
可选的，所述装置还包括：
读取模块(在图4中未示出)，用于读取目标运行模式，读取模块读取的目标运行模式至少包括：减速运行的第一目标运行模式、停止运行的第二目标运行模式、匀速运行的第三目标运行模式、加速运行的第四目标运行模式和反方向运行的第五目标运行模式。
可选的，在视觉定位子模型为基于单目视觉定位的第一视觉定位子模型时，定位模块403具体用于：
通过改变设置第一拍摄装置的位置，获取用于对挖掘机进行定位的至少两张第一图像，其中，第一拍摄装置设置于挖掘机的第一预设位置，第一预设位置为通过第一拍摄装置能够拍摄到挖掘机全局图像的第一位置；
分别对任意一个第一图像进行预处理，得到对应的预处理后的第一图像；
对每一个预处理后的第一图像进行目标检测，提取并确定挖掘机的第一检测区域；
在挖掘机的第一检测区域进行特征提取，得到多个第一图像匹配特征点；
将选取的多个第一图像匹配特征点间建立特征之间的第一对应关系；
基于第一对应关系进行立体匹配和对挖掘机进行定位，得到对应的定位信息。
可选的，定位模块403具体用于：
获取挖掘机的空间物点与所成像点的投影几何变换关系；
基于多个第一图像匹配特征点和投影几何变换关系，确定第一拍摄装置的第一坐标系和挖掘机的第二坐标系的空间位姿参数；
根据空间位姿参数对挖掘机进行定位。
可选的，在视觉定位子模型为基于双目立体视觉定位的第二视觉定位子模型时，定位模块403具体用于：
获取用于对挖掘机进行定位的多个第二图像和多个第三图像，任意一个第二图像为由设置于挖掘机的第二预设位置的第二拍摄装置拍摄的，任意一个第三图像为由设置于挖掘机的第三预设位置的第三拍摄装置拍摄的，第二预设位置为通过第二拍摄装置能够拍摄到挖掘机全局图像的第二位置，第三预设位置为通过第三拍摄装置能够拍摄到挖掘机全局图像的第三位置；
分别对任意一个第二图像和任意一个第三图像进行预处理，得到对应的预处理后的第二图像和对应的预处理后的第三图像；
分别对任意一个预处理后的第二图像和任意一个预处理后的第三图像进行目标检测，提取并确定挖掘机的第二检测区域和第三检测区域；
在第二检测区域进行特征提取，得到多个第二图像匹配特征点；以及在第三检测区域进行特征提取，得到多个第三图像匹配特征点；
将从多个第二图像匹配特征点选取的第二图像匹配特征点和从多个第三图像匹配特征点选取的第三图像匹配特征点建立特征之间的第二对应关系；
基于第二对应关系进行立体匹配，得到对应的匹配结果；
基于匹配结果得到对应的视差图像；
基于视差图像确定深度图像，并基于深度图像对挖掘机进行定位，得到对应的定位信息。
可选的，定位模块403具体用于：
基于第二对应关系，选取对应的匹配基元；
根据匹配基元确定对应的特征提取算法；
基于特征提取算法对选取的第二图像和选取的第三图像均进行特征提取，提取出相应的图像特征，并对图像特征进行优化，得到优化后的图像特征；
对优化后的图像特征进行描述，生成对应的特征描述子；
以选取的图像两两之间的相似性度量函数值作为特征间相似性的度量，并基于预设阈值判断选取的图像两两之间是否匹配成功，得到对应的匹配结果。
可选的，任意一个第二图像和任意一个第三图像之间为具有相同场景、且具有不同拍摄视角的关联图像。
需要说明的是，上述实施例提供的挖掘机运行模式切换的控制装置在执行挖掘机运行模式切换的控制方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的挖掘机运行模式切换的控制装置与挖掘机运行模式切换的控制方法实施例属于同一构思，其体现实现过程详见挖掘机运行模式切换的控制方法实施例，这里不再赘述。
在本公开实施例中，目标运行模式确定模块用于根据确定模块确定的定位信息和坐标信息获取模块获取的预设工作区域的各个边界点的各个位置坐标信息， 确定从当前运行模式切换至的目标运行模式；以及发送模块用于根据目标运行模式确定模块确定的目标运行模式，向挖掘机发送切换控制指令，切换控制指令中携带有运行模式切换信息，运行模式切换信息用于控制挖掘机从当前运行模式切换至目标运行模式。因此，采用本申请实施例，由于该控制装置能够根据挖掘机所处当前环境的当前环境信息，精准地从多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型，基于该视觉定位子模型对挖掘机进行精准定位，得到定位信息，以及根据定位信息和预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；这样，可以自动化且智能地控制挖掘机从当前运行模式切换至对应的目标运行模式，以确保挖掘机始终在预设工作区域内工作，有效地提高了挖掘机工作的安全性。
在一个实施例中，提出了一种挖掘机，该挖掘机包括如上的控制装置，还包括回转体；动臂，设置于回转体上；斗杆，设置于动臂上；以及铲斗，设置与斗杆上。基于控制装置的描述，参见前述相同或相似部分的描述，在此不再赘述。
在一个实施例中，提出了一种计算机设备，计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取用于对挖掘机进行定位的视觉定位模型、挖掘机所处当前环境的当前环境信息，视觉定位模型包括基于单目视觉定位的第一视觉定位子模型、基于双目立体视觉定位的第二视觉定位子模型和基于全方位视觉传感器定位的第三视觉定位子模型；根据挖掘机所处当前环境的当前环境信息，从多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型；根据视觉定位子模型对挖掘机进行定位，得到对应的定位信息，定位信息包括挖掘机的任意一个时刻的位置坐标信息；获取预设工作区域的坐标信息，以及预设工作区域的各个边界点的各个位置坐标信息；根据定位信息和预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；以及根据目标运行模式，向挖掘机发送切换控制指令。
在一个实施例中，提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：获取用于对挖掘机进行定位的视觉定位模型、挖掘机所处当前环境的当前环境信息，视觉定位模型包括基于单目视觉定位的第一视觉定位子模型、基于双目立体视觉 定位的第二视觉定位子模型和基于全方位视觉传感器定位的第三视觉定位子模型；根据挖掘机所处当前环境的当前环境信息，从多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型；根据视觉定位子模型对挖掘机进行定位，得到对应的定位信息，定位信息包括挖掘机的任意一个时刻的位置坐标信息；获取预设工作区域的坐标信息，以及预设工作区域的各个边界点的各个位置坐标信息；根据定位信息和预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；以及根据目标运行模式，向挖掘机发送切换控制指令。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (12)
- 一种挖掘机运行模式切换的控制方法，其特征在于，所述方法包括：获取用于对所述挖掘机进行定位的视觉定位模型、所述挖掘机所处当前环境的当前环境信息，所述视觉定位模型包括基于单目视觉定位的第一视觉定位子模型、基于双目立体视觉定位的第二视觉定位子模型和基于全方位视觉传感器定位的第三视觉定位子模型；根据所述挖掘机所处当前环境的所述当前环境信息，从多个视觉子模型中确定用于对所述挖掘机进行定位的视觉定位子模型；根据所述视觉定位子模型对所述挖掘机进行定位，得到对应的定位信息，所述定位信息包括所述挖掘机的任意一个时刻的位置坐标信息；获取预设工作区域的坐标信息，以及所述预设工作区域的各个边界点的各个位置坐标信息；根据所述定位信息和所述预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；根据所述目标运行模式，向所述挖掘机发送切换控制指令，所述切换控制指令中携带有运行模式切换信息，所述运行模式切换信息用于控制所述挖掘机从所述当前运行模式切换至所述目标运行模式。
- 根据权利要求1所述的方法，其特征在于，所述方法还包括：读取所述目标运行模式，所述目标运行模式至少包括：减速运行的第一目标运行模式、停止运行的第二目标运行模式、匀速运行的第三目标运行模式、加速运行的第四目标运行模式和反方向运行的第五目标运行模式。
- 根据权利要求1所述的方法，其特征在于，在所述视觉定位子模型为所述基于单目视觉定位的所述第一视觉定位子模型时，所述根据所述视觉定位子模型对所述挖掘机进行定位，得到对应的定位信息包括：通过改变设置第一拍摄装置的位置，获取用于对所述挖掘机进行定位的至少两张第一图像，其中，所述第一拍摄装置设置于所述挖掘机的第一预设位置，所述第一预设位置为通过所述第一拍摄装置能够拍摄到所述挖掘机全局图像的第一位置；分别对任意一个第一图像进行预处理，得到对应的预处理后的第一图像；对每一个预处理后的第一图像进行目标检测，提取并确定所述挖掘机的第一检测区域；在所述挖掘机的所述第一检测区域进行特征提取，得到多个第一图像匹配特征点；将选取的多个第一图像匹配特征点间建立特征之间的第一对应关系；基于所述第一对应关系进行立体匹配和对所述挖掘机进行定位，得到对应的定位信息。
- 根据权利要求3所述的方法，其特征在于，所述基于多个第一图像匹配特征点对所述挖掘 机进行定位包括：获取所述挖掘机的空间物点与所成像点的投影几何变换关系；基于多个第一图像匹配特征点和所述投影几何变换关系，确定所述第一拍摄装置的第一坐标系和所述挖掘机的第二坐标系的空间位姿参数；根据所述空间位姿参数对所述挖掘机进行定位。
- 根据权利要求1所述的方法，其特征在于，在所述视觉定位子模型为所述基于双目立体视觉定位的所述第二视觉定位子模型时，所述根据所述视觉定位子模型对所述挖掘机进行定位，得到对应的定位信息包括：获取用于对所述挖掘机进行定位的多个第二图像和多个第三图像，任意一个第二图像为由设置于所述挖掘机的第二预设位置的第二拍摄装置拍摄的，任意一个第三图像为由设置于所述挖掘机的第三预设位置的第三拍摄装置拍摄的，所述第二预设位置为通过所述第二拍摄装置能够拍摄到所述挖掘机全局图像的第二位置，所述第三预设位置为通过所述第三拍摄装置能够拍摄到所述挖掘机全局图像的第三位置；分别对任意一个第二图像和任意一个第三图像进行预处理，得到对应的预处理后的第二图像和对应的预处理后的第三图像；分别对任意一个预处理后的第二图像和任意一个预处理后的第三图像进行目标检测，提取并确定所述挖掘机的第二检测区域和第三检测区域；在所述第二检测区域进行特征提取，得到多个第二图像匹配特征点；以及在所述第三检测区域进行特征提取，得到多个第三图像匹配特征点；将从多个第二图像匹配特征点选取的第二图像匹配特征点和从多个第三图像匹配特征点选取的第三图像匹配特征点建立特征之间的第二对应关系；基于所述第二对应关系进行立体匹配，得到对应的匹配结果；基于所述匹配结果得到对应的视差图像；基于所述视差图像确定深度图像，并基于所述深度图像对所述挖掘机进行定位，得到对应的定位信息。
- 根据权利要求5所述的方法，其特征在于，所述基于所述第二对应关系进行立体匹配，得到对应的匹配结果包括：基于所述第二对应关系，选取对应的匹配基元；根据所述匹配基元确定对应的特征提取算法；基于所述特征提取算法对选取的第二图像和选取的第三图像均进行特征提取，提取出相应的 图像特征，并对图像特征进行优化，得到优化后的图像特征；对所述优化后的图像特征进行描述，生成对应的特征描述子；以选取的图像两两之间的相似性度量函数值作为特征间相似性的度量，并基于预设阈值判断选取的图像两两之间是否匹配成功，得到对应的匹配结果。
- 根据权利要求5或6所述的方法，其特征在于，任意一个第二图像和任意一个第三图像之间为具有相同场景、且具有不同拍摄视角的关联图像。
- 一种挖掘机运行模式切换的控制装置，其特征在于，所述装置包括：获取模块，用于获取用于对所述挖掘机进行定位的视觉定位模型、所述挖掘机所处当前环境的当前环境信息，所述视觉定位模型包括基于单目视觉定位的第一视觉定位子模型、基于双目立体视觉定位的第二视觉定位子模型和基于全方位视觉传感器定位的第三视觉定位子模型；视觉定位子模型确定模块，用于根据所述获取模块获取的所述挖掘机所处当前环境的所述当前环境信息，从多个视觉子模型中确定用于对所述挖掘机进行定位的视觉定位子模型；定位模块，用于所述视觉定位子模型确定模块确定的所述视觉定位子模型对所述挖掘机进行定位，得到对应的定位信息，所述定位信息包括所述挖掘机的任意一个时刻的位置坐标信息；坐标信息获取模块，用于获取预设工作区域的坐标信息，以及所述预设工作区域的各个边界点的各个位置坐标信息；目标运行模式确定模块，用于根据所述确定模块确定的所述定位信息和所述坐标信息获取模块获取的所述预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；发送模块，用于根据所述目标运行模式确定模块确定的所述目标运行模式，向所述挖掘机发送切换控制指令，所述切换控制指令中携带有运行模式切换信息，所述运行模式切换信息用于控制所述挖掘机从所述当前运行模式切换至所述目标运行模式。
- 一种挖掘机，包括：如权利要求8中所述的控制装置。
- 根据权利要求9所述的挖掘机，其特征在于，还包括：回转体；动臂，设置于所述回转体上；斗杆，设置于所述动臂上；铲斗，设置与所述斗杆上。
- 一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述挖掘机的控制方法的步骤。
- 一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述挖掘机的控制方法的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110985602.7A CN113688847A (zh) | 2021-08-25 | 2021-08-25 | 一种挖掘机运行模式切换的控制方法、装置和挖掘机 |
| CN202110985602.7 | 2021-08-25 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023025262A1 true WO2023025262A1 (zh) | 2023-03-02 |
Family
ID=78582947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2022/114963 WO2023025262A1 (zh) | 2021-08-25 | 2022-08-25 | 一种挖掘机运行模式切换的控制方法、装置和挖掘机 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113688847A (zh) |
| WO (1) | WO2023025262A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117414110A (zh) * | 2023-12-14 | 2024-01-19 | 先临三维科技股份有限公司 | 三维扫描设备的控制方法、装置、终端设备及系统 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113688847A (zh) * | 2021-08-25 | 2021-11-23 | 徐州徐工矿业机械有限公司 | 一种挖掘机运行模式切换的控制方法、装置和挖掘机 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104217439A (zh) * | 2014-09-26 | 2014-12-17 | 南京工程学院 | 一种室内视觉定位系统及方法 |
| CN107914272A (zh) * | 2017-11-20 | 2018-04-17 | 北京科技大学 | 一种七自由度机械臂组件抓取目标物体的方法 |
| CN108007345A (zh) * | 2017-12-01 | 2018-05-08 | 南京工业大学 | 一种基于单目相机的挖掘机工作装置测量方法 |
| US20200279397A1 (en) * | 2019-02-28 | 2020-09-03 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for determining position and orientation of bucket of excavator |
| CN112180928A (zh) * | 2020-09-30 | 2021-01-05 | 上海三一重机股份有限公司 | 挖掘机控制方法、挖掘机控制装置及挖掘机 |
| CN112348890A (zh) * | 2020-10-27 | 2021-02-09 | 深圳技术大学 | 一种空间定位方法、装置及计算机可读存储介质 |
| CN113688847A (zh) * | 2021-08-25 | 2021-11-23 | 徐州徐工矿业机械有限公司 | 一种挖掘机运行模式切换的控制方法、装置和挖掘机 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204654A (zh) * | 2016-07-16 | 2016-12-07 | 谭琛 | 三维立体智能视觉系统 |
| CN108797669B (zh) * | 2018-06-20 | 2020-12-22 | 清华大学 | 一种自主3d挖掘施工机器人 |
| WO2020014909A1 (zh) * | 2018-07-18 | 2020-01-23 | 深圳市大疆创新科技有限公司 | 拍摄方法、装置和无人机 |
| CN110485502A (zh) * | 2019-07-17 | 2019-11-22 | 爱克斯维智能科技(苏州)有限公司 | 一种挖掘机智能行走系统、挖掘机及控制方法 |
| CN111015654A (zh) * | 2019-12-18 | 2020-04-17 | 深圳市优必选科技股份有限公司 | 一种机器人的视觉定位方法、装置、终端设备和存储介质 |
| CN111833333B (zh) * | 2020-07-16 | 2023-10-03 | 西安科技大学 | 一种基于双目视觉的悬臂式掘进装备位姿测量方法及系统 |
| CN112411663B (zh) * | 2020-11-06 | 2022-06-03 | 徐州徐工挖掘机械有限公司 | 挖掘机的控制方法和控制装置、挖掘机 |
| CN112615993A (zh) * | 2020-12-25 | 2021-04-06 | 南昌欧菲光电技术有限公司 | 深度信息获取方法、双目摄像模组、存储介质及电子设备 |
| CN113206774A (zh) * | 2021-03-19 | 2021-08-03 | 武汉特斯联智能工程有限公司 | 一种基于室内定位信息的智能家居设备的控制方法及装置 |
-
2021
- 2021-08-25 CN CN202110985602.7A patent/CN113688847A/zh active Pending
-
2022
- 2022-08-25 WO PCT/CN2022/114963 patent/WO2023025262A1/zh unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104217439A (zh) * | 2014-09-26 | 2014-12-17 | 南京工程学院 | 一种室内视觉定位系统及方法 |
| CN107914272A (zh) * | 2017-11-20 | 2018-04-17 | 北京科技大学 | 一种七自由度机械臂组件抓取目标物体的方法 |
| CN108007345A (zh) * | 2017-12-01 | 2018-05-08 | 南京工业大学 | 一种基于单目相机的挖掘机工作装置测量方法 |
| US20200279397A1 (en) * | 2019-02-28 | 2020-09-03 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for determining position and orientation of bucket of excavator |
| CN112180928A (zh) * | 2020-09-30 | 2021-01-05 | 上海三一重机股份有限公司 | 挖掘机控制方法、挖掘机控制装置及挖掘机 |
| CN112348890A (zh) * | 2020-10-27 | 2021-02-09 | 深圳技术大学 | 一种空间定位方法、装置及计算机可读存储介质 |
| CN113688847A (zh) * | 2021-08-25 | 2021-11-23 | 徐州徐工矿业机械有限公司 | 一种挖掘机运行模式切换的控制方法、装置和挖掘机 |
Non-Patent Citations (2)
| Title |
|---|
| "Doctoral Dissertation", 1 January 2012, NORTHEASTERN UNIVERSITY, CN, article WANG, FUBIN: "Research on Control System of Robotic Excavator Based on Machine Vision", pages: 1 - 151, XP009544018 * |
| XIAO TING, WEN HUAIXING: "Design of Intelligent Control System for Excavators Based on Binocular Visual Recognition Technology", GONG CHENG JI XIE : YUE KAN= CONSTRUCTION MACHINERY AND EQUIPMENT / GONG CHENG JI XIE BIAN JI BU BIAN JI, vol. 38, no. 3, 10 March 2007 (2007-03-10), pages 4 - 7, XP009543707, ISSN: 1000-1212 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117414110A (zh) * | 2023-12-14 | 2024-01-19 | 先临三维科技股份有限公司 | 三维扫描设备的控制方法、装置、终端设备及系统 |
| CN117414110B (zh) * | 2023-12-14 | 2024-03-22 | 先临三维科技股份有限公司 | 三维扫描设备的控制方法、装置、终端设备及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113688847A (zh) | 2021-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2023025262A1 (zh) | 一种挖掘机运行模式切换的控制方法、装置和挖掘机 | |
| JP6760957B2 (ja) | ３次元モデリング方法及び装置 | |
| CN110533687B (zh) | 多目标三维轨迹跟踪方法及装置 | |
| CN110176032B (zh) | 一种三维重建方法及装置 | |
| CN109101957B (zh) | 双目立体数据处理方法、装置、智能驾驶设备及存储介质 | |
| JP7017689B2 (ja) | 情報処理装置、情報処理システムおよび情報処理方法 | |
| CN108955718A (zh) | 一种视觉里程计及其定位方法、机器人以及存储介质 | |
| US10970807B2 (en) | Information processing apparatus and storage medium | |
| CN112258567A (zh) | 物体抓取点的视觉定位方法、装置、存储介质及电子设备 | |
| US20120033873A1 (en) | Method and device for determining a shape match in three dimensions | |
| US20210142511A1 (en) | Method of generating 3-dimensional model data | |
| WO2024087962A1 (zh) | 车厢姿态识别系统、方法、电子设备及存储介质 | |
| CN112052847A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| WO2022217794A1 (zh) | 一种动态环境移动机器人的定位方法 | |
| US10248131B2 (en) | Moving object controller, landmark, and moving object control method | |
| CN110942520A (zh) | 作业设备辅助定位方法、装置、系统及存储介质 | |
| CN110499802A (zh) | 一种用于挖掘机的图像识别方法和设备 | |
| WO2021217403A1 (zh) | 可移动平台的控制方法、装置、设备及存储介质 | |
| AU2020221180B2 (en) | Augmented reality model orientation alignment | |
| US20200347579A1 (en) | Tip attachment discrimination device | |
| CN114897999B (zh) | 物体位姿识别方法、电子设备、存储介质和程序产品 | |
| CN115902977A (zh) | 基于视觉和gps的变电站机器人双重定位方法及系统 | |
| CN110942083A (zh) | 拍摄装置以及拍摄系统 | |
| JP2014029648A (ja) | 画像処理装置及びプログラム | |
| CN115953471A (zh) | 室内场景多尺度矢量图像检索与定位方法、系统及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| NENP | Non-entry into the national phase |
Ref country code: DE |