RU2794881C1

RU2794881C1 - Earthwork monitoring system and its electronic controller

Info

Publication number: RU2794881C1
Application number: RU2021136311A
Authority: RU
Inventors: Джон М. ПЛУЗЕК; Митчелл К. ВЛАМИНК; Нолан С. ФИНЧ
Original assignee: Кейтерпиллар Инк.
Priority date: 2019-05-15
Filing date: 2020-04-09
Publication date: 2023-04-25

Abstract

FIELD: machinery; earthwork.

SUBSTANCE: group of inventions relates to machines that use working bodies for moving objects or processing materials, as well as a monitoring system for earthwork tools. An earth moving tool monitoring system for monitoring the state of an earth moving tool mounted on a work tool comprises several sensors configured to measure the parameters of an earth moving tool mounted on a work tool at least two different angles, and an electronic controller, connected to said multiple sensors. The electronic controller is configured to acquire images of the earthwork tool from the sensors, evaluate the images with an algorithm that compares the acquired image with a database of existing images to determine the degree of damage, wear or absence of the earthwork tool, evaluate the quality of the received image to determine whether the quality of the resulting image is poor or acceptable unless certain conditions are met, where the fulfilment of certain conditions includes determining the position or orientation of the work tool and/or the earth moving tool and/or the linkage that controls the position of the work tool or earthwork tool, determine the size of the earthwork tool installed on the work tool, compare the specific size of the earthwork tool installed on the work tool with the theoretical size of the new earthwork tool installed on the work tool and calculate the deviation between the specified size and the theoretical size.

EFFECT: accuracy and reliability of determining the absence of damage or wear of the earthwork tool for the purpose of timely maintenance or replacement of the earthwork tool.

11 cl, 32 dwg

Description

Область техники, к которой относится изобретениеThe field of technology to which the invention belongs

Настоящее изобретение относится к машинам, например, землеройным, горнодобывающим, строительным машинам и т.п., которые используют рабочие орудия для перемещения объектов или обработки материалов. Более конкретно, настоящее изобретение относится к машинам, в которых используется система мониторинга орудия для земляных работ, и которая позволяет оператору или системе управления такой машиной обнаруживать, изношено, повреждено или отсутствует орудие для земляных работ.The present invention relates to machines, such as earthmoving, mining, construction machines, and the like, that use work tools to move objects or process materials. More specifically, the present invention relates to machines that use an earth moving tool monitoring system that allows the operator or control system of such a machine to detect whether the earth moving tool is worn, damaged, or missing.

Предпосылки создания изобретенияPrerequisites for the creation of the invention

Машины обычно используются в отраслях производства земляных работ, строительных, горнодобывающих и других подобных отраслях. Эти машины применяются для решения различных задач и поэтому используют множество различных рабочих орудий. Например, гидравлический карьерный экскаватор с передним ковшом (иногда называемый гидравлическим карьерным экскаватором с передней лопатой, сокращенно HMS-FS), может использовать ковш с орудиями для земляных работ (GET) для врезания в землю, зачерпывая и удержания земли, а также для перемещения земли в другое место. В некоторых случаях орудие для земляных работ может подвергаться износу, повреждаться или вообще теряться в ходе эксплуатации. Если это не обнаружить, то эффективность работы рабочего орудия, например, ковша может резко снизиться.The machines are commonly used in earthmoving, construction, mining and similar industries. These machines are used to solve various tasks and therefore use many different working tools. For example, a front bucket hydraulic mining shovel (sometimes referred to as a hydraulic front shovel mining shovel, abbreviated as HMS-FS) can use a bucket with earth moving tools (GET) to cut into the ground, scoop and hold the earth, and move the earth to another place. In some cases, an earthmoving tool may wear out, be damaged, or even be lost during operation. If this is not detected, then the efficiency of the work tool, for example, a bucket, can drop sharply.

Чтобы решить эту проблему, можно использовать датчики, например, камеры и т.п., которые обеспечивают обзор орудия для земляных работ, чтобы предупредить оператора о том, что орудие для земляных работ нуждается в обслуживании или замене. Камера способна отправлять изображение в кабину машины, которое оператор может просматривать и обнаруживать наличие проблемы. To solve this problem, sensors such as cameras and the like can be used that provide a view of the earth moving tool to alert the operator that the earth moving tool needs service or replacement. The camera is capable of sending an image to the cab of the machine, which the operator can view and detect if there is a problem.

Однако обычно используется только одна такая камера или другой датчик. Таким образом, в некоторых ситуациях мониторинг состояния орудия для земляных работ может быть затруднен. В частности, у таких систем часто отсутствует способность обнаружения износа орудия для земляных работ с требуемым уровнем точности.However, usually only one such camera or other sensor is used. Thus, in some situations, monitoring the condition of an earthmoving tool can be difficult. In particular, such systems often lack the ability to detect earthmoving tool wear with the required level of accuracy.

Например, в патенте США № 9 139 977 B2, под авторством McCain et al., раскрывается система для определения ориентации рабочего орудия на транспортном средстве. Система содержит камеру, установленную на транспортном средстве, и исследуемый объект в поле зрения камеры, установленный на рабочем орудии. Исследуемый объект включает метки, позволяющие определить ориентацию рабочего орудия по отношению к камере. Таким образом, предлагается способ определения ориентации рабочего орудия на транспортном средстве. Таким же образом предлагается система ориентации рабочего орудия. Предлагается другой способ установки системы ориентации рабочего орудия. Также предлагается машиночитаемый носитель данных, на котором хранятся исполняемые компьютером команды. Исполняемые компьютером команды после их выполнения служат причиной осуществления процессором способа определения ориентации рабочего орудия.For example, US Patent No. 9,139,977 B2 to McCain et al. discloses a system for determining the orientation of a work tool on a vehicle. The system comprises a camera mounted on a vehicle and an object under study in the field of view of the camera mounted on a working tool. The object under study includes marks that allow you to determine the orientation of the working tool in relation to the camera. Thus, a method is proposed for determining the orientation of the working tool on the vehicle. In the same way, a working tool orientation system is proposed. Another way of installing the work tool orientation system is proposed. Also provided is a computer-readable storage medium that stores computer-executable instructions. The commands executed by the computer after their execution cause the processor to implement a method for determining the orientation of the work tool.

Аналогичным образом в опубликованной заявке на патент США № 2017/0094154 A1, под авторством Kawamoto et al., раскрывается система мониторинга несколькими камерами, установленная в кабине, для определения необходимости корректировки позиционирования машины. Система корректировки устройства захвата изображения содержит, по меньшей мере, два устройства захвата изображения и устройство обработки, которое изменяет параметр, определяющий позицию второго устройства захвата изображения, в результате установки постоянного расстояния между первым устройством захвата изображения и вторым устройством захвата изображения в, по меньшей мере, двух устройствах захвата изображения, поиска соответствующего участка между парой изображений, полученных первым устройством захвата изображения и вторым устройством захвата изображения, и получение параметра на основе результата поиска.Similarly, U.S. Published Application No. 2017/0094154 A1, by Kawamoto et al., discloses a multi-camera monitoring system installed in the cab to determine if machine positioning needs to be adjusted. The image capturing device correction system comprises at least two image capturing devices and a processing device that changes a parameter determining the position of the second image capturing device by setting a constant distance between the first image capturing device and the second image capturing device to at least , two image capturing devices, searching for a corresponding area between the pair of images acquired by the first image capturing device and the second image capturing device, and deriving a parameter based on the search result.

Как следует из патента ‘977 и опубликованной заявки на патент ‘154 в них не раскрывается время начала обслуживания или замены GET. Соответственно, существует необходимость разработки системы мониторинга орудия для земляных работ, которая обеспечивает лучшую точность и надежность определения отсутствия, повреждения или износа GET в целях своевременного обслуживания или замены GET.As follows from the '977 patent and the published '154 patent application, they do not disclose the start time of service or replacement of the GET. Accordingly, there is a need to develop an earth moving tool monitoring system that provides better accuracy and reliability in detecting missing, damaged, or worn GETs in order to timely service or replace GETs.

Краткое изложение существа изобретенияBrief summary of the invention

В соответствии с вариантом осуществления настоящего изобретения, предлагается способ мониторинга состояния орудия для земляных работ машины с использованием системы мониторинга GET. Способ может содержать: определение размера орудия для земляных работ, установленного на рабочем орудии, с использованием нескольких датчиков, принимающих сигналы от орудия для земляных работ под разными углами; сравнение определенного размера орудия для земляных работ, установленного на рабочем орудии, с теоретическим размером орудия для земляных работ; и вычисление отклонения между определенным размером и теоретическим размером.According to an embodiment of the present invention, there is provided a method for monitoring the condition of an earth moving tool of a machine using a GET monitoring system. The method may comprise: determining the size of an earth moving tool mounted on a work tool using a plurality of sensors receiving signals from the earth moving tool at different angles; comparing the determined size of the earth moving tool mounted on the work tool with the theoretical size of the earth moving tool; and calculating a deviation between the determined size and the theoretical size.

Согласно варианту осуществления настоящего изобретения предлагается система мониторинга GET для мониторинга состояния орудия для земляных работ, установленного на рабочем орудии. Система может содержать: несколько датчиков, выполненных для проведения измерения орудия для земляных работ, установленного на рабочем орудии, по меньшей мере, под двумя разными углами; и электронный контроллер, соединенный с несколькими датчиками, где электронный контроллер выполняется способным: определять размер орудия для земляных работ, установленного на рабочем орудии; сравнивать определенный размер орудия для земляных работ, установленного на рабочем орудии, с теоретическим размером нового орудия для земляных работ, установленного на рабочем орудии; и рассчитывать отклонение между определенным размером и теоретическим размером.According to an embodiment of the present invention, a GET monitoring system is provided for monitoring the condition of an earth moving tool mounted on a work tool. The system may include: a plurality of sensors configured to measure an earthmoving tool mounted on a work tool at at least two different angles; and an electronic controller connected to the plurality of sensors, wherein the electronic controller is configured to: determine the size of an earth moving tool mounted on the work tool; compare the determined size of the earth moving tool mounted on the work tool with the theoretical size of the new earth moving tool mounted on the work tool; and calculate the deviation between the defined size and the theoretical size.

Предлагается электронный контроллер (ECU) машины в соответствии с вариантом осуществления настоящего изобретения. ECU может содержать: запоминающее устройство, содержащее исполняемые компьютером команды для распознавания орудия для земляных работ; процессор, соединенный с запоминающим устройством и способный выполнять исполняемые компьютером команды; исполняемые компьютером команды, выполненные процессором, служат причиной определения процессором: размера орудия для земляных работ, установленного на рабочем орудии; сравнения определенного размера землеройного орудия, установленного на рабочем орудии, с теоретическим размером нового землеройного орудия, установленного на рабочем орудии; и расчета отклонения между определенным размером и теоретическим размером.A machine electronic controller (ECU) according to an embodiment of the present invention is provided. The ECU may include: a memory containing computer-executable instructions for recognizing an earthmoving tool; a processor coupled to the storage device and capable of executing computer-executable instructions; computer-executable instructions executed by the processor cause the processor to determine: the size of the earthmoving tool mounted on the work tool; comparing the determined size of the earth-moving tool mounted on the working tool with the theoretical size of the new earth-moving tool mounted on the working tool; and calculating the deviation between the determined size and the theoretical size.

Краткое описание рисунковBrief description of the drawings

Прилагаемые рисунки, которые включены в настоящее раскрытие и составляют часть описания, иллюстрируют примерные варианты осуществления изобретения и, вместе с описанием, служат для объяснения принципов изобретения.The accompanying drawings, which are included in this disclosure and form part of the description, illustrate exemplary embodiments of the invention and, together with the description, serve to explain the principles of the invention.

На рис. 1 представлен вид в перспективе машины, в соответствии с вариантом осуществления настоящего изобретения, использующей систему мониторинга GET с несколькими датчиками, например, камерами для обнаружения износа, повреждения или наличия GET.On fig. 1 is a perspective view of a machine, in accordance with an embodiment of the present invention, using a GET monitoring system with multiple sensors, such as cameras to detect wear, damage, or the presence of a GET.

На рис. 2 представлена внутренняя часть кабины машины, изображенной на РИС. 1, с монитором, используемым как часть системы мониторинга GET, изображенной на рис. 1.On fig. 2 shows the interior of the cab of the machine shown in FIG. 1 with the monitor used as part of the GET monitoring system shown in fig. 1.

На рис. 3 представлен увеличенный вид спереди монитора, изображенного на рис. 3, с изображением ковша и его орудий для земляных работ машины, изображенной на рис. 1.On fig. 3 is an enlarged front view of the monitor shown in fig. 3, showing the bucket and its earthmoving tools of the machine shown in fig. 1.

На рис. 4 представлен вид в перспективе спереди ковша и восьми орудий для земляных работ (например, коронок), их соответствующая ширина и расстояние выступа от ковша, которые отслеживаются системой мониторинга GET, изображенной на рис. 1.On fig. 4 is a front perspective view of a bucket and eight earthmoving tools (e.g. crowns), their respective widths, and their protrusion distance from the bucket as monitored by the GET monitoring system shown in fig. 1.

На рис. 5 представлены два крайних левых экземпляра орудий для земляных работ, изображенных на рис. 4, и защитная накладка, расположенная между ними, причем все они имеют размеры, которые отслеживаются системой мониторинга GET.On fig. 5 shows two extreme left copies of the tools for earthworks shown in fig. 4 and a protective pad located between them, all of which have dimensions that are tracked by the GET monitoring system.

На рис. 6 представлено то же самое, что и на рис. 5, за исключением того, что отслеживаемый участок ковша был смещен вправо на одну коронку на рис. 4.On fig. 6 shows the same as in Fig. 5, except that the tracked portion of the bucket was shifted to the right by one bit in fig. 4.

На рис. 7 представлено то же самое, что и на рис. 6, за исключением того, что отслеживаемый участок ковша был смещен вправо на одну коронку на рис. 4.On fig. 7 shows the same as in Fig. 6, except that the tracked portion of the bucket was shifted to the right by one bit in fig. 4.

На рис. 8 представлено то же самое, что и на рис. 7, за исключением того, что отслеживаемый участок ковша был смещен вправо на одну коронку на рис. 4, следовательно, две показанных коронки, находятся по обе стороны от средней линии ковша.On fig. 8 shows the same as in Fig. 7, except that the tracked portion of the bucket was shifted to the right by one bit in fig. 4, therefore, the two bits shown are on either side of the centerline of the bucket.

На рис. 9 представлено то же самое, что и на рис. 8, за исключением того, что отслеживаемый участок ковша был смещен вправо на одну коронку на рис. 4.On fig. 9 shows the same as in Fig. 8, except that the tracked portion of the bucket was shifted to the right by one bit in fig. 4.

На рис. 10 представлено то же самое, что и на рис. 9, за исключением того, что отслеживаемый участок ковша был смещен вправо на одну коронку вправо на рис. 4.On fig. 10 shows the same as in Fig. 9, except that the tracked portion of the bucket was shifted to the right by one bit to the right in fig. 4.

На рис. 11 представлено то же самое, что и на рис. 10, за исключением того, что отслеживаемый участок ковша был смещен вправо на одну коронку вправо на рис. 4, следовательно, показаны две крайние правые коронки ковша.On fig. 11 shows the same as in Fig. 10, except that the tracked portion of the bucket was shifted to the right by one bit to the right in fig. 4 therefore shows the two rightmost bucket teeth.

На рис. 12 показано, как система мониторинга GET может исследовать зубья ковша, изображенного на рис. 4, на нижней части ковша, в соответствии с вариантом осуществления настоящего изобретения.On fig. 12 shows how the GET monitoring system can examine the teeth of the bucket shown in fig. 4 on the bottom of a bucket according to an embodiment of the present invention.

На рис. 13 показано, как система мониторинга GET может использовать кинематическую границу действия GET для облегчения анализа посторонних изображений, в соответствии с другим вариантом осуществления настоящего изобретения.On fig. 13 shows how a GET monitoring system can use the kinematic GET boundary to facilitate the analysis of extraneous images, in accordance with another embodiment of the present invention.

На рис. 14 представлена блок-схема системы мониторинга GET машины, изображенной на рис. 1 в соответствии со способом по настоящему изобретению.On fig. 14 is a block diagram of the GET monitoring system of the machine shown in fig. 1 according to the method of the present invention.

На рис. 15 представлена блок-схема, изображающая способ использования системы мониторинга GET в соответствии со способом по настоящему изобретению.On fig. 15 is a flowchart showing a method of using the GET monitoring system in accordance with the method of the present invention.

На рис. 16 представлена блок-схема, изображающая процесс конфигурации электронного контроллера системы мониторинга GET, изображенного на рис. 14.On fig. 16 is a flowchart showing the configuration process of the electronic controller of the GET monitoring system shown in fig. 14.

На рис. 17 представлена блок-схема, изображающая процесс выполнения процессором набора исполняемых компьютером команд, которые могут использоваться системой мониторинга GET, изображенной на рис. 14.On fig. 17 is a flowchart depicting the process by which a processor executes a set of computer-executable instructions that can be used by the GET monitoring system shown in fig. 14.

На рис. 18 представлены некоторые из множества профилей рабочего орудия, например, ковша, и связанных с ним орудий для земляных работ, которые можно отслеживать с использованием различных вариантов осуществления систем и способов мониторинга рабочих орудий, раскрытых в данном документе.On fig. 18 depicts some of the many profiles of a work tool, such as a bucket, and associated earth moving tools that can be monitored using various embodiments of the work tool monitoring systems and methods disclosed herein.

На рис. 19 представлен схематический профиль рабочего орудия, например, ковша, включая его орудия для земляных работ, с различной степенью износа, при которой оператор или система могут получать предупреждения. Эти различные степени износа могут быть заранее запрограммированы в различных вариантах осуществления систем и способов мониторинга рабочих орудий, раскрытых в данном документе. On fig. 19 is a schematic profile of a work tool, such as a bucket, including its earth moving tools, with varying levels of wear that an operator or system may be alerted to. These varying degrees of wear may be pre-programmed into various embodiments of the systems and methods for monitoring work tools disclosed herein.

На рис. 20 представлен ввод оператором с помощью сенсорного экрана, стрелки курсора, управляемой мышью, и т.д., геометрии рабочего орудия, например, ковша и его различных орудий для земляных работ, а также различные степени износа, при которых оператор или система могут получать предупреждения. On fig. 20 shows operator input via touch screen, mouse cursor arrow, etc., of the geometry of a work tool such as a bucket and its various earth moving tools, and various levels of wear that the operator or system may be alerted to. .

На рис. 21 показано, как алгоритм машинного осмысления может использоваться с различными вариантами осуществления системы мониторинга рабочего орудия для определения точной геометрии рабочего орудия, например, ковша, ковша с новыми прикрепленными орудиями для земляных работ и ковша с изношенным орудиями для земляных работ, предназначенными для замены.On fig. 21 shows how a machine intelligibility algorithm can be used with various implementations of a work tool monitoring system to determine the exact geometry of a work tool, such as a bucket, a bucket with new digging tools attached, and a bucket with worn replacement digging tools.

На рис. 22 представлена блок-схема другого варианта осуществления способа мониторинга состояния орудия для земляных работ, в котором данные, отправленные датчиком, например, изображения, снятые камерой, могут быть ранжированы по качеству. On fig. 22 is a flowchart of another embodiment of a method for monitoring the condition of an earth moving tool, in which data sent by a sensor, such as images captured by a camera, can be ranked by quality.

На рис. 23 представлено изображение машины, например, экскаватора с обратной лопатой или т.п., которая содержит другие типы рабочих орудий, включая рыхлитель или культиватор и т.п., с находящимся в земле орудием для земляных работ.On fig. 23 is a view of a machine, such as a backhoe or the like, which includes other types of work tools, including a cultivator or cultivator, and the like, with an earth moving tool in the ground.

На рис. 24 представлена машина, изображенная на рис. 23, за исключением того, что орудие для земляных работ поднято таким образом, что орудие для земляных работ больше не находится в земле, что позволяет легче контролировать состояние орудия для земляных работ.On fig. 24 shows the machine shown in fig. 23, except that the digging tool is raised so that the digging tool is no longer in the ground, which makes it easier to control the condition of the digging tool.

На рис. 25 представлено изображение бульдозера с отвалом, имеющим орудия для земляных работ, мониторинг которых осуществляется с использованием различных систем и способов, раскрытых в данном документе.On fig. 25 is an illustration of a bulldozer with a blade having earthmoving tools monitored using the various systems and methods disclosed herein.

На рис. 26 показано, как различные варианты осуществления машины, например, экскаватора с обратной лопатой, могут включать в себя датчики рычажных механизмов для предоставления данных для использования в различных вариантах осуществления системы мониторинга орудия для земляных работ и способов, раскрытых в данном документе.On fig. 26 shows how various embodiments of a machine, such as a backhoe, may include linkage sensors to provide data for use in various embodiments of the earth moving tool monitoring system and methods disclosed herein.

На рис. 27 приведен пример, где датчик, рабочее орудие, например, ковш, и рычажные механизмы, управляющие перемещением ковша, расположены по уровню или горизонтально. В таком случае датчик, например, камера, может пропускать изображение рабочего орудия и орудия для земляных работ для ранжирования изображения по качеству.On fig. 27 shows an example where the sensor, work tool such as a bucket, and linkages that control bucket movement are level or horizontal. In such a case, a sensor, such as a camera, may pass through the image of the work tool and the earth moving tool to rank the image in terms of quality.

На рис. 28 приведен пример, где датчик, рабочее орудие, например, ковш, и рычажные механизмы, управляющие перемещением ковша, находятся в поднятом состоянии. В таком случае датчик, например, камера, может пропускать изображение рабочего орудия и орудия для земляных работ для ранжирования изображения по качеству. On fig. 28 shows an example where the sensor, work tool such as a bucket, and linkages that control bucket movement are in the raised state. In such a case, a sensor, such as a camera, may pass through the image of the work tool and the earth moving tool to rank the image in terms of quality.

На рис. 29 приведен пример, где датчик, рабочее орудие, например, ковш, и рычажные механизмы, управляющие перемещением ковша, находятся в приподнятом опрокидывающем движении. В таком случае датчик, например, камера, может пропускать изображение рабочего орудия и орудия для земляных работ для ранжирования изображения по качеству. On fig. 29 is an example where the sensor, work tool such as a bucket, and linkages that control the movement of the bucket are in an elevated tipping motion. In such a case, a sensor, such as a camera, may pass through the image of the work tool and the earth moving tool to rank the image in terms of quality.

На рис. 30 представлена блок-схема, изображающая способ использования системы мониторинга GET в соответствии с другим вариантом осуществления в соответствии с настоящим изобретением.On fig. 30 is a flowchart showing a method for using a GET monitoring system according to another embodiment in accordance with the present invention.

На рис. 31 представлена блок-схема, изображающая процесс конфигурации электронного контроллера системы мониторинга GET, изображенного на рис. 14.On fig. 31 is a flowchart showing the configuration process of the electronic controller of the GET monitoring system shown in fig. 14.

На рис. 32 представлена блок-схема, изображающая процесс выполнения процессором набора исполняемых компьютером команд, которые могут использоваться системой мониторинга GET, изображенной на рис. 14. On fig. 32 is a flowchart depicting the process by which a processor executes a set of computer-executable instructions that can be used by the GET monitoring system shown in FIG. 14.

Подробное описание изобретенияDetailed description of the invention

Ниже приводится подробное описание примерных вариантов осуществления изобретения со ссылкой на прилагаемые рисунки. По мере возможности на всех рисунках будут использоваться одинаковые номера позиций для обозначения тех же или похожих деталей. В некоторых случаях в этом описании будет указываться номер позиции, а на рисунках также будет отображаться номер позиции, за которым следует буква, например, 100a, 100b или апостроф, например, 100’, 100’’ и т.д. Следует понимать, что использование букв или апострофов сразу после номера позиции указывает на то, что эти механизмы имеют одинаковую форму и обладают аналогичной функцией, как это часто бывает при зеркальном отображении геометрической фигуры в плоскости симметрии. Для удобства объяснения, буквы или апострофы часто не будут включаться в настоящее описание, но могут отображаться на рисунках, чтобы указать на параллелизм механизмов, имеющих схожие или идентичные функции или геометрическую фигуру, и обсуждаемых в этом документе.The following is a detailed description of exemplary embodiments of the invention with reference to the accompanying drawings. To the extent possible, the same reference numbers will be used in all figures to refer to the same or similar parts. In some cases, this description will include the position number, and the figures will also show the position number followed by a letter, such as 100a, 100b, or an apostrophe, such as 100’, 100’’, etc. It should be understood that the use of letters or apostrophes immediately after the position number indicates that these mechanisms have the same shape and have a similar function, as is often the case when a geometric figure is mirrored in a plane of symmetry. For convenience of explanation, letters or apostrophes will often not be included in the present description, but may be displayed in the drawings to indicate the parallelism of mechanisms having similar or identical function or geometry discussed in this document.

Предлагается способ осуществления и описание: системы мониторинга орудия для земляных работ (GET); самой системы мониторинга GET; и электронного контроллера, выполненного для реализации способа, или его использования с системой мониторинга GET.A method of implementation and description is proposed: earthmoving tool (GET) monitoring systems; the GET monitoring system itself; and an electronic controller configured to implement the method or use it with the GET monitoring system.

На рис. 1 представлена система 200 мониторинга GET, использующая устройство 100, в соответствии с вариантом осуществления настоящего изобретения. Устройство 100 содержит машину 102 и рабочее орудие 104 в примерной рабочей среде. Следует понимать, что система 200 обзора рабочего орудия может включать в себя или использоваться со множеством машин (например, бульдозерами, экскаваторами с обратной лопатой, гидравлическими карьерными экскаваторами, колесными погрузчиками, экскаваторами с электрическим приводом и т.д.) и с множеством разных рабочих орудий (например, ковшами, рейками для выравнивания асфальта, рычажными ножницами, отвалами, рыхлителями, катками, измельчителями, уплотнителями с шипами, коронками башмака гусеницы, культиваторами и т.д.), а машина 102 (например, HMS-FS 102’) и рабочее орудие 104 (например, ковш 104’), изображенный на рис. 1 приведены только в качестве примера, и не ограничивают объем настоящего изобретения. Кроме того, система 200 обзора рабочего орудия может включать дополнительные узлы, включая, не ограничиваясь, базовую станцию, соединенную с машиной 102, спутниковую систему, соединенную с машиной 102, беспилотный летательный аппарат, соединенный с машиной 102, и тому подобное, чтобы способствовать распознаванию и мониторингу состояния орудия для земляных работ 134.On fig. 1 shows a GET monitoring system 200 using a device 100 in accordance with an embodiment of the present invention. The apparatus 100 includes a machine 102 and a work tool 104 in an exemplary operating environment. It should be understood that the work tool vision system 200 may include or be used with a variety of machines (e.g., bulldozers, backhoes, hydraulic mining shovels, wheel loaders, electrically powered excavators, etc.) and with a variety of different workers. implements (e.g. buckets, asphalt leveling slats, lever shears, blades, rippers, rollers, choppers, spiked compactors, track shoe crowns, cultivators, etc.) and machine 102 (e.g. HMS-FS 102') and a work tool 104 (eg bucket 104') shown in FIG. 1 are given by way of example only and do not limit the scope of the present invention. In addition, the work tool viewing system 200 may include additional nodes, including, but not limited to, a base station connected to the machine 102, a satellite system connected to the machine 102, an unmanned aerial vehicle connected to the machine 102, and the like, to facilitate recognition and monitoring the condition of earthmoving tools 134.

Машина 102 может представлять собой подвижную машину или стационарную машину, имеющей подвижные части. В контексте данного документа, термин «подвижный» может относиться к перемещению машины 102 или ее части вдоль линейной декартовой системы координат и/или вдоль угловой, цилиндрической или винтовой системы координат и/или их комбинаций. Такое перемещение машины 102 может быть непрерывным или дискретным во времени. Например, машина 102 и/или часть машины 102 может совершать линейное движение, угловое движение или оба движения вместе. Такое линейное и угловое движение может представлять собой ускорение, вращение вокруг оси или оба движения вместе. Только как пример, а не в качестве ограничения, машина 102 может представлять собой экскаватор с обратной лопатой, экскаватор, бетоноукладчик, бульдозер, универсальный фронтальный погрузчик (SSL), погрузчик повышенной проходимости (MTL), компактный гусеничный погрузчик (CTL), компактный колесный погрузчик (CWL), комбайн, косилку, бур, молот, корабль, лодку, локомотив, автомобиль, трактор, гидравлический карьерный экскаватор, канатный экскаватор с электрическим приводом или другую машину, к которой прикрепляется рабочее орудие 104.Machine 102 may be a mobile machine or a stationary machine having moving parts. In the context of this document, the term "movable" may refer to movement of the machine 102 or part thereof along a linear Cartesian coordinate system and/or along an angular, cylindrical or helical coordinate system and/or combinations thereof. Such movement of the machine 102 may be continuous or discontinuous in time. For example, machine 102 and/or part of machine 102 may be in linear motion, angular motion, or both. Such linear and angular motion may be acceleration, rotation about an axis, or both. By way of example only, and not limitation, machine 102 may be a backhoe, excavator, concrete paver, bulldozer, universal front loader (SSL), rough terrain loader (MTL), compact track loader (CTL), compact wheel loader. (CWL), combine, mower, auger, hammer, ship, boat, locomotive, automobile, tractor, hydraulic mining shovel, electric rope shovel, or other machine to which the work tool 104 is attached.

В контексте данного документа термин «орудие для земляных работ» следует толковать широко и он охватывает: коронки, зубья, защиты или защитные накладки и т.д.In the context of this document, the term "earth working tool" should be interpreted broadly and includes: bits, teeth, guards or guards, etc.

В примере, показанном на рис. 1, машина 102 представляет собой HMS-FS 102’ и содержит узел 108 машины (например, стрелу 108’, рукоять 108’’), датчик 110, кабину 112 оператора и ходовую часть 114, включая гусеницы 116. Стрела 108’ и рукоять 108’’ прикреплены к рабочему орудию 104 и образуют шарнирное соединение 106, таким образом, что рабочее орудие 104 может перемещаться вверх и вниз. Кабина 112 оператора, как лучше всего видно на рис. 2, содержит, помимо других узлов, устройство 132 вывода. На рис. 3 показано, что устройство 132 вывода может представлять собой монитор 132’, который показывает оператору один или несколько орудий для земляных работ 134. Кабина 112 оператора может иметь размеры, подходящие для размещения водителя. Кроме того, машиной 102 можно управлять дистанционно с базовой станции, и в этом случае кабина 112 оператора может быть уменьшена в размерах. Также может быть предусмотрена система 124 рулевого управления (схематично показана на рис. 14), которая может иметь руль или джойстик, или другой механизм управления для управления движением машины 102 или ее частей. Кроме того, кабина 112 оператора может содержать рычаги управления, ручки, ручки настройки, дисплеи, световые индикаторы, аварийную сигнализацию и т.д., для облегчения эксплуатации машины 102. Рычаги, ручки и ручки настройки могут представлять собой примеры устройств ввода, в то время как дисплеи, световые индикаторы и аварийная сигнализация могут представлять собой примеры устройств вывода, как будет описано ниже в данном документе.In the example shown in fig. 1, machine 102 is an HMS-FS 102' and includes a machine assembly 108 (e.g., boom 108', stick 108''), sensor 110, operator cab 112, and undercarriage 114 including tracks 116. Boom 108' and stick 108 '' are attached to the work tool 104 and form an articulated joint 106 such that the work tool 104 can move up and down. The operator's cabin 112, as best seen in Fig. 2 contains, among other nodes, an output device 132. On fig. 3 shows that output device 132 may be a monitor 132' that displays one or more earthmoving tools 134 to the operator. Operator cab 112 may be sized to accommodate a driver. In addition, the machine 102 can be controlled remotely from the base station, in which case the operator's cab 112 can be reduced in size. A steering system 124 (shown schematically in Figure 14) may also be provided, which may include a steering wheel or joystick or other control mechanism to control the movement of the machine 102 or parts thereof. In addition, operator cab 112 may include controls, knobs, dials, displays, indicator lights, alarms, etc., to facilitate operation of machine 102. Levers, dials, and dials may be examples of input devices, while while displays, indicator lights, and alarms may be examples of output devices, as will be described later in this document.

Как показано на рис. 14, машина 102 содержит электронный контроллер 126 и систему 130 управления машиной. Машина 102 может содержать другие узлы, например, системы силовой передачи, силовую установку (и), двигатели, систему (ы) питания, гидравлическую систему (ы), системы подвески, системы охлаждения, топливные системы, выхлопные системы, распорные системы, двигательные установки, системы коммуникации, включая антенны, системы глобального позиционирования (GPS) и т.п. (не показано), которые соединены с системой 130 управления машиной.As shown in fig. 14, machine 102 includes an electronic controller 126 and a machine control system 130. Machine 102 may include other components such as power transmission systems, propulsion system(s), engines, power system(s), hydraulic system(s), suspension systems, cooling systems, fuel systems, exhaust systems, spacer systems, propulsion systems. , communication systems, including antennas, global positioning systems (GPS), etc. (not shown) that are connected to the machine control system 130.

В соответствии с рис. 1, узел 108 машины может представлять собой стрелу 108’, содержащую гидроцилиндры и механические рычажные механизмы, а множество несколько датчиков 110 устанавливают на стреле 108’ рядом с шарнирным соединением 106 (или устанавливают на рукояти 108’’ и т.д.). Узел 108 машины может быть телескопическим, складным, сжимаемым, вращаемым и перемещаемым в радиальном или осевом направлении или иным образом перемещаемым машиной 102 для перемещения рабочего орудия 104. Например, высоту и наклон узла 108 машины можно менять для облегчения подъема и опускания рабочего орудия 104. Узел 108 машины может выполняться для получения требуемой мощности от машины 102 для выполнения различных операций (например, раскапывания земли) на примерном месте производства работ с использованием рабочего орудия 104.In accordance with fig. 1, the machine assembly 108 may be a boom 108' containing hydraulic cylinders and mechanical linkages, and a plurality of sensors 110 are mounted on the boom 108' adjacent to the articulation 106 (or mounted on the arms 108'', etc.). The machine assembly 108 may be telescoping, collapsible, rotatable, and radially or axially movable, or otherwise movable by the machine 102 to move the work tool 104. For example, the height and tilt of the machine assembly 108 may be varied to facilitate raising and lowering the work tool 104. The machine assembly 108 may be configured to obtain the required power from the machine 102 to perform various operations (eg, excavation of earth) at the exemplary work site using the work tool 104.

В одном варианте осуществления данного изобретения, несколько датчиков 110 могут представлять собой несколько камер 110’. Только как пример, а не в качестве ограничения, датчик 110 может представлять собой монокулярную камеру, стереокамеру, инфракрасную камеру, камеру высокого разрешения, матрицу из одного или нескольких типов камер, оптико-акустический датчик, радар, датчик изображения на основе лазера и т.п., или их комбинации, выполненные для помощи в распознавании и мониторинге орудия для земляных работ 134. В случае использования камеры, также предусматривается подсветка для этой камеры. Другими примерами датчика являются камеры, использующие естественное освещение, например, камеры 2D или 3D измерительного типа, камеры со встроенной функцией обработки изображения, камеры со средней разрешающей способностью и камеры со стандартной разрешающей способностью. Датчик (и) выбирают таким образом, чтобы можно было осуществлять эффективный мониторинг всех параметров ковша большого размера с орудием для земляных работ, исходя из изображения с достаточным количеством пикселей и достаточно малым разрешением, чтобы различать небольшие изменения размера для любого узла или части рабочего орудия или соответствующего GET (доли дюйма). Другими словами, любой вариант осуществления системы, обсуждаемой в данном документе, может иметь повышенную точность по сравнению с предшествующими системами. Рабочее орудие 104 можно крепить к машине 102, например, к рычажному механизму на торцевой части узла 108 машины (например, рукояти 108’’) с помощью соединительной муфты (не показано). Только как пример, а не в качестве ограничения, рабочее орудие 104 может представлять собой ковш 104’для перемещения грунта (как показано на рис. 1), вилы для подъема поддонов (не показано), комбайн, бурильную головку, молот, каток или любой другой тип рабочего орудия, присоединяемого к машине 102. В этом отношении машина 102 может выполняться способной соединяться не только к одному типу рабочего орудия 104, но также и к различным типам рабочих орудия 104, а также одновременно к нескольким рабочим орудиям, орудиям для земляных работ 134, различным типам орудий для земляных работ 134 и т.д.In one embodiment of the present invention, multiple sensors 110 may be multiple cameras 110'. By way of example only, and not limitation, sensor 110 may be a monocular camera, a stereo camera, an infrared camera, a high resolution camera, an array of one or more types of cameras, an optoacoustic sensor, a radar, a laser-based image sensor, and the like. etc., or combinations thereof, designed to assist in the recognition and monitoring of the earthmoving tool 134. In the case of a camera, a backlight for this camera is also provided. Other examples of the sensor are cameras using natural light, such as 2D or 3D measuring type cameras, cameras with built-in image processing, medium resolution cameras, and standard resolution cameras. The sensor(s) are chosen so that all parameters of a large sized bucket with an earth moving tool can be effectively monitored from an image with enough pixels and low enough resolution to distinguish between small changes in size for any assembly or part of the working tool or corresponding GET (fractions of an inch). In other words, any embodiment of the system discussed herein may have improved accuracy over prior systems. The work tool 104 can be attached to the machine 102, for example, to the linkage on the end of the machine assembly 108 (eg, the handle 108'') using a coupler (not shown). By way of example only, and not limitation, the work tool 104 may be a soil moving bucket 104' (as shown in Figure 1), a pallet fork (not shown), a harvester, a drill head, a hammer, a roller, or any another type of work tool attached to the machine 102. In this regard, the machine 102 may be configured to be connected not only to one type of work tool 104, but also to different types of work tools 104, as well as to several work tools, earthwork tools at the same time 134, various types of earthwork tools 134, etc.

Как показано на рис. 1, в зависимости от типа используемого рабочего орудия 104 машина 102 может выполняться способной функционировать в режиме выдвижения, характерном для типа рабочего орудия 104. Режим выдвижения машины 102 определяется соответствующими электрическими и механическими параметрами функционирования рабочего орудия 104, после прикрепления к узлу 108 машины. Например, режим выдвижения ковша отличается от режима выдвижения вил с точки зрения выходной мощности, подаваемой на рабочее орудие 104. Если режим выдвижения выбран неправильно или режим выдвижения не выбран оператором вручную, после присоединения рабочего орудия 104 к узлу 108 машины, то машина 102 не сможет правильно выполнять или не выполнять операцию, для которой была развернута машина 102.As shown in fig. 1, depending on the type of work tool 104 used, the machine 102 may be configured to operate in an extend mode specific to the type of work tool 104. The extend mode of the machine 102 is determined by the appropriate electrical and mechanical performance of the work tool 104 once attached to the machine assembly 108. For example, the bucket extend mode differs from the fork extend mode in terms of power output delivered to the work tool 104. If the extend mode is incorrectly selected or the extend mode is not manually selected by the operator after the work tool 104 is attached to the machine assembly 108, then the machine 102 will not be able to correctly perform or not perform the operation for which the machine 102 has been deployed.

Кроме того, в зависимости от типа рабочего орудия 104, соединительная муфта может представлять собой фиксатор навесного орудия, защелку, крюк, карданный шарнир или другие типы узлов крепления, которые позволяют прикреплять рабочее орудие 104 к узлу 108 машины 102. В одном аспекте, рабочее орудие 104 может быть неподвижным. В другом аспекте, рабочее орудие 104 может быть подвижным или смещаемым по направлению к машине 102. Например, другая машина (не показано) может использоваться для толкания рабочего орудия 104 в соответствии с движением машины 102 и/или узла 108 машины. Кроме того, как будет более подробно объяснено ниже в данном документе, в результате использования на устройстве 136 ввода (см. рис. 2) элементов управления, которые могут иметь форму кнопок, HMI (человеко-машинный интерфейс) или GUI (графический пользовательский интерфейс) и т.д., тип используемого рабочего орудия можно выбирать путем изменения системы 200 мониторинга GET в зависимости от того, где и как осуществлять обзор при мониторинге состояния орудие для земляных работ 134.In addition, depending on the type of work tool 104, the coupling may be an implement retainer, latch, hook, gimbal, or other types of attachment points that allow the work tool 104 to be attached to the assembly 108 of the machine 102. In one aspect, the work tool 104 may be stationary. In another aspect, work tool 104 may be movable or movable towards machine 102. For example, another machine (not shown) may be used to push work tool 104 in response to movement of machine 102 and/or machine assembly 108. In addition, as will be explained in more detail later in this document, as a result of the use of input device 136 (see Fig. 2) controls, which may be in the form of buttons, HMI (human machine interface) or GUI (graphical user interface) etc., the type of work tool used can be selected by changing the GET monitoring system 200 depending on where and how to view when monitoring the condition of the earth moving tool 134.

В некоторых вариантах осуществления настоящего изобретения, как показано на рис. 14, система 130 управления машиной может содержать различные гидравлические и электрические системы питания, управляемые электронным контроллером 126 на основе выходных сигналов от электронного контроллера 126, подаваемых в систему 130 управления машиной. Система 130 управления машиной может содержать или быть соединенной с системой 124 рулевого управления, способной управлять движением машины 102 и/или узлом 108 машины. В другом аспекте, система 130 управления машиной или ее часть может располагаться на расстоянии от машины 102, например, на базовой станции, физически отделенной от машины 102. В этом случае система 130 управления машиной может иметь прямой или непрямой канал связи с электронным контроллером 126 для управления машиной 102 для установки или перемещения рабочего орудия 104. В других вариантах осуществления может отсутствовать различная оперативная связь между системой управления машиной и системой рулевого управления.In some embodiments of the present invention, as shown in Fig. 14, the machine control system 130 may include various hydraulic and electrical power systems controlled by the electronic controller 126 based on output signals from the electronic controller 126 provided to the machine control system 130. The machine control system 130 may comprise or be coupled to a steering system 124 capable of controlling the movement of the machine 102 and/or the machine assembly 108. In another aspect, the machine control system 130, or a portion thereof, may be located at a distance from the machine 102, such as at a base station physically separate from the machine 102. In this case, the machine control system 130 may have a direct or indirect link to the electronic controller 126 for controlling the machine 102 to position or move the work tool 104. In other embodiments, there may be no different operational communication between the machine control system and the steering system.

Как показано на рис. 14, ниже будет обсуждаться система 200 мониторинга GET для мониторинга состояния орудия для земляных работ 134, установленного на рабочем орудии 104. Система 200 может содержать несколько датчиков 110, выполненных для измерения орудия для земляных работ 134, установленного на рабочем орудии 104, по меньшей мере, под двумя разными углами 202, 202’, и электронный контроллер 126, соединенный с несколькими датчиками 110. Электронный контроллер 126 выполняется способным определять размер 204 (см. также рис. 4-11) орудия для земляных работ, установленного на рабочем орудии 104, сравнивать определенный размер 204 орудия для земляных работ 134, установленного на рабочем орудии, с теоретическим размером 206 нового орудия для земляных работ 134, установленного на рабочем орудии 104, и рассчитывать отклонение между определенным размером 204 и теоретическим размером 206.As shown in fig. 14, the GET monitoring system 200 for monitoring the condition of the earth moving tool 134 mounted on the work tool 104 will be discussed below. , at two different angles 202, 202', and an electronic controller 126 coupled to a plurality of sensors 110. The electronic controller 126 is configured to determine the size 204 (see also Figure 4-11) of the earth moving tool mounted on the work tool 104, compare the determined size 204 of the earth moving tool 134 mounted on the work tool with the theoretical size 206 of the new earth moving tool 134 mounted on the work tool 104 and calculate the deviation between the determined size 204 and the theoretical size 206.

Кроме того, как показано на рис. 14 на блок-схеме системы 200 мониторинга GET, электронный контроллер 126 соединен с датчиками 110, системой 130 управления машиной, устройством 132 вывода, системой 124 рулевого управления и устройством 136 ввода, а также с другими узлами машины 102 (не показано).In addition, as shown in Fig. 14 in a block diagram of GET monitoring system 200, electronic controller 126 is connected to sensors 110, machine control system 130, output device 132, steering system 124, and input device 136, as well as other components of machine 102 (not shown).

Как показано на рис. 14, электронный контроллер (126) дополнительно способен хранить эталонные данные 208 нового орудия для земляных работ 134, установленного на рабочем орудии 104. Кроме того, электронный контроллер 126 может выполняться способным сравнивать отклонение между определенным размером 204 и теоретическим размером 206 с пороговым значением. Если отклонение ниже порогового значения, то электронный контроллер 126 управления может выполняться способным подавать предупреждение о том, что орудие для земляных работ 134 нуждается в обслуживании в течение некоторого промежутка времени, а если отклонение выше порогового значения, то тогда электронный контроллер 126 способен подавать предупреждения о том, что орудие для земляных работ 134 повреждено или отсутствует, что требует безотлагательного технического обслуживания.As shown in fig. 14, the electronic controller (126) is further capable of storing reference data 208 of the new earthmoving tool 134 mounted on the work tool 104. In addition, the electronic controller 126 may be configured to compare the deviation between the determined size 204 and the theoretical size 206 with a threshold value. If the deviation is below a threshold value, then the electronic control controller 126 may be configured to provide an alert that the earthmoving tool 134 needs service for a period of time, and if the deviation is above the threshold value, then the electronic controller 126 may be configured to issue warnings of earthmoving tool 134 is damaged or missing, requiring immediate maintenance.

Несколько датчиков 110 могут содержать, по меньшей мере, две камеры 110’, снимающие орудие для земляных работ 134, установленное на рабочем орудии 104, с двух разных точек 210 обзора. The multiple sensors 110 may include at least two cameras 110' filming the earthwork tool 134 mounted on the work tool 104 from two different viewpoints 210.

Как показано на рис. 1, система 200 может дополнительно содержать HMS-FS 102’, включая стрелу и шарнирное соединение рукояти 106, и несколько камер 110’ устанавливаемых на верхней части стрелы и шарнирного соединения рукояти 106 и предназначенных для измерения относительного износа орудия для земляных работ 134 под разными углами 202, 202’ и предоставления оператору обратной связи при необходимости проведения технического обслуживания.As shown in fig. 1, the system 200 may further comprise an HMS-FS 102', including a boom and arm swivel 106, and multiple cameras 110' mounted on top of the boom and arm swivel 106 to measure the relative wear of the earthmoving tool 134 at various angles. 202, 202' and provide feedback to the operator when maintenance is required.

Как показано на рис. 2, 3 и 14, система 200 может дополнительно содержать устройство 132 вывода, которое соединено с электронным контроллером 126. Электронный контроллер 126 выполняется способным отправлять сигнал на устройство 132 вывода, на котором отображается изображение орудия для земляных работ 134, установленного на рабочем орудии 104.As shown in fig. 2, 3, and 14, system 200 may further comprise an output device 132 that is coupled to an electronic controller 126. The electronic controller 126 is configured to send a signal to an output device 132 that displays an image of an earth moving tool 134 mounted on the work tool 104.

Электронный контроллер (126) дополнительно способен хранить базу 212 эталонных данных 208 для различных орудий для земляных работ 134 и сравнения определенных размеров 204 различных орудий для земляных работ с одним или несколькими эталонными данными 208.The electronic controller (126) is further capable of storing a database 212 of reference data 208 for various earth moving tools 134 and comparing certain sizes 204 of various earth moving tools with one or more reference data 208.

Как более подробно показано на рис. 1 и 14, несколько камер 110’ размещают на фиксированном расстоянии 214 от нескольких орудий для земляных работ 134, создавая несколько точек 210 обзора отдельных орудий для земляных работ 134 и предоставляя электронному контроллеру 126 достаточную 3D информацию для определения относительного износа между отдельными орудиями для земляных работ 134.As shown in more detail in Fig. 1 and 14, multiple cameras 110' are placed at a fixed distance 214 from multiple earth moving tools 134, creating multiple vantage points 210 of individual earth moving tools 134 and providing electronic controller 126 with sufficient 3D information to determine relative wear between individual earth moving tools. 134.

Как показано на рис. 1 и 12, по меньшей мере, две камеры 110’ выполняются способными вести наблюдение за нижней частью рабочего орудия 104 и несколькими орудиями для земляных работ 134. Как показано на рис. 13 и 14, электронный контроллер 126 выполняется способным отслеживать кинематическую границу 218 действия орудия для земляных работ 134 для облегчения анализа посторонних изображений или для анализа, сделаны ли изображения днем, ночью, когда идет снег, когда идет дождь, когда есть грязь, когда есть лед, или когда рабочее орудие 104 перемещается.As shown in fig. 1 and 12, at least two cameras 110' are configured to monitor the underside of the work tool 104 and several earthmoving tools 134. As shown in FIG. 13 and 14, the electronic controller 126 is configured to monitor the kinematic boundary 218 of the action of the earth moving tool 134 to facilitate the analysis of extraneous images or to analyze whether the images are taken during the day, at night, when it snows, when it rains, when there is mud, when there is ice. , or when the work tool 104 is moving.

Как показано на рис. 14, электронный контроллер 126 содержит порт 504 ввода-вывода, процессор 506 и запоминающее устройство 508, соединенные друг с другом, например, внутренней шиной (не показано). Электронный контроллер 126 может содержать дополнительные узлы, известные любому специалисту в данной области техники, которые явно не показаны на рис. 14. Например, электронный контроллер 126 может содержать программируемую логическую схему (PLC), схему таймера/ синхронизации, радиаторы, визуальные индикаторы (например, светоизлучающие диоды), схему согласования импеданса, внутренние шины, сопроцессоры или процессоры монитора, батареи и блоки питания, микросхемы контроллера мощности, трансиверы, беспроводные модули, модули обработки спутниковой связи и встроенные системы на различных интегрированных микросхемах. В одном варианте осуществления, электронный контроллер 126 может быть отделен от блока управления двигателем (не показано). В альтернативном варианте осуществления, электронный контроллер 126 может быть интегрирован в блок управления двигателем или может совместно использовать пространство и ресурсы обработки.As shown in fig. 14, the electronic controller 126 includes an I/O port 504, a processor 506, and a storage device 508 connected to each other, such as by an internal bus (not shown). Electronic controller 126 may include additional components known to any person skilled in the art that are not explicitly shown in FIG. 14. For example, electronic controller 126 may include programmable logic (PLC), timer/timing circuitry, heat sinks, visual indicators (eg, light emitting diodes), impedance matching circuitry, internal buses, monitor co-processors or processors, batteries and power supplies, microcircuits power controllers, transceivers, wireless modules, satellite communication processing modules and embedded systems on various integrated circuits. In one embodiment, the electronic controller 126 may be separate from the engine control unit (not shown). In an alternative embodiment, the electronic controller 126 may be integrated into the engine control unit or may share processing space and resources.

Порт 504 ввода-вывода может представлять собой один порт или набор портов. Порт 504 ввода-вывода выполнен для передачи и приема различных входных сигналов и данных от других частей машины 102 и пересылки таких входных сигналов и данных в процессор 506. В одном аспекте, порт 504 ввода-вывода может представлять собой два отдельных порта, один из которых выполнен для приема различных входных сигналов от различных частей машины 102 (например, датчика 110 и т.д.), а другой выполнен для вывода сигналов на дисплей (например, на устройство 132 вывода) или для управления машиной 102 (например, в систему 130 управления машиной). В соответствии с другим вариантом, функции ввода и вывода могут осуществляться одним портом, показанным как порт 504 ввода-вывода на рис. 14.I/O port 504 may be a single port or a set of ports. I/O port 504 is configured to transmit and receive various inputs and data from other parts of machine 102 and forward such inputs and data to processor 506. In one aspect, I/O port 504 may be two separate ports, one of which configured to receive different input signals from different parts of the machine 102 (e.g., sensor 110, etc.), and the other is configured to output signals to the display (e.g., to the output device 132) or to control the machine 102 (e.g., to the system 130 machine control). Alternatively, the input and output functions may be performed on a single port, shown as I/O port 504 in FIG. 14.

В одном аспекте, процессор 506 представляет собой аппаратное устройство, например, чип с интегральными схемами (ИС), изготовленная для реализации различных особенностей и функций вариантов осуществления, обсуждаемых в данном документе. Только как пример, а не в качестве ограничения, процессор 506 может быть изготовлен с использованием технологии комплементарной структуры металл-оксид-полупроводник (CMOS). В одном варианте осуществления, процессор 506 выполняется в виде заказной специализированной интегральной схемы (ASIC), логической микросхемы, программируемой в условиях эксплуатации (FPGA), однокристальной системы (SOC) и тому подобное. В другом варианте осуществления процессор 506 может содержать узлы, например: корпус, контакты ввода и вывода, радиаторы, схемы преобразования сигналов, устройства ввода, устройства вывода, компоненты памяти процессора, системы охлаждения, системы питания и т.п., которые не показаны на рис. 14. В одном конкретном варианте осуществления, процессор 506 сконфигурирован для выполнения различных этапов способа 800, показанного на рис. 15, путем выполнения исполняемых компьютером команд 510, хранящихся в запоминающем устройстве 508. В еще одном варианте осуществления, процессор 506 может состоять из нескольких процессоров, скомпонованных, например, в виде матричного процессора.In one aspect, processor 506 is a hardware device, such as an integrated circuit (IC) chip, fabricated to implement various features and functions of the embodiments discussed herein. By way of example only, and not limitation, the processor 506 may be fabricated using complementary metal-oxide-semiconductor (CMOS) technology. In one embodiment, processor 506 is implemented as a custom application specific integrated circuit (ASIC), a field programmable logic circuit (FPGA), a system-on-chip (SOC), and the like. In another embodiment, the processor 506 may include components such as a case, input and output pins, heatsinks, signal conditioning circuitry, input devices, output devices, processor memory components, cooling systems, power systems, and the like, that are not shown in the figure. rice. 14. In one particular embodiment, the processor 506 is configured to perform the various steps of the method 800 shown in FIG. 15 by executing computer-executable instructions 510 stored in memory 508. In yet another embodiment, processor 506 may be comprised of multiple processors arranged in, for example, a matrix processor.

Запоминающее устройство 508 может быть выполнено как энергонезависимый машиночитаемый носитель. Только как пример, запоминающее устройство 508 может представлять собой запоминающее устройство на основе полупроводников, включая, не ограничиваясь, оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), динамическое RAM, программируемое ROM, электрически стираемое программируемое ROM (EEPROM), статическую память RAM, флэш-память и их комбинации или другие типы запоминающих устройств, известные специалисту в данной области техники. В одном варианте осуществления, запоминающее устройство 508 соединяется с процессором 506 напрямую через коммуникационную и сигнальную шину. В одном варианте осуществления, запоминающее устройство 508 может изготавливаться или выполняться с использованием энергонезависимого машиночитаемого носителя данных, на котором находятся исполняемые компьютером команды 510. Исполняемые компьютером команды 510, выполненные процессором 506, служат причиной выполнения процессором 506 событий и функций различных аспектов данного изобретения. Такой энергонезависимый машиночитаемый носитель данных может содержать: запоминающее устройство на основе полупроводников, оптическое запоминающее устройство, магнитное запоминающее устройство, моно- или бистабильные схемы (триггеры и т.д.) и т.п. или их комбинации. Такой энергонезависимый машиночитаемый носитель данных исключает неустойчивые сигналы.The storage device 508 may be implemented as a non-volatile computer-readable medium. By way of example only, memory 508 may be a semiconductor-based memory including, but not limited to, random access memory (RAM), read only memory (ROM), dynamic RAM, programmable ROM, electrically erasable programmable ROM (EEPROM), static RAM memory, flash memory and combinations thereof, or other types of storage devices known to the person skilled in the art. In one embodiment, the storage device 508 is connected to the processor 506 directly via a communication and signal bus. In one embodiment, memory 508 may be manufactured or executed using a non-volatile computer-readable storage medium that contains computer-executable instructions 510. Computer-executable instructions 510 executed by processor 506 cause processor 506 to execute events and functions of various aspects of the present invention. Such a non-volatile computer-readable storage medium may include: a semiconductor-based storage device, an optical storage device, a magnetic storage device, mono- or bistable circuits (flip-flops, etc.), and the like. or their combinations. Such a non-volatile computer-readable storage medium eliminates intermittent signals.

Исполняемые компьютером команды 510 могут выполняться процессором 506 с использованием высокоуровневых или низкоуровневых компиляторов и языков программирования (например, C ++). В одном варианте осуществления, исполняемые компьютером команды 510 могут выполняться базовой станцией дистанционно, а результаты такого выполнения предоставляться процессору 506 для управления системой обзора рабочего орудия. В этом отношении следует понимать, что конкретное расположение исполняемых компьютером команд 510 внутри запоминающего устройства 508 является только примером, а не ограничением.Computer-executable instructions 510 may be executed by processor 506 using high-level or low-level compilers and programming languages (eg, C++). In one embodiment, computer-executable instructions 510 may be remotely executed by the base station, and the results of such execution provided to processor 506 for controlling the work tool vision system. In this regard, it should be understood that the specific location of computer-executable instructions 510 within storage device 508 is only an example and not a limitation.

В некоторых вариантах осуществления, запоминающее устройство 508 содержит базу данных 212 или соединено с ней. База данных 212 может содержать изображения различных орудий для земляных работ 134. Такие изображения хранятся в базе данных 212 как библиотека файлов изображений и компьютеризированных моделей. Такие модели или эталонные изображения могут представлять собой трехмерные и двухмерные виды различных орудий для земляных работ 134, присоединяемых к машине 102. Каждое такое изображение или модель в базе данных 212 может содержать один или несколько размеров, связанных с орудием для земляных работ и/или рабочим орудием, включая расстояние, на которое орудие для земляных работ простирается от рабочего орудия, ширину орудия для земляных работ, высоту орудия для земляных работ и т.д. In some embodiments, storage device 508 contains or is connected to database 212. The database 212 may contain images of various earthmoving tools 134. Such images are stored in the database 212 as a library of image files and computerized models. Such models or reference images may be 3D and 2D views of various earthmoving tools 134 attached to machine 102. Each such image or model in database 212 may contain one or more dimensions associated with the earthworking tool and/or worker. tool, including the distance that the digging tool extends from the work tool, the width of the digging tool, the height of the digging tool, etc.

Следует понимать, что трехмерные и двумерные виды, снятые камерой, представляют собой два визуальных примера работы машины 102, выводимые на устройство 132 вывода, а устройство 132 вывода способно непрерывно покадрово отображать множество трехмерных изображений мест работы, как это осуществляется процессором 506 в устройстве 132 вывода, на основе входных сигналов (включая входной сигнал 518) от датчика 110, измененных в ходе обработки процессором. В одном аспекте, изображения могут выводиться на дисплей удаленного оператора машины 102 на удаленной базовой станции (не показано) в реальном времени в виде видео места работы, где машина 102 и рабочее орудие 104 находятся в развернутом состоянии. Такое покадровое представление рабочего места машины 102 используется для распознавания и отслеживания движения или состояния орудия для земляных работ 134. В других вариантах осуществления, устройство 132 вывода может размещаться в кабине 112 машины 102, как представлено на РИС. 1, где оператор может непосредственно видеть состояние орудия для земляных работ.It should be understood that the 3D and 2D views captured by the camera are two visual examples of the operation of the machine 102 output to the output device 132, and the output device 132 is capable of continuously frame-by-frame displaying a plurality of 3D images of work sites, as is done by the processor 506 in the output device 132 , based on inputs (including input 518) from sensor 110 as modified during processing by the processor. In one aspect, the images may be displayed on a remote operator's display of machine 102 at a remote base station (not shown) in real time as a video of the job site where machine 102 and work tool 104 are deployed. Such a frame-by-frame representation of the workplace of machine 102 is used to recognize and track the movement or state of earthmoving tool 134. In other embodiments, output device 132 may be located in cab 112 of machine 102, as shown in FIG. 1 where the operator can directly see the condition of the earth moving tool.

В соответствии с рис. 14 и как показано на рис. 31, будет обсуждаться другой вариант осуществления системы 200’ мониторинга GET для мониторинга состояния орудия для земляных работ 134, установленного на рабочем орудии 104. Система 200’ может содержать, по меньшей мере, один датчик 216, способный отслеживать положение или ориентацию рабочего орудия 104 или орудия для земляных работ 134 (см. также рис. 26), и электронный контроллер 126’, соединенный, по меньшей мере, с одним датчиком 216.In accordance with fig. 14 and as shown in fig. 31, another embodiment of a GET monitoring system 200' for monitoring the status of an earth moving tool 134 mounted on a work tool 104 will be discussed. The system 200' may include at least one sensor 216 capable of monitoring the position or orientation of the work tool 104 or earthmoving tools 134 (see also Fig. 26), and an electronic controller 126' connected to at least one sensor 216.

Электронный контроллер 126’ выполняется способным получать изображение орудия для земляных работ 134 (см. блок 900 на рис. 31), оценивать изображение с помощью алгоритма, который сравнивает полученное изображение с базой данных существующих изображений, чтобы определить степень повреждения, степень износа или отсутствие орудия для земляных работ 134 (см. блок 902 на рис. 31), и оценивать качество полученного изображения, чтобы определить, является ли качество полученного изображения плохим или приемлемым, если только не выполнены некоторые условия (см. блок 904 на рис. 31). Электронный контроллер 126’ может дополнительно выполняться способным осуществлять настройку алгоритма оценки, в результате, по меньшей мере, корректирования размера фильтра или разрешения, увеличения области обзора изображения, уменьшения области обзора изображения, и сдвига области просмотра изображения, если качество полученного изображения определено как плохое (см. блок 906 на рис. 31).The electronic controller 126' is configured to acquire an image of the earth moving tool 134 (see block 900 in Figure 31), evaluate the image with an algorithm that compares the acquired image with a database of existing images to determine the degree of damage, wear, or absence of the tool. for earthworks 134 (see block 902 in Fig. 31), and evaluate the quality of the received image to determine whether the quality of the received image is poor or acceptable, unless certain conditions are met (see block 904 in Fig. 31). The electronic controller 126' may further be configured to adjust the estimation algorithm by at least adjusting the filter size or resolution, increasing the image field of view, decreasing the image field of view, and shifting the image field of view if the quality of the obtained image is determined to be poor ( see block 906 in Figure 31).

Как показано на рис. 31, электронный контроллер 126’ может выполняться таким образом, чтобы сообщать пользователю, что качество полученного изображения является приемлемым, если полученное изображение определено как приемлемое (см. блок 908). Это может выполняться устройством 131 вывода, как обсуждалось в этом документе ранее.As shown in fig. 31, the electronic controller 126' may be configured to inform the user that the received image quality is acceptable if the received image is determined to be acceptable (see block 908). This may be performed by output device 131 as discussed earlier in this document.

По меньшей мере, один датчик 216 может выполняться способным определять, по меньшей мере, одну из следующих переменных: высоту ковша, угол наклона ковша, положение рычажного механизма, угол наклона рычажного механизма, длину выдвижения штока гидравлического цилиндра, усилие, действующее на гидравлический цилиндр, ход рычажного механизма, управление цилиндром, мощность привода, число оборотов колеса или гусеницы и позицию рулевого управления или органа управления (см. блок 910). At least one sensor 216 may be configured to detect at least one of the following variables: bucket height, bucket angle, linkage position, linkage angle, hydraulic cylinder extension length, force acting on the hydraulic cylinder, linkage travel, cylinder control, drive power, wheel or track RPM, and steering or control position (see block 910).

Электронный контроллер может выполняться таким образом, чтобы предупреждать пользователя или систему о том, что GET или рабочее орудие подлежат обслуживанию из-за износа, поскольку GET поврежден или поскольку GET отсутствует (см. блок 912).The electronic controller may be configured to alert the user or system that the GET or work tool is due for wear because the GET is damaged or because the GET is missing (see block 912).

Электронный контроллер также может выполняться таким образом, чтобы пропускать оценку качества полученного изображения, если выполняются некоторые условия в результате определения позиции или ориентации, по меньшей мере, рабочего орудия, GET и рычажного механизма, управляющего позицией рабочего орудия или GET (см. блок 914). The electronic controller may also be configured to skip evaluation of the received image quality if certain conditions are met as a result of determining the position or orientation of at least the work tool, GET, and the linkage controlling the position of the work tool, or GET (see block 914) .

Система 200 мониторинга GET может дополнительно содержать устройство 136 ввода, соединенное с электронным контроллером 126’, а электронный контроллер 126’ может выполняться таким образом, чтобы пользователь мог вводить геометрию рабочего орудия или GET, степень износа рабочего орудия или GET, которые требуют технического обслуживания, корректировать контур рабочего орудия, число орудий для земляных работ, число защитных накладок или состояние защитных накладок (см. блок 916, также см. рис. 20).The GET monitoring system 200 may further comprise an input device 136 coupled to an electronic controller 126', and the electronic controller 126' may be configured to allow a user to enter a work tool geometry or GET, work tool wear or GET that require maintenance, adjust work tool contour, number of digging tools, number of guards, or condition of guards (see block 916, also see figure 20).

Электронный контроллер может использовать алгоритм машинного осмысления для определения, по меньшей мере, точной геометрии рабочего орудия, геометрии рабочего орудия с новыми орудиями для земляных работ, прикрепленных к рабочему орудию, геометрии изношенного рабочего орудия, требующей обслуживания, и геометрии изношенного GET, требующей обслуживания (см. блок 918 на рис. 31, см. также рис. 21).The electronic controller may use a machine intelligibility algorithm to determine at least the exact work tool geometry, work tool geometry with new earth moving tools attached to the work tool, worn work tool geometry in need of maintenance, and worn GET geometry in need of maintenance ( see block 918 in figure 31, see also figure 21).

Промышленная применимостьIndustrial Applicability

На практике система мониторинга GET, электронный контроллер или способ, согласно любому варианту осуществления, описанному, показанному или обсуждаемому в данном документе, могут быть проданы, куплены, изготовлены, восстановлены, модернизированы, собраны или иным образом получены на вторичном рынке или от OEM. Точно так же машина, использующая такую систему мониторинга GET, электронный контроллер или способ, согласно любому варианту осуществления, описанному в данном документе, может предлагаться новой или модернизированной любым из этих вариантов осуществления.In practice, a GET monitoring system, electronic controller, or method, according to any embodiment described, shown, or discussed herein, may be sold, purchased, manufactured, refurbished, upgraded, assembled, or otherwise obtained from the aftermarket or from an OEM. Similarly, a machine using such a GET monitoring system, electronic controller or method according to any embodiment described herein may be offered new or upgraded by any of these embodiments.

В соответствии с рис. 14 и как показано на рис. 16, предлагается система 200 мониторинга GET для мониторинга движения и состояния орудия для земляных работ 134. Система 200 может содержать несколько датчиков 110, выполненных для измерения орудия для земляных работ 134, установленного на рабочем орудии 104, по меньшей мере, под двумя разными углами 202, 202’, и электронный контроллер 126, соединенный с несколькими датчиками 110.In accordance with fig. 14 and as shown in fig. 16, a GET monitoring system 200 is provided to monitor the movement and status of the earth moving tool 134. The system 200 may include multiple sensors 110 configured to measure the earth working tool 134 mounted on the work tool 104 at least two different angles 202 , 202', and an electronic controller 126 connected to a plurality of sensors 110.

Электронный контроллер 126 выполняется способным:The electronic controller 126 is capable of:

определять размер орудия для земляных работ, установленного на рабочем орудии (Смотри рис. 16, (блок 600);determine the size of the excavation tool mounted on the working tool (See Fig. 16, (block 600);

сравнивать определенный размер орудия для земляных работ, установленного на рабочем орудии, с теоретическим размером нового орудия для земляных работ, установленного на рабочем орудии (блок 602); иcompare the determined size of the earth moving tool mounted on the work tool with the theoretical size of the new earth moving tool mounted on the work tool (block 602); And

рассчитывать отклонение между определенным размером и теоретическим размером (блок 604).calculate the deviation between the determined size and the theoretical size (block 604).

В дополнительных вариантах осуществления, электронный контроллер 126 дополнительно способен хранить эталонные данные 208 нового орудия для земляных работ 134, установленного на рабочем орудии 204 (блок 606). В этом случае, электронный контроллер 126 выполняется способным хранить базу эталонных данных для различных орудий для земляных работ 134 и сравнивать определенные размеры различных орудий для земляных работ с одним или несколькими эталонными данными (блок 608).In additional embodiments, the electronic controller 126 is further capable of storing reference data 208 of the new earthmoving tool 134 mounted on the work tool 204 (block 606). In this case, the electronic controller 126 is configured to store a database of reference data for the various earthmoving tools 134 and compare the determined sizes of the various earthmoving tools with one or more reference data (block 608).

В некоторых вариантах осуществления, электронный контроллер 126 выполняется способным сравнивать отклонения между определенным размером 204 и теоретическим размером 206 с пороговым значением, а если отклонение ниже порогового значения, то тогда электронный контроллер 126 способен подавать предупреждение о том, что орудие для земляных работ 134 нуждается в обслуживании, а если отклонение выше порогового значения, то тогда электронный контроллер 126 способен подавать предупреждения о том, что орудие для земляных работ 134 повреждено или отсутствует, что требует безотлагательного технического обслуживания (блок 610). Второе пороговое значение может быть ниже первого порогового значения. В таком случае, если отклонение ниже, чем второе пороговое значение, то предупреждение не может подается. In some embodiments, the electronic controller 126 is configured to compare the deviations between the defined size 204 and the theoretical size 206 to a threshold value, and if the deviation is below the threshold value, then the electronic controller 126 is able to issue an alert that the earthmoving tool 134 needs service, and if the deviation is above a threshold, then the electronic controller 126 is able to provide warnings that the earthmoving tool 134 is damaged or missing, requiring immediate maintenance (block 610). The second threshold may be lower than the first threshold. In such a case, if the deviation is lower than the second threshold value, then no warning may be issued.

В других дополнительных вариантах осуществления, устройство вывода 132, которое может быть соединено с электронным контроллером 126, а электронный контроллер 126 дополнительно способен отправлять сигнал на устройство 132 вывода, на котором отображается изображение орудия для земляных работ 134, установленного на рабочем орудии 204 (блок 612).In other further embodiments, output device 132, which may be coupled to electronic controller 126, and electronic controller 126 is further capable of sending a signal to output device 132 that displays an image of earthmoving tool 134 mounted on work tool 204 (block 612 ).

В некоторых дополнительных вариантах осуществления, электронный контроллер 126 выполняется способным отслеживать кинематическую границу 218 действия орудия для земляных работ 134 для облегчения анализа посторонних изображений или для анализа, сделаны ли изображения днем, ночью, когда идет снег, когда идет дождь, когда есть грязь, когда есть лед, или когда рабочее орудие 204 перемещается (блок 614).In some additional embodiments, the electronic controller 126 is configured to monitor the kinematic boundary 218 of the action of the earth moving tool 134 to facilitate the analysis of extraneous images or to analyze whether the images are taken during the day, at night, when it snows, when it rains, when there is mud, when there is ice, or when the work tool 204 is moving (block 614).

В некоторых вариантах осуществления, как показано на рис. 14 и рис. 17, электронный контроллер (126) машины (102) может содержать: In some embodiments, as shown in Fig. 14 and fig. 17, the electronic controller (126) of the machine (102) may include:

запоминающее устройство 508, содержащее исполняемые компьютером команды 510 для распознавания орудия для земляных работ 134; и a memory 508 containing computer-executable instructions 510 for recognizing the earthmoving tool 134; And

процессор 506, соединенный с запоминающим устройством 508 и способный выполнять исполняемые компьютером команды 510, а исполняемые компьютером команды 510, выполненные процессором 506, служат причиной определения процессором 506:a processor 506 coupled to memory 508 and capable of executing computer-executable instructions 510, and computer-executable instructions 510 executed by processor 506 cause processor 506 to determine:

определять размер орудия для земляных работ, установленного на рабочем орудии (смотри рис. 17, (блок 700);determine the size of the excavation tool mounted on the working tool (see Fig. 17, (block 700);

сравнения определенного размера орудия для земляных работ, установленного на рабочем орудии, с теоретическим размером нового орудия для земляных работ, установленного на рабочем орудии (блок 702); иcomparing the determined size of the earth moving tool mounted on the work tool with a theoretical size of the new earth moving tool mounted on the work tool (block 702); And

расчета отклонения между определенным размером и теоретическим размером (блок 704).calculating the deviation between the determined size and the theoretical size (block 704).

Запоминающее устройство 508 может хранить в себе пороговое значение, соответствующее определенному размеру 204 орудия для земляных работ 134, а процессор 506 способен сравнивать отклонение между пороговым значением и рассчитанным отклонением между определенным измерением заранее заданного размера и теоретическим размером 206, и отправлять предупреждения исходя из того, является ли рассчитанное отклонение меньше или больше порогового значения (блок 706).The memory 508 may store a threshold value corresponding to the determined size 204 of the excavation tool 134, and the processor 506 may compare the deviation between the threshold value and the calculated deviation between a certain measurement of the predetermined size and the theoretical size 206, and send alerts based on whether the calculated deviation is less than or greater than the threshold value (block 706).

Еще один вариант осуществления настоящего изобретения для электронного контроллера 126’ теперь будет обсуждаться со ссылкой на рис. 14 и 32. Электронный контроллер 126’ может содержать запоминающее устройство 508, содержащее исполняемые компьютером команды 510 для мониторинга состояния орудия для земляных работ (134), и процессор 506, соединенный с запоминающим устройством 508 и способный выполнять исполняемые компьютером команды 510, а исполняемые компьютером команды 510, выполненные процессором 506, служат причиной получения процессором 506:Another embodiment of the present invention for the electronic controller 126' will now be discussed with reference to Fig. 14 and 32. The electronic controller 126' may include a memory 508 containing computer-executable instructions 510 for monitoring the status of the earthmoving tool (134), and a processor 506 coupled to the memory 508 and capable of executing the computer-executable instructions 510, and the computer-executable instructions 510 executed by processor 506 cause processor 506 to receive:

изображения орудия для земляных работ (см. блок 1000 на рис. 32);images of tools for earthworks (see block 1000 in Fig. 32);

оценки изображения с помощью алгоритма, который сравнивает полученное изображение с базой данных существующих изображений, чтобы определить степень повреждения, степень износа или отсутствие орудия для земляных работ (см. блок 1002); иevaluating the image with an algorithm that compares the acquired image with a database of existing images to determine the extent of damage, wear, or absence of the digging tool (see block 1002); And

оценки качества полученного изображения, чтобы определить, является ли качество полученного изображения плохим или приемлемым, если только не выполнены некоторые условия (см. блок 1004).evaluating the quality of the received image to determine if the quality of the received image is poor or acceptable unless certain conditions are met (see block 1004).

Кроме того, исполняемые компьютером команды 510, выполненные процессором 506 служат причиной настройки процессором 506: алгоритма оценки в результате корректировки размера фильтра или разрешения, увеличения области обзора изображения, уменьшения области обзора изображения, и сдвига области просмотра изображения, если качество полученного изображения определено как плохое (см. блок 1006).In addition, the computer-executable instructions 510 executed by the processor 506 cause the processor 506 to adjust: the evaluation algorithm by adjusting the filter size or resolution, increasing the image field of view, decreasing the image field of view, and shifting the image field of view if the quality of the obtained image is determined to be poor. (see block 1006).

В некоторых вариантах осуществления, исполняемые компьютером команды, выполненные данным способом, служат причиной определения процессором выполнения некоторых условий, в результате определения позиции или ориентации орудия для земляных работ (см. блок 1008).In some embodiments, computer-executable instructions executed in this manner cause the processor to determine that certain conditions have been met as a result of determining the position or orientation of the earth moving tool (see block 1008).

На рис. 15, представлен способ 800 мониторинга состояния орудия для земляных работ. Способ 800 включает:On fig. 15, a method 800 for monitoring the condition of an earth moving tool is shown. Method 800 includes:

определение размера орудия для земляных работ, установленного на рабочем орудии, с использованием нескольких датчиков, принимающих сигналы от орудия для земляных работ под разными углами (этап 802); determining the size of the earth moving tool mounted on the work tool using multiple sensors receiving signals from the earth moving tool at different angles (step 802);

сравнение определенного размера орудия для земляных работ, установленного на рабочем орудии, с теоретическим размером орудия для земляных работ (этап 804); иcomparing the determined size of the earth moving tool mounted on the work tool with the theoretical size of the earth moving tool (step 804); And

расчет отклонения между определенным размером и теоретическим размером (этап 806).calculating the deviation between the determined size and the theoretical size (step 806).

В некоторых вариантах осуществления, теоретический размер определяют в результате сравнения изображения орудия для земляных работ с эталонным изображением нового орудия для земляных работ (этап 808).In some embodiments, the theoretical size is determined by comparing an image of an earth moving tool with a reference image of a new earth moving tool (step 808).

В других вариантах осуществления, способ 800 может дополнительно включать сравнение отклонения между определенным размером и теоретическим размером с пороговым значением (этап 810).In other embodiments, method 800 may further include comparing the deviation between the determined size and the theoretical size with a threshold value (block 810).

Способ 800 может дополнительно включать создание предупреждения о том, что орудие для земляных работ нуждается в обслуживании, если отклонение ниже порогового значения (этап 812).Method 800 may further include generating an alert that the earth moving tool needs service if the deviation is below a threshold (block 812).

Кроме того, способ 800 может дополнительно включать создание предупреждения о том, что орудие для земляных работ нуждается в замене, если отклонение выше порогового значения (этап 814).In addition, method 800 can further include generating an alert that the earth moving tool needs to be replaced if the deviation is above a threshold (block 814).

Способ 800 может дополнительно включать отслеживание кинематической границы действия орудия для земляных работ для облегчения анализа посторонних изображений (этап 816).The method 800 may further include tracking the kinematic range of the earth moving tool to facilitate the analysis of extraneous images (block 816).

Способ 800, дополнительно включающий определение, сделаны ли изображения днем или ночью (этап 818).Method 800, further including determining if the images were taken during the day or at night (block 818).

Кроме того, способ 800 дополнительно включает определение, сделаны ли изображения в ненастную погоду (этап 820).In addition, method 800 further includes determining if the images were taken in inclement weather (block 820).

В дополнительных вариантах осуществления способ 800 может дополнительно включать определение, сделаны ли изображения, когда орудие для земляных работ покрыто землей, грязью, песком или льдом и т.д. (этап 822).In additional embodiments, the method 800 may further include determining if the images were taken when the digging tool is covered in earth, mud, sand, or ice, etc. (step 822).

Некоторые переменные выбирают в зависимости от сферы применения для получения требуемого результата для системы мониторинга GET. Например, величина износа для GET может измеряться в миллиметрах, могут выбираться некоторые характеристики камеры и ее расположение относительно орудия (й) для земляных работ, может выбираться расстояние от камеры до GET, может изменяться поле зрения камеры в зависимости от сферы применения (например, может требоваться широкое поле зрения), может устанавливаться требуемый % экрана, заполненный видом GET, может выбираться разрешение камеры и монитора, а также может изменяться зона охвата камерой ковша и т.д. Some variables are chosen depending on the application to obtain the desired result for the GET monitoring system. For example, the amount of wear for the GET may be measured in millimeters, certain characteristics of the camera and its location relative to the earthmoving tool(s) may be selected, the distance from the camera to the GET may be selected, the field of view of the camera may vary depending on the application (for example, may wide field of view required), the desired % of the screen filled with the GET view can be set, camera and monitor resolution can be selected, and the bucket camera coverage can be changed, etc.

На рис. 22-30а также представлен способ 1100 в соответствии с другим вариантом осуществления настоящего изобретения. On fig. 22-30a also show a method 1100 in accordance with another embodiment of the present invention.

Способ 1100 мониторинга состояния орудия для земляных работ, прикрепленного к рабочему орудию машины, с использующий систему мониторинга GET, может включать:A method 1100 for monitoring the status of an earth moving tool attached to a machine tool using the GET monitoring system may include:

получение изображения орудия для земляных работ (этап 1102); obtaining an image of the earthmoving tool (step 1102);

оценку изображения с помощью алгоритма, который сравнивает полученное изображение с базой данных существующих изображений, чтобы определить наличие, степень износа или отсутствие орудия для земляных работ (стадии 1104), иevaluating the image with an algorithm that compares the acquired image with a database of existing images to determine the presence, wear, or absence of an earthmoving tool (steps 1104), and

оценку качества полученного изображения, чтобы определить, является ли качество полученного изображения плохим или приемлемым (этап 1106).evaluating the quality of the received image to determine if the quality of the received image is poor or acceptable (block 1106).

Качество полученного изображения может быть определено как плохое. В этом случае способ 1100 может дополнительно содержать настройку алгоритма оценки, в результате, по меньшей мере, корректирования размера фильтра или разрешения, увеличение области обзора изображения, уменьшение области обзора изображения и сдвига области обзора изображения (этап 1108).The quality of the resulting image can be defined as poor. In this case, the method 1100 may further comprise adjusting the estimation algorithm by at least adjusting the filter size or resolution, increasing the image field of view, decreasing the image field of view, and shifting the image field of view (block 1108).

В других случаях качество полученного изображения может быть определено как приемлемое. В этом случае способ 1100 может дополнительно включать передачу сообщения пользователю или системе о том, что качество полученного изображения приемлемо (этап 1110) и/или передачу предупреждения пользователю или системе о том, что GET подлежит обслуживанию из-за износа, поскольку GET поврежден или GET отсутствует (этап 1112).In other cases, the quality of the resulting image can be determined as acceptable. In this case, method 1100 may further include sending a message to the user or system that the quality of the received image is acceptable (block 1110) and/or sending a warning to the user or system that the GET is due to wear out because the GET is corrupted or the GET missing (step 1112).

В некоторых случаях способ 1100 может дополнительно включать пропуск оценки качества полученного изображения после определения наличия некоторых условий (этап 1114).In some cases, the method 1100 may further include skipping the evaluation of the quality of the received image after determining the presence of certain conditions (block 1114).

Например, определение того, выполняются ли некоторые условия, может включать в себя использование, по меньшей мере, одного датчика для определения позиции рабочего орудия, орудия для земляных работ или рычажного механизма, контролирующего позицию рабочего орудия или орудия для земляных работ (этап 1116). В частности, в некоторых случаях определение позиции рабочего орудия, орудия для земляных работ или рычажного механизма может включать в себя оценку, по меньшей мере, одной из следующих переменных: высоту ковша, угол наклона ковша, положение рычажного механизма, угол наклона рычажного механизма, длину выдвижения штока гидравлического цилиндра, усилие, действующее на гидравлический цилиндр, ход рычажного механизма, управление цилиндром, мощность привода, число оборотов колеса или гусеницы и позицию рулевого управления или органа управления (этап 1118).For example, determining if certain conditions are met may include using at least one sensor to determine the position of a work tool, digging tool, or linkage that monitors the position of a work tool or digging tool (step 1116). In particular, in some cases, determining the position of a work tool, earth moving tool, or linkage may include estimating at least one of the following variables: bucket height, bucket angle, linkage position, linkage angle, linkage length hydraulic cylinder extension, hydraulic cylinder force, linkage travel, cylinder control, drive power, wheel or track RPM, and steering or control position (step 1118).

Следует понимать, что приведенное выше описание содержит примеры раскрытой сборки и способа. Тем не менее, предполагается, что другие варианты реализации изобретения могут отличаться в деталях от вышеприведенных примеров. Все ссылки на раскрытие или примеры подразумевают ссылку на конкретный пример, обсуждаемый в этот момент, и не подразумевает каких-либо ограничений в отношении объема изобретения в более общем смысле. Все формулировки отличительных особенностей и пренебрежение некоторыми признаками предназначаются для указания на отсутствие предпочтения для данных признаков, а не для их полного исключения из объема изобретения, если не указано иное. It should be understood that the above description contains examples of the disclosed assembly and method. However, it is contemplated that other embodiments of the invention may differ in detail from the above examples. All references to the disclosure or examples are intended to refer to the specific example discussed at that point, and do not imply any limitation as to the scope of the invention more generally. All wording of features and omission of certain features is intended to indicate a lack of preference for those features, and not to exclude them entirely from the scope of the invention, unless otherwise indicated.

Перечисленные в данном документе диапазоны значений в целом предназначены для краткой справки при ссылке на каждое отдельное значение диапазона, если не указано иное, а каждое отдельное значение включено в технические характеристики, так, как если бы оно было указана в данном документе отдельно. The ranges of values listed in this document are generally intended as a quick reference when referring to each individual range value unless otherwise noted, and each individual value is included in the specifications as if it were listed separately in this document.

Специалистам в данной области техники очевидно, что согласно изобретению, могут быть сделаны различные модификации и варианты устройств и способов сборки без отклонения от сущности и объема настоящего изобретения. Другие варианты осуществления данного изобретения будут очевидны специалистам в данной области техники в результате рассмотрения спецификации и практики использования различных вариантов осуществления, раскрытых в данном документе. Например, некоторое оборудование конструируется и функционирует иначе, чем описанное здесь, а некоторые этапы любого способа могут пропускаться, выполняться в другом порядке, отличном от упомянутого, а в некоторых случаях выполняться одновременно или разбиваться на дополнительные стадии. Более того, могут осуществляться изменения или модификации некоторых аспектов или особенностей различных вариантов осуществления с созданием дополнительных вариантов осуществления, а особенности и аспекты различных вариантов осуществления могут добавляться или замещаться другими особенностями или аспектами других вариантов осуществления, предлагая еще дальнейшие варианты осуществления.It will be apparent to those skilled in the art that various modifications and variants of assembly devices and methods can be made according to the invention without deviating from the spirit and scope of the present invention. Other embodiments of the present invention will become apparent to those skilled in the art upon consideration of the specification and practice of using the various embodiments disclosed herein. For example, some equipment is designed and functions differently than described here, and some steps of any method may be skipped, performed in a different order than mentioned, and in some cases performed simultaneously or broken into additional steps. Moreover, changes or modifications to certain aspects or features of various embodiments may be made to create additional embodiments, and features and aspects of various embodiments may be added to or replaced by other features or aspects of other embodiments, suggesting still further embodiments.

Соответственно, данное изобретение включает все модификации и эквиваленты предмета изобретения, изложенные в формуле изобретения, приложенной к данному документу в соответствии с действующим законодательством. Кроме того, любая комбинация вышеописанных элементов во всех их возможных вариантах охватывается настоящим описанием, если не указано иное или иным образом явно не противоречит контексту.Accordingly, this invention includes all modifications and equivalents of the subject matter set forth in the claims appended to this document in accordance with applicable law. In addition, any combination of the above elements in all their possible variations is covered by this description, unless otherwise indicated or otherwise clearly contradicts the context.

Claims

1. An earth moving tool monitoring system (200) for monitoring the condition of an earth moving tool (134) mounted on a work tool (104), a system (200) comprising:

a plurality of sensors (110) configured to measure parameters of an earthmoving tool (134) mounted on a working tool (104) at least at two different angles (202, 202'); And

an electronic controller (126) connected to said multiple sensors (110), wherein the electronic controller (126) is configured to:

receive images of the implement (134) for excavation from sensors,

evaluate images using an algorithm that compares the resulting image with a database of existing images to determine the degree of damage, wear or absence of the earthmoving tool (134),

evaluate the quality of the received image to determine whether the quality of the received image is poor or acceptable, unless certain conditions are met, the fulfillment of certain conditions includes determining the position or orientation of the work tool, and/or earthmoving tool, and/or lever a mechanism that controls the position of a work tool or earthwork tool,

determine the size of the excavation tool mounted on the work tool (600);

compare the determined size of the earth moving tool mounted on the work tool with the theoretical size of the new earth moving tool mounted on the work tool (602); And

calculate the deviation between the determined size and the theoretical size (604).

2. The digging tool monitoring system (200) of claim 1, wherein the electronic controller (126) is further capable of storing reference data of the new digging tool installed on the work tool (606).

3. An earth moving tool monitoring system (200) according to claim 1, characterized in that the electronic controller (126) is designed to compare the deviation between a certain size and a theoretical size with a threshold value, and if the deviation is below the threshold value, then the electronic controller capable of giving an alert that the earth moving tool needs service, and if the deviation is above a threshold, then the electronic controller is capable of giving warnings that the earth moving tool is damaged or missing, requiring immediate maintenance (610).

4. System (200) for monitoring the earthmoving tool according to claim 1, characterized in that the plurality of sensors (110) comprise at least two cameras (110') photographing the earthworking tool from two different viewpoints (210). works (134) mounted on the work tool (104), while the system (200) is designed for use with a hydraulic mining shovel with a front shovel (102') with an arrow and a swivel arm (106), and several cameras (110') mounted on the top of the boom and arm swivel (106) and oriented to measure the relative wear of the earthmoving tool (134) at various angles (202, 202') and provide feedback to the operator when maintenance is required.

5. System (200) monitoring tools for earthworks according to claim. 4, further comprising an output device (132), which is connected to the electronic controller (126), and the electronic controller (126) is additionally capable of sending a signal to the output device, which displays image of an earthmoving tool mounted on a working tool (612).

6. An earth moving tool monitoring system (200) according to claim 3, characterized in that the electronic controller (126) is further capable of storing a database of reference data for various earth moving tools and comparing certain sizes of various earth moving tools with one or more reference data (610).

7. An earth moving tool monitoring system (200) according to claim 4 for monitoring multiple earth moving tools (134) and characterized in that multiple cameras (110') are placed at a fixed distance (214) from multiple earth tools to earthworks (134) by creating multiple viewpoints (210) of the individual earthworking tools (134) and providing the electronic controller (134) with 3D information to determine the relative wear between the individual earthworking tools (134).

8. An earth moving tool monitoring system (200) according to claim 4, for use with a working tool (104) and several earth moving tools (134) extending from the working tool (104), and characterized in that, according to at least two cameras (110') are capable of viewing the underside of the work tool (104) and multiple earth moving tools (134), and the electronic controller (126) is capable of monitoring the kinematic range of the earth moving tool to facilitate the analysis of extraneous images or to analyze whether images are taken during the day, at night, when it is snowing, when it is raining, when there is mud, when there is ice, or when the work tool is moving (614).

9. Electronic controller (126) monitoring system tools for earthworks according to any one of paragraphs. 1-8 containing:

a storage device (508) containing computer-executable instructions (510) for recognizing an earthmoving tool (134); And

a processor (506) connected to a storage device (508) and capable of executing computer-executable instructions (510), and computer-executable instructions (510) executed by processor (506) cause processor (506) to perform the following operations:

obtaining an image of the tool (134) for excavation,

image evaluation using an algorithm that compares the received image with a database of existing images to determine the degree of damage, wear or absence of an excavation tool (134),

evaluating the quality of the received image to determine whether the quality of the received image is poor or acceptable, unless certain conditions are met, the fulfillment of certain conditions includes determining the position or orientation of the work tool, and/or earthmoving tool, and/or lever a mechanism that controls the position of a work tool or earthwork tool,

determining the size of the excavation tool mounted on the work tool;

comparing the determined size of the earth moving tool mounted on the work tool with the theoretical size of the new earth moving tool mounted on the work tool; And

calculating the deviation between a certain size and a theoretical size.

10. An electronic controller (126) according to claim 9, characterized in that the memory (508) stores a threshold value corresponding to a certain size of earthwork tool (134), and the processor (506) is able to compare the deviation between the threshold value and a calculated deviation between a certain measurement (204) of a predetermined size and a theoretical size (206), and send alerts based on whether the calculated deviation is less than or greater than a threshold value (706).

11. The electronic controller (126) according to claim 9, characterized in that it is configured to also adjust the estimation algorithm by at least one of the following methods: adjusting the filter size or resolution, increasing the image field of view, reducing the image field of view and shifting area of view of the image, if the quality of the received image is determined to be poor.