RU2522525C2 - Method for machine guidance on object - Google Patents

Method for machine guidance on object Download PDF

Info

Publication number
RU2522525C2
RU2522525C2 RU2012146648/13A RU2012146648A RU2522525C2 RU 2522525 C2 RU2522525 C2 RU 2522525C2 RU 2012146648/13 A RU2012146648/13 A RU 2012146648/13A RU 2012146648 A RU2012146648 A RU 2012146648A RU 2522525 C2 RU2522525 C2 RU 2522525C2
Authority
RU
Russia
Prior art keywords
processing
place
operator
machine
image
Prior art date
Application number
RU2012146648/13A
Other languages
Russian (ru)
Other versions
RU2012146648A (en
Inventor
Лев Николаевич Шобанов
Алексей Иванович Шургин
Original Assignee
Лев Николаевич Шобанов
Алексей Иванович Шургин
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Лев Николаевич Шобанов, Алексей Иванович Шургин filed Critical Лев Николаевич Шобанов
Priority to RU2012146648/13A priority Critical patent/RU2522525C2/en
Publication of RU2012146648A publication Critical patent/RU2012146648A/en
Application granted granted Critical
Publication of RU2522525C2 publication Critical patent/RU2522525C2/en

Links

Abstract

FIELD: transport.
SUBSTANCE: method includes processing position indication by operator and further movement of machine and/or its parts and/or process operation performance at the indicated position. Object processing position coordinates are determined according to indicated by operator points of processing position on processing area images which are obtained from at least two video cameras with known position, angles of their direction and focal distances of their lenses at the moment of indication.
EFFECT: lowering consumptions during machine operation and increasing productivity of labour by means of more effective implementation of machine movements or operations.
25 cl, 1 dwg

Description

Изобретение относится к транспортно-технологическим и грузоподъемным машинам и может использоваться в управлении, например, различными лесными машинами, погрузчиками, экскаваторами, грузоподъемными кранами, строительными машинами.The invention relates to transport and technological and lifting machines and can be used in the management of, for example, various forest machines, loaders, excavators, cranes, construction vehicles.

Известен «Способ наведения рабочего органа манипулятора лесной машины на объект» (заявка на изобретение №2010147210, A01G 23/08, B25J 9/00, G01B 11/03, опубл. 27.05.2012), в котором оператор указывает положение места захвата или спила объекта пятном луча дальномера и одновременно с расстоянием до объекта автоматически измеряются углы поворота дальномера, с дальнейшими компьютерными расчетами и управлением движениями лесной машины, манипулятора и рабочего органа.The well-known "Method of pointing the working body of the manipulator of the forest machine on the object" (application for invention No. 201047210, A01G 23/08, B25J 9/00, G01B 11/03, published on 05.27.2012), in which the operator indicates the position of the place of capture or saw of the object by the spot of the rangefinder beam and simultaneously with the distance to the object, the angles of rotation of the range finder are automatically measured, with further computer calculations and control of the movements of the forest machine, manipulator and working body.

Недостатком данного способа наведения и управления рабочим органом лесной машины является то, что для его реализации требуется закреплять указывающее устройство (дальномер) в определенном месте, механически связывая его с датчиками поворота, сигналы с которых поступают в компьютер. Устройство для реализации способа загромождает кабину, стесняет оператора и получается дорогим.The disadvantage of this method of guidance and control of the working body of the forest machine is that for its implementation it is necessary to fix the pointing device (range finder) in a certain place, mechanically linking it with rotation sensors, the signals from which are sent to the computer. A device for implementing the method clutters the cab, constrains the operator and is expensive.

Данным изобретением устраняется такой недостаток, как жесткая привязка указывающего устройства к определенному месту, что становится более удобным для оператора, не стесняет его движений и снижается стоимость технической реализации способа.This invention eliminates such a disadvantage as a rigid binding of the pointing device to a specific place, which becomes more convenient for the operator, does not hamper his movements and reduces the cost of technical implementation of the method.

На чертеже - схема, показывающая алгоритм передачи информации о точке.In the drawing, a diagram showing an algorithm for transmitting point information.

Указанный технический результат при осуществлении изобретения достигается тем, что в способе наведения машины на объект оператором, включающий указание оператором места обработки объекта и дальнейшее перемещение машины и/или ее подвижных частей и/или совершение технологической операции в указанном месте, особенностью является то, что координаты места обработки объекта определяют по указанным оператором точкам места обработки на изображениях зоны обработки, которые получены, по меньшей мере, с двух видеокамер, о которых известно их положение, углы их направления и фокусные расстояния их объективов в момент указания, при этом оператор указывает место обработки объекта компьютерным указательным устройством на изображении объекта или световым пятном луча указателя на самом объекте, подлежащем обработке, например, лазерным указателем, а после указания оператором места обработки система управления автоматически рассчитывает координаты места обработки и составляет оптимальную траекторию перемещения и/или оптимальную технологию выполнения технологической операции и управляет процессами перемещения и технологической операции.The specified technical result in the implementation of the invention is achieved by the fact that in the method of pointing the machine at the object by the operator, including the operator indicating the place of processing of the object and further moving the machine and / or its moving parts and / or performing a technological operation in the specified place, the feature is that the coordinates processing sites of the object are determined by the points indicated by the operator of the processing location on the images of the processing zone, which are obtained from at least two cameras, which are known from the position, the angles of their direction and the focal lengths of their lenses at the time of indicating, the operator indicates the place of processing of the object with a computer pointing device on the image of the object or a light spot of the pointer beam on the object to be processed, for example, a laser pointer, and after the operator indicates the processing place the control system automatically calculates the coordinates of the processing place and compiles the optimal trajectory of movement and / or the optimal technology for performing the technological operation and manages the processes of displacement and technological operations.

Место обработки указывают посредством компьютерной мыши, или джойстика, или указки и/или клавиатурой или касанием сенсорного экрана пальцем, или рукой, или стилусом, или трехкоординатным или с большим количеством координат указательным устройством.The processing location is indicated by a computer mouse, or joystick, or pointer and / or keyboard, or by touching the touch screen with a finger, hand, or stylus, or a three-coordinate or with a large number of coordinates pointing device.

На экране монитора отображают изображение объекта, последовательно с двух видеокамер или на экран выводят сразу два изображения объекта по отдельности или частично прозрачные, наложенные друг на друга, или отображают изображение объекта на два монитора, на каждом изображение со своей видеокамеры, а также возможно на экране монитора отображать изображение объекта, программно измененного цвета с разных видеокамер, или на объективах камер устанавливать светофильтры разных цветов, еще возможно отображать изображение объекта на 3D видеоочки или использовать комплекс 3D очков с соответствующим монитором.The image of the object is displayed on the monitor screen, sequentially from two video cameras or two images of the object are immediately displayed on the screen separately or partially transparent, superimposed on each other, or the image of the object is displayed on two monitors, on each the image from its video camera, and also possibly on the screen monitor to display an image of an object, programmatically changed color from different cameras, or to install filters of different colors on camera lenses, it is still possible to display an image of an object on a 3D video and or use a set of 3D glasses with an appropriate monitor.

Рассмотрим алгоритм передачи информации в случае, когда оператор указывает положение места обработки на двух мониторах. В других описанных в заявке случаях передача информации и расчеты производятся с небольшими изменениями. На фиг.1 показаны экраны двух мониторов, которые обозначены Мa (левый) и Мb (правый), на которые бортовым компьютером системы управления выводятся изображения с левой (Кa) и с правой (Кb) камер, которые нацелены на зону обработки. Оператор последовательно на обоих мониторах (на двух изображениях), например, двумя щелчками компьютерной мыши, в точках Ca и Cb отмечает место обработки (цель) в окружающем пространстве, обозначенное на рисунке буквой C. Точка D - проекция точки C на плоскость, проходящую через оптические оси объективов камер. Т.к. камеры Кa и Кb разнесены на расстояние [AB], изображения будут отличаться друг от друга, а указанные оператором точки Ca и Cb будут смещены на разное расстояние от центров изображений по горизонтали (обозначены Xa и Xb) и по вертикали (Za и Zb) соответственно. Центры изображений (середины экранов мониторов) удобно принять за нулевые точки Oa и Ob, т.к. в них проецируются оптические оси объективов камер.Consider the algorithm for transmitting information in the case when the operator indicates the position of the processing location on two monitors. In other cases described in the application, information transfer and calculations are made with slight changes. Figure 1 shows the screens of two monitors, which are indicated by Ma (left) and Mb (right), on which the images from the left (Ka) and right (Kb) cameras that are aimed at the processing zone are displayed by the on-board computer of the control system. The operator sequentially on both monitors (in two images), for example, by two clicks of a computer mouse, points Ca and Cb marks the processing place (target) in the surrounding space, indicated by the letter C in the figure. Point D is the projection of point C onto a plane passing through optical axis of camera lenses. Because cameras Ka and Kb are spaced apart [AB], the images will differ from each other, and the points Ca and Cb indicated by the operator will be shifted to different distances from the image centers horizontally (indicated by Xa and Xb) and vertically (Za and Zb), respectively . It is convenient to mistake image centers (mid-monitor screens) as Oa and Ob, because they project the optical axis of the camera lenses.

Рассмотрим вариант, когда количество пикселей по горизонтали у камеры и у монитора равно 1980, а угол обзора камеры по горизонтали на момент указания точек равен 30 градусам. При соответствующей калибровке смещение точки указания на 66 пикселей по горизонтали будет соответствовать, например, 1 градусу отклонения указанного места обработки от оси камеры по горизонтали (1980/30=66). Аналогичный расчет можно провести и для вертикального смещения, пока допустим для упрощения расчетов, что и по вертикали на 1 градус приходится также 66 пикселей.Consider the option when the number of horizontal pixels at the camera and the monitor is 1980, and the horizontal viewing angle of the camera at the time the points are indicated is 30 degrees. With appropriate calibration, shifting the pointing point by 66 pixels horizontally will correspond, for example, to 1 degree of horizontal deviation of the specified processing location from the camera axis (1980/30 = 66). A similar calculation can be performed for vertical displacement, while for the time being we will allow for simplification of calculations that 66 pixels also fall vertically by 1 degree.

Таким образом, зная отклонение от центра монитора до указанных оператором точек Ca и Cb в пикселах, по калибровочной таблице или формуле (содержащей, например, arctg(…) и фокусное расстояние объектива) можно получить углы отклонения двух векторов [AC] и [BC] направленных из объективов камер в место обработки по точкам, отмеченным оператором на экране. Будем считать, что оси камер параллельны и расположены в одной горизонтальной плоскости (как и изображено на фиг.1). Иное известное расположение камер, например, когда их оси не параллельны и/или смещены по вертикали, незначительно усложнит алгоритм расчета, но все равно позволяет однозначно рассчитать положение указанной точки в пространстве.Thus, knowing the deviation from the center of the monitor to the points Ca and Cb indicated by the operator in pixels, using the calibration table or the formula (containing, for example, arctg (...) and the focal length of the lens), we can obtain the deviation angles of the two vectors [AC] and [BC] directed from the camera lenses to the processing location at the points marked by the operator on the screen. We assume that the camera axes are parallel and located in the same horizontal plane (as shown in figure 1). A different known arrangement of cameras, for example, when their axes are not parallel and / or offset vertically, slightly complicates the calculation algorithm, but it still allows you to uniquely calculate the position of the specified point in space.

После указания оператором точек на экранах мониторов система управления с помощью программы, заложенной в бортовой компьютер, автоматически считывает координаты указанных оператором точек на изображениях и решает треугольники ADB и BDC для нахождения длины [BC]. Для их решения известны: длина [AB] - расстояние между камерами и углы альфа и бета - это углы отклонения направления на указанную точку от осей камер в горизонтальной плоскости. В треугольнике ADB известны: одна сторона [AB] и два прилежащих угла DAB=(90-альфа) и DBA=(90-бета), что вполне достаточно для расчетов всех его сторон, в частности [BD]. В треугольнике BDC известны одна сторона [BD] (из решения треугольника ADB) и два прилежащих угла CDB=90° и DBC, полученный по калибровочной таблице или формуле из Zb - этого тоже достаточно для нахождения расстояния [BC].After the operator indicates the points on the monitor screens, the control system, using the program embedded in the on-board computer, automatically reads the coordinates of the points indicated by the operator on the images and solves the triangles ADB and BDC to find the length [BC]. To solve them, the following are known: length [AB] - the distance between the cameras and the alpha and beta angles - these are the angles of deviation of the direction to the specified point from the camera axes in the horizontal plane. In the triangle ADB are known: one side [AB] and two adjacent angles DAB = (90-alpha) and DBA = (90-beta), which is quite enough to calculate all its sides, in particular [BD]. In the triangle BDC, one side [BD] (from the solution of the triangle ADB) and two adjacent angles CDB = 90 ° and DBC obtained from the calibration table or the formula from Zb are known — this is also enough to find the distance [BC].

На втором этапе координаты точки C в трехмерном пространстве в полярной системе координат (известны расстояние [BC] и два угла: бета и DBC) автоматически пересчитываются системой управления (бортовым компьютером) в требуемую систему координат, например, в XYZ с центром в точке B и/или в положение звеньев манипулятора управляемой машины. Для промышленных роботов пересчет координат указанной в пространстве точки в положение звеньев называется «обратная задача кинематики», которая, в частности, рассмотрена в книге «Промышленные роботы агрегатно-модульного типа» / Е.И. Воробьев и др. М.: Машиностроение, 1988. - 240 с.: ил., и в книге «Робототехника» / Фу К., Гонсалес Р., Ли К. Пер. с англ. М.: Мир, 1989 - 624 с.: ил. В этой книге описана не только кинематика с.69, но и динамические расчеты позволяющие рассчитать оптимальную траекторию перемещения рабочего органа манипулятора любой машины, т.е. эффективно автоматически управлять ее манипулятором.At the second stage, the coordinates of the point C in three-dimensional space in the polar coordinate system (the distance [BC] and two angles are known: beta and DBC) are automatically converted by the control system (on-board computer) to the desired coordinate system, for example, in XYZ centered at point B and / or to the position of the links of the manipulator of the controlled machine. For industrial robots, recalculating the coordinates of a point in space to the position of links is called the “inverse kinematics problem”, which, in particular, is considered in the book “Industrial robots of aggregate-modular type” / E.I. Vorobiev et al. M.: Mechanical Engineering, 1988. - 240 pp., Ill., And in the book "Robotics" / Fu K., Gonzalez R., Lee K. Per. from English M .: Mir, 1989 - 624 p.: Ill. This book describes not only the kinematics of p. 69, but also dynamic calculations that allow one to calculate the optimal trajectory of movement of the working body of the manipulator of any machine, i.e. effectively automatically control its manipulator.

Все вышеприведенное позволяет системе управления, автоматически включая и выключая соответствующие приводы машины, переместить рабочий орган машины в указанное оператором место обработки и обеспечить выполнение машиной технологической операции в этом месте.All of the above allows the control system, automatically turning on and off the appropriate drives of the machine, to move the working body of the machine to the processing location specified by the operator and to ensure that the machine performs a technological operation in this place.

В процессе наведения изменяют фокусное расстояние объективов видеокамер, а также используют местное увеличение изображения в зоне указания на экране монитора.In the process of pointing, the focal length of the lenses of the video cameras is changed, and also local magnification of the image is used in the indication area on the monitor screen.

При необходимости изменяют форму курсора на экране монитора в зависимости от операции, место проведения которой в данный момент указывается, или при указании мест обработки объекта указывают точку или проводят линию, или указывают характерные точки линии или геометрической фигуры, например, противоположные вершины прямоугольника, а также в зависимости от технологической операции используют курсоры специальной формы, например, в виде отрезка при указании места спила дерева, и часть параметров обработки объекта указывают численно, с клавиатуры или выбором из меню.If necessary, change the shape of the cursor on the monitor screen depending on the operation, the venue of which is currently indicated, or when specifying the processing sites of the object, indicate a point or draw a line, or indicate characteristic points of a line or geometric figure, for example, opposite vertices of a rectangle, and depending on the technological operation, cursors of a special form are used, for example, in the form of a segment when specifying the place of sawing a tree, and part of the processing parameters of the object are indicated numerically, with Keyboard or menu selection.

После указания места обработки объекта координаты места запоминают для дальнейшего анализа работы машины и/или оператора.After indicating the place of processing of the object, the coordinates of the place are stored for further analysis of the operation of the machine and / or operator.

Для указания места обработки объекта поворачивают как минимум одну камеру для получения совпадения изображения в требуемой точке, если необходимо, то на изображение с видеокамер наносят линии прицеливания, для совмещения оператором изображений в месте обработки объекта с двух видеокамер.At least one camera is rotated to indicate the object’s processing location to match the image at the desired point; if necessary, aiming lines are applied to the image from the video cameras to combine images with the camera at the processing site of the object from two video cameras.

Цвет светового пятна луча указателя выбирают соответственно диапазону максимальной чувствительности видеокамеры и противоположно преобладающим цветам окружающей среды в месте обработки для более контрастного выделения пятна луча.The color of the light spot of the pointer beam is chosen according to the range of maximum sensitivity of the video camera and the opposite to the prevailing colors of the environment at the processing location for a more contrasting highlight of the beam spot.

Момент указания точки определяют по нажатию и/или отпусканию или щелчку или двойному щелчку кнопкой мыши или совместно с нажатой соответствующей клавишей клавиатуры, при этом для указания различных технологических операций в указанном месте обработки осуществляют нажатие соответствующих кнопок или педалей оператором.The point at which the point is indicated is determined by pressing and / or clicking or double-clicking with the mouse button or together with the corresponding key of the keyboard being pressed, while pressing the corresponding buttons or pedals by the operator to indicate various technological operations at the specified processing location.

Если требуется, то оператор указывает несколько мест обработки, не ожидая начала операции или завершения текущей, а система управления, получив задание на несколько мест обработки, комплексно оптимизирует общую траекторию перемещения машины и ее рабочих органов и несколько технологических операций, включая их последовательность, при этом оператор может указывать место обработки и/или перемещения машины, находясь вне машины.If required, the operator indicates several processing locations, not waiting for the start of the operation or the completion of the current one, and the control system, having received a task for several processing locations, comprehensively optimizes the overall trajectory of the machine and its working bodies and several technological operations, including their sequence, the operator can indicate the place of processing and / or movement of the machine while outside the machine.

Оператор указывает место обработки паузой в перемещении пятна луча указателя, или заранее заданными движениями луча, например, для указания места спила достаточно провести световым пятном луча линию в месте будущего спила, оператор может указывать место обработки, наблюдая за положением светового пятна луча указателя на мониторе.The operator indicates the place of processing by a pause in moving the spot of the pointer beam, or by predetermined beam movements, for example, to indicate the place of the saw, it is enough to draw a line with the light spot of the beam at the place of the future saw, the operator can indicate the processing location, observing the position of the light spot of the pointer beam on the monitor.

По меньшей мере, одну видеокамеру располагают на подвижной части машины и учитывают изменение взаимного расположения камер при расчете координат указанного места обработки объекта.At least one video camera is located on the moving part of the machine and the change in the relative position of the cameras is taken into account when calculating the coordinates of the specified processing location of the object.

Способ осуществляется следующим образом.The method is as follows.

Рассмотрим способ наведения машины на объект на примере валочно-пакетирующей машины при спиливании деревьев. Оператор устанавливает лесную машину в положение, наиболее удобное для проведения запланированных технологических операций, и переводит ее в соответствующий режим. Взяв в руку указатель, который может быть представлен в виде лазерной указки или любого компьютерного устройства указания, оператор указывает им место на дереве в месте будущего спила. Т.к. операция уже определена оператором, например, «спилить дерево», курсор на экране монитора может представлять собой линию, показывающую место будущего среза для упрощения прицеливания. При других операциях форма курсора может иметь другую форму, напоминая оператору о выбранной технологической операции. Нажав кнопку мыши или специальную кнопку при указании лазерной указкой, оператор инициирует процедуру измерения, расчетов и дальнейшего автоматического управления машиной. При необходимости можно использовать клавиатуру.Consider the method of pointing a machine at an object using the example of a feller buncher when cutting trees. The operator sets the forest machine in the position most convenient for the planned technological operations, and puts it in the appropriate mode. Taking a pointer in his hand, which can be represented in the form of a laser pointer or any computer pointing device, the operator indicates to them a place on a tree in the place of the future saw. Because the operation is already defined by the operator, for example, “cut a tree”, the cursor on the monitor screen can be a line showing the place of the future cut to simplify aiming. In other operations, the cursor shape may have a different shape, reminding the operator of the selected process step. By clicking the mouse button or a special button when indicated by a laser pointer, the operator initiates the measurement, calculation and further automatic control of the machine. If necessary, you can use the keyboard.

В некоторых случаях удобнее поворачивать видеокамеры, добиваясь совпадения линий прицеливания двух видеокамер на указываемой точке обработки.In some cases, it is more convenient to rotate the cameras, achieving coincidence of the aiming lines of the two cameras at the indicated processing point.

Т.к. часто требуется произвести различные виды обработки в указываемой точке, можно воспользоваться комбинациями клавиш клавиатуры, педалей и компьютерных устройств указания (компьютерной мыши, джойстика, указки или касанием сенсорного экрана пальцем, или рукой, или стилусом, или трехкоординатным указательным устройством или с большим количеством координат).Because it is often required to perform various types of processing at a specified point; you can use combinations of keyboard keys, pedals, and computer pointing devices (a computer mouse, joystick, pointer, or by touching the touch screen with your finger, hand, or stylus, or a three-coordinate pointing device or with a large number of coordinates) .

Если используется лазерный указатель, желательно выбирать цвет его луча (пятна) так, чтобы получился наибольший контраст с окружающей средой.If a laser pointer is used, it is advisable to choose the color of its beam (spot) so that the greatest contrast with the environment is obtained.

Во многих случаях эффективно указать несколько мест обработки, не дожидаясь начала операции или завершения текущей, чтобы система управления, получив задание на несколько мест обработки, комплексно оптимизировала общую траекторию перемещения машины и ее рабочих органов и несколько технологических операций, включая их последовательность.In many cases, it is effective to specify several processing locations without waiting for the operation to begin or the current one to finish, so that the control system, receiving a task for several processing locations, comprehensively optimizes the overall trajectory of the machine and its working bodies and several technological operations, including their sequence.

Для повышения производительности указания может использоваться система знаков, например, оператор не указывает щелчком дерево которое надо спилить, а просто проводит курсором или лазерным лучом в месте спила дерева или делает паузу в движении указателя на месте, подлежащем обработке.A system of signs can be used to increase the productivity of indications, for example, the operator does not click on a tree to be cut, but simply moves the cursor or a laser beam in the place of sawing a tree or pauses in the movement of the pointer at the place to be processed.

В некоторых случаях проще получить контрастное изображение пятна луча указателя на экране монитора, т.к. видеокамеры обладают чувствительностью, отличающейся от чувствительности человеческого глаза, а монитор легко покажет это пятно в видимом человеком диапазоне. В этом случае процесс наведения удобнее наблюдать на экране монитора.In some cases, it is easier to get a contrasting image of a spot spot on the monitor screen, because camcorders have a sensitivity different from the sensitivity of the human eye, and the monitor will easily show this spot in the human visible range. In this case, the guidance process is more convenient to observe on the monitor screen.

Во многих случаях, по меньшей мере, одну камеру можно расположить на подвижной части машины, например, на схвате манипулятора лесной машины или на стреле экскаватора, ближе к ковшу. При этом оператор может более точно указать место обработки.In many cases, at least one camera can be positioned on the movable part of the machine, for example, on the tong of the manipulator of the forestry machine or on the boom of an excavator, closer to the bucket. In this case, the operator can more accurately indicate the place of processing.

После указания оператором места обработки встроенный в кабину лесной машины компьютер считывает с установленных в кабину или над кабиной видеокамер изображения рабочей зоны и положение указанной точки на них, которые и служат для расчета координат места обработки в реальном пространстве. Положение точки может указывать и сам оператор, например, последовательно на двух мониторах устройством указания типа мышь. Используя трех и более координатные устройства указания можно еще более упростить работу оператора.After the operator indicates the processing location, the computer built into the cabin of the forest machine reads from the video cameras installed in or above the cabin of the cameras the images of the working area and the position of the indicated point on them, which serve to calculate the coordinates of the processing location in real space. The position of the point can also be indicated by the operator himself, for example, sequentially on two monitors with a mouse type pointing device. Using three or more coordinate pointing devices can further simplify the work of the operator.

Изображения могут выводиться на два экрана и на каждом показывается оператору изображение со своей видеокамеры (например, на левый экран с левой видеокамеры, на правый с правой), или экран делится на две части (с двумя изображениями), или на экране выводятся два изображения, как минимум одно из них полупрозрачно. Если изображения накладываются друг на друга, то желательно немного изменить их цвета так, чтобы оператору было удобнее ориентироваться при указании. Оператор последовательно показывает на обоих изображениях место обработки, чем фактически указывает направление на точку обработки объекта с двух точек. При необходимости более точного указания можно изменять фокусное расстояние объективов камер, «приближая» изображение, или на изображении увеличивать его часть в районе положения курсора (экранная лупа).Images can be displayed on two screens and on each the operator is shown an image from his video camera (for example, on the left screen from the left video camera, on the right and right), or the screen is divided into two parts (with two images), or two images are displayed on the screen, at least one of them is translucent. If images overlap, it is advisable to slightly change their colors so that it is more convenient for the operator to navigate when pointing. The operator sequentially shows the processing place on both images, which actually indicates the direction to the processing point of the object from two points. If you need more precise guidance, you can change the focal length of the camera lenses, "approximating" the image, or increase the portion of the image in the vicinity of the cursor position (screen magnifier).

Т.к. расстояние между видеокамерами и фокусное расстояние их объективов известны, то путем решения геометрической задачи о треугольнике с известной стороной и двумя углами можно рассчитать расстояние от машины до указанной точки и углы направления на нее.Because the distance between the cameras and the focal length of their lenses are known, then by solving the geometric problem of a triangle with a known side and two angles, you can calculate the distance from the machine to the specified point and the angles of direction to it.

Зная координаты в пространстве указанной точки, остается автоматически рассчитать на встроенном компьютере траекторию оптимального перемещения рабочего органа лесной машины в эту точку, автоматически переместить рабочий орган и/или всю машину по этой траектории в указанную точку и выполнить технологическую операцию, например, зажать дерево, сообщить ему натяг и спилить его. И дальнейшие операции могут быть произведены в автоматическом режиме.Knowing the coordinates in the space of the specified point, it remains to automatically calculate on the built-in computer the trajectory of the optimal movement of the working body of the forest machine to this point, automatically move the working body and / or the whole machine along this trajectory to the specified point and perform a technological operation, for example, clamp the tree, inform tighten it and cut it. And further operations can be performed automatically.

Фактически после указания пятном луча указателя (или мышью) точки спиливания дерева оператор переходит из режима активного управления в режим контроля и до завершения технологической операции может не прикасаться к органам управления машиной, что значительно снижает нагрузку на оператора и его утомляемость.In fact, after the spot of the tree (or the mouse) indicates the point of cutting the tree, the operator switches from the active control mode to the control mode and may not touch the machine controls until the process is completed, which significantly reduces the operator’s load and fatigue.

На первом этапе встроенный компьютер производит кинематические расчеты, в частности, широко известные в робототехнике. Для промышленных роботов пересчет координат указанной точки (точки захвата, указанной пятном луча лазера) в положение звеньев манипулятора называется «обратная задача кинематики», которая, в частности, рассмотрена в 4 главе книги «Промышленные роботы агрегатно-модульного типа / Е.И. Воробьев и др. М.: Машиностроение, 1988. - 240 с.: ил.» и в главе 2.2 книги «Робототехника / Фу К., Гонсалес Р., Ли К. Пер. с англ. М.: Мир, 1989 - 624 с: ил.». В книге «Робототехника» описаны не только кинематические расчеты (с.69), но и динамические расчеты.At the first stage, the built-in computer performs kinematic calculations, in particular, widely known in robotics. For industrial robots, recalculating the coordinates of a specified point (a capture point indicated by a spot of a laser beam) to the position of the manipulator links is called the “inverse kinematics problem”, which, in particular, is discussed in chapter 4 of the book “Industrial robots of aggregate-modular type / E.I. Vorobiev et al. M .: Engineering, 1988. - 240 pp., Ill. ”And in chapter 2.2 of the book“ Robotics / Fu K., Gonzalez R., Lee K. Per. from English M.: Mir, 1989 - 624 s: ill. ". The book “Robotics” describes not only kinematic calculations (p.69), but also dynamic calculations.

Если результаты кинематических расчетов показывают, что манипулятор не может дотянуться до указанной точки, т.е. указанное дерево находиться вне рабочей зоны, об этом сообщается оператору, звуковым, световым или другим сигналом вплоть до речевого сообщения через встроенные в кабину динамики, например: «Переместите машину на полметра ближе к дереву и повторно укажите точку».If the results of kinematic calculations show that the manipulator cannot reach the specified point, i.e. the specified tree is located outside the working area, this is reported to the operator by sound, light or other signal until the voice message through the speakers built into the cab, for example: "Move the machine half a meter closer to the tree and re-specify the point."

Если манипулятор может дотянуться до указанной точки, т.е. захватно-срезающее устройство (ЗСУ) может быть перемещено манипулятором к указанному оператором дереву, то следующим шагом производится автоматический расчет оптимальной траектории перемещения ЗСУ из текущего положения в указанную точку. Т.е. определяются законы изменения положения звеньев манипулятора, позволяющие за минимально возможное время переместить ЗСУ к дереву, не перегружая машину. Эти расчеты, производимые на втором этапе, позволят в предлагаемом способе на следующем шаге эффективно управлять манипулятором, ЗСУ и всей машиной в целом.If the manipulator can reach the specified point, i.e. Since the gripping-cutting device (ZSU) can be moved by the manipulator to the tree specified by the operator, the next step is to automatically calculate the optimal trajectory of the ZSU from the current position to the specified point. Those. the laws of changing the position of the links of the manipulator are determined, allowing for the shortest possible time to move the ZSU to the tree without overloading the machine. These calculations, performed in the second stage, will allow in the proposed method in the next step to effectively control the manipulator, ZSU and the whole machine as a whole.

По окончании расчетов компьютер начинает управлять приводами, обеспечивая согласованные, расчетные движения машины, поворотной платформы, всех звеньев манипулятора и ЗСУ. После завершения этих движений ЗСУ будет находиться в указанной оператором точке - в точке, где находилось пятно луча лазера или указанное мышью на экранах место в момент нажатия оператором кнопки.At the end of the calculations, the computer begins to control the drives, providing coordinated, calculated movements of the machine, turntable, all parts of the manipulator and ZSU. After completing these movements, the ZSU will be at the point indicated by the operator - at the point where the spot of the laser beam was located or the place indicated by the mouse on the screens at the time the operator clicks the button.

Далее автоматически может быть произведена технологическая операция спиливания дерева, состоящая из захвата дерева, натяга, спиливания и т.д., вплоть до осуществления всей технологической операции лесной машины, включая удаление сучьев и раскряжевку, если на лесной машине вместо ЗСУ установлена хорвестерная головка.Further, a technological operation of cutting a tree can be automatically performed, consisting of grabbing a tree, interference, cutting, etc., up to the entire technological operation of a forest machine, including removal of branches and bucking, if a forest harvester is installed instead of a ZSU on a forest machine.

Для заявленного способа в том виде, как он охарактеризован в независимом пункте изложенной формулы изобретения, подтверждена возможность его осуществления с помощью описанных в заявке и известных до даты приоритета средств и методов. Следовательно, заявленное изобретение соответствует условию «промышленная применимость».For the claimed method, as described in the independent paragraph of the claims, the possibility of its implementation using the means and methods described in the application and known prior to the priority date is confirmed. Therefore, the claimed invention meets the condition of "industrial applicability".

Предложенный способ позволит снизить затраты при работе машин и повысить производительность труда путем более эффективного осуществления перемещений и/или технологических операций машиной.The proposed method will reduce costs during the operation of machines and increase productivity through more efficient implementation of movements and / or technological operations of the machine.

Claims (25)

1. Способ наведения машины на объект оператором, включающий указание оператором места обработки объекта и дальнейшее перемещение машины и/или ее подвижных частей и/или совершение технологической операции в указанном месте, отличающийся тем, что координаты места обработки объекта определяют по указанным оператором точкам места обработки на изображениях зоны обработки, которые получены, по меньшей мере, с двух видеокамер, о которых известно их положение, углы их направления и фокусные расстояния их объективов в момент указания.1. The method of pointing the machine at the object by the operator, including the operator indicating the place of processing of the object and further moving the machine and / or its moving parts and / or performing a technological operation in the specified place, characterized in that the coordinates of the processing site of the object are determined by the points of the processing location on the images of the processing zone, which were obtained from at least two cameras, of which their position is known, the angles of their direction and the focal lengths of their lenses at the time of indicating. 2. Способ по п.1, отличающийся тем, что оператор указывает место обработки объекта компьютерным указательным устройством на изображении объекта или световым пятном луча указателя на самом объекте, подлежащем обработке, например, лазерным указателем.2. The method according to claim 1, characterized in that the operator indicates the place of processing of the object with a computer pointing device on the image of the object or a light spot of the pointer beam on the object to be processed, for example, a laser pointer. 3. Способ по п.1, отличающийся тем, что после указания оператором места обработки, система управления автоматически рассчитывает координаты места обработки и составляет оптимальную траекторию перемещения и/или оптимальную технологию выполнения технологической операции и управляет процессами перемещения и технологической операции.3. The method according to claim 1, characterized in that after the operator indicates the processing location, the control system automatically calculates the coordinates of the processing location and makes up the optimal trajectory of movement and / or the optimal technology for performing the technological operation and controls the processes of moving and the technological operation. 4. Способ по п.2, отличающийся тем, что место обработки указывают посредством компьютерной мыши, или джойстика, или указки и/или клавиатурой или касанием сенсорного экрана пальцем, или рукой, или стилусом, или трехкоординатным или с большим количеством координат указательным устройством.4. The method according to claim 2, characterized in that the processing location is indicated by a computer mouse, or joystick, or pointer and / or keyboard, or by touching the touch screen with a finger, hand, or stylus, or a three-coordinate or with a large number of coordinates pointing device. 5. Способ по п.1, отличающийся тем, что на экране монитора отображают изображение объекта, последовательно с двух видеокамер или на экран выводят сразу два изображения объекта по отдельности или частично прозрачные, наложенные друг на друга.5. The method according to claim 1, characterized in that the image of the object is displayed on the screen of the monitor, two images of the object individually or partially transparent, superimposed on top of each other, are displayed simultaneously from two video cameras or on the screen. 6. Способ по п.3, отличающийся тем, что на экране монитора отображают изображение объекта, программно измененного цвета с разных видеокамер, или на объективах камер установлены светофильтры разных цветов.6. The method according to claim 3, characterized in that on the screen of the monitor an image of an object, a software-changed color from different cameras is displayed, or light filters of different colors are installed on the camera lenses. 7. Способ по п.1, отличающийся тем, что отображают изображение объекта на два монитора, на каждом изображение со своей видеокамеры.7. The method according to claim 1, characterized in that the image of the object is displayed on two monitors, each image from its video camera. 8. Способ по п.1, отличающийся тем, что отображают изображение объекта на 3D видеоочки или используют комплекс 3D очков с соответствующим монитором.8. The method according to claim 1, characterized in that the image of the object is displayed on 3D video glasses or a complex of 3D glasses is used with an appropriate monitor. 9. Способ по п.1, отличающийся тем, что в процессе наведения изменяют фокусное расстояние объективов видеокамер.9. The method according to claim 1, characterized in that during the guidance process, the focal length of the lenses of the cameras is changed. 10. Способ по п.1, отличающийся тем, что используют местное увеличение изображения в зоне указания на экране монитора.10. The method according to claim 1, characterized in that they use local image magnification in the indication area on the monitor screen. 11. Способ по п.1, отличающийся тем, что изменяют форму курсора на экране монитора в зависимости от операции, место проведения которой в данный момент указывается.11. The method according to claim 1, characterized in that they change the shape of the cursor on the monitor screen depending on the operation, the venue of which is currently indicated. 12. Способ по п.2, отличающийся тем, что при указании мест обработки объекта указывают точку, или проводят линию, или указывают характерные точки линии или геометрической фигуры, например, противоположные вершины прямоугольника.12. The method according to claim 2, characterized in that when indicating the processing sites of the object indicate a point, or draw a line, or indicate the characteristic points of the line or geometric shape, for example, opposite vertices of the rectangle. 13. Способ по п.1, отличающийся тем, что в зависимости от технологической операции используют курсоры специальной формы, например, в виде отрезка при указании места спила дерева.13. The method according to claim 1, characterized in that, depending on the technological operation, cursors of a special form are used, for example, in the form of a segment when indicating the place of sawing a tree. 14. Способ по п.1, отличающийся тем, что часть параметров обработки объекта указывают численно, с клавиатуры или выбором из меню.14. The method according to claim 1, characterized in that part of the processing parameters of the object is indicated numerically, from the keyboard or by selecting from the menu. 15. Способ по п.1, отличающийся тем, что после указания места обработки объекта координаты места запоминают для дальнейшего анализа работы машины и/или оператора.15. The method according to claim 1, characterized in that after indicating the place of processing of the object, the coordinates of the place are stored for further analysis of the operation of the machine and / or operator. 16. Способ по п.1, отличающийся тем, что для указания места обработки объекта поворачивают как минимум одну камеру для получения совпадения изображения в требуемой точке.16. The method according to claim 1, characterized in that at least one camera is rotated to indicate the place of processing of the object to obtain the image at the desired point. 17. Способ по п.15, отличающийся тем, что на изображение с видеокамер наносят линии прицеливания для совмещения оператором изображений в месте обработки объекта с двух видеокамер.17. The method according to clause 15, characterized in that the line of sight is applied to the image from the cameras to combine images with the operator at the processing site of the object from two cameras. 18. Способ по п.2, отличающийся тем, что цвет светового пятна луча указателя выбирают соответственно диапазону максимальной чувствительности видеокамеры и/или противоположно преобладающим цветам окружающей среды в месте обработки для более контрастного выделения пятна луча.18. The method according to claim 2, characterized in that the color of the light spot of the pointer beam is selected according to the maximum sensitivity range of the video camera and / or the opposite to the prevailing colors of the environment at the processing location for a more contrasting highlight of the beam spot. 19. Способ по п.1, отличающийся тем, что момент указания точки определяют по нажатию и/или отпусканию или щелчку или двойному щелчку кнопкой мыши или совместно с нажатой соответствующей клавишей клавиатуры.19. The method according to claim 1, characterized in that the point of indicating the point is determined by pressing and / or releasing or clicking or double-clicking with the mouse button or together with the corresponding corresponding key of the keyboard. 20. Способ по п.1, отличающийся тем, что для указания различных технологических операций в указанном месте обработки осуществляют нажатие соответствующих кнопок или педалей оператором.20. The method according to claim 1, characterized in that to indicate various technological operations in the specified processing location, the corresponding buttons or pedals are pressed by the operator. 21. Способ по п.1, отличающийся тем, что оператор указывает несколько мест обработки, не ожидая начала операции или завершения текущей, а система управления, получив задание на несколько мест обработки, комплексно оптимизирует общую траекторию перемещения машины и ее рабочих органов и несколько технологических операций, включая их последовательность.21. The method according to claim 1, characterized in that the operator indicates several processing places, not waiting for the start of the operation or completion of the current one, and the control system, having received a task for several processing places, comprehensively optimizes the overall trajectory of the machine and its working bodies and several technological operations, including their sequence. 22. Способ по п.1, отличающийся тем, что оператор указывает место обработки и/или перемещения машины, находясь вне машины.22. The method according to claim 1, characterized in that the operator indicates the place of processing and / or movement of the machine, while outside the machine. 23. Способ по п.1, отличающийся тем, что оператор указывает место обработки паузой в перемещении пятна луча указателя, или заранее заданными движениями луча, например, для указания места спила достаточно провести световым пятном луча линию в месте будущего спила.23. The method according to claim 1, characterized in that the operator indicates the place of processing by a pause in moving the spot of the pointer beam, or by predetermined beam movements, for example, to indicate the place of the saw, it is enough to draw a line with the light spot of the beam in the place of the future saw. 24. Способ по п.1, отличающийся тем, что оператор указывает место обработки, наблюдая за положением светового пятна луча указателя на мониторе.24. The method according to claim 1, characterized in that the operator indicates the place of processing, observing the position of the light spot of the pointer beam on the monitor. 25. Способ по п.1, отличающийся тем, что, по меньшей мере, одну видеокамеру располагают на подвижной части машины и учитывают изменение взаимного расположения камер при расчете координат указанного места обработки объекта. 25. The method according to claim 1, characterized in that at least one video camera is located on the moving part of the machine and take into account the change in the relative position of the cameras when calculating the coordinates of the specified processing location of the object.
RU2012146648/13A 2012-11-01 2012-11-01 Method for machine guidance on object RU2522525C2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2012146648/13A RU2522525C2 (en) 2012-11-01 2012-11-01 Method for machine guidance on object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2012146648/13A RU2522525C2 (en) 2012-11-01 2012-11-01 Method for machine guidance on object

Publications (2)

Publication Number Publication Date
RU2012146648A RU2012146648A (en) 2014-05-10
RU2522525C2 true RU2522525C2 (en) 2014-07-20

Family

ID=50629343

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2012146648/13A RU2522525C2 (en) 2012-11-01 2012-11-01 Method for machine guidance on object

Country Status (1)

Country Link
RU (1) RU2522525C2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003096794A1 (en) * 2002-05-21 2003-11-27 Timberjack Oy A method in controlling an engine of a forest machine and a forest machine
RU2010147210A (en) * 2010-11-18 2012-05-27 Лев Николаевич Шобанов (RU) METHOD FOR GUIDING A WORKING BODY OF A FORESTRY MANIPULATOR TO A OBJECT

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003096794A1 (en) * 2002-05-21 2003-11-27 Timberjack Oy A method in controlling an engine of a forest machine and a forest machine
RU2010147210A (en) * 2010-11-18 2012-05-27 Лев Николаевич Шобанов (RU) METHOD FOR GUIDING A WORKING BODY OF A FORESTRY MANIPULATOR TO A OBJECT

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
КРУГОВ В.С. и др. Валочно-пакетирующая машина, ЛП-19, М., Лесная промышленность, 1982, . с. 11,12,47- 54 *

Also Published As

Publication number Publication date
RU2012146648A (en) 2014-05-10

Similar Documents

Publication Publication Date Title
US10585167B2 (en) Relative object localization process for local positioning system
US7161321B2 (en) Measuring system
JP6457469B2 (en) Mobile robot interference area setting device
US20050131582A1 (en) Process and device for determining the position and the orientation of an image reception means
NO317898B1 (en) Procedure and system for programming an industrial robot
JP2010060344A (en) Space information display device and support device
JP6740288B2 (en) Object inspection apparatus, object inspection system, and method for adjusting inspection position
JP7464235B2 (en) Multi-layer viewing system and method
CN112512754A (en) Method for programming an industrial robot
JP7287262B2 (en) Remote control system and remote control server
CN109116807A (en) Compound reality simulation device and computer-readable medium
JP2019108775A (en) Construction machine
RU2522525C2 (en) Method for machine guidance on object
US20240033950A1 (en) Manual operation of a remote robot assembly
RU2496303C1 (en) Method of machine control
JP7306871B2 (en) ROBOT OPERATING DEVICE, ROBOT, ROBOT OPERATING METHOD, PROGRAM AND ROBOT CONTROLLER
CN113211444A (en) System and method for robot calibration
US20220404147A1 (en) Measuring system, measuring method, and measuring program
JP2021125793A (en) Monitoring system and site monitoring device
RU139478U1 (en) ROBOTIC OBJECT MANAGEMENT SYSTEM
US20230356405A1 (en) Robot control system, and control device
JP2020086759A (en) Three-dimensional model creation system, processing simulation system, and tool path automatic production system
US20230023778A1 (en) Work assisting server and work assisting system
CN203266656U (en) Integrated auxiliary operation device of robot working in hazardous environment
JPH0675617A (en) Camera view point change system

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20171102